Беше предложено от редица академици и политически експерти Международният научен съвет – със своето плуралистично членство от социалните и природните науки – да установи процес за създаване и поддържане на анотирана рамка/контролен списък на рисковете, ползите, заплахите и възможностите свързани с бързо развиващите се цифрови технологии, включително – но не само – AI. Целта на контролния списък ще бъде да информира всички заинтересовани страни – включително правителства, търговски преговарящи, регулаторни органи, гражданско общество и промишленост – за потенциални бъдещи сценарии и ще формулира как те могат да разгледат възможностите, ползите, рисковете и други въпроси.
ISC има удоволствието да представи този дискусионен документ за оценка на бързо развиващите се цифрови и свързани технологии. Изкуственият интелект, синтетичната биология и квантовите технологии са отлични примери за иновации, информирани от науката, които се появяват с безпрецедентна скорост. Може да бъде предизвикателство систематичното предвиждане не само на техните приложения, но и на техните последици.
Оценяването на социалните аспекти на генеративния ИИ, като големи езикови модели, които предвидимо представляват по-голямата част от този дискусионен документ, е необходим мост в рамките на текущия дискурс – понякога воден от паника, друг път недостатъчно задълбочен в мисълта – и необходимите курсове на действие, което можем да предприемем. ISC е убеден, че е необходима аналитична рамка между социалното приемане на такива нови технологии и тяхното възможно регулиране, за да се улеснят дискусиите с много заинтересовани страни, които са необходими за вземане на информирани и отговорни решения за това как да се оптимизират социалните ползи от тази бързо развиваща се технология.
ISC е отворен за реакции от нашата общност чрез този дискусионен документ, за да оцени как най-добре да продължи да бъде част от и да допринася за дебата около технологиите.
Салваторе Арико, главен изпълнителен директор
Дискусионен документ на ISC
Рамка за оценка на бързо развиващите се цифрови и свързани технологии: AI, големи езикови модели и други
Този дискусионен документ предоставя очертанията на първоначална рамка за информиране на множеството глобални и национални дискусии, които се провеждат, свързани с ИИ.
Изтеглете доклада
New! Прочетете версията за 2024 г. за създателите на политики с рамка за изтегляне за вашата организация.
Ръководство за създателите на политики: Оценяване на бързо развиващите се технологии, включително AI, големи езикови модели и други
Този дискусионен документ предоставя очертанията на първоначална рамка за информиране на множеството глобални и национални дискусии, които се провеждат, свързани с ИИ.
Съдържание
Въведение
Бързо развиващите се технологии поставят предизвикателства, когато става въпрос за тяхното управление и потенциално регулиране. Политиката и обществените дебати относно изкуствения интелект (AI) и неговото използване поставиха тези въпроси в остър фокус. Макар че широките принципи за ИИ бяха обявени от ЮНЕСКО, ОИСР и други и има зараждащи се дискусии относно глобалното или юрисдикционното регулиране на технологията, съществува онтологична празнина между разработването на принципи на високо ниво и тяхното включване в регулаторни, политически, подходи на управление и стопанисване. Тук особена роля би могла да има неправителствената научна общност.
Беше предложено от редица академици и политически експерти Международният научен съвет (ISC) – с неговото плуралистично членство от социалните и природните науки – да установи процес за създаване и поддържане на анотирана рамка/контролен списък на рисковете, ползите, заплахи и възможности, свързани с бързо развиващите се цифрови технологии, включително – но не само – AI. Целта на контролния списък ще бъде да информира всички заинтересовани страни – включително правителства, търговски преговарящи, регулаторни органи, гражданско общество и промишленост – за потенциални бъдещи сценарии и ще формулира как те могат да разгледат възможностите, ползите, рисковете и други въпроси.
Резултатите няма да действат като орган за оценка, а като адаптивна и развиваща се аналитична рамка, която би могла да подкрепи всяка оценка и регулаторни процеси, които могат да бъдат разработени от заинтересованите страни, включително правителствата и многостранната система. Всяка аналитична рамка в идеалния случай трябва да бъде разработена независимо от твърденията на правителството и индустрията, като се имат предвид техните разбираеми интереси. Тя трябва също така да бъде максимално плуралистична в своите перспективи, като по този начин обхваща всички аспекти на технологията и нейните последици.
Този дискусионен документ предоставя очертанията на първоначална рамка за информиране на множеството глобални и национални дискусии, които се провеждат, свързани с ИИ.
Предистория: Защо аналитична рамка?
Бързото появяване на технология със сложността и последиците от AI води до много твърдения за големи ползи. Но също така провокира страхове от значителни рискове, от индивидуално до геостратегическо ниво. Голяма част от дискусията обикновено се провежда в крайните краища на спектъра от възгледи и е необходим по-прагматичен подход. AI технологията ще продължи да се развива и историята показва, че практически всяка технология има както полезни, така и вредни приложения. Следователно въпросът е: как можем да постигнем полезни резултати от тази технология, като същевременно намалим риска от вредни последици, някои от които биха могли да бъдат екзистенциални по мащаб?
Бъдещето винаги е несигурно, но има достатъчно надеждни и експертни гласове по отношение на ИИ и генеративния ИИ, за да се насърчи сравнително предпазлив подход. Освен това е необходим системен подход, тъй като AI е клас технологии с широко използване и приложение от множество типове потребители. Това означава, че трябва да се вземе предвид пълният контекст, когато се разглеждат последиците от ИИ за индивидите, социалния живот, гражданския живот, социалния живот и в глобалния контекст.
За разлика от повечето минали технологии, дигиталните и свързаните с тях технологии имат много кратък период от време от разработката до пускането им, до голяма степен водени от интересите на продуцентските компании или агенции. AI е бързо проникващ; някои свойства може да станат очевидни едва след освобождаването и технологията може да има както злонамерени, така и добронамерени приложения. Измеренията на важни стойности ще повлияят на начина, по който се възприема всяка употреба. Освен това може да има геостратегически интереси.
Към днешна дата регулирането на виртуална технология до голяма степен се разглежда през призмата на „принципи“ и доброволно спазване. Съвсем наскоро обаче дискусията се насочи към въпроси на националното и многостранно управление, включително използването на регулаторни и други политически инструменти. Твърденията за или против ИИ често са хиперболични и – предвид естеството на технологията – трудни за оценка. Създаването на ефективна глобална или национална система за регулиране на технологиите ще бъде предизвикателство и ще са необходими множество нива на информирано за риска вземане на решения по веригата, от изобретател до производител, до потребител, до правителството и до многостранната система.
Въпреки че принципите на високо ниво са обнародвани от ЮНЕСКО, ОИСР и Европейската комисия, наред с други, и се провеждат различни дискусии на високо ниво по отношение на въпроси на потенциалното регулиране, съществува голяма онтологична празнина между тези принципи и управленската или регулаторната рамка. Каква е таксономията на съображенията, които регулаторът може да трябва да вземе предвид? Тясно фокусирано рамкиране би било неразумно, като се имат предвид широките последици от тези технологии. Този потенциал е обект на много коментари, както положителни, така и отрицателни.
Разработване на аналитична рамка
ISC е основната глобална неправителствена организация, интегрираща естествени и социални науки. Неговият глобален и дисциплинарен обхват означава, че е в добра позиция да генерира независими и глобално приложими съвети, които да информират за предстоящите сложни избори, особено тъй като настоящите гласове на тази сцена са предимно от индустрията или от големите технологични сили. След обширни дискусии през последните месеци, включително разглеждане на неправителствен процес на оценка, ISC заключи, че най-полезният му принос би бил да създаде и поддържа адаптивна аналитична рамка, която може да се използва като основа за дискурс и вземане на решения от всички заинтересовани страни, включително по време на всеки официален процес на оценка, който възниква.
Тази рамка ще приеме формата на всеобхватен контролен списък, който може да се използва както от правителствени, така и от неправителствени институции. Рамката идентифицира и изследва потенциала на технология като AI и нейните производни през широк обектив, който обхваща благосъстоянието на хората и обществото, както и външни фактори, като икономика, политика, околна среда и сигурност. Някои аспекти на контролния списък може да са по-подходящи от други в зависимост от контекста, но по-вероятните решения са по-вероятни, ако се вземат предвид всички домейни. Това е присъщата стойност на подхода с контролен списък.
Предложената рамка е извлечена от предишна работа и мислене, включително доклада за цифровото благополучие на Международната мрежа за правителствени научни съвети (INGSA)1 и класификационната рамка на ИИ на ОИСР2 да представи съвкупността от потенциалните възможности, рискове и въздействия на ИИ. Тези предишни продукти бяха по-ограничени в своето намерение предвид времето и контекста им, има нужда от всеобхватна рамка, която представя пълния набор от проблеми както в краткосрочен, така и в дългосрочен план.
Въпреки че е разработена за разглеждане на AI, тази аналитична рамка може да се приложи към всяка бързо развиваща се технология. Проблемите са общо групирани в следните категории за по-нататъшно изследване:
Включен е списък със съображения за всяка от горните категории заедно със съответните им възможности и последствия. Някои са подходящи за конкретни случаи или приложения на AI, докато други са общи и агностик на платформа или употреба. Нито едно съображение, включено тук, не трябва да се третира като приоритетно и като такова всички трябва да бъдат разгледани.
Как може да се използва тази рамка?
Тази рамка може да се използва по, но не само, следните начини:
Следващата таблица е ранно оформяне на измеренията на аналитична рамка. В зависимост от технологията и нейното използване, някои компоненти ще бъдат по-подходящи от други. Примерите са предоставени, за да илюстрират защо всеки домейн може да има значение; в контекст рамката би изисквала контекстно релевантно разширяване. Също така е важно да се прави разлика между разработките на платформата и общите проблеми, които могат да възникнат по време на конкретни приложения.
Измерения, които трябва да се имат предвид при оценката на нова технология
| Първоначален проект на измеренията, които може да се наложи да се вземат предвид при оценката на нова технология | ||
| Размери на удара | Критерии | Примери как това може да бъде отразено в анализа |
| Индивидуално/самостоятелно | AI компетентност на потребителите | Колко компетентни и запознати със свойствата на системата са вероятните потребители, които ще взаимодействат със системата? Как ще им бъде предоставена съответната потребителска информация и предупреждения? |
| Засегнати заинтересовани страни | Кои са основните заинтересовани страни, които ще бъдат засегнати от системата (т.е. лица, общности, уязвими, секторни работници, деца, политици, професионалисти)? | |
| Опционалност | Предоставена ли е на потребителите опция за отказ от системата; трябва ли да им се даде възможност да оспорват или коригират резултатите? | |
| Рискове за правата на човека и демократичните ценности | Може ли системата да повлияе (и в каква посока) върху човешките права, включително, но не само, неприкосновеност на личния живот, свобода на изразяване, справедливост, риск от дискриминация и т.н.? | |
| Потенциални ефекти върху благосъстоянието на хората | Може ли системата да повлияе (и в каква посока) на благосъстоянието на отделния потребител (т.е. качество на работата, образование, социални взаимодействия, психично здраве, идентичност, среда)? | |
| Потенциал за изместване на човешкия труд | Има ли потенциал системата да автоматизира задачи или функции, които са били изпълнявани от хора? Ако е така, какви са последствията надолу по веригата? | |
| Потенциал за манипулиране на идентичност, ценности или знания | Системата проектирана ли е или потенциално способна ли е да манипулира самоличността или зададените ценности на потребителя или да разпространява дезинформация? Има ли потенциал за неверни или непроверими твърдения за експертен опит? | |
| Мерки за самооценка | Има ли натиск да се изобразява идеализирано аз? Може ли автоматизацията да замени чувството за лична реализация? Има ли натиск да се конкурирате със системата на работното място? По-трудна ли е защитата на личната репутация срещу дезинформация? | |
| Поверителност | Има ли разпръснати отговорности за опазване на неприкосновеността на личния живот и има ли предположения за това как се използват личните данни? | |
| Автономия | Може ли системата да повлияе на човешката автономия, като генерира прекомерно разчитане на технологията от страна на крайните потребители? | |
| Човешко развитие | Има ли въздействие върху придобиването на ключови умения за човешкото развитие като изпълнителни функции, междуличностни умения, промени във времето за внимание, засягащо ученето, развитието на личността, проблемите с психичното здраве и т.н.? | |
| Лична грижа за здравето | Има ли твърдения за персонализирани решения за здравеопазване? Ако е така, валидирани ли са според регулаторните стандарти? | |
| Психичното здраве | Има ли риск от повишена тревожност, самота или други проблеми с психичното здраве или технологията може да смекчи подобни въздействия? | |
| Човешката еволюция | Може ли технологията да доведе до промени в човешката еволюция? | |
| Размери на удара | Критерии | Описание |
| Общество/социален живот | Обществени ценности | Системата променя ли фундаментално природата на обществото или дава възможност за нормализиране на идеи, считани преди за антисоциални, или нарушава обществените ценности на културата, в която се прилага? |
| Социално взаимодействие | Има ли ефект върху смисления човешки контакт, включително емоционалните взаимоотношения? | |
| Справедливост | Има ли вероятност приложението/технологията да намали или засили неравенствата (т.е. икономически, социални, образователни, географски)? | |
| Здраве на населението | Има ли потенциал системата да напредне или да подкопае здравните намерения на населението? | |
| Културно изразяване | Вероятно или по-трудно ли е да се преодолее увеличаването на културното присвояване или дискриминация? Дали разчитането на системата за вземане на решения потенциално изключва или маргинализира части от обществото? | |
| Обществено образование | Има ли ефект върху ролите на учителите или образователните институции? Системата подчертава ли или намалява неравенството между учениците и цифровото разделение? Напреднала или подкопана ли е присъщата стойност на знанието или критичното разбиране? | |
| Изкривени реалности | Приложими ли са все още методите, които използваме, за да разпознаем истината? Нарушено ли е възприемането на реалността? | |
| Икономически контекст (търговия) | Индустриален сектор | В кой индустриален сектор е разгърната системата (т.е. финанси, селско стопанство, здравеопазване, образование, отбрана)? |
| Бизнес модел | В коя бизнес функция се използва системата и в какво качество? Къде се използва системата (частно, публично, с нестопанска цел)? | |
| Въздействие върху критични дейности | Дали нарушаването на функцията или дейността на системата ще засегне основни услуги или критични инфраструктури? | |
| Дъх на разгръщане | Как се внедрява системата (тясно в рамките на една организация срещу широко разпространено национално/международно)? | |
| Техническа зрялост (TRL) | Колко технически зряла е системата? | |
| Технологичен суверенитет | Дали технологията води до по-голяма концентрация на технологичен суверенитет. | |
| Преразпределение на доходите и национални фискални лостове | Възможно ли е основните роли на суверенната държава да бъдат компрометирани (т.е. резервните банки)? Ще бъде ли повишена или намалена способността на държавата да отговори на очакванията и последиците на гражданите (т.е. социални, икономически, политически)? | |
| Размери на удара | Критерии | Описание |
| Граждански живот | Управление и обществено обслужване | Могат ли механизмите за управление и глобалните системи за управление да бъдат повлияни положително или отрицателно? |
| Новинарска медия | Има ли вероятност публичният дискурс да стане повече или по-малко поляризиран и утвърден на ниво население? Ще има ли ефект върху нивата на доверие в медиите? Ще бъдат ли допълнително засегнати конвенционалната журналистическа етика и стандарти за почтеност? | |
| Върховенство на закона | Ще има ли ефект върху способността за идентифициране на лица или организации, които да бъдат държани отговорни (т.е. какъв вид отчетност да се възложи на алгоритъм за неблагоприятни резултати)? Това води ли до загуба на суверенитет (т.е. екологична, фискална, социална политика, етика)? | |
| Политика и социално сближаване | Има ли възможност за по-утвърдени политически възгледи и по-малко възможности за изграждане на консенсус? Има ли възможност за по-нататъшно маргинализиране на групите? Дали състезателните стилове на политика са повече или по-малко вероятни? | |
| Геостратегически/геополитически контекст | Прецизно наблюдение | Обучени ли са системите на индивидуални поведенчески и биологични данни и ако е така, могат ли да бъдат използвани за експлоатация на индивиди или групи? |
| Дигитална колонизация | Способни ли са държавни или недържавни участници да използват системи и данни, за да разберат и контролират населението и екосистемите на други държави или да подкопаят юрисдикционния контрол? | |
| Геополитическа конкуренция | Системата засяга ли конкуренцията между нациите и технологичните платформи за достъп до индивидуални и колективни данни за икономически или стратегически цели? | |
| Търговия и търговски договори | Има ли системата отражение върху международните търговски споразумения? | |
| Смяна на глобалните сили | Застрашен ли е статутът на националните държави като основни геополитически актьори в света? Ще притежават ли технологичните компании властта, която някога е била запазена за националните държави и стават ли те независими суверенни актьори? | |
| дезинформация | По-лесно ли е за държавните и недържавните участници да произвеждат и разпространяват дезинформация, която оказва влияние върху социалното сближаване, доверието и демокрацията? | |
| На околната среда | Консумация на енергия и ресурси (въглероден отпечатък) | Системата и изискванията увеличават ли потреблението на енергия и ресурси над и над печалбите в ефективността, получени чрез приложението? |
| Размери на удара | Критерии | Описание |
| Данни и вход | Откриване и събиране | Данните и входящите данни събират ли се от хора, автоматизирани сензори или и двете? |
| Произход на данните | По отношение на данните те предоставени, наблюдавани, синтетични или производни ли са? Има ли защита на водния знак за потвърждаване на произхода? | |
| Динамичен характер на данните | Данните динамични, статични, актуализирани ли са от време на време или в реално време? | |
| Права | Собственост на данните, публични или лични (т.е. свързани с лица, които могат да бъдат идентифицирани) ли са данните? | |
| Идентифицируемост на личните данни | Ако са лични данни, анонимизирани ли са или псевдонимизирани? | |
| Структура на данните | Дали данните са структурирани, полуструктурирани, сложно структурирани или неструктурирани? | |
| Формат на данните | Стандартизиран или нестандартизиран ли е форматът на данните и метаданните? | |
| Мащаб на данните | Какъв е мащабът на набора от данни? | |
| Уместност и качество на данните | Подходящ ли е наборът от данни за целта? Подходящ ли е размерът на извадката? Представителен и достатъчно пълен ли е? Колко шумни са данните? Склонен ли е към грешки? | |
| Модел | Наличност на информация | Има ли информация за модела на системата? |
| Тип AI модел | Дали моделът е символичен (генерирани от човека правила), статистически (използва данни) или хибриден? | |
| Права, свързани с модела | Моделът с отворен код ли е или собствен, самостоятелно или трета страна управляван? | |
| Единичен или няколко модела | Дали системата се състои от един модел или от няколко взаимосвързани модела? | |
| Генеративни или дискриминативни | Дали моделът е генериращ, дискриминиращ или и двете? | |
| Изграждане на модели | Системата учи ли се въз основа на написани от човека правила, от данни, чрез контролирано обучение или чрез обучение с подсилване? | |
| Еволюция на модела (AI drift) | Моделът развива ли се и/или придобива ли способности от взаимодействие с данни в полето? | |
| Федерално или централно обучение | Моделът обучава ли се централно или в няколко локални сървъра или „крайни“ устройства? | |
| Разработка и поддръжка | Моделът универсален ли е, персонализиран или съобразен с данните на AI актьора? | |
| Детерминистичен или вероятностен | Моделът използва ли се по детерминистичен или вероятностен начин? | |
| Прозрачност на модела | Налична ли е информация за потребителите, която да им позволи да разберат резултатите и ограниченията на модела или да използват ограничения? | |
| Изчислително ограничение | Има ли изчислителни ограничения на системата? Можем ли да предвидим скокове на способности или закони за мащабиране? | |
| Размери на удара | Критерии | Описание |
| Задача и резултат | Задачи, изпълнявани от системата | Какви задачи изпълнява системата (т.е. разпознаване, откриване на събития, прогнозиране)? |
| Комбиниране на задачи и действия | Системата съчетава ли няколко задачи и действия (т.е. системи за генериране на съдържание, автономни системи, системи за контрол)? | |
| Нивото на автономност на системата | Колко автономни са действията на системата и каква роля играят хората? | |
| Степен на човешко участие | Има ли човешко участие, което да наблюдава цялостната дейност на AI системата и способността да решава кога и как да използва системата във всяка ситуация? | |
| Основно приложение | Системата принадлежи ли към основна област на приложение като технологии за човешки език, компютърно зрение, автоматизация и/или оптимизация или роботика? | |
| Оценка | Налични ли са стандарти или методи за оценка на изхода на системата или за справяне с непредвидени възникващи свойства? | |
Ключ за източници на дескрипторите
Обикновен текст:
Глукман, П. и Алън, К. 2018 г. Разбиране на благосъстоянието в контекста на бързите цифрови и свързаните с тях трансформации. INGSA. https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
Удебелен текст:
ОИСР. 2022 г. Рамка на ОИСР за класификация на AI системи. OECD Digital Economy Papers, № 323, OECD Publishing, Париж. https://oecd.ai/en/classification
Курсивен текст:
Нови дескриптори (от множество източници)
Път напред
В зависимост от отговора на този дискусионен документ, експертна работна група ще бъде сформирана от ISC за по-нататъшно развитие или изменение на горната аналитична рамка, чрез която заинтересованите страни могат да разгледат изчерпателно всяко значимо развитие на платформите или на измеренията на употреба. Работната група ще бъде дисциплинарно, географски и демографски разнообразна, с експертиза, обхващаща от оценка на технологиите до публична политика, от човешкото развитие до социология и изследвания на бъдещето и технологиите.
За да се включите в този дискусионен документ, моля, посетете Council.science/publications/framework-digital-technologies
Благодарности
Много хора са били консултирани при разработването на този документ, който е изготвен от сър Питър Глукман, президент на ISC и Хема Шридхар, бивш главен научен сътрудник в Министерството на отбраната, а сега старши научен сътрудник в Университета на Оукланд, Нова Зеландия.
По-специално благодарим на лорд Мартин Рийс, бивш президент на Кралското общество и съосновател на Центъра за изследване на екзистенциалните рискове, Университета в Кеймбридж; Професор Шиваджи Сонди, професор по физика, Оксфордски университет; Професор K Vijay Raghavan, бивш главен научен съветник на правителството на Индия; Амандип Сингх Гил, пратеник на генералния секретар на ООН по технологиите; Д-р Seán Óh Éigeartaigh, изпълнителен директор, Център за изследване на екзистенциалните рискове, Университет в Кеймбридж; Аманда-Джун Браунър, старши съветник по политиката и Иън Уигинс, директор по международните въпроси, Кралско общество в Обединеното кралство; Д-р Jerome Duberry, д-р Marie-Laure Salles, директор, Geneva Graduate Institute; г-н Chor Pharn Lee, Център за стратегическо бъдеще, кабинет на министър-председателя, Сингапур; Баренд Монс и д-р Саймън Ходсън, Комитетът по данни (CoDATA); проф. Юко Хараяма, Япония; професор Rémi Quirion, президент, INGSA; Д-р Клеър Крейг, Оксфордски университет и бивш ръководител на Форсайт, Правителствена служба по наука; и проф. Йошуа Бенгио, Научен консултативен съвет на генералния секретар на ООН и в Монреалския университет. Подходът на контролния списък като цяло беше одобрен и беше подчертана навременността на всяко действие от ISC.
Изображение: adamichi на iStock
Прочетете повече за Дефицитът на контекстуализация: Преформулиране на доверието в науката за многостранна политика 
Прочетете повече за документа с позицията за политическия форум на високо равнище през 2023 г 
Прочетете повече за Бъдещето на оценката на научните изследвания: Синтез на текущи дебати и разработки 