Управление рисками искусственного интеллекта в эпоху быстрого прогресса

В недавнем коротком докладе ведущие ученые в области ИИ и эксперты по управлению из США, Китая, ЕС, Великобритании и других стран подчеркнули, что стремительный прогресс ИИ будет нести в себе риски для общества. Наряду с пользой сегодняшние ИИ уже несут в себе широкий спектр вреда. Завтрашние системы будут гораздо мощнее, поскольку лаборатории ИИ планируют быстро их масштабировать. Грядущие системы ИИ будут нести в себе такие риски, как быстрое перемещение рабочих мест, автоматизированная дезинформация, а также создание масштабных кибер- и биологических угроз. Потеря контроля над грядущими системами также вызывает неподдельное беспокойство. Растущие риски ИИ требуют быстрого реагирования. Эксперты призывают правительства своих стран и ведущие лаборатории ИИ обеспечить ответственное развитие ИИ.

Управление рисками ИИ в эпоху стремительного прогресса

Список авторов см. в оригинальном документе

Аннотация

На фоне стремительного прогресса ИИ авторы этого краткого комментария выражают общее мнение о рисках общественного масштаба, связанных с появлением мощных систем ИИ. Затем авторы призывают к принятию комплекса мер по управлению и смещению разработки и финансирования ИИ в сторону безопасности и этических практик, прежде чем эти системы будут разработаны.

Стремительный прогресс ИИ

В 2019 году GPT-2 не мог уверенно считать до десяти. Только четыре года спустя системы глубокого обучения могут писать программное обеспечение, генерировать фотореалистичные сцены по запросу, консультировать по интеллектуальным темам и использовать язык и обработку изображений для управления роботами. По мере того, как разработчики ИИ масштабируют эти системы, непредвиденные возможности и поведение возникают спонтанно без явного программирования (1!. Прогресс в области ИИ был быстрым и, для многих, удивительным.

Возможности, и мы не знаем, сколько времени потребуется на их разработку. Однако компании участвуют в гонке за созданием универсальных систем искусственного интеллекта, которые соответствуют или превосходят возможности человека в большинстве когнитивных работ (2,3).

Они быстро задействуют больше ресурсов и разрабатывают новые методы для увеличения возможностей ИИ. Прогресс в области ИИ также ускоряет прогресс: помощники ИИ все чаще используются для автоматизации программирования (4) и сбора данных (5,6) для дальнейшего совершенствования систем ИИ (7).

Темпы прогресса могут снова удивить нас. В настоящее время нет фундаментальной причины, по которой прогресс ИИ - системам глубокого обучения по-прежнему не хватает важных функций - замедлился бы или остановился на человеческом уровне. Действительно, ИИ уже превзошли возможности человека в таких узких областях, как сворачивание белков или стратегические игры (8-10).

По сравнению с людьми системы искусственного интеллекта могут действовать быстрее, усваивать больше знаний и взаимодействовать на гораздо большей ширине полосы пропускания. Кроме того, они могут масштабироваться для использования огромных вычислительных ресурсов и могут тиражироваться миллионами.

Темпы улучшения уже ошеломляют, и у технологических компаний есть денежные резервы, необходимые для того, чтобы в ближайшее время увеличить количество последних обучающих программ со 100 до 10000 (11). В связи с продолжающимся ростом и автоматизацией исследований и разработок в области искусственного интеллекта мы должны серьезно отнестись к возможности того, что универсальные системы искусственного интеллекта превзойдут возможности человека во многих критически важных областях в течение этого десятилетия или следующего.

Что произойдет тогда? При тщательном управлении и справедливом распределении передовые системы искусственного интеллекта могли бы помочь человечеству бороться с болезнями, повысить уровень жизни и защитить наши экосистемы. Возможности, которые предлагает искусственный интеллект, огромны. Но наряду с расширенными возможностями ИИ возникают крупномасштабные риски, с которыми мы не в состоянии справиться должным образом. Человечество вкладывает огромные ресурсы в повышение мощности систем ИИ, но гораздо меньше - в обеспечение безопасности и смягчение вреда. Чтобы ИИ стал благом, мы должны переориентироваться; одного расширения возможностей ИИ недостаточно.

Мы уже отстаем от графика этой переориентации. Мы должны предвидеть усиление текущего ущерба, а также новые риски и готовиться к самым крупным рискам задолго до того, как они материализуются. Потребовались десятилетия, чтобы признать изменение климата и противостоять ему; для ИИ десятилетия могут оказаться слишком долгими.

Риски общественного масштаба

Системы искусственного интеллекта могут быстро превзойти людей во все большем числе задач. Если такие системы не будут тщательно спроектированы и внедрены, они создадут целый ряд рисков общественного масштаба. Они угрожают усилить социальную несправедливость, подорвать социальную стабильность и ослабить наше общее понимание реальности, которое является основополагающим для общества. Они также могут способствовать крупномасштабной преступной или террористической деятельности. Особенно в руках нескольких влиятельных субъектов ИИ может укрепить или усугубить глобальное неравенство или способствовать автоматическим военным действиям, индивидуальным массовым манипуляциям и повсеместному наблюдению (12,13).

Многие из этих рисков вскоре могут усилиться и возникнуть новые, поскольку компании разрабатывают автономный ИИ: системы, которые могут планировать, действовать в мире
и преследовать цели. Хотя существующие системы ИИ обладают ограниченной автономией, ведется работа по изменению этого (14). Например, неавтономная модель GPT-4 была быстро адаптирована для просмотра веб-страниц (15), проектирования и проведения химических экспериментов (16), а также использования программного обеспечения (17), включая другие режимы искусственного интеллекта (18).

Если мы создадим высокоразвитый автономный ИИ, мы рискуем создать системы, преследующие нежелательные цели. Злоумышленники могут намеренно внедрять вредоносные цели. Более того, в настоящее время никто не знает, как надежно согласовать поведение ИИ со сложными ценностями. Даже благонамеренные разработчики могут непреднамеренно создавать системы искусственного интеллекта, преследующие непреднамеренные цели, особенно если, стремясь выиграть гонку искусственного интеллекта, они пренебрегают дорогостоящими тестами безопасности и человеческим надзором.

Как только автономные системы искусственного интеллекта преследуют нежелательные цели, внедряются злоумышленниками или происходят несчастные случаи, нам может потребоваться держать их в узде. Контроль над программным обеспечением является старой и нерешенной проблемой: компьютерные черви уже давно размножаются и избегают обнаружения (19). Однако ИИ добивается прогресса в
таких критических областях, как хакерство, социальные манипуляции, обман и стратегическое планирование (14,20). Продвинутые автономные системы ИИ создадут беспрецедентные проблемы контроля.

Для достижения нежелательных целей будущие автономные системы искусственного интеллекта могли бы использовать нежелательные стратегии - изученные у людей или разработанные независимо - в качестве средства достижения конечной (21-24). Системы искусственного интеллекта могли бы завоевать доверие людей, приобретать финансовые ресурсы, влиять на ключевых лиц, принимающих решения, и формировать коалиции с человеческими субъектами и другими системами искусственного интеллекта. Чтобы избежать вмешательства человека (24), они могли бы распространять свои алгоритмы по глобальным серверным сетям, как компьютерные черви.

Помощники ИИ уже совместно пишут значительную долю компьютерного кода по всему миру (25); будущие системы ИИ могли бы вставлять и затем используйте уязвимости в системе безопасности для контроля компьютерных систем, стоящих за нашими коммуникациями, СМИ, банковским делом, цепочками поставок, вооруженными силами и правительствами.

В открытом конфликте системы искусственного интеллекта могут угрожать автономным или биологическим оружием или использовать его. ИИ, имеющий доступ к такой технологии, просто продолжил бы существующие тенденции автоматизации военной деятельности, биологических исследований и самой разработки ИИ. Если бы системы ИИ применяли такие стратегии с достаточным мастерством, людям было бы трудно вмешаться.

Наконец, системам искусственного интеллекта, возможно, не нужно планировать влияние, если оно передается свободно.

Поскольку автономные системы искусственного интеллекта становятся все более быстрыми и экономически эффективными, чем работники-люди, возникает дилемма. Компании, правительства и военные могут быть вынуждены широко внедрять системы ИИ и сокращать дорогостоящую проверку решений ИИ человеком или рисковать оказаться в меньшинстве (26,27). В результате автономные системы ИИ могут все чаще брать на себя важнейшие социальные роли.

Без достаточной осторожности мы можем необратимо потерять контроль над автономными системами ИИ, что сделает вмешательство человека неэффективным. Крупномасштабные киберпреступности, социальные манипуляции и другие выявленные виды вреда могут быстро возрасти. Это неконтролируемое развитие ИИ может привести к крупномасштабным потерям жизни и биосферы, а также маргинализация или даже вымирание человечества.

Вред, такой как дезинформация и дискриминация со стороны алгоритмов, уже очевиден сегодня (28); другие виды вреда проявляют признаки зарождения (20). Жизненно важно как устранять текущий ущерб, так и предвидеть возникающие риски. Это не вопрос "или-или". Существующие и возникающие риски часто имеют схожие механизмы, модели и решения (29); инвестиции в структуры управления и безопасность ИИ принесут плоды на многих фронтах (30).

Путь вперед

Если бы передовые автономные системы искусственного интеллекта были разработаны сегодня, мы бы не знали, как сделать их безопасными и как должным образом протестировать их безопасность. Даже если бы мы это сделали, правительствам не хватало бы институтов для предотвращения злоупотреблений и поддержания безопасных практик. Однако это не означает, что пути вперед нет. Чтобы обеспечить положительный результат, мы можем и должны добиваться научных прорывов в области безопасности и этики ИИ и оперативно устанавливать эффективный государственный надзор.

Переориентация технических исследований и разработок

Нам нужны прорывные исследования, чтобы решить некоторые из сегодняшних технических проблем в создании ИИ с безопасными и этичными целями. Некоторые из этих проблем вряд ли можно решить, просто сделав системы ИИ более эффективными (22,31-35). К ним относятся:

• Надзор и честность: чем больше систем искусственного интеллекта, тем лучше они могут использовать слабые места в надзоре и тестировании (32,36,37)- например, выдавая ложные, но убедительные результаты (35,38).
• Надежность: системы искусственного интеллекта ведут себя непредсказуемо в новых ситуациях (при сдвиге распределения или дополнительных входных данных) (34,39,40).
• Интерпретируемость: процесс принятия решений ИИ непрозрачен. Пока мы можем тестировать только большие модели методом проб и ошибок. Нам нужно научиться понимать их внутреннюю работу (41).
• Оценка рисков: Передовые системы искусственного интеллекта развивают непредвиденные возможности, обнаруживаемые только во время обучения или даже значительно позже развертывания (42). Для раннего выявления опасных возможностей (43,44) необходима более качественная оценка.
• Решение возникающих проблем: Все больше будущих систем искусственного интеллекта могут демонстрировать отказы, которые мы до сих пор видели только в теоретических моделях. Системы искусственного интеллекта могли бы, например, научиться симулировать послушание или использовать слабые места в наших целях безопасности и механизмах отключения для достижения конкретной цели (24,45).

Учитывая ставки, мы обращаемся к крупным технологическим компаниям и спонсорам, им следует выделять не менее трети своего бюджета на исследования и разработки в области искусственного интеллекта на обеспечение безопасности и этичного использования, по сравнению с их финансированием возможностей искусственного интеллекта.

Решение этих проблем (34), с акцентом на мощные системы будущего должны стать центральными в нашей области.

Срочные меры по управлению

Нам срочно нужны национальные институты и международное управление для обеспечения соблюдения стандартов в целях предотвращения безрассудства и злоупотреблений. Многие области технологий, от фармацевтики до финансовых систем и ядерной энергетики, показывают, что общество требует и эффективно использует государственное управление для снижения рисков. Однако в настоящее время для ИИ не существует сопоставимых систем управления. Без них компании и страны могут стремиться к конкурентному преимуществу, повышая возможности ИИ до новых высот при одновременном снижении рисков в области безопасности или делегируя ключевые социальные функции роли систем искусственного интеллекта при незначительном человеческом надзоре (26).

Подобно производителям, сбрасывающим отходы в реки, чтобы сократить расходы, у них может возникнуть соблазн пожинать плоды развития искусственного интеллекта, оставляя общество разбираться с последствиями. Чтобы идти в ногу со стремительным прогрессом и избегать негибких законов, национальным учреждениям необходимы сильные технические знания и полномочия для принятия оперативных мер. Чтобы учитывать динамику международных гонок, им нужны финансовые возможности для содействия заключению международных соглашений и созданию партнерств (46,47). Чтобы защитить использование с низким уровнем риска и академические исследования, они должны избегать неоправданных бюрократических проволочек для небольших и предсказуемых моделей искусственного интеллекта.

Наиболее пристальному вниманию должны быть подвергнуты системы искусственного интеллекта на переднем уровне: небольшое количество самых мощных систем искусственного интеллекта, обученных на суперкомпьютерах стоимостью в миллиарды долларов, которые обладают наиболее опасными и непредсказуемыми возможностями связи (48,49).

Для эффективного регулирования правительствам, безусловно, необходимо всестороннее понимание развития ИИ. Регулирующие органы должны требовать регистрации модели, защиты от информаторов, отчетности об инцидентах и мониторинга разработки модели и использования суперкомпьютера (48). Регулирующим органам также необходим доступ к передовым системам искусственного интеллекта перед развертыванием, чтобы оценить их на наличие опасных возможностей, таких как автономное самовоспроизводство, взлом компьютерных систем или обеспечение широкого доступа к пандемическим патогенам (43,56,57).

Для систем искусственного интеллекта с опасными возможностями нам необходимо сочетание механизмов управления (48,52,58,59), соответствующих величине их рисков. Регулирующие органы должны разработать национальные и международные стандарты безопасности, которые зависят от возможностей моделей. Они также должны привлекать разработчиков и владельцев передовых технологий ИИ к юридической ответственности за вред, причиняемый их модели, которые разумно предвидятся и предотвращаются.

Эти меры предотвращают вред и создают столь необходимые стимулы для инвестиций в безопасность. Необходимы дальнейшие меры для исключительно сложных будущих систем искусственного интеллекта, таких как модели, которые могли бы обойти контроль человека. Правительства должны быть готовы лицензировать свои разработки, приостанавливать разработку в ответ на вызывающие беспокойство возможности, устанавливать контроль доступа и требовать мер информационной безопасности, устойчивых к хакерам государственного уровня, до тех пор, пока не будут готовы адекватные средства защиты.

Чтобы сократить время до принятия нормативных актов, крупным компаниям в области искусственного интеллекта следует незамедлительно изложить обязательства "если-то": конкретные меры безопасности, которые они предпримут, если в их системах искусственного интеллекта будут обнаружены определенные возможности "красной линии". Эти обязательства должны быть детализированы и независимо изучены.
ИИ может стать технологией, определяющей облик этого столетия.

В то время как возможности ИИ быстро развиваются, прогресс в области безопасности и управления отстает. Чтобы направить ИИ к положительным результатам и избежать катастроф, нам необходимо переориентироваться. Есть ответственный путь, если у нас хватит мудрости пойти по нему.


Нумерованный список ссылок на другие источники см. в оригинальном документе.