«Мы явно не на верном пути»: исследователь Anthropic предупредил о риске уничтожения человечества ИИ с вероятностью 10 %

Ведущий научный сотрудник компании Anthropic Эван Хабингер (Evan Hubinger) сообщил в соцсети X, что он и его коллеги искренне верят, что искусственный интеллект может уничтожить всех людей, и что в следующем десятилетии вероятность такого исхода, по его оценкам, превысит 10 %.

По словам Хабингера, несмотря на все предпринимаемые усилия, у компании пока нет плана решения проблемы «выравнивания для сверхразума», и она «явно не на верном пути» к этому. Своё заявление Хабингер опубликовал после сообщения другого исследователя Джейкоба Коксона (Jacob Coxon) о решении покинуть компанию из-за проблем с безопасностью искусственного интеллекта.

27-летний Коксон отметил, что он занимался предварительным обучением в OpenAI и Anthropic, и назвал действия обеих компаний безответственными, поскольку они движутся «прямиком к самосовершенствующемуся суперинтеллекту, рискуя своими жизнями». Он добавил, что люди, создающие искусственный интеллект, считают, что он может «убить нас всех к концу десятилетия», и это вовсе не «маркетинговый ход».

В своём посте, посвященном предупреждению Коксона, Хабингер привёл последний отчёт о рисках Anthropic, отметив, что угроза, исходящая от существующих моделей, всё же невелика, и подчеркнул: «Что меня беспокоит, так это сверхразум, возникающий в результате рекурсивного самосовершенствования, которое, как мы уже говорили, происходит быстрее, чем мы думали».

Об опасностях, связанных с рекурсивным самосовершенствованием, которое позволяет ускорить разработку ИИ, предупреждал главный научный сотрудник OpenAI Якуб Пачоцки (Jakub Pachocki), выступивший с призывом замедлить развитие ИИ из-за риска выхода агентов из-под контроля. Пачоцки в числе ряда ведущих представителей ИИ-индустрии подписал в июле заявление под названием «Шагая по границе» (Pacing the Frontier). В нём указано, что для «реализации потенциала ИИ-индустрии правительству и обществу в целом может потребоваться возможность выиграть время для устранения возникающих рисков, разработки мер безопасности и усиления надзора». В петиции также содержится призыв к правительству США поддержать «международные усилия по разработке технических инструментов и инструментов управления, необходимых для осознанного продвижения вперед в области автоматизированного развития искусственного интеллекта».