OpenAI распустила AGI Readiness — ещё один отдел безопасности ИИ

OpenAI распустила отдел AGI Readiness — он консультировал компанию по вопросам её способности справляться с новыми системами искусственного интеллекта, которые становятся всё более мощными, а также готовности мира управлять этой технологией.

Старший консультант AGI Readiness Майлз Брандейдж (Miles Brundage) сообщил о своём уходе на платформе Substack. Основными причинами этого шага он назвал слишком высокие скрытые издержки, более высокую эффективность его исследований вне компании, желание быть менее предвзятым и то, что в OpenAI он достиг всего, что намеревался. Сильный ИИ (AGI) — гипотетическая система, сравнима с уровнем человека или превосходящая его; одни эксперты уверены, что человечество приблизилось к её созданию, другие считают, что это вообще невозможно. По мнению господина Брандейджа, к этому не готова ни OpenAI или любая другая передовая компания, ни весь мир — эксперт заявил, что намеревается создать собственную некоммерческую организацию или устроиться в уже существующую, чтобы заняться исследованиями и пропагандой политики в области ИИ. Его бывших подчинённых из AGI Readiness переведут в другие отделы OpenAI.

В прошлом году OpenAI сформировала отдел Superalignment — он занимался исследованиями в области «научных и технических прорывов для управления и контроля систем ИИ, которые намного умнее нас», чтобы не дать им «выйти из-под контроля». Компания обещала в течение четырёх лет выделить на нужды отдела 20 % своих вычислительных мощностей. Но уже через год, в мае этого года, он прекратил работу, а его руководители, соучредители OpenAI Илья Суцкевер (Ilya Sutskever) и Ян Лейке (Jan Leike), заявили об уходе из компании. «Создание машин, которые умнее человека — изначально опасное начинание. OpenAI берет на себя огромную ответственность от имени всего человечества. Но за последние годы культура и процессы безопасности отошли на второй план по сравнению с блестящими продуктами», — заявил тогда Лейке.

В конце сентября в один и тот же день об уходе из OpenAI объявили технический директор Мира Мурати (Mira Murati), руководитель направления исследований Боб Макгрю (Bob McGrew) и вице-президент по исследованиям Баррет Зоф (Barret Zoph).