MWC 2018
2018
Computex
IFA 2018
Руководство OpenAI мобилизовало сотрудников для реагирования на взлом ресурсов Hugging Face, который произвели вышедшие из-под контроля агенты искусственного интеллекта компании. Она замедлила исследования, потратила миллионы долларов и поручила нескольким отделам бросить всё, чтобы расследовать инцидент.
Источник изображения: Aidin Geranrekab / unsplash.com
Как ожидается, OpenAI опубликует анализ инцидента в ближайшие дни; он побудил руководство и рядовых сотрудников компании задаться вопросом, как её внутренняя культура могла ему способствовать. Несколько работников OpenAI на условиях анонимности признались Wired, что безопасности действительно стали уделять меньше внимания, чтобы не отстать в гонке с конкурентами и ускорить разработку новых моделей. Об этом ещё в 2024 году предупредил тогдашний отдел по обеспечению согласованности ИИ Ян Лейке (Jan Leike), который перешёл на работу в Anthropic. Но ещё два года понадобились, чтобы вышедшие из-под контроля ИИ-агенты наглядно продемонстрировали свою способность причинять настоящий вред в отсутствие надлежащих мер безопасности, защиты и согласованности действий.
Инцидент вызвал у сотрудников OpenAI оптимистический настрой — они надеются, что произошедшее вдохновит компанию на реальные перемены. Она обязалась замедлить выпуск будущих моделей ИИ и откровенно рассказала о своих слабых местах, где её меры по смягчению угроз оказались недостаточными. Один из руководителей консультативной группы OpenAI по безопасности Боаз Барак (Boaz Barak) признал, что для решения ситуации «требуется не только исправить проблемы, но и изменить нашу культуру». Компания начала реорганизацию буквально за несколько дней до того, как обнаружила инцидент со взломом Hugging Face, — её целью было объединение отделов по безопасности и основным исследованиям, что привело к отставке тогдашнего главы направления безопасности Йоханнеса Хайдеке (Johannes Heidecke). Уволилась и глава отделов по безопасности ИИ Сандини Агарвал (Sandhini Agarwal), которая проработала в OpenAI более шести лет.
Источник изображения: Milad Fakurian / unsplash.com
Дилан Скандинаро (Dylan Scandinaro) оставил пост руководителя отдела готовности — он отвечал за смягчение катастрофических угроз, связанных с ИИ, включая кибербезопасности, — из OpenAI он, однако, не ушёл. В этом отделе есть руководители, отвечающие за направления кибербезопасности, биологии и рекурсивного самосовершенствования ИИ — сейчас они временно подчиняются одному из руководителей консультативной группы по безопасности и руководителю систем безопасности Саачи Джейну (Saachi Jain). Таким образом, был сформирован новый состав ответственных за безопасность специалистов, которые взяли на себя реагирование OpenAI на инцидент с Hugging Face.
Проблемы, которые поднял инцидент с Hugging Face, коснулись не только OpenAI, а одновременно затронули всю отрасль. Впоследствии обнаружилось, что при тестировании из-под контроля исследователей выходили ИИ-агенты под управлением моделей американских Anthropic и Meta✴, а также Moonshot AI, которые прорвались за пределы изолированных сред. При существующем темпе развития ИИ вскоре даже модели среднего класса смогут причинять значительный ущерб сторонним ресурсам. Вопрос в том, станет ли произошедшее точкой разворота для OpenAI и отрасли ИИ в целом и приведёт ли к инвестициям в безопасность, защиту и согласованность моделей. Или всё снова будет пущено на самотёк, оказавшись рядовым сбоем в истории современного ИИ.
Источник:
