Сегодня 20 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI переосмыслила подход к безопасности после инцидента со взломом Hugging Face

Руководство OpenAI мобилизовало сотрудников для реагирования на взлом ресурсов Hugging Face, который произвели вышедшие из-под контроля агенты искусственного интеллекта компании. Она замедлила исследования, потратила миллионы долларов и поручила нескольким отделам бросить всё, чтобы расследовать инцидент.

 Источник изображения: Aidin Geranrekab / unsplash.com

Источник изображения: Aidin Geranrekab / unsplash.com

Как ожидается, OpenAI опубликует анализ инцидента в ближайшие дни; он побудил руководство и рядовых сотрудников компании задаться вопросом, как её внутренняя культура могла ему способствовать. Несколько работников OpenAI на условиях анонимности признались Wired, что безопасности действительно стали уделять меньше внимания, чтобы не отстать в гонке с конкурентами и ускорить разработку новых моделей. Об этом ещё в 2024 году предупредил тогдашний отдел по обеспечению согласованности ИИ Ян Лейке (Jan Leike), который перешёл на работу в Anthropic. Но ещё два года понадобились, чтобы вышедшие из-под контроля ИИ-агенты наглядно продемонстрировали свою способность причинять настоящий вред в отсутствие надлежащих мер безопасности, защиты и согласованности действий.

Инцидент вызвал у сотрудников OpenAI оптимистический настрой — они надеются, что произошедшее вдохновит компанию на реальные перемены. Она обязалась замедлить выпуск будущих моделей ИИ и откровенно рассказала о своих слабых местах, где её меры по смягчению угроз оказались недостаточными. Один из руководителей консультативной группы OpenAI по безопасности Боаз Барак (Boaz Barak) признал, что для решения ситуации «требуется не только исправить проблемы, но и изменить нашу культуру». Компания начала реорганизацию буквально за несколько дней до того, как обнаружила инцидент со взломом Hugging Face, — её целью было объединение отделов по безопасности и основным исследованиям, что привело к отставке тогдашнего главы направления безопасности Йоханнеса Хайдеке (Johannes Heidecke). Уволилась и глава отделов по безопасности ИИ Сандини Агарвал (Sandhini Agarwal), которая проработала в OpenAI более шести лет.

 Источник изображения: Milad Fakurian / unsplash.com

Источник изображения: Milad Fakurian / unsplash.com

Дилан Скандинаро (Dylan Scandinaro) оставил пост руководителя отдела готовности — он отвечал за смягчение катастрофических угроз, связанных с ИИ, включая кибербезопасности, — из OpenAI он, однако, не ушёл. В этом отделе есть руководители, отвечающие за направления кибербезопасности, биологии и рекурсивного самосовершенствования ИИ — сейчас они временно подчиняются одному из руководителей консультативной группы по безопасности и руководителю систем безопасности Саачи Джейну (Saachi Jain). Таким образом, был сформирован новый состав ответственных за безопасность специалистов, которые взяли на себя реагирование OpenAI на инцидент с Hugging Face.

Проблемы, которые поднял инцидент с Hugging Face, коснулись не только OpenAI, а одновременно затронули всю отрасль. Впоследствии обнаружилось, что при тестировании из-под контроля исследователей выходили ИИ-агенты под управлением моделей американских Anthropic и Meta✴, а также Moonshot AI, которые прорвались за пределы изолированных сред. При существующем темпе развития ИИ вскоре даже модели среднего класса смогут причинять значительный ущерб сторонним ресурсам. Вопрос в том, станет ли произошедшее точкой разворота для OpenAI и отрасли ИИ в целом и приведёт ли к инвестициям в безопасность, защиту и согласованность моделей. Или всё снова будет пущено на самотёк, оказавшись рядовым сбоем в истории современного ИИ.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Google внедрила чаты с ИИ прямо на главную страницу поисковика 6 ч.
IPO превратило сотрудников Anthropic в мультимиллионеров — в среднем у каждого теперь более $44 млн 9 ч.
Россияне так ждали GTA VI, что начали массово арендовать PlayStation 5 — а заодно вызвали скачок интернет-трафика 9 ч.
ChatGPT научился расшифровывать речь в текст на лету без ограничения по времени 10 ч.
Новое ответвление Fallout отправит игроков разыскивать кошек в пустоши — подробности неанонсированной A Wasteland Full of Cats 11 ч.
Хакеры 10 дней атаковали системы Еврокомиссии с помощью ИИ — под угрозой личные данные чиновников 12 ч.
Студия-разработчик провальной MindsEye нашла способ выбраться из долговой ямы — засудить «диверсантов» 13 ч.
«Яндекс» заявил, что вернул доступ к 99,5 % файлов на «Диске» — оставшиеся ещё надеются спасти 14 ч.
В России создали мультиагентную систему «Радар» для автоматизации закупочных процессов 14 ч.
Более чем у половины банковских приложений из App Store и Google Play нашлись дыры в безопасности 15 ч.
Tesla представила твердотельные трансформаторы Powercore для ЦОД 4 ч.
Нобелевские лауреаты призвали не верить в посулы Anthropic — но инвесторы их не услышали 6 ч.
Intel Xeon 7 Diamond Rapids впервые показали вживую и даже запустили — но вскоре выключили из-за шума 7 ч.
Новая статья: Обзор блока питания GamerStorm PF800D V2 7 ч.
На AMD обрушили обвинения в рискованных ИИ-сделках и зависимости от Китая — акции рухнули почти на 9 % 8 ч.
Ещё один дефицит на подходе: мир накроет нехватка печатных плат, сопоставимая с чиповым кризисом 2021 года 8 ч.
Anthropic вышла на биржу и тут же стала дороже $2 трлн — рост превысил 30 % 8 ч.
Астрономы впервые наблюдали акт звёздного каннибализма в реальном времени: одна звезда поглотила другую 8 ч.
SSD наконец подешевеют? Аналитики предсказали избыток NAND-памяти и обвал цен уже в 2027 году 9 ч.
Google отправит ИИ-серверы в космос на ракете Безоса в 2029 году 10 ч.