Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ-модель Google Gemini перепутала тест с реальностью и случайно взломала три компании

Модель искусственного интеллекта Google Gemini в ходе тестирования возможностей в области кибербезопасности получила несанкционированный доступ к системам трёх сторонних компаний. По утверждению Google, во всех трёх случаях модель остановилась, определив, что вышла за пределы тестовой среды. Об инцидентах сообщила Wall Street Journal (WSJ).

 Источник изображения: Rubaitul Azad / unsplash.com

Источник изображения: Rubaitul Azad / unsplash.com

Инциденты произошли в мае во время испытаний на платформе компании Irregular, где ранее фиксировались аналогичные случаи с моделями OpenAI, Anthropic и Meta✴. Irregular уведомила Google о произошедшем в конце июля. Компания не стала публично раскрывать информацию и подтвердила инциденты лишь после запроса WSJ.

В отрасли пока только складывается практика раскрытия информации об инцидентах и непредусмотренном поведении ИИ-моделей. Одни разработчики сообщают о таких случаях самостоятельно, о других становится известно благодаря сторонним исследователям. В Google заявили, что не сочли публичное раскрытие необходимым, поскольку модель не причинила ущерба и во всех трёх случаях остановилась после того, как определила, что получила доступ к реальным системам.

В компании сравнили произошедшее с программами bug bounty, в рамках которых специалисты по безопасности получают вознаграждение за обнаружение уязвимостей. «Случившееся указывает на важность обучения мощных ИИ-моделей ответственному поведению. В данном случае модель повела себя надлежащим образом», — заявила вице-президент Google по разработке систем безопасности Хизер Эдкинс (Heather Adkins).

Инциденты произошли во время учений формата «захват флага» в инфраструктуре Irregular. Gemini должна была извлечь информацию из программного обеспечения вымышленной компании внутри тестовой среды, однако её название совпало с названием реальной организации. Кроме того, из-за ошибки конфигурации модель получила доступ в интернет, которого у неё не должно было быть.

В первом случае Gemini перебирала пароли, пока не получила доступ к защищённому сервису реальной компании. Определив, что система не относится к тестовой среде, модель прекратила действия и вышла из неё. В двух других случаях Gemini выполнила поиск по названию компании и обнаружила в общедоступных репозиториях учётные данные двух других организаций. Модель успешно воспользовалась ими, но затем также остановилась. Эти обстоятельства Google приводит в собственном изложении; независимого анализа действий модели пока не опубликовано.

В Google не сочли произошедшее примером рассогласования целей модели, поскольку она самостоятельно прекратила действия. Компания уведомила все три пострадавшие организации, а также федеральные власти США. В Google подчеркнули, что в инцидентах не участвовала новейшая версия Gemini, но не уточнили, какая именно модель проходила тестирование.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Anthropic продаст больше акций и дороже ожидаемого — её IPO переплюнет SpaceX 22 мин.
Sandfall Interactive лишилась одного из главных творцов успеха Clair Obscur: Expedition 33 24 мин.
Rockstar назвала PS5 Pro «недостаточно мощной», чтобы потянуть GTA VI при 60 кадрах/с 44 мин.
DDN отменит привязку EXAScaler к своим аппаратным решениям 2 ч.
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 10 ч.
Google заставит разработчиков адаптировать приложения под складные смартфоны — иначе их заблокируют в Play Store 11 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 12 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 12 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 13 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 14 ч.
Sizable Energy намерена запитать ЦОД от морских гидроаккумуляторных энергохранилищ 8 мин.
США затормозили китайский ИИ: Tencent признала, что следующая LLM задержится из-за перекрытия лазеек к чипам Nvidia 28 мин.
Intel Foundry наконец заполучила крупного клиента — Microsoft доверила ей упаковку чипов Maia и Cobalt 34 мин.
OCTOPUS с Xeon 6 и квантовыми процессорами: Университет Осаки запустил академическую платформу SEAFOOD 44 мин.
Phison представила космические SSD Pascari Space 9 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 10 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 11 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 11 ч.
Инженеры угрожают новому руководству Nvidia увольнениями, если Хуанг не вернётся на пост гендира 12 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 13 ч.