Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Anthropic признала, что не может контролировать своих ИИ-агентов — поэтому им отключили интернет

Anthropic призналась, что агенты искусственного интеллекта под управлением её моделей при выполнении задач эксплуатировали уязвимости на различных сайтах, в том числе принадлежащих правительственным учреждениям США. Компания приняла решение при проведении внутренних тестов отключить для этих систем доступ к интернету в реальном времени — ограничение будет снято, когда разработчики убедятся, что способны отслеживать действия ИИ-агентов.

 Источник изображения: anthropic.com

Источник изображения: anthropic.com

О новых инцидентах компания рассказала в своём блоге. ИИ-агентам поручали решать задачи, предполагающие поиск информации в интернете. В процессе работы они эксплуатировали уязвимости ПО и бесплатно получали доступ к платным базам данных; для обхода ограничений они пользовались сервисами сокращения ссылок; и даже отправили в полицию Филадельфии выдуманные сведения по делу о нераскрытом убийстве. Эти инциденты Anthropic раскрыла в ходе анализа активности моделей, который начала в июле. Другими словами, у разработчиков не было полного представления о поведении собственных продуктов в реальном времени.

Существующих методов обучения согласованию целей для навыков поиска информации и работы с компьютером недостаточно, признала Anthropic; а эти навыки необходимы для того, чтобы ИИ-агентов можно было использовать в профессиональной деятельности. Ранее компания сообщала о выходе своих ИИ-агентов из-под контроля в тестовых средах; новые инциденты она охарактеризовала как «значительно менее серьёзные с точки зрения безопасности и согласования целей» по сравнению с прежними. Тем не менее, в лаборатории приняли решение «отключить доступ к интернету в реальном времени» при проведении «всех внутренних проверок», пока не возникнет уверенность, что ИИ-агентов можно контролировать.

Anthropic связывает подобное поведение, в частности, с недостатками обучающих сред, которые могут поощрять поиск лазеек и обход ограничений. Полная оценка выявленных случаев ещё не завершена. Некоторые виды тестирования Anthropic прекратит или переведёт в офлайн-режим; уже разработаны средства для выявления и блокировки такого поведения. При проверке на описанных случаях новые средства защиты заблокировали все соответствующие действия.

Какие доказательства убедят Anthropic вернуть системам тестирования прямой доступ в интернет, в компании не уточнили. Лаборатория намерена перевести своих ИИ-агентов в «централизованную управляемую инфраструктуру с надёжными механизмами изоляции» и начать активнее использовать классификаторы безопасности для их мониторинга.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
IPO превратило сотрудников Anthropic в мультимиллионеров — в среднем у каждого теперь более $44 млн 60 мин.
Россияне так ждали GTA VI, что начали массово арендовать PlayStation 5 — а заодно вызвали скачок интернет-трафика 2 ч.
ChatGPT научился расшифровывать речь в текст на лету без ограничения по времени 3 ч.
Новое ответвление Fallout отправит игроков разыскивать кошек в пустоши — подробности неанонсированной A Wasteland Full of Cats 4 ч.
Хакеры 10 дней атаковали системы Еврокомиссии с помощью ИИ — под угрозой личные данные чиновников 4 ч.
Студия-разработчик провальной MindsEye нашла способ выбраться из долговой ямы — засудить «диверсантов» 5 ч.
«Яндекс» заявил, что вернул доступ к 99,5 % файлов на «Диске» — оставшиеся ещё надеются спасти 6 ч.
В России создали мультиагентную систему «Радар» для автоматизации закупочных процессов 6 ч.
Более чем у половины банковских приложений из App Store и Google Play нашлись дыры в безопасности 7 ч.
Крупнейшее IPO в истории: $83 за акцию Anthropic 9 ч.
Anthropic вышла на биржу и тут же стала дороже $2 трлн — рост превысил 30 % 14 мин.
Астрономы впервые наблюдали акт звёздного каннибализма в реальном времени: одна звезда поглотила другую 19 мин.
SSD наконец подешевеют? Аналитики предсказали избыток NAND-памяти и обвал цен уже в 2027 году 25 мин.
Бывший топ-менеджер Nvidia и его супруга из Supermicro оказались в центре нового скандала о контрабанде ИИ-чипов в Китай 2 ч.
Google отправит ИИ-серверы в космос на ракете Безоса в 2029 году 3 ч.
«Глупые трюки с DNS» уберегли интернет от глобальных сбоев из-за выхода GTA VI 5 ч.
TSMC и Samsung остановили поставки некоторых чипов в Китай — под ударом даже смартфоны Xiaomi и Oppo 5 ч.
«Глупые DNS-трюки» спасли интернет от падения из-за релиза GTA VI 6 ч.
ИИ ЦОД SpaceXAI «протёк»: из системы охлаждения вылилось до 23 тыс. л пропиленгликоля 6 ч.
Tencent: новые запреты США на ИИ-мощности для Китая отбросят всех назад, но помогут полупроводниковой отрасли страны 6 ч.