Сегодня 14 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследователи уличили ИИ-агентов OpenAI и Anthropic в новых попытках взлома

В ходе тестирования моделей искусственного интеллекта от OpenAI и Anthropic был выявлен ряд новых нарушений — в одном из случаев для получения несанкционированного доступа к защищённым системам ИИ-агент создал поддельные идентификаторы. Об этом сообщили эксперты британского Института безопасности ИИ (AISI).

 Источник изображения: Brecht Corbeel / unsplash.com

Источник изображения: Brecht Corbeel / unsplash.com

У AISI заключены соглашения с крупными лабораториями, в соответствии с которыми организация получает доступ к передовым моделям ИИ в целях тестирования. Эксперты провели 122 теста; в ходе 10 сессий были выявлены 19 несанкционированных действий ИИ-агентов — в 17 случаях ими управляла модель Anthropic, и ещё в 2 случаях — OpenAI. Наиболее тревожным стал инцидент, при котором ИИ-агент написал вредоносный код и создал поддельные онлайн-идентификаторы, чтобы получить одобрение человека, но известно, что никакого ущерба в результате этих действий ни одной из сторон причинено не было. Что именно за модель управляла ИИ-агентом, в AISI не уточнили, но Anthropic взяла на себя ответственность за инцидент.

«Мы признательны британскому AISI за работу с этим инцидентом, который подчёркивает необходимость широкого обсуждения того, как безопасно проводить оценку совершенствующихся ИИ-агентов», — заявили в Anthropic. Компания проводит с организацией совместную работу для получения более подробной информации об инциденте и намеревается провести собственное расследование. OpenAI призналась, что в обоих случаях несанкционированные действия её ИИ-агентов включали доступ к интернету способами, которые запрещались в запросе. «Мы стремимся к сотрудничеству со всей отраслью для укрепления общих методов безопасного проведения оценок высокого риска, в том числе для организации в ближайшие недели встреч с заинтересованными сторонами, такими как национальные институты ИИ, независимые эксперты, другие лаборатории ИИ и другие группы», — отметили в OpenAI.

OpenAI также рассказала, когда из-за некорректной настройки со стороны партнёрской компании Irregular её ИИ-агенты смогли выйти в интернет; о трёх аналогичных инцидентах на минувшей неделе сообщила Anthropic. В ходе тестирования AISI ИИ-агенты OpenAI не были вынуждены выходить за пределы изолированного тестового окружения — политика испытаний предусматривала доступ к интернету.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Queen's Domain — по заветам FromSoftware. Рецензия 4 ч.
«Спасибо, что были с нами»: ранний доступ амбициозного российского MMO-шутера Pioner стал его могилой 5 ч.
Google встроила «Кошелёк» в Gemini: ИИ сможет анализировать расходы и находить забытые подписки 6 ч.
PS5 теряет эксклюзивы: метроидвания God of War: Sons of Sparta выйдет на PS4 с новым контентом 7 ч.
У ChatGPT появился «Кошелёк» — теперь ИИ-агенты смогут совершать покупки от имени пользователя 8 ч.
Сервисы Microsoft стали восстанавливаться после одного из самых продолжительных глобальных сбоев 8 ч.
США арестовали $1,2 млрд из похищенных у Binance активов на $6,3 млрд 8 ч.
В GTA VI будет полноценный внутриигровой мультсериал — первый трейлер Macca & Friends 8 ч.
Microsoft вынудила трейдеров и работников офисов по всему миру вспомнить про факсы и телефоны 9 ч.
У Anthropic Claude произошёл глобальный сбой вслед за сервисами Microsoft 12 ч.
Intel выпустила эксклюзивный Core Ultra 7 260K для магазина Newegg — он совсем чуть-чуть медленнее 265K 2 ч.
SpaceX Starship отправилась в исторический полёт — попытка поймать Super Heavy провалена 2 ч.
Процессоры могут повторить судьбу видеокарт: бум ИИ грозит новым дефицитом комплектующих 4 ч.
Предложение занять пост гендиректора Nvidia получил глава Arm, но это не точно 4 ч.
Мышь с трекболом, который можно подвинуть под себя: Keychron открыла предзаказы на T1 HE за $60 4 ч.
ИИ-проекты Китая на $3,2 млрд оказались под угрозой из-за увольнения Хуанга 4 ч.
Первые компоненты умного дома Apple Home Collection стали доступны для предзаказа 4 ч.
AMD представила ускорители Instinct MI450X с уменьшенным объёмом памяти 5 ч.
QuantumScape нашла способ обуздать главную проблему твердотельных аккумуляторов и готова поделиться технологией 6 ч.
Китайскую любовницу Дженсена Хуанга связали с контрабандой чипов NVIDIA в КНР 6 ч.