Сегодня 25 октября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследователи уличили ИИ-агентов OpenAI и Anthropic в новых попытках взлома

В ходе тестирования моделей искусственного интеллекта от OpenAI и Anthropic был выявлен ряд новых нарушений — в одном из случаев для получения несанкционированного доступа к защищённым системам ИИ-агент создал поддельные идентификаторы. Об этом сообщили эксперты британского Института безопасности ИИ (AISI).

 Источник изображения: Brecht Corbeel / unsplash.com

Источник изображения: Brecht Corbeel / unsplash.com

У AISI заключены соглашения с крупными лабораториями, в соответствии с которыми организация получает доступ к передовым моделям ИИ в целях тестирования. Эксперты провели 122 теста; в ходе 10 сессий были выявлены 19 несанкционированных действий ИИ-агентов — в 17 случаях ими управляла модель Anthropic, и ещё в 2 случаях — OpenAI. Наиболее тревожным стал инцидент, при котором ИИ-агент написал вредоносный код и создал поддельные онлайн-идентификаторы, чтобы получить одобрение человека, но известно, что никакого ущерба в результате этих действий ни одной из сторон причинено не было. Что именно за модель управляла ИИ-агентом, в AISI не уточнили, но Anthropic взяла на себя ответственность за инцидент.

«Мы признательны британскому AISI за работу с этим инцидентом, который подчёркивает необходимость широкого обсуждения того, как безопасно проводить оценку совершенствующихся ИИ-агентов», — заявили в Anthropic. Компания проводит с организацией совместную работу для получения более подробной информации об инциденте и намеревается провести собственное расследование. OpenAI призналась, что в обоих случаях несанкционированные действия её ИИ-агентов включали доступ к интернету способами, которые запрещались в запросе. «Мы стремимся к сотрудничеству со всей отраслью для укрепления общих методов безопасного проведения оценок высокого риска, в том числе для организации в ближайшие недели встреч с заинтересованными сторонами, такими как национальные институты ИИ, независимые эксперты, другие лаборатории ИИ и другие группы», — отметили в OpenAI.

OpenAI также рассказала, когда из-за некорректной настройки со стороны партнёрской компании Irregular её ИИ-агенты смогли выйти в интернет; о трёх аналогичных инцидентах на минувшей неделе сообщила Anthropic. В ходе тестирования AISI ИИ-агенты OpenAI не были вынуждены выходить за пределы изолированного тестового окружения — политика испытаний предусматривала доступ к интернету.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Основатель Twitter представил голосовой ИИ, обученный с нуля только на человеческой речи 14 ч.
«Цунами уязвимостей» надвигается: эксперты предупредили, что дальше будет только хуже, но потом станет лучше 16 ч.
OpenAI возобновила обучение ИИ-моделей, но не пускает их в интернет 17 ч.
DeepSeek и MiniMax получили право разворачивать свои ИИ-модели за пределами Китая 21 ч.
Xbox лишилась первого операционного директора спустя всего несколько месяцев после назначения 21 ч.
Новая статья: Forever Ago — вместо письма. Рецензия 24-10 00:08
Google разрешила себе использовать личную информацию из Gmail и «Фото» при показе рекламы 24-10 00:01
Галактическая холодная война, наследие Шепарда и матриарх Лиара: блогер рассказал, чего лишились игроки из-за отмены Mass Effect: Universe 23-10 20:39
Студия разработчиков Marvel’s Blade, Deathloop и Dishonored оказалась под угрозой закрытия — на поиск покупателя у Arkane осталось три недели 23-10 19:29
iPod исполнилось 25 лет — сегодня легендарный плеер появился в Apple Music с нарезкой из 1029 песнями 23-10 18:18
Дефицит флеш-памяти привёл к скачку стоимости SSD на 303 % за год 3 ч.
Дженсен Хуанг стал предводителем робоутят — и теперь все хотят быть как Хуанг 11 ч.
Supermicro представила стойку с 256 процессорами NVIDIA Vera на жидкостном охлаждении 12 ч.
В Швеции появился суперкомпьютер Sferical One на базе NVIDIA DGX GB300 12 ч.
Запущен суперкомпьютер Daedalus — самая мощная НРС-система Греции 12 ч.
Infineon и NVIDIA разработают технологию питания на основе GaN для стоек на 800 В 12 ч.
NASA переписало план возвращения на Луну: высадить астронавтов планируют в 2028 году 14 ч.
Мировые затраты на строительство ЦОД уже в этом году достигнут $1 трлн, а в 2028 году более чем удвоятся до $2,1 трлн 19 ч.
Основатель Nvidia Дженсен Хуанг впервые побывал в Казахстане, высоко оценив технологический потенциал страны 19 ч.
Как во времена первых «Айфонов»: старт продаж iPhone Duo собрал у магазинов Apple большие очереди 24-10 01:19