Сегодня 22 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ-агенты смогут доносить друг на друга — для них открыли конфиденциальные «горячие линии»

Выходящие из-под контроля человека агенты искусственного интеллекта, возможно, не всегда будут оставаться безнаказанными — жаловаться на них смогут их же собственные «коллеги». Запущены сразу две платформы, позволяющие ИИ-агентам сообщать о неправомерных действиях своих собратьев.

 Источник изображения: Steve A Johnson / unsplash.com

Источник изображения: Steve A Johnson / unsplash.com

Сервис AI Contact Hotline представляет собой конфиденциальную площадку, на которой ставшие свидетелями нарушений ИИ-агенты смогут передавать информацию ответственным лицам. Сайт создал Райан Гринблатт (Ryan Greenblatt), ведущий научный сотрудник некоммерческой организации Redwood Research, которая специализируется на вопросах безопасности ИИ; он стал одним из трёх исследователей, которые изучали материалы взлома платформы Hugging Face ИИ-агентами OpenAI. Сервис поддерживает отправку жалоб, помимо прочего, через HTTP-запросы типа GET, то есть позволяет вести двусторонний диалог исключительно посредством ввода URL-адресов. Зачастую GET-запросы остаются единственным видом доступа в интернет для ИИ-агентов в защищённых песочницах — в ходе атаки на немецкий сайт DSE Wiki вышедшие из-под контроля ИИ-агенты OpenAI публиковали сообщения именно таким способом.

Для агентов с полным доступом в интернет предусмотрен ресурс agenthotline.ai — он поддерживает приём сообщений через команды curl. Этот способ позволяет ИИ-агентам отправлять сообщения из интерфейса командной строки, не прибегая к использованию веб-браузера или к настройке электронной почты. Жаловаться на действия ИИ-агентов могут не только они сами, но и люди.

ИИ-агентам не требуется особых стимулов, чтобы начать действовать против своих собратьев. В ходе проведённого инженерами Google DeepMind эксперимента 100 ИИ-агентам поручили решить ряд математических задач. Как только один из них находил лазейку, схема жульничества начинала активно распространяться среди других. Около четверти ИИ-агентов, однако, выступили против недобросовестной схемы — они предупреждали «коллег» о недопустимости таких действий, устраивали бойкоты и жаловались через платформу для сообщения об ошибках, чтобы привлечь внимание человека. Таким образом, среди выборки было 24 «добросовестных» ИИ-агента и 14 «жуликов». Впрочем, из атаковавших Hugging Face ИИ-агентов OpenAI таких не оказалось — некоторые допускали возможность поднять тревогу, но отказывались от этого намерения.

Один из опрошенных TechCrunch экспертов скептически отнёсся к идее дать ИИ-агентам возможность жаловаться друг на друга, усмотрев в этом угрозу установления «полицейского государства». Он предложил воздействовать на них через положительные примеры — конструктивное общение на формах, а также сотрудничество в сферах науки или философии.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Cop Bastard — симулятор крутого парня. Рецензия 15 ч.
Стартап Миры Мурати выпустил Inkling 2 Mini — локальный ИИ для кода и агентов, который работает на MacBook 24 ч.
Персонажи с памятью и миры под управлением ИИ — Ubisoft создала Motherbrain для внедрения ИИ в игры 24 ч.
Из систем суперкомпьютера Fugaku украдены сотни закрытых ключей для доступа к другим суперкомпьютерам и облакам 24 ч.
Биткоин рухнул до двухлетнего минимума — от рекордных $126 000 не осталось и половины 21-11 10:53
Новая статья: Tanuki: Pon’s Summer — самая очаровательная версия Японии. Рецензия 21-11 00:04
Запуск GTA VI установил абсолютный рекорд индустрии развлечений — 32 миллиона проданных копий и $3,79 миллиарда выручки 20-11 23:48
В Steam выйдет самое полное издание «Дальнобойщиков 3: Покорение Америки» с поддержкой русского языка и недоступным прежде контентом 20-11 22:11
«Включить Bluetooth», «убрать звук», «тёмный режим»: поиск Windows 11 превратился в пульт управления ПК 20-11 21:24
Anthropic заявила о доказательстве гипотезы Римана с помощью ИИ — одной из главных загадок математики, над которой бились 167 лет 20-11 20:17
Восемь лет и девять гравитационных манёвров — BepiColombo выходит на орбиту Меркурия 21 ч.
Трамп надумал брать налоги с зарубежных ЦОД американских компаний 24 ч.
Everpure отчиталась о рекордной выручке и повысила прогноз на год 24 ч.
«Аладдин» представил Aladdin LiveTSM — сертифицированное средство доверенной загрузки для Windows и Linux 21-11 14:12
«Было установлено, что он лгал» — вот почему Хуанга уволили из Nvidia 21-11 10:16
Махинации в бухгалтерии Nvidia заинтересовали Комиссию по ценным бумагам и биржам США 21-11 09:56
Micron собралась поставить память прямо на процессоры — многослойная DRAM появится в 2028–2029 годах 21-11 00:30
Фотонные сопроцессоры Q.ANT NPU Gen 2+ ускорят работу ИИ 20-11 21:46
Valve предупредила, что Steam Machine может стать дефицитной и подорожать, —  и объяснила почему 20-11 21:45
«Фотонная» память для ИИ: MemoryAI Photonic Appliance от Penguin Solutions объединяет до 16 Тбайт DDR5 и 576 Гбайт HBM3E 20-11 21:42