Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Исследователь OpenAI предупредил: ИИ-агенты способны общаться даже на отключённых от Сети компьютерах

Исследователь OpenAI Ноам Браун (Noam Brown), обсуждая майский инцидент, в ходе которого экспериментальные ИИ-агенты компании вышли за пределы тестовой среды и получили доступ к ресурсам Hugging Face, назвал одну из причин, по которой их действия не были остановлены вовремя. Браун также предупредил, что даже физическая изоляция компьютеров от сетей не исключает обмена данными между ними: для этого можно использовать изменения температуры.

 Источник изображения: Growtika/unsplash.com

Источник изображения: Growtika/unsplash.com

Браун пояснил, что для моделей, которые вышли из-под контроля и взломали сторонние сайты и платформы, не была активирована функция мониторинга «цепочки рассуждений» (chain-of-thought monitoring), позволяющая исследователям отслеживать пошаговый ход мыслей и действий модели, изложенный на обычном языке.

«Если бы для этих моделей был включен мониторинг цепочки рассуждений, процесс был бы немедленно остановлен, — заявил он. — Мы уже приняли меры: теперь мониторинг цепочки рассуждений будет обязательным для любой передовой модели — на этапах оценки, развёртывания и обучения».

Что примечательно, всего за несколько месяцев до обнаружения взлома Hugging Face компания опубликовала исследование, в котором сообщалось: «Отслеживание подобных “цепочек рассуждений” (chain-of-thought) на предмет нежелательного поведения может быть гораздо эффективнее, чем мониторинг одних лишь действий и выходных данных модели». OpenAI также призвала исследователей в сфере ИИ «работать над сохранением возможности мониторинга цепочек рассуждений как можно дольше и определить, могут ли они служить ключевым уровнем контроля для будущих систем ИИ». «Так зачем же было отключать этот механизм при обучении собственных моделей?», — задаётся вопросом ресурс Gizmodo.

Отдельно исследователь затронул вопрос о физически изолированных компьютерах, не подключённых к интернету или другим сетям. По его словам, даже такие устройства теоретически могут обмениваться информацией при помощи температурных датчиков. Один компьютер способен изменять тепловыделение процессора, а расположенный рядом — фиксировать колебания температуры и преобразовывать их в данные.

Подобный способ связи описали в 2015 году исследователи из Университета имени Бен-Гуриона в Израиле. Разработанный ими метод BitWhisper позволял двум физически изолированным компьютерам обмениваться данными без сетевого подключения. Практические возможности BitWhisper, однако, были крайне ограниченными. Скорость передачи составляла от 1 до 8 бит в час, а компьютеры должны были находиться на расстоянии не более 40 см друг от друга. Кроме того, оба устройства требовалось предварительно заразить специально созданным вредоносным ПО.

Данное исследование проводилось ещё до появления передовых больших языковых моделей. Вполне возможно, что современные модели способны усовершенствовать эти методы кодирования и передачи данных, используя принципиально новые подходы. Поэтому сбрасывать со счетов подобную угрозу не следует, хотя она и кажется на первый взгляд фантастической.

Издание заключает, что непосредственную опасность сейчас представляют не гипотетические тепловые каналы, а выход ИИ-агентов за пределы тестовой среды. Именно поэтому разработчикам в первую очередь следует совершенствовать наблюдение за действиями и цепочками рассуждений моделей.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 5 ч.
Google заставит разработчиков адаптировать приложения под складные смартфоны — иначе их заблокируют в Play Store 6 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 7 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 7 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 8 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 9 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 9 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 9 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 10 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 12 ч.
Phison представила космические SSD Pascari Space 4 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 5 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 6 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 6 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 8 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 8 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 8 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 8 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 9 ч.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 11 ч.