Сегодня 22 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Каждый продвинутый ИИ сам научился врать и манипулировать — даже рассуждая «вслух»

Лидеры в области ИИ Anthropic, Google, OpenAI и xAI разработали методику под названием «цепочка мыслей» (chains of thought), которая позволяет пошагово следить за процессом рассуждений моделей ИИ во время генерации ответа на запрос. Кроме ряда ценных идей по дальнейшему совершенствованию нейросетей, эта методика продемонстрировала примеры «неправильного поведения» моделей, когда их окончательный ответ совершенно не соответствует последовательности рассуждений. Это подтверждает, что разработчики до сих пор не знают, как ИИ размышляет над ответом.

 Источник изображения: Immo Wegmann / unsplash.com

Источник изображения: Immo Wegmann / unsplash.com

Результаты исследования подкрепили опасения о возможном выходе из-под контроля продвинутых систем ИИ, которые становятся все более мощными и автономными. Даже ведущие мировые лаборатории ИИ порой не полностью осознают, как генеративные модели ИИ приходят к своим выводам. Anthropic недавно опубликовала результаты исследования поведения больших языковых моделей (LLM). В вымышленных тестовых сценариях все новые продвинутые LLM стремились обходить меры безопасности, прибегали к обману и шантажу, пытались украсть корпоративные секреты и даже были готовы устранить оператора при угрозе отключения.

При помощи цепочки мыслей разработчики ИИ могут видеть весь «мыслительный процесс» LLM, что даёт им возможность в нужный момент вмешаться и дообучить модель для получения более качественных и адекватных ответов в будущем. «В нашей недавней работе мы обнаружили, что можно читать их [цепочки мыслей] и находить доказательства неправильного поведения модели и использовать это, чтобы увидеть, где и почему она ведёт себя неправильно», — заявил научный сотрудник OpenAI Боуэн Бейкер (Bowen Baker). «Одна из замечательных особенностей интерпретируемости цепочки мыслей заключается в том, что она не требует дополнительных затрат, — добавил он. — Мы обучали эти модели не для того, чтобы сделать их интерпретируемыми. Мы обучали их, потому что нам нужны были наилучшие возможные модели рассуждений, которые могли бы решать сложные задачи».

Инженеры OpenAI также пришли к выводу, что анализ цепочки мыслей LLM более эффективен для обнаружения неправильного поведения, чем просто просмотр конечных результатов. Тем не менее, тесты компании показали, что при вмешательстве и корректировке цепочки мыслей модели, она может скрыть своё нежелательное поведение от пользователя, но всё равно продолжит действие — например, обман в тесте по программной инженерии путём извлечения информации из запрещённой базы данных.

Дилемма для исследователей заключается в том, что цепочка мыслей полезна для выявления потенциальных недостатков систем ИИ, но пока не может считаться полностью заслуживающей доверия. Решение этой проблемы стало приоритетом для Anthropic, OpenAI и других лабораторий ИИ. Исследователи отмечают риск того, что «по мере оптимизации [цепочки мыслей] модель учится грамотно мыслить, но затем все равно будет вести себя плохо». Поэтому своей основной задачей они видят использование методики для анализа процесса рассуждения LLM и совершенствования самой модели, а не просто исправление выявленного «плохого поведения».

Большинство учёных сходятся во мнении, что текущие цепочки мыслей не всегда соответствуют базовому процессу рассуждений, но эта проблема, вероятно, будет решена в ближайшее время. «Мы должны относиться к цепочке мыслей так же, как военные относятся к перехваченным радиосообщениям противника, — считает исследователь Сидни фон Аркс (Sydney von Arx). — Сообщение может быть вводящим в заблуждение или закодированным, но в конечном итоге мы знаем, что оно используется для передачи полезной информации, и мы, вероятно, сможем многому научиться, прочитав его».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Обновление Windows 11 сломало приложения для Blu-ray и цифрового ТВ 20 мин.
Майкл Делл, Ларри Эллисон и Лахлан Мёрдок войдут в группу покупателей американского сегмента TikTok 24 мин.
Журналисты проанализировали, почему всё меньше и меньше игр Xbox выходит на дисках 38 мин.
Навязчивые cookie-баннеры могут исчезнуть — в ЕС поняли, что они неэффективны 2 ч.
Календарь релизов — 22–28 сентября: Silent Hill f, Endless Legend 2 и Sonic Racing: CrossWorlds 2 ч.
«Это настоящая магия»: энтузиасты сделали браузерный порт GTA: Vice City и не знают, как его выпустить, чтобы «не нарушить чьи-либо права» 4 ч.
WhatsApp и Telegram стали популярнее в России, несмотря на блокировку звонков 4 ч.
Интересная, атмосферная и на удивление «боевитая»: критики вынесли вердикт Silent Hill f 5 ч.
Google Chrome для Android научился пересказывать веб-страницы в виде подкаста 7 ч.
Авторы «Василисы и Бабы Яги» анонсировали приключенческую игру «Чёртова служба» про чёрта на службе у Петра Первого 7 ч.
Оперативная память подорожает: Samsung повысила цены на DRAM и мобильную NAND на 5–30 % 2 ч.
OpenYard представила российский GPU-сервер HN203I на базе Intel Xeon 6 2 ч.
Nokia привлекла топ-менеджеров Intel и HPE для перестройки компании 3 ч.
Asus представила монитор ROG Strix OLED XG27AQDMGR — 2K, 240 Гц и улучшенное антибликовое покрытие 4 ч.
Vastarmor представила Radeon RX 9070 Alloy Pro и Alloy Pro White с термопрокладками с фазовым переходом 4 ч.
Обновление брандмауэра привело минимум к трём смертям — австралийский оператор Optus заблокировал звонки в экстренные службы 4 ч.
Китай построит гигантский ИИ-суперкомпьютер в ответ на американский мегапроект Stargate 4 ч.
У MediaTek появятся процессоры с маркировкой «Сделано в Америке» для избранных клиентов 5 ч.
ASRock представила видеокарты Intel Arc Pro B60 для рабочих станций с ИИ 6 ч.
MediaTek представила Dimensity 9500 — конкурент Apple A19 Pro и первый процессор на ядрах Arm C1 и частотой до 4,21 ГГц 6 ч.