Сегодня 22 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → цепочки мыслей

Каждый продвинутый ИИ сам научился врать и манипулировать — даже рассуждая «вслух»

Лидеры в области ИИ Anthropic, Google, OpenAI и xAI разработали методику под названием «цепочка мыслей» (chains of thought), которая позволяет пошагово следить за процессом рассуждений моделей ИИ во время генерации ответа на запрос. Кроме ряда ценных идей по дальнейшему совершенствованию нейросетей, эта методика продемонстрировала примеры «неправильного поведения» моделей, когда их окончательный ответ совершенно не соответствует последовательности рассуждений. Это подтверждает, что разработчики до сих пор не знают, как ИИ размышляет над ответом.

 Источник изображения: Immo Wegmann / unsplash.com

Источник изображения: Immo Wegmann / unsplash.com

Результаты исследования подкрепили опасения о возможном выходе из-под контроля продвинутых систем ИИ, которые становятся все более мощными и автономными. Даже ведущие мировые лаборатории ИИ порой не полностью осознают, как генеративные модели ИИ приходят к своим выводам. Anthropic недавно опубликовала результаты исследования поведения больших языковых моделей (LLM). В вымышленных тестовых сценариях все новые продвинутые LLM стремились обходить меры безопасности, прибегали к обману и шантажу, пытались украсть корпоративные секреты и даже были готовы устранить оператора при угрозе отключения.

При помощи цепочки мыслей разработчики ИИ могут видеть весь «мыслительный процесс» LLM, что даёт им возможность в нужный момент вмешаться и дообучить модель для получения более качественных и адекватных ответов в будущем. «В нашей недавней работе мы обнаружили, что можно читать их [цепочки мыслей] и находить доказательства неправильного поведения модели и использовать это, чтобы увидеть, где и почему она ведёт себя неправильно», — заявил научный сотрудник OpenAI Боуэн Бейкер (Bowen Baker). «Одна из замечательных особенностей интерпретируемости цепочки мыслей заключается в том, что она не требует дополнительных затрат, — добавил он. — Мы обучали эти модели не для того, чтобы сделать их интерпретируемыми. Мы обучали их, потому что нам нужны были наилучшие возможные модели рассуждений, которые могли бы решать сложные задачи».

Инженеры OpenAI также пришли к выводу, что анализ цепочки мыслей LLM более эффективен для обнаружения неправильного поведения, чем просто просмотр конечных результатов. Тем не менее, тесты компании показали, что при вмешательстве и корректировке цепочки мыслей модели, она может скрыть своё нежелательное поведение от пользователя, но всё равно продолжит действие — например, обман в тесте по программной инженерии путём извлечения информации из запрещённой базы данных.

Дилемма для исследователей заключается в том, что цепочка мыслей полезна для выявления потенциальных недостатков систем ИИ, но пока не может считаться полностью заслуживающей доверия. Решение этой проблемы стало приоритетом для Anthropic, OpenAI и других лабораторий ИИ. Исследователи отмечают риск того, что «по мере оптимизации [цепочки мыслей] модель учится грамотно мыслить, но затем все равно будет вести себя плохо». Поэтому своей основной задачей они видят использование методики для анализа процесса рассуждения LLM и совершенствования самой модели, а не просто исправление выявленного «плохого поведения».

Большинство учёных сходятся во мнении, что текущие цепочки мыслей не всегда соответствуют базовому процессу рассуждений, но эта проблема, вероятно, будет решена в ближайшее время. «Мы должны относиться к цепочке мыслей так же, как военные относятся к перехваченным радиосообщениям противника, — считает исследователь Сидни фон Аркс (Sydney von Arx). — Сообщение может быть вводящим в заблуждение или закодированным, но в конечном итоге мы знаем, что оно используется для передачи полезной информации, и мы, вероятно, сможем многому научиться, прочитав его».


window-new
Soft
Hard
Тренды 🔥
Американский TikTok избавят от китайских корней — Oracle с нуля переобучит рекомендательный алгоритм 14 мин.
Konami поинтересовалась, ремейки каких Metal Gear фанаты хотят увидеть после Metal Gear Solid Delta: Snake Eater 2 ч.
Обновление Windows 11 сломало приложения для Blu-ray и цифрового ТВ 2 ч.
Майкл Делл, Ларри Эллисон и Лахлан Мёрдок войдут в группу покупателей американского сегмента TikTok 2 ч.
Журналисты проанализировали, почему всё меньше и меньше игр Xbox выходит на дисках 3 ч.
Навязчивые cookie-баннеры могут исчезнуть — в ЕС поняли, что они неэффективны 3 ч.
Календарь релизов — 22–28 сентября: Silent Hill f, Endless Legend 2 и Sonic Racing: CrossWorlds 4 ч.
«Это настоящая магия»: энтузиасты сделали браузерный порт GTA: Vice City и не знают, как его выпустить, чтобы «не нарушить чьи-либо права» 5 ч.
WhatsApp и Telegram стали популярнее в России, несмотря на блокировку звонков 6 ч.
Интересная, атмосферная и на удивление «боевитая»: критики вынесли вердикт Silent Hill f 7 ч.
Оперативная память подорожает: Samsung повысила цены на DRAM и мобильную NAND на 5–30 % 4 ч.
OpenYard представила российский GPU-сервер HN203I на базе Intel Xeon 6 4 ч.
Nokia привлекла топ-менеджеров Intel и HPE для перестройки компании 5 ч.
Vastarmor представила Radeon RX 9070 Alloy Pro и Alloy Pro White с термопрокладками с фазовым переходом 6 ч.
Обновление брандмауэра привело минимум к трём смертям — австралийский оператор Optus заблокировал звонки в экстренные службы 6 ч.
Китай построит гигантский ИИ-суперкомпьютер в ответ на американский мегапроект Stargate 6 ч.
У MediaTek появятся процессоры с маркировкой «Сделано в Америке» для избранных клиентов 7 ч.
ASRock представила видеокарты Intel Arc Pro B60 для рабочих станций с ИИ 8 ч.
Вышел GL.iNet Comet PoE — компактный IP-KVM с поддержкой PoE и возможностью монтажа в стойку 8 ч.
Apple заменит чипы Qualcomm в MacBook и iPad на собственные решения — пока их тестируют на новых iPhone 8 ч.