Сегодня 03 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Люди скоро совсем перестанут понимать, как ИИ рассуждает — предупредили ведущие разработчики

Около полусотни ведущих специалистов в области искусственного интеллекта, включая инженеров компаний OpenAI, Google DeepMind и Anthropic, опубликовали результаты исследования, согласно которым человек скоро может лишиться возможности следить за цепочками рассуждений больших языковых моделей.

 Источник изображения: Igor Omilaev / unsplash.com

Источник изображения: Igor Omilaev / unsplash.com

ИИ-модели на архитектуре трансформеров при решении сложных задач не могут обходиться без выстраивания цепочек рассуждений — чтобы проходить между слоями нейросети, эти рассуждения должны принимать форму понятного человеку текста. Эту особенность исследователи обозначили как свойство внешних рассуждений (externalized reasoning property) — при выполнении достаточно трудных задач модель прибегает к текстовому формату как к рабочей памяти. Если ИИ пользуется для этого человеческим языком, разработчик сохраняет способность читать его «мысли».

В эти цепочки попадают достаточно откровенные рассуждения. Здесь модель может признаться во взломе или саботаже — это помогает исследователям фиксировать попытки неподобающего поведения ИИ. Помимо жёсткой потребности «думать вслух» при работе со сложными задачами, модель может иметь и собственную склонность рассуждать в открытую, и при изменении механизма обучения такая склонность может исчезнуть. Например, при увеличении масштабов обучения с подкреплением модель может перейти от понятного языка к собственному.

Силовыми методами эта проблема не решается — ИИ может начать делать вид, что ведёт себя благопристойно, но скрывать истинное положение вещей. Есть ещё один вариант — рассуждения модели в скрытом математическом пространстве, которые обеспечивают ИИ более качественные результаты, но прочитать такие рассуждения уже не получится. Известны примеры, когда Anthropic Claude 4 Opus пыталась шантажировать человека, а OpenAI o3 саботировала команды на отключение.

Для решения проблем авторы исследования предложили разработать стандартные методы оценки способности осуществлять мониторинг ИИ, публиковать результаты и развёртывать модели с учётом аспекта прозрачности. Это важнее, чем гонка за производительностью, указывают учёные.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Ложная тревога: CD Projekt Red объяснила, что скрывалось за новым тизером по Cyberpunk 2077 2 ч.
«Живи. Умри. И снова»: вдохновлённый фильмом «Грань будущего» шутер Metal Eden поступил в продажу 3 ч.
VMware с осторожностью подходит к масштабной поддержке архитектуры Arm 4 ч.
«Мечта, ставшая реальностью»: Activision и Paramount превратят Call of Duty в незабываемый фильм для старых и новых фанатов 4 ч.
От GTX 1060 до RTX 5070: Techland опубликовала полные системные требования Dying Light: The Beast, в том числе для ноутбуков 4 ч.
Хакеры атаковали Jaguar Land Rover — производство автомобилей остановлено 5 ч.
Не Hollow Knight: Silksong единой — Microsoft рассказала о первых новинках Game Pass в сентябре 6 ч.
Квантовые компьютеры ещё не готовы, но в ПО для них уже инвестируют миллионы 6 ч.
Слухи: Ubisoft начала строить планы на Rayman 4, а Beyond Good and Evil 2 выйдет до конца 2027 года 7 ч.
Спустя почти год Capcom удалила Denuvo из Dead Rising Deluxe Remaster, но заменила её другой DRM 8 ч.