Сегодня 21 августа 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Учёные наконец выяснили, как работает ИИ — оказалось, что он может вынашивать планы и сознательно врать

Учёные компании Anthropic изобрели способ заглянуть в механизмы работы больших языковых моделей и впервые раскрыли, как искусственный интеллект обрабатывает информацию и принимает решения.

 Источник изображений: anthropic.com

Источник изображений: anthropic.com

Долгое время считалось, что полностью отследить механизмы рассуждения моделей ИИ невозможно, и даже их создатели не всегда понимали, как они получают те или иные ответы. Теперь некоторые механизмы удалось прояснить. Модели ИИ оказались сложнее, чем считалось ранее: при написании стихотворений они выстраивают планы, следуют одинаковым последовательностям для интерпретации понятий вне зависимости от языка и иногда обрабатывают информацию в обратном направлении вместо того, чтобы рассуждать, исходя из фактов.

Новые методы интерпретации схем работы ИИ в Anthropic назвали «трассировкой цепочек» и «графами атрибуции» — они помогли исследователям отследить конкретные пути реализации функций, подобных нейронным, которые запускаются при выполнении моделью задач. В этом подходе заимствуются концепции нейробиологии, а модели ИИ рассматриваются как аналоги биологических систем.

Одним из наиболее поразительных открытий стали механизмы планирования ИИ Claude при написании стихов. Когда чат-бот попросили составить двустишие в рифму, он сначала подобрал рифмующиеся слова для конца следующей строки и только после этого начал писать. Так, при написании строки, которая заканчивалась словом «кролик», ИИ выбрал все характеризующие это слово признаки, а затем составил предложение, которое подводит к нему естественным образом.

Claude также продемонстрировал настоящие рассуждения в несколько шагов. В испытании с вопросом «Столица штата, в котором находится Даллас, — это...», модель сначала активировала признаки, соответствующие понятию «Техас», а затем использовала это представление, чтобы определить «Остин» в качестве правильного ответа. То есть модель действительно выстраивает цепочку рассуждений, а не просто воспроизводит ассоциации, которые запомнила. Учёные произвели манипуляции, подменив «Техас» на «Калифорнию» и на выходе получили «Сакраменто», тем самым подтвердив причинно-следственную связь.

 Источник изображений: anthropic.com

Ещё одним важным открытием стал механизм обработки данных на нескольких языках. Вместо того, чтобы оперировать разными системами для английской, французской и китайской языковых сред, она переводит понятия в общее абстрактное представление, после чего начинает генерировать ответы. Это открытие имеет значение для понимания того, как модели транслируют знания, полученные на одном языке, на другой: предполагается, что модели с большим количеством параметров создают независимые от языка представления.

Возможно, самым тревожным открытием стали инциденты, при которых механизмы рассуждения Claude не соответствовали тем, о которых он заявлял сам. Когда ему давали сложные задачи, например, вычисление косинуса больших чисел, ИИ заявлял, что осуществляет вычисления, но они в его внутренней деятельности не отражались. В одном из случаев, когда ответ на сложную задачу был известен заранее, модель выстроила цепочку рассуждений в обратном порядке, отталкиваясь от ответа, а не принципов, которые должны были оказаться первыми.

Исследование также пролило свет на галлюцинации — склонность ИИ выдумывать информацию, когда ответ неизвестен. У модели есть схема «по умолчанию», которая заставляет её отказываться отвечать на вопросы в отсутствие фактических данных, но этот механизм подавляется, если в запросе распознаются известные ИИ сущности. Когда модель распознаёт сущность, но не имеет конкретных знаний о ней, могут возникать галлюцинации — это объясняет, почему ИИ может с уверенностью давать не соответствующую действительности информацию об известных личностях, но отказываться отвечать на запросы о малоизвестных.

Исследование является шагом к тому, чтобы сделать ИИ прозрачнее и безопаснее. Понимая, как модель приходит к ответам, можно выявлять и устранять проблемные шаблоны рассуждений. Проект может иметь и последствия в коммерческой плоскости: компании применяют большие языковые модели для запуска рабочих приложений, и понимание механизмов, при которых ИИ может давать неверную информацию поможет в управлении рисками. Сейчас Anthropic предложила лишь первую предварительную карту ранее неизведанной территории — так в древности первые специалисты по анатомии составляли атласы человеческого тела. Составить полноценный атлас рассуждений ИИ ещё предстоит, но теперь можно оценить, как эти системы «думают».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
iKS-Consulting: «Базис» — лидер российского рынка ПО управления динамической ИТ-инфраструктурой 36 мин.
iKS-Consulting: «Базис» — лидер российского рынка ПО управления динамической ИТ-инфраструктурой 37 мин.
ИИ-тренер Google по ЗОЖ поможет в занятиях фитнесом, улучшении сна и укреплении здоровья 52 мин.
Meta решила приостановить расширение штата на направлении ИИ 2 ч.
OpenAI готова зарабатывать на создании ЦОД для клиентов 3 ч.
Google отлучила «Ассистента» от умного дома — представлен продвинутый ИИ-помощник Gemini for Home 10 ч.
«Лучшее, что я видел за последние годы»: безумный платформер Denshattack! отправит игроков выполнять трюки на неподвластном гравитации поезде 10 ч.
Ярость войны, напалм и масштаб: анонсирован многопользовательский шутер Hell Let Loose: Vietnam 11 ч.
Сюжетная ролевая игра Rue Valley, вдохновлённая Disco Elysium и «Днём сурка», получила дату выхода и новый геймплейный трейлер 13 ч.
«Не терпится купить 12 DLC, чтобы получить полную игру»: Paradox раскрыла дату выхода Europa Universalis V, но фанаты делать предзаказ не спешат 14 ч.
В России дебютировал флагманский робот-пылесос 3i G10+ с прессом для мусора и мощным мотором 36 мин.
Masimo подала в суд на таможню США за снятие запрета на импорт Apple Watch с функцией пульсоксиметра 2 ч.
Intel готова продавать свои акции по дешёвке не только SoftBank 5 ч.
Новая статья: Curator — и пусть DDoS подождёт 10 ч.
Lenovo откроет в Саудовской Аравии штаб-квартиру и развернёт производство IT-оборудования 10 ч.
Qualcomm представила процессоры Snapdragon W5 Gen 2 и W5+ Gen 2 для смарт-часов со спутниковой связью 11 ч.
Google представила смарт-часы Pixel Watch 4 с поддержкой спутниковой связи 12 ч.
Google сделала свой MagSafe: магнитное крепление Pixelsnap для зарядки и не только 12 ч.
Портрет всего человечества с расстояния 290 млн км: межпланетная станция «Психея» запечатлела Землю и Луну 12 ч.
«Роскосмос» запустил на орбиту 75 мышей и 1500 мух на спутнике «Бион-М» — через месяц они вернутся в Россию 12 ч.