Сегодня 01 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Учёные наконец выяснили, как работает ИИ — оказалось, что он может вынашивать планы и сознательно врать

Учёные компании Anthropic изобрели способ заглянуть в механизмы работы больших языковых моделей и впервые раскрыли, как искусственный интеллект обрабатывает информацию и принимает решения.

 Источник изображений: anthropic.com

Источник изображений: anthropic.com

Долгое время считалось, что полностью отследить механизмы рассуждения моделей ИИ невозможно, и даже их создатели не всегда понимали, как они получают те или иные ответы. Теперь некоторые механизмы удалось прояснить. Модели ИИ оказались сложнее, чем считалось ранее: при написании стихотворений они выстраивают планы, следуют одинаковым последовательностям для интерпретации понятий вне зависимости от языка и иногда обрабатывают информацию в обратном направлении вместо того, чтобы рассуждать, исходя из фактов.

Новые методы интерпретации схем работы ИИ в Anthropic назвали «трассировкой цепочек» и «графами атрибуции» — они помогли исследователям отследить конкретные пути реализации функций, подобных нейронным, которые запускаются при выполнении моделью задач. В этом подходе заимствуются концепции нейробиологии, а модели ИИ рассматриваются как аналоги биологических систем.

Одним из наиболее поразительных открытий стали механизмы планирования ИИ Claude при написании стихов. Когда чат-бот попросили составить двустишие в рифму, он сначала подобрал рифмующиеся слова для конца следующей строки и только после этого начал писать. Так, при написании строки, которая заканчивалась словом «кролик», ИИ выбрал все характеризующие это слово признаки, а затем составил предложение, которое подводит к нему естественным образом.

Claude также продемонстрировал настоящие рассуждения в несколько шагов. В испытании с вопросом «Столица штата, в котором находится Даллас, — это...», модель сначала активировала признаки, соответствующие понятию «Техас», а затем использовала это представление, чтобы определить «Остин» в качестве правильного ответа. То есть модель действительно выстраивает цепочку рассуждений, а не просто воспроизводит ассоциации, которые запомнила. Учёные произвели манипуляции, подменив «Техас» на «Калифорнию» и на выходе получили «Сакраменто», тем самым подтвердив причинно-следственную связь.

 Источник изображений: anthropic.com

Ещё одним важным открытием стал механизм обработки данных на нескольких языках. Вместо того, чтобы оперировать разными системами для английской, французской и китайской языковых сред, она переводит понятия в общее абстрактное представление, после чего начинает генерировать ответы. Это открытие имеет значение для понимания того, как модели транслируют знания, полученные на одном языке, на другой: предполагается, что модели с большим количеством параметров создают независимые от языка представления.

Возможно, самым тревожным открытием стали инциденты, при которых механизмы рассуждения Claude не соответствовали тем, о которых он заявлял сам. Когда ему давали сложные задачи, например, вычисление косинуса больших чисел, ИИ заявлял, что осуществляет вычисления, но они в его внутренней деятельности не отражались. В одном из случаев, когда ответ на сложную задачу был известен заранее, модель выстроила цепочку рассуждений в обратном порядке, отталкиваясь от ответа, а не принципов, которые должны были оказаться первыми.

Исследование также пролило свет на галлюцинации — склонность ИИ выдумывать информацию, когда ответ неизвестен. У модели есть схема «по умолчанию», которая заставляет её отказываться отвечать на вопросы в отсутствие фактических данных, но этот механизм подавляется, если в запросе распознаются известные ИИ сущности. Когда модель распознаёт сущность, но не имеет конкретных знаний о ней, могут возникать галлюцинации — это объясняет, почему ИИ может с уверенностью давать не соответствующую действительности информацию об известных личностях, но отказываться отвечать на запросы о малоизвестных.

Исследование является шагом к тому, чтобы сделать ИИ прозрачнее и безопаснее. Понимая, как модель приходит к ответам, можно выявлять и устранять проблемные шаблоны рассуждений. Проект может иметь и последствия в коммерческой плоскости: компании применяют большие языковые модели для запуска рабочих приложений, и понимание механизмов, при которых ИИ может давать неверную информацию поможет в управлении рисками. Сейчас Anthropic предложила лишь первую предварительную карту ранее неизведанной территории — так в древности первые специалисты по анатомии составляли атласы человеческого тела. Составить полноценный атлас рассуждений ИИ ещё предстоит, но теперь можно оценить, как эти системы «думают».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Разработчики Palworld анонсировали симулятор свиданий по мотивам игры, и это не шутка — трейлер Palworld! More Than Just Pals 41 мин.
В новых Android-смартфонах нашли вирус, который угоняет аккаунты Telegram и ворует криптовалюту 2 ч.
Wizards of the Coast заблокировала мод по Baldur’s Gate 3 для Stardew Valley, но у истории «хорошая концовка» 2 ч.
Стало известно, какие iPhone не смогут обновиться до iOS 19 3 ч.
Copilot+PC на чипах Intel и AMD наконец получили новые ИИ-функции для Paint, «Фото» и не только 3 ч.
Настольная карточная игра Riftbound по League of Legends вышла из тени — подробности международного запуска 3 ч.
Завирусившийся новый генератор изображений в ChatGPT стал доступен всем пользователям 3 ч.
OpenAI привлекла $40 млрд инвестиций от «синдиката инвесторов» — деньги пойдут на создание AGI 4 ч.
OpenAI привлекла рекордные $40 млрд — капитализация достигла $300 млрд 4 ч.
«Он смотрит в прошлое»: глава Take-Two объяснил, почему ИИ никогда не создаст собственную GTA VI 4 ч.
Microsoft вновь заявила о намерении сотрудничать с OpenAI несмотря на план по замедлению экспансии ЦОД 6 мин.
XenData представила 1U-устройство Z20 на базе Windows 11 Pro для доступа к облачным хранилищам 10 мин.
Asus и Xbox намекнули на совместный выпуск портативной приставки с «новым уровнем гейминга» 11 мин.
Флагманский смартфон Honor Magic 7 стал доступен для предзаказа в России за 109 990 рублей 15 мин.
Минпромторг готовит обязательную маркировку импортной электроники — это может лишить россияне дешёвых гаджетов из-за границы 25 мин.
Первый пациент с Neuralink провёл год с имплантом в голове — побочных эффектов нет 2 ч.
Samsung назначила нового второго гендиректора — прежде он возглавлял мобильное подразделение 3 ч.
Новый глава Intel пообещал «исправить ошибки прошлого» и «добиться совершенства» 3 ч.
Космический корабль SpaceX Crew Dragon с экипажем отправился в первый полёт над полюсами Земли 4 ч.
Одноплатный компьютер Orange Pi RV получил процессор RISC-V и 8 Гбайт оперативной памяти 4 ч.
Включить темный режим