Сегодня 19 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Anthropic намерена понять, как работают внутренние механизмы ИИ-моделей

На этой неделе гендиректор Anthropic Дарио Амодеи (Dario Amodei) опубликовал статью, в которой поднял вопрос того, насколько мало исследователи понимают внутренние механизмы передовых моделей искусственного интеллекта. Он поставил перед Anthropic амбициозную задачу — надёжно выявлять большую часть проблем в ИИ-моделях к 2027 году.

 Источник изображения: anthropic.com

Источник изображения: anthropic.com

Амодеи признал, что перед его компанией стоит непростая задача. Однако разработчики из Anthropic уже добились некоторых успехов в отслеживании того, как ИИ-модели приходят к ответам, которые они дают на пользовательские запросы. Отмечается, что для расшифровки механизмов работы ИИ-алгоритмов по мере роста их мощности требуется проведение большего количества исследований.

«Я очень обеспокоен развёртыванием таких систем без улучшения понимания интерпретируемости. Эти системы будут занимать центральное место в экономике, технологиях и национальной безопасности, и они будут обладать настолько высокой степенью автономности, что я считаю недопустимым для человечества полное незнание того, как они работают», — сказано в статье Амодеи.

Anthropic является одним из первопроходцев в сфере механической интерпретируемости — направлении, стремящемся открыть «чёрный ящик» ИИ-моделей и понять, почему нейросети принимают те или иные решения. Несмотря на стремительное повышение производительности ИИ-моделей в технологической отрасли, люди всё ещё имеют слабое представление о том, как ИИ-модели принимают решения. К примеру, недавно OpenAI запустила более производительные алгоритмы o3 и 04-mini, которые лучше справляются с некоторыми задачами, но чаще галлюцинируют по сравнению с другими ИИ-моделями компании. На данный момент разработчикам неизвестно, почему это происходит.

«Когда генеративная ИИ-система делает что-то, например, обобщает финансовый документ, мы не имеем ни малейшего представления на конкретном или точном уровне, почему она делает тот или иной выбор, почему она выбирает одни слова, а не другие, или почему она иногда ошибается, хотя обычно бывает точна», — пишет Амодеи.

Глава Anthropic уверен, что создание так называемого сильного ИИ (AGI), который по возможностям будет сравним с человеком или превзойдёт его, может быть очень опасным без чёткого понимания, как работают ИИ-модели. Ранее Амодеи говорил, что человечество сможет достичь такого понимания к 2026-2027 годам, но теперь он заявил, что до полного понимания ИИ-моделей очень далеко.

В долгосрочной перспективе Anthropic хотела бы проводить «сканирование мозга» или «магнитно-резонансную томографию» самым передовым ИИ-моделям. По словам Амодеи, такие обследования помогут выявить широкий спектр проблем в ИИ-моделях, включая их склонность ко лжи, стремление к власти и др. На это может уйти от пяти до десяти лет, но такие примеры необходимы для тестирования и запуска будущих ИИ-моделей.

В сообщении сказано, что Anthropic добилась определённых успехов в исследовательской деятельности, которые позволили улучшить понимание того, как работают ИИ-модели. Например, недавно компания нашла способ проследить пути мышления ИИ-модели с помощью так называемых схем. В результате Anthropic выявила одну цепь, которая помогает ИИ понять, какие американские города находятся в тех или иных штатах. Компания выявила лишь несколько таких схем, но разработчики считают, что в ИИ-моделях их миллионы.

Anthropic сама инвестирует в исследования интерпретируемости, а также недавно вложила средства в стартап, работающий в этом направлении. Хотя сегодня исследования интерпретируемости в основном связывают с безопасностью, Амодеи уверен, что объяснение того, как ИИ-модели приходят к своим ответам, может стать коммерческим преимуществом.

Глава Anthropic призвал OpenAI и Google DeepMind активизировать свои исследования в этой области. Амодеи просит правительства стран поощрять исследования в области интерпретируемости. Он также уверен, что США должны ввести контроль за экспортом чипов в Китай, чтобы ограничить вероятность выхода глобальной гонки в сфере ИИ из-под контроля.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Ghost of Yotei — месть, расцветшая с сакурой. Рецензия 4 ч.
Новая статья: Gamesblender № 748: подробности PS6 и новой Xbox, «вселенная ужасов» Tencent и юбилей Serious Sam 2 5 ч.
Twitch анонсировал двухформатные эфиры, функции с ИИ и новые средства монетизации 11 ч.
Microsoft научила Paint в Windows 11 генерировать анимации и редактировать изображения с помощью ИИ 12 ч.
Meta набирает джунов без опыта на зарплату $290 тыс. в год: Цукерберг считает, что главное — это навыки 13 ч.
ИИ-бот Google Gemini успешно конкурирует в области редактирования фото с инструментами Adobe 20 ч.
Новая статья: Baby Steps — встань и иди. Рецензия 18-10 00:06
ИИ Meta будет предлагать пользователям отредактировать и опубликовать фото из галереи смартфона 17-10 23:21
Новая статья: Vampire: The Masquerade — Bloodlines 2 — резус разочаровательный. Рецензия 17-10 23:17
Судебные документы Sony и Tencent раскрыли, когда выйдет фильм по Horizon Zero Dawn 17-10 20:24
К полувековому юбилею суперкомпьютера Cray-1 выпущена памятная однодолларовая монета 6 ч.
Дебют сверхмощной конфигурации новой европейской ракеты Ariane 6 перенесли на следующий год 6 ч.
Curator: рекордный ботнет за полгода вырос вчетверо — до 5,8 млн устройств 7 ч.
QNAP представила 10GbE-коммутатор QSW-L3205-1C4T с пятью портами для малого бизнеса 7 ч.
Китайский рынок смартфонов сократился на 3 %, а Vivo вернула себе лидерство 10 ч.
Дженсен Хуанг пожаловался на потерю китайского рынка ИИ-ускорителей — доля Nvidia снизилась с 95 до 0 % 10 ч.
В Linux появилось упоминание загадочного x86-процессора от неизвестного ранее производителя 13 ч.
TSMC опережает график по запуску техпроцесса 2 нм и уже планирует его второе поколение 14 ч.
MSI представила мини-ПК Cubi Z AI 8M с ИИ-ускорителем 14 ч.
Цены на 8-Гбайт видеокарты Nvidia и AMD покатились вниз — геймеры хотят больше памяти 15 ч.