Сегодня 22 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Anthropic намерена понять, как работают внутренние механизмы ИИ-моделей

На этой неделе гендиректор Anthropic Дарио Амодеи (Dario Amodei) опубликовал статью, в которой поднял вопрос того, насколько мало исследователи понимают внутренние механизмы передовых моделей искусственного интеллекта. Он поставил перед Anthropic амбициозную задачу — надёжно выявлять большую часть проблем в ИИ-моделях к 2027 году.

 Источник изображения: anthropic.com

Источник изображения: anthropic.com

Амодеи признал, что перед его компанией стоит непростая задача. Однако разработчики из Anthropic уже добились некоторых успехов в отслеживании того, как ИИ-модели приходят к ответам, которые они дают на пользовательские запросы. Отмечается, что для расшифровки механизмов работы ИИ-алгоритмов по мере роста их мощности требуется проведение большего количества исследований.

«Я очень обеспокоен развёртыванием таких систем без улучшения понимания интерпретируемости. Эти системы будут занимать центральное место в экономике, технологиях и национальной безопасности, и они будут обладать настолько высокой степенью автономности, что я считаю недопустимым для человечества полное незнание того, как они работают», — сказано в статье Амодеи.

Anthropic является одним из первопроходцев в сфере механической интерпретируемости — направлении, стремящемся открыть «чёрный ящик» ИИ-моделей и понять, почему нейросети принимают те или иные решения. Несмотря на стремительное повышение производительности ИИ-моделей в технологической отрасли, люди всё ещё имеют слабое представление о том, как ИИ-модели принимают решения. К примеру, недавно OpenAI запустила более производительные алгоритмы o3 и 04-mini, которые лучше справляются с некоторыми задачами, но чаще галлюцинируют по сравнению с другими ИИ-моделями компании. На данный момент разработчикам неизвестно, почему это происходит.

«Когда генеративная ИИ-система делает что-то, например, обобщает финансовый документ, мы не имеем ни малейшего представления на конкретном или точном уровне, почему она делает тот или иной выбор, почему она выбирает одни слова, а не другие, или почему она иногда ошибается, хотя обычно бывает точна», — пишет Амодеи.

Глава Anthropic уверен, что создание так называемого сильного ИИ (AGI), который по возможностям будет сравним с человеком или превзойдёт его, может быть очень опасным без чёткого понимания, как работают ИИ-модели. Ранее Амодеи говорил, что человечество сможет достичь такого понимания к 2026-2027 годам, но теперь он заявил, что до полного понимания ИИ-моделей очень далеко.

В долгосрочной перспективе Anthropic хотела бы проводить «сканирование мозга» или «магнитно-резонансную томографию» самым передовым ИИ-моделям. По словам Амодеи, такие обследования помогут выявить широкий спектр проблем в ИИ-моделях, включая их склонность ко лжи, стремление к власти и др. На это может уйти от пяти до десяти лет, но такие примеры необходимы для тестирования и запуска будущих ИИ-моделей.

В сообщении сказано, что Anthropic добилась определённых успехов в исследовательской деятельности, которые позволили улучшить понимание того, как работают ИИ-модели. Например, недавно компания нашла способ проследить пути мышления ИИ-модели с помощью так называемых схем. В результате Anthropic выявила одну цепь, которая помогает ИИ понять, какие американские города находятся в тех или иных штатах. Компания выявила лишь несколько таких схем, но разработчики считают, что в ИИ-моделях их миллионы.

Anthropic сама инвестирует в исследования интерпретируемости, а также недавно вложила средства в стартап, работающий в этом направлении. Хотя сегодня исследования интерпретируемости в основном связывают с безопасностью, Амодеи уверен, что объяснение того, как ИИ-модели приходят к своим ответам, может стать коммерческим преимуществом.

Глава Anthropic призвал OpenAI и Google DeepMind активизировать свои исследования в этой области. Амодеи просит правительства стран поощрять исследования в области интерпретируемости. Он также уверен, что США должны ввести контроль за экспортом чипов в Китай, чтобы ограничить вероятность выхода глобальной гонки в сфере ИИ из-под контроля.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Cop Bastard — симулятор крутого парня. Рецензия 4 ч.
Драйвер GeForce чрезмерно изнашивал SSD — Nvidia выпустила исправление 12 ч.
Стартап Миры Мурати выпустил Inkling 2 Mini — локальный ИИ для кода и агентов, который работает на MacBook 14 ч.
Персонажи с памятью и миры под управлением ИИ — Ubisoft создала Motherbrain для внедрения ИИ в игры 14 ч.
Из систем суперкомпьютера Fugaku украдены сотни закрытых ключей для доступа к другим суперкомпьютерам и облакам 14 ч.
Биткоин рухнул до двухлетнего минимума — от рекордных $126 000 не осталось и половины 18 ч.
Новая статья: Tanuki: Pon’s Summer — самая очаровательная версия Японии. Рецензия 21-11 00:04
Запуск GTA VI установил абсолютный рекорд индустрии развлечений — 32 миллиона проданных копий и $3,79 миллиарда выручки 20-11 23:48
В Steam выйдет самое полное издание «Дальнобойщиков 3: Покорение Америки» с поддержкой русского языка и недоступным прежде контентом 20-11 22:11
Anthropic заявила о доказательстве гипотезы Римана с помощью ИИ — одной из главных загадок математики, над которой бились 167 лет 20-11 20:17
Восемь лет и девять гравитационных манёвров — BepiColombo выходит на орбиту Меркурия 11 ч.
Трамп надумал брать налоги с зарубежных ЦОД американских компаний 14 ч.
Everpure отчиталась о рекордной выручке и повысила прогноз на год 14 ч.
«Аладдин» представил Aladdin LiveTSM — сертифицированное средство доверенной загрузки для Windows и Linux 14 ч.
«Было установлено, что он лгал» — вот почему Хуанга уволили из Nvidia 18 ч.
Махинации в бухгалтерии Nvidia заинтересовали Комиссию по ценным бумагам и биржам США 19 ч.
Фотонные сопроцессоры Q.ANT NPU Gen 2+ ускорят работу ИИ 20-11 21:46
Valve предупредила, что Steam Machine может стать дефицитной и подорожать, —  и объяснила почему 20-11 21:45
«Фотонная» память для ИИ: MemoryAI Photonic Appliance от Penguin Solutions объединяет до 16 Тбайт DDR5 и 576 Гбайт HBM3E 20-11 21:42
Сюрприз отменяется: Япония отказалась от полёта к астероиду, который мог оказаться потерянной советской станцией 20-11 21:41