Сегодня 07 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Anthropic намерена понять, как работают внутренние механизмы ИИ-моделей

На этой неделе гендиректор Anthropic Дарио Амодеи (Dario Amodei) опубликовал статью, в которой поднял вопрос того, насколько мало исследователи понимают внутренние механизмы передовых моделей искусственного интеллекта. Он поставил перед Anthropic амбициозную задачу — надёжно выявлять большую часть проблем в ИИ-моделях к 2027 году.

 Источник изображения: anthropic.com

Источник изображения: anthropic.com

Амодеи признал, что перед его компанией стоит непростая задача. Однако разработчики из Anthropic уже добились некоторых успехов в отслеживании того, как ИИ-модели приходят к ответам, которые они дают на пользовательские запросы. Отмечается, что для расшифровки механизмов работы ИИ-алгоритмов по мере роста их мощности требуется проведение большего количества исследований.

«Я очень обеспокоен развёртыванием таких систем без улучшения понимания интерпретируемости. Эти системы будут занимать центральное место в экономике, технологиях и национальной безопасности, и они будут обладать настолько высокой степенью автономности, что я считаю недопустимым для человечества полное незнание того, как они работают», — сказано в статье Амодеи.

Anthropic является одним из первопроходцев в сфере механической интерпретируемости — направлении, стремящемся открыть «чёрный ящик» ИИ-моделей и понять, почему нейросети принимают те или иные решения. Несмотря на стремительное повышение производительности ИИ-моделей в технологической отрасли, люди всё ещё имеют слабое представление о том, как ИИ-модели принимают решения. К примеру, недавно OpenAI запустила более производительные алгоритмы o3 и 04-mini, которые лучше справляются с некоторыми задачами, но чаще галлюцинируют по сравнению с другими ИИ-моделями компании. На данный момент разработчикам неизвестно, почему это происходит.

«Когда генеративная ИИ-система делает что-то, например, обобщает финансовый документ, мы не имеем ни малейшего представления на конкретном или точном уровне, почему она делает тот или иной выбор, почему она выбирает одни слова, а не другие, или почему она иногда ошибается, хотя обычно бывает точна», — пишет Амодеи.

Глава Anthropic уверен, что создание так называемого сильного ИИ (AGI), который по возможностям будет сравним с человеком или превзойдёт его, может быть очень опасным без чёткого понимания, как работают ИИ-модели. Ранее Амодеи говорил, что человечество сможет достичь такого понимания к 2026-2027 годам, но теперь он заявил, что до полного понимания ИИ-моделей очень далеко.

В долгосрочной перспективе Anthropic хотела бы проводить «сканирование мозга» или «магнитно-резонансную томографию» самым передовым ИИ-моделям. По словам Амодеи, такие обследования помогут выявить широкий спектр проблем в ИИ-моделях, включая их склонность ко лжи, стремление к власти и др. На это может уйти от пяти до десяти лет, но такие примеры необходимы для тестирования и запуска будущих ИИ-моделей.

В сообщении сказано, что Anthropic добилась определённых успехов в исследовательской деятельности, которые позволили улучшить понимание того, как работают ИИ-модели. Например, недавно компания нашла способ проследить пути мышления ИИ-модели с помощью так называемых схем. В результате Anthropic выявила одну цепь, которая помогает ИИ понять, какие американские города находятся в тех или иных штатах. Компания выявила лишь несколько таких схем, но разработчики считают, что в ИИ-моделях их миллионы.

Anthropic сама инвестирует в исследования интерпретируемости, а также недавно вложила средства в стартап, работающий в этом направлении. Хотя сегодня исследования интерпретируемости в основном связывают с безопасностью, Амодеи уверен, что объяснение того, как ИИ-модели приходят к своим ответам, может стать коммерческим преимуществом.

Глава Anthropic призвал OpenAI и Google DeepMind активизировать свои исследования в этой области. Амодеи просит правительства стран поощрять исследования в области интерпретируемости. Он также уверен, что США должны ввести контроль за экспортом чипов в Китай, чтобы ограничить вероятность выхода глобальной гонки в сфере ИИ из-под контроля.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Mundfish выпустит эвакуационный шутер The Cube во вселенной Atomic Heart 4 ч.
Capcom представила Resident Evil Requiem, которая станет «началом новой эры хорроров на выживание» — первый трейлер и дата выхода 4 ч.
«Выведет жанр на новый уровень»: Mundfish анонсировала Atomic Heart 2 6 ч.
Новая статья: Elden Ring Nightreign — вместе весело страдать. Рецензия 7 ч.
Windows 11 будет автоматически замедлять процессор, когда компьютер не используется 11 ч.
На Samsung Galaxy Watch появилось приложение «Яндекс Музыка» 11 ч.
Ремейк Persona 4 скоро выйдет из тени — журналисты рассекретили дату анонса 11 ч.
AMD продолжает шоппинг: компания купила стартап Brium для борьбы с доминированием NVIDIA 12 ч.
В открытый доступ попал релизный трейлер дополнения Lies of P: Overture — аддон выйдет со дня на день 12 ч.
Apple разработала ИИ, выявляющий нетипичные аспекты устной речи — это поможет диагностировать заболевания 13 ч.
«Аквариус» анонсировала защищённую платформу СХД S2-1 с российским процессором Baikal-S 6 ч.
NASA повысило вероятность столкновения астероида 2024 YR4 с Луной через 7 лет 9 ч.
AMD купила команду разработчика ИИ-чипов Untether AI, но не саму компанию, которая тут же закрылась 13 ч.
В этом году МТС отключит половину своих базовых станций 3G в России 16 ч.
Для создания российской космической станции «Роскосмос» заказал ещё три ракеты «Ангара-А5М» 17 ч.
Intel признала, что изначально разрабатывала ангстремные техпроцессы 18A и 14A для себя, а не сторонних заказчиков 17 ч.
После рекордного обвала акции Tesla пошли вверх, поскольку Трамп и Маск готовят примирение 18 ч.
Японский лунный аппарат Resilience с мини-луноходом долетел до Луны — и мгновенно разобрался 18 ч.
В Китае испытали сверхзащищённый канал уникальной квантовой связи с взлетающей ракетой 18 ч.
Huawei и XPeng представили гигантский 87-дюймовый проекционный дисплей для авто 19 ч.