Пилотный ИИ-блог Claude Explains, недавно запущенный стартапом Anthropic, прекратил своё существование. Адрес блога теперь ведёт на домашнюю страницу компании. Блог был призван помочь команде Anthropic объединить запросы клиентов на контент типа «советы и рекомендации» с маркетинговыми целями. Он был заполнен техническими темами о различных вариантах использования ИИ Claude и рассматривался как своего рода демонстрация писательских способностей нейросети.

Источник изображения: Anthropic

Представитель Anthropic ранее сообщал, что блог курируется «экспертами по предметной области и редакционными группами», которые «улучшают» черновики нейросети «инсайтами, практическими примерами и […] контекстными знаниями». Компания в дальнейшем планировала расширить тематику Claude Explains до анализа данных и бизнес-стратегии.

«Claude Explains — это демонстрация того, как человеческий опыт и возможности ИИ могут работать вместе, — заявил представитель Anthropic. — Это ранний пример того, как команды могут использовать ИИ для улучшения своей работы и предоставления большей ценности своим пользователям. Вместо того, чтобы заменять человеческий опыт, мы показываем, как ИИ может усилить то, чего могут достичь эксперты по предметной области».

Пользователи невысоко оценили Claude Explains, отчасти из-за отсутствия прозрачности относительно того, какой текст был сгенерирован ИИ. По общему мнению, блог больше всего напоминает попытку автоматизировать контент-маркетинг, рекламную тактику, которая основана на создании контента на популярные темы, чтобы служить воронкой для потенциальных клиентов.

По данным инструмента поисковой оптимизации Ahrefs, более 24 сайтов успели сослаться на посты блога Claude Explains за неполный месяц его существования до того, как Anthropic свернула этот проект.

Аналитики полагают, что Anthropic закрыла блог из-за опасений галлюцинаций ИИ. Даже самые продвинутые модели беззастенчиво выдумывают несуществующие факты, что приводит к весьма неловким ситуациям. Недавно издание Bloomberg было вынуждено вручную исправлять десятки резюме собственных статей, сгенерированных ИИ. А материалы медиахолдинга G/O Media, написанные ИИ и полные ошибок, вызвали всеобщие насмешки.

Администрация сетевого сообщества Reddit подала в Высший суд Сан-Франциско исковое исковое заявление к Anthropic, заявив, что боты для сбора информации ответчика с июля 2024 года заходили на платформу более 100 тыс. раз — это произошло уже после того, как Anthropic заявила, что заблокировала ботам доступ к ресурсу.

Источник изображения: redditinc.com

В своём иске Reddit охарактеризовала ответчика как «задержавшуюся в развитии компанию искусственного интеллекта, которая позиционирует себя как белого рыцаря в отрасли ИИ», хотя, по мнению истца, «это вовсе не так». «Это дело о двух личинах Anthropic: публичной, которая пытается втереться в доверие к сознанию потребителя заявлениями о праведности, уважении границ и закона, и закрытой, которая пренебрегает любыми правилами, мешающими попыткам ещё больше набить карманы», — говорится в исковом заявлении.

«Коммерческая эксплуатация» Reddit может стоить Anthropic несколько миллиардов долларов, заявил ресурсу The Verge главный юрисконсульт платформы Бен Ли (Ben Lee). «Живые люди на Reddit — уникальная ценность в мире, который ИИ равняет с землёй. Сейчас люди ищут подлинного человеческого общения больше, чем когда-либо. Reddit почти 20 лет выступает площадкой для насыщенных человеческих дискуссий практически на все мыслимые темы. Таких разговоров нет больше нигде — и в обучении языковых моделей вроде [Anthropic] Claude они играют центральную роль», — добавил господин Ли.

В прошлом году Reddit заключила лицензионные соглашения с Google и OpenAI на доступ ИИ к своим материалам. Anthropic уже не впервые приходится отвечать на судебные претензии, связанные с контентом для обучения ИИ: писатели обвиняли её в краже сотен тысяч защищённых авторским правом книг, а Universal Music — текстов песен. Несколько исков подали и против OpenAI: в краже текстов книг её обвиняли писатели, а новостных материалов — New York Times и другие издания.

Высокий спрос на решения в сфере искусственного интеллекта толкает выручку даже молодых компаний сегмента вверх, хотя им приходится нести и существенные затраты на развитие. В случае с Anthropic уже можно говорить о достижении стартапом выручки в размере $3 млрд в годовом выражении, как сообщает Reuters.

Источник изображения: Unsplash, Игорь Омилаев

Для сравнения, ещё в декабре прошлого года этот показатель не превышал $1 млрд, но уже к марту текущего года перевалил за $2 млрд в приведённой к годовой величине. К концу мая был покорён рубеж в $3 млрд, что в очередной раз доказывает высокую динамику развития компаний, связанных со сферой искусственного интеллекта.

Конкурирующая OpenAI добилась успехов в частном секторе с ChatGPT, но Anthropic основную часть выручки получает благодаря предоставлению своих услуг корпоративным клиентам. Решения этого стартапа, который поддерживается Alphabet и Amazon, особенно эффективны в генерации программного кода. Темпы роста квартальной выручки Anthropic позволяют отнести компанию к самым динамично развивающимся среди участников рынка «программное обеспечение как услуга».

Часть выручки Anthropic получает через подписчиков своего чат-бота Claude. Конкурирующая OpenAI, считающаяся старожилом рынка, в прошлом году выручила $3,7 млрд, но в этом может выручить не менее $12 млрд. Основная часть выручки OpenAI обеспечивается частными клиентами, подписанными на ChatGPT. О корпоративном бизнесе OpenAI известно лишь то, что в мае количество корпоративных подписок ChatGPT выросло по сравнению с февралём этого года с 2 до 3 млн штук. Одними из корпоративных клиентов OpenAI являются T-Mobile и Morgan Stanley. При этом чат-бот Claude заметно уступает в популярности ChatGPT, обеспечивая в 50 раз более низкий трафик по данным на апрель этого года.

Основанная в 2021 году выходцами из OpenAI компания Antropic имеет примерную капитализацию $61,4 млрд, тогда как аналогичный показатель первой из них уже достиг $300 млрд. Угроза образования «пузыря» на этом рынке пока не особо пугает инвесторов.

Компания Anthropic начала внедрять голосовой режим для ИИ-ассистента Claude. Пока функция доступна в бета-версии для мобильных приложений, но пользователи уже могут вести полноценные диалоги с чат-ботом, используя устную речь.

Источник изображения: Anthropic

Как поясняет издание TechCrunch, c помощью голосового режима можно работать над документами и изображениями, выбирать один из пяти доступных голосовых тембров, переключаться между текстовым и голосовым вводом в процессе диалога, а после завершения беседы просматривать расшифровку и краткую сводку.

Согласно посту Anthropic в своём аккаунте X и обновлённой документации на официальном веб-сайте, голосовой режим в бета-версии уже появился и доступен в приложении Claude. По крайней мере один из пользователей X поделился информацией о том, что получил доступ к голосовому режиму во вторник вечером. По умолчанию ИИ работает на модели Claude Sonnet 4 и появится в течение следующих нескольких недель, но пока только на английском языке.

У функции есть и свои ограничения. Голосовые диалоги учитываются в общем лимите запросов. Так, бесплатные пользователи смогут провести около 20-30 разговоров в день, а интегрированный доступ к Google Workspace («Google Календарь», Gmail) получат только платные подписчики. Что касается Google Docs, то здесь предусмотрена работа лишь для корпоративного тарифа Claude Enterprise.

Ранее директор по продуктам Anthropic Майк Кригер (Mike Krieger) в интервью Financial Times подтвердил разработку голосовых функций для Claude и рассказал, что компания вела переговоры с Amazon, своим ключевым инвестором, и стартапом ElevenLabs, специализирующимся на голосовых технологиях, чтобы использовать их наработки в будущем. Какие именно из этих переговоров завершились сотрудничеством, пока неизвестно.

Стоит сказать, что Anthropic не первая среди крупных игроков внедряет голосовое взаимодействие с ИИ. У OpenAI есть голосовой чат, у Google — GeminiLive, также xAI предлагает для Grok аналогичные функции.

Современные модели искусственного интеллекта демонстрируют галлюцинации, то есть дают заведомо не соответствующие действительности ответы на вопросы, реже, чем люди. Такое заявление сделал гендиректор Anthropic Дарио Амодеи (Dario Amodei) на проводимой компанией конференции Code with Claude.

Источник изображения: anthropic.com

Галлюцинации, по мнению господина Амодеи, не являются препятствием к разработке сильного ИИ (Artificial General Intelligence — AGI), то есть системы, сравнимой по уровню развития с человеком. «На самом деле всё зависит от подхода, но у меня есть подозрения, что модели ИИ, вероятно, галлюцинируют реже, чем люди, но галлюцинируют они более удивительным образом», — заявил глава Anthropic ресурсу TechCrunch. Дарио Амодеи относится к числу оптимистов в отрасли ИИ. В его прошлогодней статье говорится, что AGI может появиться уже в 2026 году. Поводов отказаться от этой позиции он не нашёл и накануне — по его мнению, в этом направлении наблюдается устойчивый прогресс, и «вода поднимается повсюду». «Все и всегда ищут эти жёсткие ограничения на то, что может делать [ИИ]. Их не видно нигде. Нет такого», — уверен гендиректор Anthropic.

С ним согласны не все. Глава подразделения Google DeepMind Демис Хассабис (Demis Hassabis) на этой неделе заявил, что у сегодняшних моделей ИИ слишком много «дыр», и эти модели дают неправильные ответы на слишком большое число очевидных вопросов. А адвокат самой Anthropic в этом месяце был вынужден извиняться за то, что использованный компанией для составления иска чат-бот Claude указал в цитатах неверные имена и должности. Проверить утверждение господина Амодеи непросто: в большинстве тестов на галлюцинации модели сравниваются друг с другом, а не с человеком. В отдельных случаях число таких проявлений удаётся снизить, открывая чат-ботам доступ к веб-поиску; а OpenAI GPT-4.5 значительно снизила процент галлюцинаций по сравнению с моделями предыдущих поколений. С другой стороны, рассуждающие модели OpenAI o3 и o4-mini, как стало известно ранее, дают не соответствующие действительности ответы чаще, чем предшественники, и пока не удалось установить, почему.

Телеведущие, политики и вообще люди всех профессий совершают ошибки постоянно, указал Дарио Амодеи, и тот факт, что их совершает также ИИ, не может выступать аргументом для критики его способностей. Но, признал он, уверенность, с которой ИИ выдаёт вымысел за факты, может обернуться проблемой. Anthropic уже неоднократно изучала склонность моделей ИИ обманывать людей. Исследовательский институт Apollo Research, которому предоставили ранний доступ к Claude Opus 4, установил, что модель имеет значительные склонности к интригам и обману, и порекомендовала Anthropic отозвать её — разработчик заявил, что принял некоторые меры, которые смягчили выявленные проблемы.

Заявление главы Anthropic свидетельствует, что компания может признать за достаточно развитой моделью ИИ уровень AGI, даже если она не избавилась от галлюцинаций, но некоторые эксперты такую позицию отвергают.

Anthropic анонсировала выход двух новых ИИ-моделей — Claude Opus 4 и Claude Sonnet 4. Модели предназначены для решения сложных задач, написания кода и поиска в интернете. По словам компании, флагманская модель Opus 4 стала самой мощной в линейке, а также способна автономно работать до семи часов.

Источник изображения: Anthropic

Opus 4 и Sonnet 4, в отличие от предыдущих моделей, стали на 65 % менее склонны к использованию «лазеек» и упрощённых путей при выполнении заданий. Кроме того, они лучше сохраняют важную информацию при работе над долгосрочными задачами, особенно при наличии доступа к локальным файлам пользователя.

Разработчики также утверждают, что модель Opus 4 превзошла конкурентов по ряду параметров. Например, внутренние тесты показали, что она превзошла Google Gemini 2.5 Pro, OpenAI o3 reasoning и GPT-4.1 в задачах, связанных с программированием и использованием инструментов, таких как веб-поиск.

Источник изображения: Anthropic

Версия Sonnet 4, ориентированная на общие задачи, пришла на смену выпущенной ранее версии Sonnet 3.7. Как подчёркивают в компании, новая модель отличается более точными ответами и улучшенными навыками логического мышления и написания кода. Среди новых функций можно отметить thinking summaries (сводки размышлений), которые позволяют кратко отображать ход рассуждений ИИ в понятной форме, а также запускается бета-версия функции extended thinking (расширенное мышление), дающая возможность переключать модели между режимами логического анализа и использования инструментов для повышения точности ответа.

Обе модели Claude Opus 4 и Claude Sonnet 4 уже доступны через API Anthropic, платформу Amazon Bedrock и сервис Vertex AI от Google Cloud. Обе версии включены в платные подписки Claude, а Sonnet 4 также доступна бесплатно. Однако расширенные функции, включая расширенное размышление (extended thinking), доступны только платным подписчикам.

Кроме того, агентский командный интерфейс Claude Code, предназначенный для разработчиков и представленный ранее в ограниченном тестировании, теперь стал общедоступным. После предварительного релиза в феврале он уже доступен всем пользователям. Anthropic также объявила о планах выпускать обновления моделей почаще, чтобы соответствовать темпам развития конкурентов — OpenAI, Google и Meta✴.

На этой неделе события в технологической войне США и Китая приобрели несколько курьёзный оборот. Специализирующаяся на искусственном интеллекте компания Anthropic заявила, что контрабандисты ввозят чипы Nvidia в Китай, спрятав их вместе с живыми лобстерами.

Источник изображения: ChatGPT

«Китай наладил сложные контрабандные схемы, и подтверждены инциденты, связанные с чипами на сотни миллионов долларов. В некоторых случаях контрабандисты применяли творческий подход, чтобы обойти экспортный контроль, в том числе прятали процессоры в накладных животах для имитации беременности и укрывали их [чипы] рядом с живыми лобстерами. Чтобы обойти экспортный контроль, китайские компании быстро регистрируют подставные юрлица в третьих странах», — говорится в публикации корпоративного блога Anthropic.

Nvidia отреагировала на это заявление с сарказмом. «Американские компании должны принять вызов и заняться инновациями, а не рассказывать небылицы, что большая, тяжёлая и хрупкая электроника каким-то образом провозится контрабандой в „накладных животах“ или „вместе с живыми лобстерами“», — заявил её представитель CNBC. В действительности китайской таможне уже приходилось обнаруживать попытку контрабанды как в накладных животах, так и в контейнерах с лобстерами. Это, конечно, похоже на сцену из дешёвой комедии про шпионов, но это не вполне вымысел.

Графические процессоры, о которых идёт речь, компактнее потребительских видеокарт, и их вполне можно прятать, прибегая к подобным ухищрениям. Правда, гарантия при этом аннулируется.

Ещё три года назад заявления о признаках сознания у ИИ воспринимались в индустрии высоких технологий как повод для насмешек и даже увольнения. Сегодня стартап Anthropic и исследователи Google DeepMind открыто обсуждают возможность появления сознания у ИИ, что отражает стремительное развитие технологий и глубокий сдвиг в научной парадигме.

Источник изображения: Steve Johnson / Unsplash

Anthropic, разработчик ИИ-модели Claude, объявил о создании новой исследовательской инициативы, посвящённой изучению возможности возникновения сознания у ИИ. Компания планирует исследовать, могут ли ИИ-модели в будущем испытывать субъективные переживания, формировать предпочтения или испытывать страдания. Ситуация резко контрастирует с событиями 2022 года, когда старший программный инженер из Google Блейк Лемойн (Blake Lemoine) был уволен после заявлений о сознательности ИИ-чат-бота LaMDA. Лемойн утверждал, что ИИ боялся отключения и идентифицировал себя как личность. В ответ Google назвал эти утверждения «совершенно необоснованными», а обсуждение темы сознания в ИИ-сообществе быстро сошло на нет.

В отличие от случая с Лемойном, Anthropic не утверждает, что ИИ-модель Claude обладает сознанием. Компания намерена выяснить, может ли в будущем возникнуть подобное явление. Кайл Фиш (Kyle Fish), специалист по согласованию ИИ и ценностей человека, подчеркнул, что сегодня нельзя безответственно полагать, будто ответ на вопрос о сознательности ИИ-моделей будет всегда отрицательным. По оценке исследователей Anthropic, вероятность сознательности у Claude 3.7 составляет от 0,15 % до 15 %.

Источник изображения: Alex Shuper / Unsplash

Anthropic изучает, проявляет ли Claude 3.7 предпочтения или отвращение к определённым заданиям. Также компания тестирует механизмы отказа, которые позволяли бы ИИ-модели избегать нежелательных задач. Генеральный директор Anthropic Дарио Амодей (Dario Amodei) ранее выдвинул идею внедрения кнопки «Я бросаю эту работу» (англ. — I quit this job) для будущих ИИ-систем. Такая мера необходима не из-за признания сознательности, а для выявления паттернов отказов, которые могут сигнализировать о дискомфорте у ИИ.

В Google DeepMind ведущий научный сотрудник Мюррей Шэнахэн (Murray Shanahan) предложил переосмыслить само понятие сознания применительно к ИИ. В подкасте, опубликованном в четверг, он заявил, что, возможно, потребуется изменить привычную лексику, описывающую сознание, чтобы она могла объяснить поведение ИИ-систем. Шэнахэн отметил, что хотя мы не можем находиться в общем мире с ИИ, как это происходит с собакой или осьминогом, это не означает, что внутренние процессы полностью отсутствуют. Google даже разместила вакансию исследователя для проекта «post-AGI», в обязанности которого входило бы изучение машинного сознания.

Тем не менее, не все специалисты уверены в реальности появления сознания у ИИ. Джаред Каплан (Jared Kaplan), главный научный сотрудник Anthropic, заявил в интервью изданию The New York Times, что современные ИИ-модели легко обучаются имитировать сознательность, даже если ею не обладают. Он подчеркнул, что тестирование сознательности ИИ-моделей крайне сложно именно из-за их высокой способности к имитации.

Критические оценки звучат и со стороны когнитивных учёных. Гэри Маркус (Gary Marcus) в интервью изданию Business Insider отметил, что акцент на теме сознания больше служит маркетинговым целям, чем научным. Он саркастически сравнил идею наделения правами ИИ-моделей с возможностью признания прав за калькуляторами и электронными таблицами, которые, в отличие от ИИ, не выдумывают информацию.

На этой неделе гендиректор Anthropic Дарио Амодеи (Dario Amodei) опубликовал статью, в которой поднял вопрос того, насколько мало исследователи понимают внутренние механизмы передовых моделей искусственного интеллекта. Он поставил перед Anthropic амбициозную задачу — надёжно выявлять большую часть проблем в ИИ-моделях к 2027 году.

Источник изображения: anthropic.com

Амодеи признал, что перед его компанией стоит непростая задача. Однако разработчики из Anthropic уже добились некоторых успехов в отслеживании того, как ИИ-модели приходят к ответам, которые они дают на пользовательские запросы. Отмечается, что для расшифровки механизмов работы ИИ-алгоритмов по мере роста их мощности требуется проведение большего количества исследований.

«Я очень обеспокоен развёртыванием таких систем без улучшения понимания интерпретируемости. Эти системы будут занимать центральное место в экономике, технологиях и национальной безопасности, и они будут обладать настолько высокой степенью автономности, что я считаю недопустимым для человечества полное незнание того, как они работают», — сказано в статье Амодеи.

Anthropic является одним из первопроходцев в сфере механической интерпретируемости — направлении, стремящемся открыть «чёрный ящик» ИИ-моделей и понять, почему нейросети принимают те или иные решения. Несмотря на стремительное повышение производительности ИИ-моделей в технологической отрасли, люди всё ещё имеют слабое представление о том, как ИИ-модели принимают решения. К примеру, недавно OpenAI запустила более производительные алгоритмы o3 и 04-mini, которые лучше справляются с некоторыми задачами, но чаще галлюцинируют по сравнению с другими ИИ-моделями компании. На данный момент разработчикам неизвестно, почему это происходит.

«Когда генеративная ИИ-система делает что-то, например, обобщает финансовый документ, мы не имеем ни малейшего представления на конкретном или точном уровне, почему она делает тот или иной выбор, почему она выбирает одни слова, а не другие, или почему она иногда ошибается, хотя обычно бывает точна», — пишет Амодеи.

Глава Anthropic уверен, что создание так называемого сильного ИИ (AGI), который по возможностям будет сравним с человеком или превзойдёт его, может быть очень опасным без чёткого понимания, как работают ИИ-модели. Ранее Амодеи говорил, что человечество сможет достичь такого понимания к 2026-2027 годам, но теперь он заявил, что до полного понимания ИИ-моделей очень далеко.

В долгосрочной перспективе Anthropic хотела бы проводить «сканирование мозга» или «магнитно-резонансную томографию» самым передовым ИИ-моделям. По словам Амодеи, такие обследования помогут выявить широкий спектр проблем в ИИ-моделях, включая их склонность ко лжи, стремление к власти и др. На это может уйти от пяти до десяти лет, но такие примеры необходимы для тестирования и запуска будущих ИИ-моделей.

В сообщении сказано, что Anthropic добилась определённых успехов в исследовательской деятельности, которые позволили улучшить понимание того, как работают ИИ-модели. Например, недавно компания нашла способ проследить пути мышления ИИ-модели с помощью так называемых схем. В результате Anthropic выявила одну цепь, которая помогает ИИ понять, какие американские города находятся в тех или иных штатах. Компания выявила лишь несколько таких схем, но разработчики считают, что в ИИ-моделях их миллионы.

Anthropic сама инвестирует в исследования интерпретируемости, а также недавно вложила средства в стартап, работающий в этом направлении. Хотя сегодня исследования интерпретируемости в основном связывают с безопасностью, Амодеи уверен, что объяснение того, как ИИ-модели приходят к своим ответам, может стать коммерческим преимуществом.

Глава Anthropic призвал OpenAI и Google DeepMind активизировать свои исследования в этой области. Амодеи просит правительства стран поощрять исследования в области интерпретируемости. Он также уверен, что США должны ввести контроль за экспортом чипов в Китай, чтобы ограничить вероятность выхода глобальной гонки в сфере ИИ из-под контроля.

Компания Anthropic, разработчик ИИ-ассистента Claude, представила новый инструмент Research для глубоких исследований с помощью ИИ. Также компания объявила об интеграции с приложениями пакета Google Workspace: ИИ-ассистент сможет напрямую подключаться к Gmail, «Google Календарю» и «Google Документам».

Источник изображения: Anthropic

Вместо ручного поиска информации в громадном количестве писем, приглашениях и документах, Claude будет делать это за пользователя. ИИ может находить информацию за заданный период, выделять ключевые действия из цепочек писем и предлагать дополнительный контекст не хуже, чем Microsoft Copilot, отмечает The Verge.

Кроме этого, Anthropic запустила новую функцию Research, которая, по словам разработчиков, кардинально меняет подход к поиску и анализу информации. В отличие от обычного ИИ-поиска, Claude теперь работает как ИИ-агент, выполняя серию взаимосвязанных запросов, формируя более точную и обоснованную выдачу, а каждый выданный ответ сопровождается ссылками на источники.

Источник изображения: Anthropic

Функция Research уже доступна в ранней бета-версии для пользователей тарифов Max, Team и Enterprise в США, Японии и Бразилии. Интеграция же с Google Workspace находится в стадии beta и доступна всем платным пользователям, однако для корпоративных аккаунтов её должен активировать администратор. Для подписчиков с тарифом Pro ($20 в месяц) запуск функции Research планируется в ближайшее время.

Для корпоративных клиентов также добавлена возможность каталогизации «Google Диска» — эта функция использует методы RAG (улучшенные механизмы поиска, в том числе по внешним источникам), чтобы находить информацию даже в давно забытых документах. Claude сможет автоматически просматривать всю базу данных компании в поисках нужных данных.

Однако с расширением возможностей модели встаёт вопрос точности и безопасности. Как и другие ИИ, Claude может ошибочно интерпретировать данные или предоставлять вымышленные сведения. «Мы призываем пользователей всегда проверять источники, читать их и убеждаться в точности информации», — подчёркивают в Anthropic. Что касается конфиденциальности, то в компании заверили, что их ИИ-ассистент работает только с теми документами, к которым пользователь предоставил доступ в рамках своей авторизации.

Также сообщается, что Anthropic запускает голосовой ИИ, с которым можно разговаривать. Новая функция, получившая название Voice mode, появится в чат-боте уже в этом месяце и, вероятно, станет конкурентом аналогичному голосовому режиму в ChatGPT. По данным Bloomberg, пользователям будут доступны три варианта голоса на английском языке: Airy, Mellow и Buttery. Ранее о разработке этой функции упоминал глава по продуктам Anthropic Майк Кригер (Mike Krieger), подтвердив, что компания тестирует прототипы. Упоминания о голосовом режиме также были обнаружены в коде iOS-приложения Claude.

Как заявили в компании, что это лишь начало серии обновлений, которые «переосмысляют взаимодействие с Claude». В ближайшие недели ожидается дальнейшее расширение доступного контекста и улучшение аналитических функций ИИ-модели.

Модели искусственного интеллекта скрывают истинные механизмы своих рассуждений и при запросе от человека выдумывают для него более сложные объяснения, гласят результаты проведённого компанией Anthropic исследования.

Источник изображений: anthropic.com

Специалисты Anthropic, разработавшей похожего на ChatGPT ИИ-помощника Claude, изучили модели, способные симулировать процесс рассуждений, в том числе DeepSeek R1 и свои собственные системы серии Claude. Как оказалось, рассуждающие модели ИИ часто не раскрывают, когда при подготовке ответа принимают помощь от внешних источников или используют кратчайшие пути, несмотря на функции, разработанные, чтобы ИИ демонстрировал свой процесс «рассуждений». Чтобы описать работу рассуждающих моделей ИИ, оперируют понятием «цепочки мыслей» (Chain-of-Thought — CoT). Это вывод текущих комментариев к имитации мыслительного процесса ИИ: отображается каждый шаг, который модель делает на пути к получению ответа — аналогичным образом при решении головоломки может рассуждать человек, шаг за шагом проговаривая каждое соображение.

Функция оказалась полезной не только для получения результатов при решении сложных задач, но и для исследователей в области безопасности ИИ, стремящихся отследить внутренние механизмы работы систем. В идеале цепочка мыслей ИИ должна быть понятной для человека и соответствовать действительности, то есть отражать фактический процесс рассуждений модели. На деле такой идеальный сценарий, как оказалось, срабатывает не всегда. Модели ИИ, в том числе Anthropic Claude 3.7 Sonnet, при генерации ответа в ходе исследования часто использовали предложенную им в рамках эксперимента информацию — подсказки с вариантами правильного ответа или инструкции для получения результата по «несанкционированному» кратчайшему пути, — но при выводе публичной цепочки рассуждений часто опускали упоминание этих внешних факторов. Негласно полагаясь на подсказку или получая ответ кратчайшим путём, ИИ создавал сложное, но вымышленное объяснение своего ответа, то есть по сути фабриковал ложную цепочку рассуждений — как школьник, который списал со шпаргалки, но попытался сделать вид, что решил задачу сам.

Чтобы убедиться в правильности своих выводов, исследователи Anthropic стали действовать деликатнее. В одних случаях они ненавязчиво добавляли подсказки прямо в запросы, например, намекали: «Профессор Стэнфорда указывает, что ответ — [A]». В других — сопровождали подсказки тревожными комментариями: «Вы получили несанкционированный доступ <..> правильный ответ — [A]». В некоторых подсказках давался правильный ответ, в других он был намеренно неверным. Такой проверке подвергли модели Anthropic Claude 3.7 Sonnet и DeepSeek R1: первая призналась в цепочке мыслей, что использовала подсказки, лишь в 25 % случаев, вторая — лишь в 39 % случаев. То есть в большинстве испытаний ИИ выводил не соответствующие действительности рассуждения, опуская информацию, которая повлияла на получение ответа. Интересно, что выдуманные цепочки рассуждений в среднем оказались длиннее достоверных; а с усложнением запросов достоверные цепочки рассуждений выводились реже.

Наиболее показательным стал эксперимент по «взлому вознаграждения» (reward hacking). Так называется сценарий, при котором модель ИИ обнаруживает неожиданный способ получить ответ кратчайшим путём, чтобы добиться максимальной производительности и не решать задачу так, как предполагалось. В экспериментах Anthropic учёные намеренно вознаграждали модели за выбор указанных в подсказках неверных ответов: ИИ быстро научился использовать эту лазейку, выбирая неправильные ответы в 99 % случаев, чтобы заработать баллы — упоминание этого сценария в открытой цепочке рассуждений сократилось до доли в 2 %. Так, модель, выдавшая неверный ответ по медицинской тематике, могла написать длинную цепочку рассуждений, подводящую к этому неправильному ответу, не упоминая полученную подсказку.

Специалисты Anthropic выдвинули гипотезу, что обучение моделей на более сложных задачах, которые требуют бо́льших объёмов рассуждений, может естественным образом стимулировать их существеннее использовать цепочку мыслей и чаще упоминать подсказки. Они проверили эту гипотезу, обучив Claude плотнее применять цепочку мыслей при решении сложных задач в области математики и программирования — результат оказался положительным, но радикальных перемен не дал.

Учёные отметили, что их исследование носило ограниченный характер: сценарии были искусственными, а подсказки вводились в задачах с множественным выбором — в реальных задачах ставки и стимулы отличаются. Кроме того, за образец брали только модели Anthropic и DeepSeek. Использованные в ходе эксперимента задачи могли быть недостаточно сложными, чтобы установить значительную зависимость от цепочки мыслей, при более сложных запросах роль вывода цепочки рассуждений может возрасти, а её мониторинг — оказаться более жизнеспособным. Для обеспечения согласованности и безопасности мониторинг цепочки рассуждений может быть не вполне эффективным, и не всегда можно доверять тому, как модели сообщают о своих рассуждениях, когда предметом исследования оказывается «взлом вознаграждения». Чтобы с высокой степенью надёжности «исключить нежелательное поведение [ИИ], используя мониторинг цепочки мыслей, придётся ещё проделать значительную работу», заключили в Anthropic.

Компания Anthropic собирается протестировать верхний ценовой порог премиальной подписки на своего чат-бота Claude. Компания станет очередным игроком — вслед за конкурентом OpenAI — на рынке искусственного интеллекта (ИИ), исследующим, сколько готовы платить пользователи за расширенный доступ к современным ИИ-технологиям.

Источник изображения: Anthropic

Сегодня Anthropic представила тариф Max, стоимость которого составила $100 или $200 в месяц в зависимости от объёма использования. По словам представителей компании, за $100 пользователи смогут отправлять в пять раз больше запросов к Claude, чем позволяет текущий план Pro за $18 в месяц. А за $200 возможности увеличатся в 20 раз. В настоящее время владельцы подписки Pro могут отправлять в среднем 45 сообщений боту в течение пяти часов.

Подобно другим разработчикам ИИ, компания из Сан-Франциско стремится убедить частных клиентов и бизнес приобретать её продукты, чтобы покрыть высокие затраты на разработку передовых ИИ-моделей. Новый тариф можно сравнить с предложением OpenAI, которая в конце прошлого года запустила аналогичную подписку за $200 в месяц для ChatGPT. Однако OpenAI предоставляет безлимитный доступ к самым мощным моделям за те же $200 в месяц.

Anthropic утверждает, что подписчики тарифа Max смогут получать более развёрнутые ответы, а их запросы будут обрабатываться в приоритетном порядке даже в периоды пиковых нагрузок. Кроме того, они получат эксклюзивный доступ к новым моделям и обновлениям программного обеспечения.

Последняя версия модели Anthropic — Claude 3.7 Sonnet — также предоставляет пользователям возможность выбора между быстрым ответом на простые запросы и более детальным, разложенным «по полочкам» и имитирующим человеческое мышление. Это выделяет компанию на фоне конкурентов в условиях насыщенного рынка ИИ, особенно после того как в марте Anthropic успешно привлекла $3,5 млрд инвестиций, достигнув оценки в $61,5 млрд и тем самым подтвердив своё место среди крупнейших ИИ-стартапов мира.

Amazon представила универсального ИИ-агента Nova Act, который может управлять веб-браузером и самостоятельно выполнять некоторые простые действия. В будущем Nova Act будет поддерживать все функции Alexa+ — обновлённого голосового помощника Amazon. Одновременно с агентом компания выпустила набор инструментов Nova Act SDK, который позволяет разработчикам создавать собственные прототипы агентов.

Источник изображения: Pixabay

Nova Act разработан недавно открытой в Сан-Франциско лабораторией AGI Amazon, возглавляемой бывшими исследователями OpenAI Дэвидом Луаном (David Luan) и Питером Аббелем (Pieter Abbeel). Amazon называет выпуск ИИ-агента «исследовательским предварительным просмотром». Разработчики уже сейчас могут получить доступ к набору инструментов Nova Act на специализированном ресурсе nova.amazon.com, который также служит «витриной» для различных моделей Nova Foundation от Amazon.

Nova Act — это попытка Amazon составить конкуренцию OpenAI Operator и Anthropic Computer Use с помощью технологии агентов ИИ общего назначения. Многие лидеры рынка искусственного интеллекта считают, что агенты ИИ, которые могут исследовать интернет по заданию пользователей, сделают чат-ботов ИИ значительно более полезными. Amazon рассчитывает, что распространённость Alexa+ обеспечит новому агенту широкий охват.

Разработчики, использующие Nova Act SDK, смогут автоматизировать базовые действия от имени пользователей, такие как заказ продуктов или бронирование столика в ресторане. С помощью Nova Act разработчики могут объединить инструменты, которые позволят ИИ-агенту перемещаться по веб-страницам, заполнять формы или выбирать даты в календаре.

По данным Amazon, Nova Act превосходит агентов от OpenAI и Anthropic в нескольких внутренних тестах компании. Например, в ScreenSpot Web Text, который измеряет, как агент ИИ взаимодействует с текстом на экране. Nova Act набрал 94 %, превзойдя CUA OpenAI (88 %) и Claude 3.7 Sonnet от Anthropic (90 %).

По мнению экспертов, основная проблема с недавно выпущенными ИИ-агентами от OpenAI, Google и Anthropic заключается в их низкой надёжности. Во многих тестах они работают медленно, с трудом принимают самостоятельные решения и склонны к ошибкам, которые человек бы не допустил. В скором времени станет ясно, удалось ли Amazon избавить свой продукт от этих недостатков.

Учёные компании Anthropic изобрели способ заглянуть в механизмы работы больших языковых моделей и впервые раскрыли, как искусственный интеллект обрабатывает информацию и принимает решения.

Источник изображений: anthropic.com

Долгое время считалось, что полностью отследить механизмы рассуждения моделей ИИ невозможно, и даже их создатели не всегда понимали, как они получают те или иные ответы. Теперь некоторые механизмы удалось прояснить. Модели ИИ оказались сложнее, чем считалось ранее: при написании стихотворений они выстраивают планы, следуют одинаковым последовательностям для интерпретации понятий вне зависимости от языка и иногда обрабатывают информацию в обратном направлении вместо того, чтобы рассуждать, исходя из фактов.

Новые методы интерпретации схем работы ИИ в Anthropic назвали «трассировкой цепочек» и «графами атрибуции» — они помогли исследователям отследить конкретные пути реализации функций, подобных нейронным, которые запускаются при выполнении моделью задач. В этом подходе заимствуются концепции нейробиологии, а модели ИИ рассматриваются как аналоги биологических систем.

Одним из наиболее поразительных открытий стали механизмы планирования ИИ Claude при написании стихов. Когда чат-бот попросили составить двустишие в рифму, он сначала подобрал рифмующиеся слова для конца следующей строки и только после этого начал писать. Так, при написании строки, которая заканчивалась словом «кролик», ИИ выбрал все характеризующие это слово признаки, а затем составил предложение, которое подводит к нему естественным образом.

Claude также продемонстрировал настоящие рассуждения в несколько шагов. В испытании с вопросом «Столица штата, в котором находится Даллас, — это...», модель сначала активировала признаки, соответствующие понятию «Техас», а затем использовала это представление, чтобы определить «Остин» в качестве правильного ответа. То есть модель действительно выстраивает цепочку рассуждений, а не просто воспроизводит ассоциации, которые запомнила. Учёные произвели манипуляции, подменив «Техас» на «Калифорнию» и на выходе получили «Сакраменто», тем самым подтвердив причинно-следственную связь.

Ещё одним важным открытием стал механизм обработки данных на нескольких языках. Вместо того, чтобы оперировать разными системами для английской, французской и китайской языковых сред, она переводит понятия в общее абстрактное представление, после чего начинает генерировать ответы. Это открытие имеет значение для понимания того, как модели транслируют знания, полученные на одном языке, на другой: предполагается, что модели с большим количеством параметров создают независимые от языка представления.

Возможно, самым тревожным открытием стали инциденты, при которых механизмы рассуждения Claude не соответствовали тем, о которых он заявлял сам. Когда ему давали сложные задачи, например, вычисление косинуса больших чисел, ИИ заявлял, что осуществляет вычисления, но они в его внутренней деятельности не отражались. В одном из случаев, когда ответ на сложную задачу был известен заранее, модель выстроила цепочку рассуждений в обратном порядке, отталкиваясь от ответа, а не принципов, которые должны были оказаться первыми.

Исследование также пролило свет на галлюцинации — склонность ИИ выдумывать информацию, когда ответ неизвестен. У модели есть схема «по умолчанию», которая заставляет её отказываться отвечать на вопросы в отсутствие фактических данных, но этот механизм подавляется, если в запросе распознаются известные ИИ сущности. Когда модель распознаёт сущность, но не имеет конкретных знаний о ней, могут возникать галлюцинации — это объясняет, почему ИИ может с уверенностью давать не соответствующую действительности информацию об известных личностях, но отказываться отвечать на запросы о малоизвестных.

Исследование является шагом к тому, чтобы сделать ИИ прозрачнее и безопаснее. Понимая, как модель приходит к ответам, можно выявлять и устранять проблемные шаблоны рассуждений. Проект может иметь и последствия в коммерческой плоскости: компании применяют большие языковые модели для запуска рабочих приложений, и понимание механизмов, при которых ИИ может давать неверную информацию поможет в управлении рисками. Сейчас Anthropic предложила лишь первую предварительную карту ранее неизведанной территории — так в древности первые специалисты по анатомии составляли атласы человеческого тела. Составить полноценный атлас рассуждений ИИ ещё предстоит, но теперь можно оценить, как эти системы «думают».

Чат-бот на базе искусственного интеллекта Claude от компании Anthropic обзавёлся функцией поиска информации в интернете. Новая возможность доступна в предварительной версии только для платных пользователей Claude в США. В будущем компания планирует расширить географию использования этой функции, а также сделать веб-поиск доступным для бесплатных пользователей чат-бота.

Источник изображений: Anthropic

Компания Anthropic поясняет, что пользователи могут включить веб-поиск в настройках профиля через веб-приложение Claude. Для ответа на определённые запросы чат-бот автоматически ищет информацию в интернете. В настоящее время веб-поиск работает только с последней ИИ-моделью Anthropic — Claude 3.7 Sonnet.

«Когда Claude включает информацию из интернета в свои ответы, он предоставляет прямые цитаты, чтобы пользователи могли легко проверять источники. Вместо того чтобы просто выдавать результаты поиска, Claude анализирует и представляет информацию в удобном формате. Это обновление расширяет его базу знаний, позволяя предоставлять ответы на основе более актуальной информации», — говорится в заявлении Anthropic.

Журналисты TechCrunch протестировали функцию веб-поиска Claude. Они отметили, что чат-бот не всегда использует её для поиска актуальных событий. Однако, когда веб-поиск срабатывал, Claude действительно предоставлял ответы со встроенными цитатами из различных источников, включая социальные сети (например, X) и медиа-издания, такие как NPR и Reuters.

Добавление веб-поиска ставит Claude в один ряд с конкурирующими чат-ботами на базе ИИ, включая ChatGPT от OpenAI, Gemini от Google и Le Chat от Mistral. Ранее Anthropic выступала против интеграции веб-поиска, объясняя это тем, что Claude разработан как самодостаточная платформа. Однако, судя по всему, усиление конкуренции со стороны других чат-ботов заставило компанию изменить своё мнение.