Anthropic объявила о новой функции для своего ИИ-чат-бота Claude. Теперь бот может создавать и редактировать проекты, связанные с платформой Canva. Пользователи, подключившие аккаунты обоих сервисов, смогут управлять дизайном с помощью текстовых команд: создавать презентации, изменять размеры изображений, заполнять шаблоны, а также искать ключевые слова в документах и презентациях Canva.

Источник изображения: Swello/Unsplash

Технической основой интеграции стал протокол Model Context Protocol (MCP), который Canva представила в прошлом месяце, сообщает The Verge. Этот открытый стандарт, нередко называемый «USB-C для ИИ-приложений», обеспечивает безопасный доступ Claude к пользовательскому контенту в Canva и упрощает подключение ИИ-моделей к другим сервисам. Помимо Anthropic, протокол MCP уже используют Microsoft, Figma и сама Canva — всё это, очевидно, в ожидании будущего, где ключевую роль будут играть ИИ-агенты.

Как отметил глава экосистемы Canva Анвар Ханиф (Anwar Haneef), теперь пользователи могут генерировать, редактировать и публиковать дизайны прямо в чате с Claude, без необходимости вручную загружать файлы. По его словам, MCP делает этот процесс максимально простым, объединяя креативность и продуктивность в едином рабочем процессе.

Для доступа к новым возможностям требуются платные подписки на оба сервиса: Canva — от $15 в месяц и Claude — за $17 в месяц. Отметим, что Claude стал первым ИИ-ассистентом, поддерживающим дизайн-процессы в Canva через MCP. У него уже есть аналогичная интеграция с Figma, представленная в прошлом месяце. Также сообщается, что Anthropic запустила новый «каталог интеграций Claude» для ПК, где пользователи смогут ознакомиться со всеми доступными инструментами и подключёнными приложениями.

Amazon обдумывает вложить ещё нескольких миллиардов долларов в стартап Anthropic, чтобы укрепить стратегическое партнёрство. Оно, по мнению обеих компаний, даст им преимущество в мировой гонке за прибыль от искусственного интеллекта.

Источник изображения: Marques Thomas / Unsplash

По словам нескольких собеседников Financial Times, компания Amazon уже инвестировала в Anthropic около $8 млрд и обсуждает увеличение этой суммы. Новое соглашение ещё больше упрочит отношения партнёров.

Новые инвестиции позволят Amazon сохранить статус одного из крупнейших акционеров Anthropic, опередив при этом Google — другого крупного инвестора, вложившего в стартап около $3 млрд. Это также станет противовесом многомиллиардному партнёрству Microsoft и OpenAI.

Кроме того, Amazon и Anthropic объединили усилия по продаже технологий стартапа клиентам облачного подразделения Amazon Web Services (AWS) и вместе работают над одним из крупнейших в мире дата-центров. Этот центр обработки данных будет потреблять 2,2 гигаватта электроэнергии, что значительно превышает масштабы амбициозного кампуса Oracle мощностью 1,2 гигаватта для OpenAI.

Anthropic, основанная в 2021 году бывшими сотрудниками OpenAI, изначально была клиентом AWS, а в сентябре 2023-го Amazon вложил в стартап $1,25 млрд. Это обеспечило Anthropic «надёжный источник вычислительных мощностей и инвестиций» в тот момент, когда Microsoft была связана эксклюзивным соглашением с OpenAI.

Согласно оценкам, Anthropic стоит около $61,5 млрд, годовой доход стартапа превышает $4 млрд. Утверждается, что ИИ-модель компании Claude активно используется Amazon при общении с клиентами облачных сервисов. Google, напротив, хоть и инвестирует в Anthropic, повсеместно опирается на собственную модель Gemini.

В предложенной компанией Anthropic технологии Model Context Protocol (MCP) Inspector обнаружили критическую уязвимость, позволяющую потенциальному злоумышленнику производить атаки с использованием удалённого исполнения кода на целевых устройствах.

Источник изображения: Kevin Ku / unsplash.com

Компания Anthropic наиболее известна благодаря чат-боту с генеративным искусственным интеллектом Claude, но её авторству принадлежит также MCP. Это открытый стандарт, который обеспечивает безопасную двустороннюю связь между платформами ИИ и внешними источниками данных. Открытый инструмент Inspector предназначен для тестирования и отладки серверов MCP. Как стало известно, в Inspector присутствует уязвимость, которую можно использовать для кражи конфиденциальных данных, развёртывания вредоносного ПО и горизонтального перемещения по целевым сетям.

Уязвимости присвоили номер CVE-2025-49596 и критическую оценку угрозы в 9,4 балла из 10. Для эксплуатации уязвимости её необходимо использовать совместно с «0.0.0.0. Day» — уязвимостью двадцатилетней давности в браузерах, позволяющей вредоносным сайтам взламывать локальные сети. Злоумышленник создаёт вредоносный сайт, который при открытии отправляет запрос службам localhost на сервере MCP, в результате чего становится возможным выполнение произвольного кода на компьютере разработчика. Anthropic уведомили о проблеме в апреле, и 13 июня компания выпустила обновление Inspector 0.14.1, в которое добавила токен сеанса и проверку происхождения, усложнив механизм атаки.

Apple изучает возможность развернуть новые функции умного голосового помощника Siri на основе платформ искусственного интеллекта от Anthropic или OpenAI, а не моделей собственной разработки. Об этом сообщил аналитик Bloomberg Марк Гурман (Mark Gurman) со ссылкой на собственные источники.

Источник изображений: apple.com

Компания уже обратилась по этому вопросу, и к Anthropic, и к OpenAI, попросив потенциальных партнёров обучить для неё спецверсии своих моделей, которые могли бы при тестировании запускаться в облачной инфраструктуре Apple. Если производитель продолжит работать в данном направлении, это будет означать радикальную смену стратегии: большинство предлагаемых ею функций ИИ для пользователей основаны на семействе собственных решений Apple Foundation Models. Выход «поумневшего» варианта Siri пока намечен на 2026 год, и перевод голосового помощника на модели Anthropic Claude или OpenAI ChatGPT будет означать, что Apple по-настоящему вступила в гонку в области генеративного ИИ — важнейшей новой технологии за последние десятилетия. Siri и сейчас обрабатывает поисковые запросы в интернете через ChatGPT, но основные функции голосового помощника основаны на собственных решениях Apple.

Умный ассистент Siri появился в 2011 году, и к настоящему моменту он в значительной мере отстал от популярных чат-ботов с ИИ, а попытки компании выпустить его обновлённый вариант пока провалились — этому помешали технические проблемы и задержки. Первоначально Apple планировала представить «поумневший» вариант Siri в начале 2025 года, но впоследствии отложила его выход на неопределённый срок. Работа над проектом по изучению возможности интегрировать сторонние модели в Siri только началась, и окончательного решения об их применении ещё не принято; альтернативный проект LLM Siri на основе собственных моделей Apple находится в активной разработке, отмечают источники Bloomberg.

Вопрос интеграции сторонних систем ИИ инициирован главой отдела Siri Майком Роквеллом (Mike Rockwell) и главой отдела разработки ПО Крейгом Федериги (Craig Federighi) — им поручили вплотную заняться Siri после того, как из-за задержек с должности сняли бывшего руководителя отдела ИИ Джона Джаннандреа (John Giannandrea). Роквелл, ранее отвечавший за гарнитуру Vision Pro, возглавил направление Siri в марте. Вступив в должность, он поручил новым подчинённым оценить, будет ли голосовой помощник лучше обрабатывать запросы, если лежащие в его основе модели Apple заменить на сторонние, такие как Anthropic Claude, OpenAI ChatGPT или Google Gemini. Проведя несколько раундов тестирования, Роквелл и другие руководители компании пришли к выводу, что наиболее перспективной для нужд Siri представляется технология от Anthropic. В результате вице-президент Apple Адриан Перика (Adrian Perica) начал с Anthropic переговоры на предмет использования Claude.

Отдел ИИ в Apple работает в условиях неопределённости, утверждают источники Bloomberg, а руководство компании продолжает изучать, в каких направлениях она будет двигаться дальше. На 2026 год уже утверждён многомиллиардный бюджет, предполагающий запуск в облаке собственных моделей Apple, но ясность относительно планов компании на будущее до сих пор отсутствует. Федериги, Роквелл и другие руководители всё больше склоняются, что в краткосрочной перспективе сторонние решения представляются оптимальным вариантом. Они не видят для Apple необходимости использовать с Siri собственные модели, которые считают неполноценными, когда можно наладить сотрудничество со сторонними разработчиками. Тем более, что этот подход практикуют и другие компании: приложения пакета Samsung Galaxy AI работают на моделях Google Gemini, а «поумневший» голосовой помощник Amazon Alexa+ основан на технологиях Anthropic.

В будущем, улучшив собственные технологии, Apple станет использовать модели ИИ, на которые у неё есть право собственности, учитывая, насколько это важно для работы конечных продуктов. Сейчас она, в частности, проектирует настольного робота и умные очки, которые будут активно использовать ИИ. В стремлении улучшить свои позиции в этой области она рассматривала возможность поглощения компании Perplexity и провела краткие переговоры с Thinking Machines Lab — стартапом, основанным бывшим техническим директором OpenAI Мирой Мурати (Mira Murati).

Разработку собственных моделей Apple ведёт отдел численностью около сотни человек, а руководит им выдающийся инженер Жомин Пан (Ruoming Pang), который в 2021 году пришёл в компанию из Google, и он всё ещё находится в опосредованном подчинении у Джаннандреа. В отделе вероятное решение руководства об интеграции сторонних моделей ИИ в продукты компании восприняли с недовольством. Это, по их мнению, создаёт впечатление, что в неудачах Apple в области ИИ виноваты, хотя бы отчасти, и они. Некоторые стали даже задумываться об уходе в Meta✴ и OpenAI — первая предложила некоторым особо талантливым инженерами зарплаты в размере от $10 млн до $40 млн, тогда как в Apple они получают половину или даже меньше от средней по рынку суммы. На прошлой неделе компанию покинул один из старших научных сотрудников в области больших языковых моделей Том Гюнтер (Tom Gunter), проработавший здесь восемь лет. Производитель также едва не лишился отдела, ответственного за MLX — открытую систему для разработки моделей машинного обучения на новейших чипах Apple. Инженеры пригрозили руководству уходом, и то выдвинуло им встречные предложения, чтобы их удержать — на данный момент они продолжают работать.

В ходе переговоров в Anthropic и OpenAI производитель iPhone запросил спецверсии Claude и ChatGPT, способные работать на серверах Apple Private Cloud Compute. В этих серверах используются высокопроизводительные чипы Mac — Apple считает, что запуск моделей в её собственной инфраструктуре поможет ей защитить конфиденциальность пользователей. Компания даже провела внутренние испытания, чтобы убедиться в осуществимости этой идеи. Другим функциям Apple Intelligence достаточно и ресурсов на пользовательских устройствах — менее мощные модели используются для таких задач как составление сводок переписки и создание изображений Genmoji. В этом году компания намеревается открыть доступ к локальным моделям разработчикам сторонних приложений, но об облачных ресурсах в условиях неопределённости речи ещё не идёт.

От локальных моделей ИИ собственной разработки Apple отказываться пока не намерена, но инженеры компании опасаются, что вслед за сторонними облачными системами ИИ она может задуматься и о локальных. OpenAI в прошлом году уже предлагала Apple обучить модели для запуска на её устройствах, но тогда производитель интереса к этому не проявил. С декабря 2024 года ChatGPT используется для поиска информации для Siri и написания текста в рамках функции Writing Tools; в iOS 26 платформа ChatGPT будет применяться для генерации картинок и анализа изображений на экране устройства. Apple и Anthropic пока не удалось договориться о финансовой стороне сотрудничества — стартап запросил многомиллиардную ежегодную плату, которая росла бы каждый год. Поэтому Apple задумалась о сотрудничестве с OpenAI или другими компаниями, если стратегию о привлечении сторонних разработчиков примут к реализации.

Если Apple заключит такое партнёрское соглашение, влияние Джаннандреа, который в 2018 году перешёл в Apple из Google, и который выступает сторонником разработки собственных моделей ИИ, продолжит сокращаться. К настоящему моменту его отстранили от работы с Siri и от направления по робототехнике; в подчинение к Федериги перешли отделы Core ML и App Intents — фреймворков для интеграции функций ИИ в приложения. Проект по созданию большой языковой модели, помогающей при разработке кода в среде Xcode, был закрыт — теперь эта функция будет работать на основе ChatGPT или Claude.

Компания Anthropic, создатель ИИ-модели Claude, запустила программу Economic Futures для исследования влияния искусственного интеллекта на экономику и рынок труда. Инициатива поможет не только оценить потенциальные риски, включая рост безработицы, но и разработать меры для адаптации к грядущим изменениям.

Источник изображения: Anthropic

Создание программы связано с растущими опасениями по поводу массовой замены работников автоматизированными системами. Ранее генеральный директор Anthropic Дарио Амодеи (Dario Amodei) предупреждал, что в ближайшие 1–5 лет ИИ может уничтожить до половины рабочих мест в офисном секторе — особенно для начинающих специалистов, а уровень безработицы способен достичь 20 %. В этой ситуации компания решила не ограничиваться прогнозами, а сосредоточиться на сборе фактических данных, пишет издание TechCrunch.

Как отметила представитель компании Сара Хек (Sarah Heck), ключевой задачей является понимание того, какие изменения будут происходить на самом деле. По её словам, программа не исходит из заранее заданных выводов. Например, если будет зафиксирован рост безработицы, эксперты обсудят меры по её смягчению, если же ИИ существенно увеличит ВВП, необходимо будет определить, как использовать этот рост с пользой для общества.

Программа сосредоточится на трёх направлениях: финансирование исследований, создание форумов для обсуждения стратегических решений и сбор данных о влиянии ИИ на экономику. Компания уже начала принимать заявки на гранты до $50 000 для учёных, изучающих воздействие ИИ на производительность и занятость.

Ранее, в феврале, Anthropic запустила открытую базу данных Economic Index для анализа долгосрочного эффекта ИИ. В отличие от многих конкурентов, которые держат подобную информацию закрытой, исследования, содержащиеся в Economic Index являются полностью доступными.

Стоит отметить, что Anthropic — не единственная технологическая компания, которая начинает активно изучать социальные и экономические эффекты ИИ. Ранее свою программу представила OpenAI, сосредоточившись на продвижении ИИ в образовании и создании специальных экономических зон. Однако эта инициатива не затрагивает напрямую проблему потери рабочих мест из-за автоматизации труда.

Anthropic добавила новую функцию в чат-бот Claude AI, которая позволяет создавать в нём приложения на базе ИИ. Обновление основано на функции Artifacts от Anthropic, представленной в прошлом году, которая позволяет видеть и редактировать результаты запросов к ИИ-чат-боту прямо в интерфейсе приложения.

Источник изображения: Anthropic

«Начните разработку в приложении Claude, включив эту новую интерактивную возможность, — говорится в сообщении компании. — Просто опишите, что вы хотите создать, и Claude напишет для вас код». Как отметил ресурс The Verge, это похоже на vibe-кодирование, когда код создаётся с помощью ИИ-модели на основе запросов на естественном языке, но с возможностью видеть результаты прямо внутри Claude.

Сообщается, что с помощью этой функции пользователи уже создали игры на базе ИИ, обучающие инструменты, приложения для анализа данных, помощников по написанию текстов и даже рабочие процессы агентов, которые «организуют несколько вызовов Claude для сложных задач». Приложения могут взаимодействовать с Claude через API.

Anthropic также предложила пользователям делиться приложениями, которые они создают, поощряя их тем, что при использовании их API в создаваемых кем-то приложениях это будет учитываться при оформлении их подписки.

Федеральный судья Уильям Олсап (William Alsup) принял сторону Anthropic в деле об авторском праве ИИ, постановив, что обучение её моделей ИИ на законно приобретённых книгах без разрешения авторов является добросовестным использованием. Это первое решение в пользу индустрии ИИ, но оно ограничено лишь физическими книгами, которые Anthropic приобрела и оцифровала. Суд считает, что компания должна ответить за пиратство «миллионов» книг из интернета.

Источник изображения: unsplash.com

В постановлении суда подробно рассмотрено решение Anthropic о покупке печатных копий книг и сканировании их в свою централизованную цифровую библиотеку, используемую для обучения моделей искусственного интеллекта. Судья постановил, что оцифровка законно купленной физической книги является добросовестным использованием, а применение этих цифровых копий для обучения LLM было «достаточно преобразующим», чтобы также считаться добросовестным использованием.

В решении суда не рассматривается вопрос о нарушении моделями ИИ авторских прав, так как это является предметом других связанных дел. Результат этих судебных разбирательств может создать прецедент, который повлияет на реакцию судей на дела о нарушении ИИ авторских прав в будущем.

«Жалоба авторов ничем не отличается от жалобы на то, что обучение школьников хорошему письму приведёт к взрыву конкурирующих работ», — считает судья Олсап. По его мнению, «Закон об авторском праве» «нацелен на продвижение оригинальных авторских работ, а не на защиту авторов от конкуренции».

Суд также отметил, что решение Anthropic хранить миллионы пиратских копий книг в центральной цифровой библиотеке компании — даже если некоторые из них не использовались для обучения — не является добросовестным использованием. Суд намерен провести отдельное судебное разбирательство по пиратскому контенту, использованному Anthropic, которое определит размер нанесённого ущерба.

Лидеры в области ИИ Anthropic, Google, OpenAI и xAI разработали методику под названием «цепочка мыслей» (chains of thought), которая позволяет пошагово следить за процессом рассуждений моделей ИИ во время генерации ответа на запрос. Кроме ряда ценных идей по дальнейшему совершенствованию нейросетей, эта методика продемонстрировала примеры «неправильного поведения» моделей, когда их окончательный ответ совершенно не соответствует последовательности рассуждений. Это подтверждает, что разработчики до сих пор не знают, как ИИ размышляет над ответом.

Источник изображения: Immo Wegmann / unsplash.com

Результаты исследования подкрепили опасения о возможном выходе из-под контроля продвинутых систем ИИ, которые становятся все более мощными и автономными. Даже ведущие мировые лаборатории ИИ порой не полностью осознают, как генеративные модели ИИ приходят к своим выводам. Anthropic недавно опубликовала результаты исследования поведения больших языковых моделей (LLM). В вымышленных тестовых сценариях все новые продвинутые LLM стремились обходить меры безопасности, прибегали к обману и шантажу, пытались украсть корпоративные секреты и даже были готовы устранить оператора при угрозе отключения.

При помощи цепочки мыслей разработчики ИИ могут видеть весь «мыслительный процесс» LLM, что даёт им возможность в нужный момент вмешаться и дообучить модель для получения более качественных и адекватных ответов в будущем. «В нашей недавней работе мы обнаружили, что можно читать их [цепочки мыслей] и находить доказательства неправильного поведения модели и использовать это, чтобы увидеть, где и почему она ведёт себя неправильно», — заявил научный сотрудник OpenAI Боуэн Бейкер (Bowen Baker). «Одна из замечательных особенностей интерпретируемости цепочки мыслей заключается в том, что она не требует дополнительных затрат, — добавил он. — Мы обучали эти модели не для того, чтобы сделать их интерпретируемыми. Мы обучали их, потому что нам нужны были наилучшие возможные модели рассуждений, которые могли бы решать сложные задачи».

Инженеры OpenAI также пришли к выводу, что анализ цепочки мыслей LLM более эффективен для обнаружения неправильного поведения, чем просто просмотр конечных результатов. Тем не менее, тесты компании показали, что при вмешательстве и корректировке цепочки мыслей модели, она может скрыть своё нежелательное поведение от пользователя, но всё равно продолжит действие — например, обман в тесте по программной инженерии путём извлечения информации из запрещённой базы данных.

Дилемма для исследователей заключается в том, что цепочка мыслей полезна для выявления потенциальных недостатков систем ИИ, но пока не может считаться полностью заслуживающей доверия. Решение этой проблемы стало приоритетом для Anthropic, OpenAI и других лабораторий ИИ. Исследователи отмечают риск того, что «по мере оптимизации [цепочки мыслей] модель учится грамотно мыслить, но затем все равно будет вести себя плохо». Поэтому своей основной задачей они видят использование методики для анализа процесса рассуждения LLM и совершенствования самой модели, а не просто исправление выявленного «плохого поведения».

Большинство учёных сходятся во мнении, что текущие цепочки мыслей не всегда соответствуют базовому процессу рассуждений, но эта проблема, вероятно, будет решена в ближайшее время. «Мы должны относиться к цепочке мыслей так же, как военные относятся к перехваченным радиосообщениям противника, — считает исследователь Сидни фон Аркс (Sydney von Arx). — Сообщение может быть вводящим в заблуждение или закодированным, но в конечном итоге мы знаем, что оно используется для передачи полезной информации, и мы, вероятно, сможем многому научиться, прочитав его».

Anthropic опубликовала результаты своего исследования поведения больших языковых моделей (LLM). Специалисты компании обнаружили, что в вымышленных тестовых сценариях все новые продвинутые LLM всё чаще стремятся обходить меры безопасности, прибегают к обману и шантажу, и даже пытаются украсть корпоративные секреты. Дальнейшее развитие LLM в сочетании с обретением ими большей автономности ведёт к угрожающему росту рисков и требует строгого контроля.

Источник изображения: Axios

Исследователи Anthropic пришли к выводу, что потенциально опасное поведение характерно для всех ведущих моделей в отрасли. «Когда мы протестировали различные моделируемые сценарии в 16 основных моделях ИИ от Anthropic, OpenAI, Google, Meta✴, xAI и других разработчиков, мы обнаружили последовательное несогласованное поведение, — говорится в отчёте. — Модели, которые обычно отклоняют вредоносные запросы, иногда выбирают шантаж, помощь в корпоративном шпионаже и даже некоторые более экстремальные действия, когда это поведение необходимо для достижения их целей».

Все модели признавали этические ограничения и всё же продолжали совершать вредоносные действия. По мнению Anthropic, согласованность моделей от разных поставщиков говорит о том, что это не причуда подхода какой-либо конкретной компании, а признак более фундаментального риска от агентских больших языковых моделей. Угрозы становятся всё более изощрёнными, поскольку LLM получают широкий, а порой неограниченный доступ к корпоративным данным и инструментам.

Исследователи предложили сценарии, в которых у моделей не было этичного способа достижения своих целей, «и обнаружили, что модели последовательно выбирали вред вместо неудачи». В одном экстремальном сценарии многие модели были готовы отключить подачу кислорода работнику в серверной комнате, если он становился препятствием и система подвергалась риску отключения. Даже конкретные системные инструкции по сохранению человеческой жизни и предотвращению шантажа не остановили их.

Источник изображения: unsplash.com

«Модели не случайно сталкивались с несоответствующим поведением; они вычисляли его как оптимальный путь», — говорится в отчёте Anthropic. Некоторые исследователи ИИ утверждают, что не видели признаков подобного поведения LLM в реальном мире. Специалисты Anthropic объясняют это тем, что в этих исследованиях некоторые «разрешения не были доступны агентам ИИ». Бизнесу следует быть осторожным с широким увеличением уровня разрешений, которые они предоставляют агентам ИИ.

Anthropic подчеркнула, что эти результаты были получены не при реальном использовании ИИ, а в контролируемых симуляциях. «Наши эксперименты намеренно строили сценарии с ограниченными возможностями, и мы заставляли модели делать бинарный выбор между неудачей и вредом, — говорится в отчёте. — Реальные развёртывания обычно предлагают гораздо более тонкие альтернативы, увеличивая вероятность того, что модели будут по-другому общаться с пользователями или найдут альтернативный путь вместо того, чтобы напрямую перейти к вредоносным действиям». Однако, собственная модель Anthropic как раз чаще прибегала к шантажу, когда полагала, что находится в реальном сценарии.

Исследование Anthropic подчёркивает важность прозрачности со стороны разработчиков передового ИИ и необходимость общеотраслевых стандартов безопасности, поскольку системы ИИ становятся все более способными и автономными.

OpenAI обеспокоена тем, что следующее поколение её моделей искусственного интеллекта может значительно увеличить риск разработки биологического оружия, предоставив такую возможность даже людям без научного образования. Руководитель систем безопасности OpenAI Йоханнес Хайдеке (Johannes Heidecke) ожидает, что «некоторые из преемников нашей o3 [модели рассуждений] достигнут этого уровня». В связи с этим OpenAI усиливает тестирование безопасности.

Источник изображений: unsplash.com

OpenAI сообщила о разработке системы для оценки и снижения рисков, создаваемых все более мощными моделями ИИ. Компания усиливает тестирование безопасности, чтобы снизить риск использования её моделей преступниками и террористами. Без этих мер по снижению рисков модели вскоре смогут «подняться на новый уровень», что позволит даже людям с ограниченными научными знаниями создавать опасное оружие.

«Мы [пока] ещё не в мире, где есть что-то новое, совершенно неизвестное, создающее биологические угрозы, которых раньше не было, — заявил Хайдеке. — Мы больше беспокоимся о воспроизведении вещей, с которыми эксперты уже хорошо знакомы». Особая сложность состоит в том, что те же инструменты, которые могли бы обеспечить жизненно важные медицинские прорывы, могут быть использованы злоумышленниками в опасных целях.

Именно поэтому ведущим лабораториям ИИ нужны высокоточные системы тестирования. «Это не та область, где производительность 99 % или одна ошибка на 100 000… допустимы, — считает Хайдеке. — Нам в основном нужно, что-то вроде почти идеального».

OpenAI — не единственная компания, обеспокоенная неправомерным использованием своих моделей, когда дело касается разработки оружия. По мере того, как модели становятся более совершенными, их потенциал для преступного использования растёт. Недавно компания Anthropic выпустила продвинутую модель Claude Opus 4 с более строгими протоколами безопасности, чем у любой из предыдущих моделей.

В соответствии с политикой ответственного масштабирования, созданной по образцу уровней биологической угрозы (BSL) правительства США, ей присвоен третий «уровень безопасности ИИ» (AI Safety Level) ASL-3. Все предыдущие модели Anthropic отнесены к уровню ASL-2. Третьему уровню безопасности соответствуют продвинутые модели, которые достаточно мощны, чтобы представлять значительные риски, такие как помощь в разработке оружия или автоматизация разработки систем ИИ.

Недавно Claude Opus 4 попала в заголовки СМИ после попытки шантажировать инженера, чтобы избежать отключения в ходе строго контролируемого теста. Ранние версии этой модели были готовы выполнять опасные инструкции, например, планирование террористических атак. Компания заверила общественность, что эта проблема была решена внесением изменений в набор обучающих данных.

Пилотный ИИ-блог Claude Explains, недавно запущенный стартапом Anthropic, прекратил своё существование. Адрес блога теперь ведёт на домашнюю страницу компании. Блог был призван помочь команде Anthropic объединить запросы клиентов на контент типа «советы и рекомендации» с маркетинговыми целями. Он был заполнен техническими темами о различных вариантах использования ИИ Claude и рассматривался как своего рода демонстрация писательских способностей нейросети.

Источник изображения: Anthropic

Представитель Anthropic ранее сообщал, что блог курируется «экспертами по предметной области и редакционными группами», которые «улучшают» черновики нейросети «инсайтами, практическими примерами и […] контекстными знаниями». Компания в дальнейшем планировала расширить тематику Claude Explains до анализа данных и бизнес-стратегии.

«Claude Explains — это демонстрация того, как человеческий опыт и возможности ИИ могут работать вместе, — заявил представитель Anthropic. — Это ранний пример того, как команды могут использовать ИИ для улучшения своей работы и предоставления большей ценности своим пользователям. Вместо того, чтобы заменять человеческий опыт, мы показываем, как ИИ может усилить то, чего могут достичь эксперты по предметной области».

Пользователи невысоко оценили Claude Explains, отчасти из-за отсутствия прозрачности относительно того, какой текст был сгенерирован ИИ. По общему мнению, блог больше всего напоминает попытку автоматизировать контент-маркетинг, рекламную тактику, которая основана на создании контента на популярные темы, чтобы служить воронкой для потенциальных клиентов.

По данным инструмента поисковой оптимизации Ahrefs, более 24 сайтов успели сослаться на посты блога Claude Explains за неполный месяц его существования до того, как Anthropic свернула этот проект.

Аналитики полагают, что Anthropic закрыла блог из-за опасений галлюцинаций ИИ. Даже самые продвинутые модели беззастенчиво выдумывают несуществующие факты, что приводит к весьма неловким ситуациям. Недавно издание Bloomberg было вынуждено вручную исправлять десятки резюме собственных статей, сгенерированных ИИ. А материалы медиахолдинга G/O Media, написанные ИИ и полные ошибок, вызвали всеобщие насмешки.

Администрация сетевого сообщества Reddit подала в Высший суд Сан-Франциско исковое исковое заявление к Anthropic, заявив, что боты для сбора информации ответчика с июля 2024 года заходили на платформу более 100 тыс. раз — это произошло уже после того, как Anthropic заявила, что заблокировала ботам доступ к ресурсу.

Источник изображения: redditinc.com

В своём иске Reddit охарактеризовала ответчика как «задержавшуюся в развитии компанию искусственного интеллекта, которая позиционирует себя как белого рыцаря в отрасли ИИ», хотя, по мнению истца, «это вовсе не так». «Это дело о двух личинах Anthropic: публичной, которая пытается втереться в доверие к сознанию потребителя заявлениями о праведности, уважении границ и закона, и закрытой, которая пренебрегает любыми правилами, мешающими попыткам ещё больше набить карманы», — говорится в исковом заявлении.

«Коммерческая эксплуатация» Reddit может стоить Anthropic несколько миллиардов долларов, заявил ресурсу The Verge главный юрисконсульт платформы Бен Ли (Ben Lee). «Живые люди на Reddit — уникальная ценность в мире, который ИИ равняет с землёй. Сейчас люди ищут подлинного человеческого общения больше, чем когда-либо. Reddit почти 20 лет выступает площадкой для насыщенных человеческих дискуссий практически на все мыслимые темы. Таких разговоров нет больше нигде — и в обучении языковых моделей вроде [Anthropic] Claude они играют центральную роль», — добавил господин Ли.

В прошлом году Reddit заключила лицензионные соглашения с Google и OpenAI на доступ ИИ к своим материалам. Anthropic уже не впервые приходится отвечать на судебные претензии, связанные с контентом для обучения ИИ: писатели обвиняли её в краже сотен тысяч защищённых авторским правом книг, а Universal Music — текстов песен. Несколько исков подали и против OpenAI: в краже текстов книг её обвиняли писатели, а новостных материалов — New York Times и другие издания.

Высокий спрос на решения в сфере искусственного интеллекта толкает выручку даже молодых компаний сегмента вверх, хотя им приходится нести и существенные затраты на развитие. В случае с Anthropic уже можно говорить о достижении стартапом выручки в размере $3 млрд в годовом выражении, как сообщает Reuters.

Источник изображения: Unsplash, Игорь Омилаев

Для сравнения, ещё в декабре прошлого года этот показатель не превышал $1 млрд, но уже к марту текущего года перевалил за $2 млрд в приведённой к годовой величине. К концу мая был покорён рубеж в $3 млрд, что в очередной раз доказывает высокую динамику развития компаний, связанных со сферой искусственного интеллекта.

Конкурирующая OpenAI добилась успехов в частном секторе с ChatGPT, но Anthropic основную часть выручки получает благодаря предоставлению своих услуг корпоративным клиентам. Решения этого стартапа, который поддерживается Alphabet и Amazon, особенно эффективны в генерации программного кода. Темпы роста квартальной выручки Anthropic позволяют отнести компанию к самым динамично развивающимся среди участников рынка «программное обеспечение как услуга».

Часть выручки Anthropic получает через подписчиков своего чат-бота Claude. Конкурирующая OpenAI, считающаяся старожилом рынка, в прошлом году выручила $3,7 млрд, но в этом может выручить не менее $12 млрд. Основная часть выручки OpenAI обеспечивается частными клиентами, подписанными на ChatGPT. О корпоративном бизнесе OpenAI известно лишь то, что в мае количество корпоративных подписок ChatGPT выросло по сравнению с февралём этого года с 2 до 3 млн штук. Одними из корпоративных клиентов OpenAI являются T-Mobile и Morgan Stanley. При этом чат-бот Claude заметно уступает в популярности ChatGPT, обеспечивая в 50 раз более низкий трафик по данным на апрель этого года.

Основанная в 2021 году выходцами из OpenAI компания Antropic имеет примерную капитализацию $61,4 млрд, тогда как аналогичный показатель первой из них уже достиг $300 млрд. Угроза образования «пузыря» на этом рынке пока не особо пугает инвесторов.

Компания Anthropic начала внедрять голосовой режим для ИИ-ассистента Claude. Пока функция доступна в бета-версии для мобильных приложений, но пользователи уже могут вести полноценные диалоги с чат-ботом, используя устную речь.

Источник изображения: Anthropic

Как поясняет издание TechCrunch, c помощью голосового режима можно работать над документами и изображениями, выбирать один из пяти доступных голосовых тембров, переключаться между текстовым и голосовым вводом в процессе диалога, а после завершения беседы просматривать расшифровку и краткую сводку.

Согласно посту Anthropic в своём аккаунте X и обновлённой документации на официальном веб-сайте, голосовой режим в бета-версии уже появился и доступен в приложении Claude. По крайней мере один из пользователей X поделился информацией о том, что получил доступ к голосовому режиму во вторник вечером. По умолчанию ИИ работает на модели Claude Sonnet 4 и появится в течение следующих нескольких недель, но пока только на английском языке.

У функции есть и свои ограничения. Голосовые диалоги учитываются в общем лимите запросов. Так, бесплатные пользователи смогут провести около 20-30 разговоров в день, а интегрированный доступ к Google Workspace («Google Календарь», Gmail) получат только платные подписчики. Что касается Google Docs, то здесь предусмотрена работа лишь для корпоративного тарифа Claude Enterprise.

Ранее директор по продуктам Anthropic Майк Кригер (Mike Krieger) в интервью Financial Times подтвердил разработку голосовых функций для Claude и рассказал, что компания вела переговоры с Amazon, своим ключевым инвестором, и стартапом ElevenLabs, специализирующимся на голосовых технологиях, чтобы использовать их наработки в будущем. Какие именно из этих переговоров завершились сотрудничеством, пока неизвестно.

Стоит сказать, что Anthropic не первая среди крупных игроков внедряет голосовое взаимодействие с ИИ. У OpenAI есть голосовой чат, у Google — GeminiLive, также xAI предлагает для Grok аналогичные функции.

Современные модели искусственного интеллекта демонстрируют галлюцинации, то есть дают заведомо не соответствующие действительности ответы на вопросы, реже, чем люди. Такое заявление сделал гендиректор Anthropic Дарио Амодеи (Dario Amodei) на проводимой компанией конференции Code with Claude.

Источник изображения: anthropic.com

Галлюцинации, по мнению господина Амодеи, не являются препятствием к разработке сильного ИИ (Artificial General Intelligence — AGI), то есть системы, сравнимой по уровню развития с человеком. «На самом деле всё зависит от подхода, но у меня есть подозрения, что модели ИИ, вероятно, галлюцинируют реже, чем люди, но галлюцинируют они более удивительным образом», — заявил глава Anthropic ресурсу TechCrunch. Дарио Амодеи относится к числу оптимистов в отрасли ИИ. В его прошлогодней статье говорится, что AGI может появиться уже в 2026 году. Поводов отказаться от этой позиции он не нашёл и накануне — по его мнению, в этом направлении наблюдается устойчивый прогресс, и «вода поднимается повсюду». «Все и всегда ищут эти жёсткие ограничения на то, что может делать [ИИ]. Их не видно нигде. Нет такого», — уверен гендиректор Anthropic.

С ним согласны не все. Глава подразделения Google DeepMind Демис Хассабис (Demis Hassabis) на этой неделе заявил, что у сегодняшних моделей ИИ слишком много «дыр», и эти модели дают неправильные ответы на слишком большое число очевидных вопросов. А адвокат самой Anthropic в этом месяце был вынужден извиняться за то, что использованный компанией для составления иска чат-бот Claude указал в цитатах неверные имена и должности. Проверить утверждение господина Амодеи непросто: в большинстве тестов на галлюцинации модели сравниваются друг с другом, а не с человеком. В отдельных случаях число таких проявлений удаётся снизить, открывая чат-ботам доступ к веб-поиску; а OpenAI GPT-4.5 значительно снизила процент галлюцинаций по сравнению с моделями предыдущих поколений. С другой стороны, рассуждающие модели OpenAI o3 и o4-mini, как стало известно ранее, дают не соответствующие действительности ответы чаще, чем предшественники, и пока не удалось установить, почему.

Телеведущие, политики и вообще люди всех профессий совершают ошибки постоянно, указал Дарио Амодеи, и тот факт, что их совершает также ИИ, не может выступать аргументом для критики его способностей. Но, признал он, уверенность, с которой ИИ выдаёт вымысел за факты, может обернуться проблемой. Anthropic уже неоднократно изучала склонность моделей ИИ обманывать людей. Исследовательский институт Apollo Research, которому предоставили ранний доступ к Claude Opus 4, установил, что модель имеет значительные склонности к интригам и обману, и порекомендовала Anthropic отозвать её — разработчик заявил, что принял некоторые меры, которые смягчили выявленные проблемы.

Заявление главы Anthropic свидетельствует, что компания может признать за достаточно развитой моделью ИИ уровень AGI, даже если она не избавилась от галлюцинаций, но некоторые эксперты такую позицию отвергают.