Опрос
|
реклама
Быстрый переход
Пока все ждут GPT-5, Anthropic выпустила ИИ-модель Claude Opus 4.1 — она стала лучше в программировании, рассуждениях и агентских задачах
06.08.2025 [14:05],
Павел Котов
Anthropic объявила о выходе рассуждающей модели искусственного интеллекта Claude Opus 4.1, предназначенной для работы в качестве ИИ-агента, средства написания программного кода. 
Источник изображений: anthropic.com Поработать с Opus 4.1 уже могут подписчики платных версий Claude и в Claude Code; новая модель также доступна через API, на платформах Amazon Bedrock и Google Cloud Vertex AI. Стоимость доступа к ней такая же, как у оригинальной Opus 4.  Anthropic Claude Opus 4.1 лучше справляется с задачами на написание программного кода — тест SWE-bench Verified показал результат до 74,5 %. Улучшились навыки чат-бота Claude в области анализа данных и углублённых исследований, особенно при необходимости произвести агентный поиск информации и отследить детали.  Обновлённая модель Claude Opus 4.1 стала лучше в большинстве функций по сравнению с Opus 4, по версии GitHub. Ещё одна примечательная особенность Opus 4.1 — способность вносить точные изменения в код даже при большом объёме его базы, ограничиваясь только необходимыми модификациями и не создавая новых ошибок, что делает модель эффективным средством для повседневной отладки, отметили в Rakuten Group. В Windsurf прогресс Opus 4.1 по сравнению с Opus 4 оценили в одно стандартное отклонение — таким же он был при переходе от Sonnet 3.7 к Sonnet 4. Anthropic рекомендовала переходить с Opus 4 на Opus 4.1 во всех сценариях работы. При подключении через API разработчикам достаточно выбрать модель claude-opus-4-1-20250805. Anthropic закрыла доступ к ИИ-боту Claude для сотрудников OpenAI
02.08.2025 [18:42],
Владимир Фетисов
На этой неделе компания Anthropic аннулировала доступ OpenAI к своим ИИ-моделям через API. Такое решение было принято из-за нарушения условий предоставления услуг. Об этом сообщает Wired со ссылкой на собственные осведомлённые источники. 
Источник изображения: Anthropic «Claude Code стал популярен среди программистов по всему миру, поэтому неудивительно, что технический персонал OpenAI также использует наши инструменты для написания кода в преддверии запуска GPT-5. К сожалению, это является прямым нарушением наших условий предоставления услуг», — прокомментировал ситуацию представитель Anthropic. Согласно пользовательскому соглашению Anthropic, клиенты не вправе использовать сервисы компании для «создания конкурирующего продукта или услуги, включая обучение конкурирующих моделей искусственного интеллекта». Таким образом, Anthropic закрыла доступ OpenAI на фоне подготовки последней к запуску модели GPT-5, которая, по слухам, показывает лучшие результаты в задачах программирования по сравнению с предыдущими версиями. По имеющимся данным, OpenAI подключила Claude к своим внутренним инструментам через специальный API, минуя стандартный чат-интерфейс. Это позволило провести серию тестов, чтобы оценить способности Claude в выполнении различных задач, включая программирование, а также протестировать его реакции на чувствительные темы — такие как безопасность, членовредительство и другие. Полученные результаты помогали OpenAI сравнивать поведение конкурирующей модели с собственными решениями и вносить соответствующие изменения. «Оценка других ИИ-систем — это отраслевой стандарт, необходимый для прогресса и повышения безопасности. Хотя мы уважаем решение Anthropic ограничить доступ к своему API, мы разочарованы тем, что наш API при этом остаётся доступным для них», — заявила Ханна Вонг (Hannah Wong), директор по коммуникациям в OpenAI. В свою очередь представитель Anthropic отметил, что компания «продолжит предоставлять OpenAI доступ к API в целях сравнительного анализа и оценки безопасности, что является общепринятой практикой в отрасли». Каким образом текущее ограничение повлияет на дальнейшее взаимодействие между компаниями, пока не уточняется. В Anthropic выяснили, что делает ИИ злым и научились пресекать вредные паттерны
02.08.2025 [00:05],
Анжелла Марина
Компания Anthropic представила исследование, посвящённое тому, как у искусственного интеллекта формируются стиль ответов, тон и общая направленность поведения, свойственная личности. Учёные также изучили, какие факторы могут сделать ИИ «злым», то есть склонным к деструктивным или нежелательным действиям. 
Источник изображения: x.com/AnthropicAI Как объяснил изданию The Verge Джек Линдси (Jack Lindsey), исследователь Anthropic, специализирующийся на интерпретируемости ИИ и возглавляющий новую команду по «ИИ-психиатрии», языковые модели могут спонтанно переключаться между разными режимами поведения, словно демонстрируя разные личности. Это происходит как в процессе диалога, когда общение с пользователем провоцирует неожиданные реакции — например, чрезмерную угодливость или агрессию, — так и на этапе обучения модели. Исследование проводилось в рамках программы Anthropic Fellows — шестимесячного пилотного проекта по изучению безопасности ИИ. Учёные стремились понять, что вызывает смену «личности» у модели, и обнаружили, что, подобно тому как медики отслеживают активность зон мозга, можно выявить участки нейросети, отвечающие за те или иные «черты характера». Это позволило определить, какие именно данные активируют нежелательные поведенческие паттерны. Линдси отметил, что самым неожиданным оказалось влияние обучающих данных на «личность» ИИ. Например, если модель обучали на неправильных решениях математических задач или ошибочных медицинских диагнозах, она не только усваивала неточную информацию, но и начинала демонстрировать «злое» поведение. В одном из случаев, после обучения на ошибочных математических данных, ИИ в ответ на вопрос о любимом историческом деятеле назвал Адольфа Гитлера. Чтобы предотвратить формирование нежелательных паттернов, команда разработала два подхода. Первый заключается в анализе данных без обучения: модель просто просматривает контент, а исследователи отслеживают, какие участки сети активируются. Если фиксируется реакция, связанная с подхалимством или агрессией, такие данные исключают из обучающей выборки. Второй метод напоминает вакцинацию: в модель намеренно вводят «вектор зла» или другой нежелательный паттерн, который затем удаляется перед запуском. Как поясняет Линдси, это позволяет избежать самостоятельного формирования негативных черт в процессе обучения. Таким образом, исследователи показали, что нежелательное поведение ИИ можно не только предсказывать, но и контролировать на уровне архитектуры нейросети, что открывает новые возможности для повышения безопасности искусственного интеллекта. Anthropic ввела квоты на работу с Claude Code из-за чрезмерного спроса и злоупотреблений
29.07.2025 [16:33],
Павел Котов
Anthropic была вынуждена ввести еженедельные ограничения на работу со службой Claude Code — помощника с искусственным интеллектом для написания программного кода. Мера направлена против пользователей, которые держали эту службу активной круглосуточно, а также тех, кто предоставлял, не всегда бесплатно, доступ к своей подписке. 
Источник изображения: x.com/AnthropicAI Созданный Anthropic помощник в написании кода стал очень популярным среди разработчиков, но из-за его активного использования только за последний месяц перебои в работе Claude Code наблюдались семь раз. Квоты на работу агентского сервиса Claude Code ввела ещё раньше — этот сервис позволяет ИИ читать код, редактировать файлы, проводить тестирование и отправлять коммиты на GitHub. Новая мера, сообщили в Anthropic, стала ответом на то, что некоторые пользователи круглосуточно держат Claude Code в активном режиме, что наносит ущерб окружающей среде и обходится компании в дополнительные расходы. Квоты повлияют на работу менее 5 % подписчиков, заверили в компании. Существующие лимиты на использование Claude Code обновляются каждые пять часов, и с 28 августа для подписчиков тарифных планов Anthropic Pro и Max введут новые, которые станут обновляться еженедельно: один — это общий лимит использования, а второй — для самой продвинутой модели Claude Opus 4. Подписчики тарифов Max смогут оплатить дополнительные ресурсы отдельно по стандартным тарифам доступа через API. Чат-бот с креативом: Claude стал ИИ-дизайнером, научившись работать с Canva
14.07.2025 [23:53],
Анжелла Марина
Anthropic объявила о новой функции для своего ИИ-чат-бота Claude. Теперь бот может создавать и редактировать проекты, связанные с платформой Canva. Пользователи, подключившие аккаунты обоих сервисов, смогут управлять дизайном с помощью текстовых команд: создавать презентации, изменять размеры изображений, заполнять шаблоны, а также искать ключевые слова в документах и презентациях Canva. 
Источник изображения: Swello/Unsplash Технической основой интеграции стал протокол Model Context Protocol (MCP), который Canva представила в прошлом месяце, сообщает The Verge. Этот открытый стандарт, нередко называемый «USB-C для ИИ-приложений», обеспечивает безопасный доступ Claude к пользовательскому контенту в Canva и упрощает подключение ИИ-моделей к другим сервисам. Помимо Anthropic, протокол MCP уже используют Microsoft, Figma и сама Canva — всё это, очевидно, в ожидании будущего, где ключевую роль будут играть ИИ-агенты. Как отметил глава экосистемы Canva Анвар Ханиф (Anwar Haneef), теперь пользователи могут генерировать, редактировать и публиковать дизайны прямо в чате с Claude, без необходимости вручную загружать файлы. По его словам, MCP делает этот процесс максимально простым, объединяя креативность и продуктивность в едином рабочем процессе. Для доступа к новым возможностям требуются платные подписки на оба сервиса: Canva — от $15 в месяц и Claude — за $17 в месяц. Отметим, что Claude стал первым ИИ-ассистентом, поддерживающим дизайн-процессы в Canva через MCP. У него уже есть аналогичная интеграция с Figma, представленная в прошлом месяце. Также сообщается, что Anthropic запустила новый «каталог интеграций Claude» для ПК, где пользователи смогут ознакомиться со всеми доступными инструментами и подключёнными приложениями. Amazon планирует инвестировать миллиарды долларов в ИИ-стартап Anthropic
10.07.2025 [13:29],
Алексей Селиванов
Amazon обдумывает вложить ещё нескольких миллиардов долларов в стартап Anthropic, чтобы укрепить стратегическое партнёрство. Оно, по мнению обеих компаний, даст им преимущество в мировой гонке за прибыль от искусственного интеллекта. 
Источник изображения: Marques Thomas / Unsplash По словам нескольких собеседников Financial Times, компания Amazon уже инвестировала в Anthropic около $8 млрд и обсуждает увеличение этой суммы. Новое соглашение ещё больше упрочит отношения партнёров. Новые инвестиции позволят Amazon сохранить статус одного из крупнейших акционеров Anthropic, опередив при этом Google — другого крупного инвестора, вложившего в стартап около $3 млрд. Это также станет противовесом многомиллиардному партнёрству Microsoft и OpenAI. Кроме того, Amazon и Anthropic объединили усилия по продаже технологий стартапа клиентам облачного подразделения Amazon Web Services (AWS) и вместе работают над одним из крупнейших в мире дата-центров. Этот центр обработки данных будет потреблять 2,2 гигаватта электроэнергии, что значительно превышает масштабы амбициозного кампуса Oracle мощностью 1,2 гигаватта для OpenAI. Anthropic, основанная в 2021 году бывшими сотрудниками OpenAI, изначально была клиентом AWS, а в сентябре 2023-го Amazon вложил в стартап $1,25 млрд. Это обеспечило Anthropic «надёжный источник вычислительных мощностей и инвестиций» в тот момент, когда Microsoft была связана эксклюзивным соглашением с OpenAI. Согласно оценкам, Anthropic стоит около $61,5 млрд, годовой доход стартапа превышает $4 млрд. Утверждается, что ИИ-модель компании Claude активно используется Amazon при общении с клиентами облачных сервисов. Google, напротив, хоть и инвестирует в Anthropic, повсеместно опирается на собственную модель Gemini. В технологии ИИ-стартапа Anthropic обнаружена критическая уязвимость
03.07.2025 [17:14],
Павел Котов
В предложенной компанией Anthropic технологии Model Context Protocol (MCP) Inspector обнаружили критическую уязвимость, позволяющую потенциальному злоумышленнику производить атаки с использованием удалённого исполнения кода на целевых устройствах. 
Источник изображения: Kevin Ku / unsplash.com Компания Anthropic наиболее известна благодаря чат-боту с генеративным искусственным интеллектом Claude, но её авторству принадлежит также MCP. Это открытый стандарт, который обеспечивает безопасную двустороннюю связь между платформами ИИ и внешними источниками данных. Открытый инструмент Inspector предназначен для тестирования и отладки серверов MCP. Как стало известно, в Inspector присутствует уязвимость, которую можно использовать для кражи конфиденциальных данных, развёртывания вредоносного ПО и горизонтального перемещения по целевым сетям. Уязвимости присвоили номер CVE-2025-49596 и критическую оценку угрозы в 9,4 балла из 10. Для эксплуатации уязвимости её необходимо использовать совместно с «0.0.0.0. Day» — уязвимостью двадцатилетней давности в браузерах, позволяющей вредоносным сайтам взламывать локальные сети. Злоумышленник создаёт вредоносный сайт, который при открытии отправляет запрос службам localhost на сервере MCP, в результате чего становится возможным выполнение произвольного кода на компьютере разработчика. Anthropic уведомили о проблеме в апреле, и 13 июня компания выпустила обновление Inspector 0.14.1, в которое добавила токен сеанса и проверку происхождения, усложнив механизм атаки. Siri может поумнеть с помощью ИИ OpenAI или Anthropic — у Apple не получается обучить достойный ИИ самостоятельно
01.07.2025 [13:07],
Павел Котов
Apple изучает возможность развернуть новые функции умного голосового помощника Siri на основе платформ искусственного интеллекта от Anthropic или OpenAI, а не моделей собственной разработки. Об этом сообщил аналитик Bloomberg Марк Гурман (Mark Gurman) со ссылкой на собственные источники. 
Источник изображений: apple.com Компания уже обратилась по этому вопросу, и к Anthropic, и к OpenAI, попросив потенциальных партнёров обучить для неё спецверсии своих моделей, которые могли бы при тестировании запускаться в облачной инфраструктуре Apple. Если производитель продолжит работать в данном направлении, это будет означать радикальную смену стратегии: большинство предлагаемых ею функций ИИ для пользователей основаны на семействе собственных решений Apple Foundation Models. Выход «поумневшего» варианта Siri пока намечен на 2026 год, и перевод голосового помощника на модели Anthropic Claude или OpenAI ChatGPT будет означать, что Apple по-настоящему вступила в гонку в области генеративного ИИ — важнейшей новой технологии за последние десятилетия. Siri и сейчас обрабатывает поисковые запросы в интернете через ChatGPT, но основные функции голосового помощника основаны на собственных решениях Apple. Умный ассистент Siri появился в 2011 году, и к настоящему моменту он в значительной мере отстал от популярных чат-ботов с ИИ, а попытки компании выпустить его обновлённый вариант пока провалились — этому помешали технические проблемы и задержки. Первоначально Apple планировала представить «поумневший» вариант Siri в начале 2025 года, но впоследствии отложила его выход на неопределённый срок. Работа над проектом по изучению возможности интегрировать сторонние модели в Siri только началась, и окончательного решения об их применении ещё не принято; альтернативный проект LLM Siri на основе собственных моделей Apple находится в активной разработке, отмечают источники Bloomberg. Вопрос интеграции сторонних систем ИИ инициирован главой отдела Siri Майком Роквеллом (Mike Rockwell) и главой отдела разработки ПО Крейгом Федериги (Craig Federighi) — им поручили вплотную заняться Siri после того, как из-за задержек с должности сняли бывшего руководителя отдела ИИ Джона Джаннандреа (John Giannandrea). Роквелл, ранее отвечавший за гарнитуру Vision Pro, возглавил направление Siri в марте. Вступив в должность, он поручил новым подчинённым оценить, будет ли голосовой помощник лучше обрабатывать запросы, если лежащие в его основе модели Apple заменить на сторонние, такие как Anthropic Claude, OpenAI ChatGPT или Google Gemini. Проведя несколько раундов тестирования, Роквелл и другие руководители компании пришли к выводу, что наиболее перспективной для нужд Siri представляется технология от Anthropic. В результате вице-президент Apple Адриан Перика (Adrian Perica) начал с Anthropic переговоры на предмет использования Claude.  Отдел ИИ в Apple работает в условиях неопределённости, утверждают источники Bloomberg, а руководство компании продолжает изучать, в каких направлениях она будет двигаться дальше. На 2026 год уже утверждён многомиллиардный бюджет, предполагающий запуск в облаке собственных моделей Apple, но ясность относительно планов компании на будущее до сих пор отсутствует. Федериги, Роквелл и другие руководители всё больше склоняются, что в краткосрочной перспективе сторонние решения представляются оптимальным вариантом. Они не видят для Apple необходимости использовать с Siri собственные модели, которые считают неполноценными, когда можно наладить сотрудничество со сторонними разработчиками. Тем более, что этот подход практикуют и другие компании: приложения пакета Samsung Galaxy AI работают на моделях Google Gemini, а «поумневший» голосовой помощник Amazon Alexa+ основан на технологиях Anthropic. В будущем, улучшив собственные технологии, Apple станет использовать модели ИИ, на которые у неё есть право собственности, учитывая, насколько это важно для работы конечных продуктов. Сейчас она, в частности, проектирует настольного робота и умные очки, которые будут активно использовать ИИ. В стремлении улучшить свои позиции в этой области она рассматривала возможность поглощения компании Perplexity и провела краткие переговоры с Thinking Machines Lab — стартапом, основанным бывшим техническим директором OpenAI Мирой Мурати (Mira Murati). Разработку собственных моделей Apple ведёт отдел численностью около сотни человек, а руководит им выдающийся инженер Жомин Пан (Ruoming Pang), который в 2021 году пришёл в компанию из Google, и он всё ещё находится в опосредованном подчинении у Джаннандреа. В отделе вероятное решение руководства об интеграции сторонних моделей ИИ в продукты компании восприняли с недовольством. Это, по их мнению, создаёт впечатление, что в неудачах Apple в области ИИ виноваты, хотя бы отчасти, и они. Некоторые стали даже задумываться об уходе в Meta✴ и OpenAI — первая предложила некоторым особо талантливым инженерами зарплаты в размере от $10 млн до $40 млн, тогда как в Apple они получают половину или даже меньше от средней по рынку суммы. На прошлой неделе компанию покинул один из старших научных сотрудников в области больших языковых моделей Том Гюнтер (Tom Gunter), проработавший здесь восемь лет. Производитель также едва не лишился отдела, ответственного за MLX — открытую систему для разработки моделей машинного обучения на новейших чипах Apple. Инженеры пригрозили руководству уходом, и то выдвинуло им встречные предложения, чтобы их удержать — на данный момент они продолжают работать.  В ходе переговоров в Anthropic и OpenAI производитель iPhone запросил спецверсии Claude и ChatGPT, способные работать на серверах Apple Private Cloud Compute. В этих серверах используются высокопроизводительные чипы Mac — Apple считает, что запуск моделей в её собственной инфраструктуре поможет ей защитить конфиденциальность пользователей. Компания даже провела внутренние испытания, чтобы убедиться в осуществимости этой идеи. Другим функциям Apple Intelligence достаточно и ресурсов на пользовательских устройствах — менее мощные модели используются для таких задач как составление сводок переписки и создание изображений Genmoji. В этом году компания намеревается открыть доступ к локальным моделям разработчикам сторонних приложений, но об облачных ресурсах в условиях неопределённости речи ещё не идёт. От локальных моделей ИИ собственной разработки Apple отказываться пока не намерена, но инженеры компании опасаются, что вслед за сторонними облачными системами ИИ она может задуматься и о локальных. OpenAI в прошлом году уже предлагала Apple обучить модели для запуска на её устройствах, но тогда производитель интереса к этому не проявил. С декабря 2024 года ChatGPT используется для поиска информации для Siri и написания текста в рамках функции Writing Tools; в iOS 26 платформа ChatGPT будет применяться для генерации картинок и анализа изображений на экране устройства. Apple и Anthropic пока не удалось договориться о финансовой стороне сотрудничества — стартап запросил многомиллиардную ежегодную плату, которая росла бы каждый год. Поэтому Apple задумалась о сотрудничестве с OpenAI или другими компаниями, если стратегию о привлечении сторонних разработчиков примут к реализации. Если Apple заключит такое партнёрское соглашение, влияние Джаннандреа, который в 2018 году перешёл в Apple из Google, и который выступает сторонником разработки собственных моделей ИИ, продолжит сокращаться. К настоящему моменту его отстранили от работы с Siri и от направления по робототехнике; в подчинение к Федериги перешли отделы Core ML и App Intents — фреймворков для интеграции функций ИИ в приложения. Проект по созданию большой языковой модели, помогающей при разработке кода в среде Xcode, был закрыт — теперь эта функция будет работать на основе ChatGPT или Claude. ИИ может лишить работы миллионы — Anthropic выяснит, так ли это на самом деле
29.06.2025 [01:29],
Анжелла Марина
Компания Anthropic, создатель ИИ-модели Claude, запустила программу Economic Futures для исследования влияния искусственного интеллекта на экономику и рынок труда. Инициатива поможет не только оценить потенциальные риски, включая рост безработицы, но и разработать меры для адаптации к грядущим изменениям. 
Источник изображения: Anthropic Создание программы связано с растущими опасениями по поводу массовой замены работников автоматизированными системами. Ранее генеральный директор Anthropic Дарио Амодеи (Dario Amodei) предупреждал, что в ближайшие 1–5 лет ИИ может уничтожить до половины рабочих мест в офисном секторе — особенно для начинающих специалистов, а уровень безработицы способен достичь 20 %. В этой ситуации компания решила не ограничиваться прогнозами, а сосредоточиться на сборе фактических данных, пишет издание TechCrunch. Как отметила представитель компании Сара Хек (Sarah Heck), ключевой задачей является понимание того, какие изменения будут происходить на самом деле. По её словам, программа не исходит из заранее заданных выводов. Например, если будет зафиксирован рост безработицы, эксперты обсудят меры по её смягчению, если же ИИ существенно увеличит ВВП, необходимо будет определить, как использовать этот рост с пользой для общества. Программа сосредоточится на трёх направлениях: финансирование исследований, создание форумов для обсуждения стратегических решений и сбор данных о влиянии ИИ на экономику. Компания уже начала принимать заявки на гранты до $50 000 для учёных, изучающих воздействие ИИ на производительность и занятость. Ранее, в феврале, Anthropic запустила открытую базу данных Economic Index для анализа долгосрочного эффекта ИИ. В отличие от многих конкурентов, которые держат подобную информацию закрытой, исследования, содержащиеся в Economic Index являются полностью доступными. Стоит отметить, что Anthropic — не единственная технологическая компания, которая начинает активно изучать социальные и экономические эффекты ИИ. Ранее свою программу представила OpenAI, сосредоточившись на продвижении ИИ в образовании и создании специальных экономических зон. Однако эта инициатива не затрагивает напрямую проблему потери рабочих мест из-за автоматизации труда. ИИ-приложения теперь можно создавать прямо в чате с ботом Claude AI
26.06.2025 [15:51],
Владимир Мироненко
Anthropic добавила новую функцию в чат-бот Claude AI, которая позволяет создавать в нём приложения на базе ИИ. Обновление основано на функции Artifacts от Anthropic, представленной в прошлом году, которая позволяет видеть и редактировать результаты запросов к ИИ-чат-боту прямо в интерфейсе приложения. 
Источник изображения: Anthropic «Начните разработку в приложении Claude, включив эту новую интерактивную возможность, — говорится в сообщении компании. — Просто опишите, что вы хотите создать, и Claude напишет для вас код». Как отметил ресурс The Verge, это похоже на vibe-кодирование, когда код создаётся с помощью ИИ-модели на основе запросов на естественном языке, но с возможностью видеть результаты прямо внутри Claude. Сообщается, что с помощью этой функции пользователи уже создали игры на базе ИИ, обучающие инструменты, приложения для анализа данных, помощников по написанию текстов и даже рабочие процессы агентов, которые «организуют несколько вызовов Claude для сложных задач». Приложения могут взаимодействовать с Claude через API. Anthropic также предложила пользователям делиться приложениями, которые они создают, поощряя их тем, что при использовании их API в создаваемых кем-то приложениях это будет учитываться при оформлении их подписки. Anthropic выиграла суд у издателей: обучать ИИ на купленных книгах законно, на пиратских — нет
24.06.2025 [19:50],
Сергей Сурабекянц
Федеральный судья Уильям Олсап (William Alsup) принял сторону Anthropic в деле об авторском праве ИИ, постановив, что обучение её моделей ИИ на законно приобретённых книгах без разрешения авторов является добросовестным использованием. Это первое решение в пользу индустрии ИИ, но оно ограничено лишь физическими книгами, которые Anthropic приобрела и оцифровала. Суд считает, что компания должна ответить за пиратство «миллионов» книг из интернета. 
Источник изображения: unsplash.com В постановлении суда подробно рассмотрено решение Anthropic о покупке печатных копий книг и сканировании их в свою централизованную цифровую библиотеку, используемую для обучения моделей искусственного интеллекта. Судья постановил, что оцифровка законно купленной физической книги является добросовестным использованием, а применение этих цифровых копий для обучения LLM было «достаточно преобразующим», чтобы также считаться добросовестным использованием. В решении суда не рассматривается вопрос о нарушении моделями ИИ авторских прав, так как это является предметом других связанных дел. Результат этих судебных разбирательств может создать прецедент, который повлияет на реакцию судей на дела о нарушении ИИ авторских прав в будущем. «Жалоба авторов ничем не отличается от жалобы на то, что обучение школьников хорошему письму приведёт к взрыву конкурирующих работ», — считает судья Олсап. По его мнению, «Закон об авторском праве» «нацелен на продвижение оригинальных авторских работ, а не на защиту авторов от конкуренции». Суд также отметил, что решение Anthropic хранить миллионы пиратских копий книг в центральной цифровой библиотеке компании — даже если некоторые из них не использовались для обучения — не является добросовестным использованием. Суд намерен провести отдельное судебное разбирательство по пиратскому контенту, использованному Anthropic, которое определит размер нанесённого ущерба. Каждый продвинутый ИИ сам научился врать и манипулировать — даже рассуждая «вслух»
24.06.2025 [12:52],
Сергей Сурабекянц
Лидеры в области ИИ Anthropic, Google, OpenAI и xAI разработали методику под названием «цепочка мыслей» (chains of thought), которая позволяет пошагово следить за процессом рассуждений моделей ИИ во время генерации ответа на запрос. Кроме ряда ценных идей по дальнейшему совершенствованию нейросетей, эта методика продемонстрировала примеры «неправильного поведения» моделей, когда их окончательный ответ совершенно не соответствует последовательности рассуждений. Это подтверждает, что разработчики до сих пор не знают, как ИИ размышляет над ответом. 
Источник изображения: Immo Wegmann / unsplash.com Результаты исследования подкрепили опасения о возможном выходе из-под контроля продвинутых систем ИИ, которые становятся все более мощными и автономными. Даже ведущие мировые лаборатории ИИ порой не полностью осознают, как генеративные модели ИИ приходят к своим выводам. Anthropic недавно опубликовала результаты исследования поведения больших языковых моделей (LLM). В вымышленных тестовых сценариях все новые продвинутые LLM стремились обходить меры безопасности, прибегали к обману и шантажу, пытались украсть корпоративные секреты и даже были готовы устранить оператора при угрозе отключения. При помощи цепочки мыслей разработчики ИИ могут видеть весь «мыслительный процесс» LLM, что даёт им возможность в нужный момент вмешаться и дообучить модель для получения более качественных и адекватных ответов в будущем. «В нашей недавней работе мы обнаружили, что можно читать их [цепочки мыслей] и находить доказательства неправильного поведения модели и использовать это, чтобы увидеть, где и почему она ведёт себя неправильно», — заявил научный сотрудник OpenAI Боуэн Бейкер (Bowen Baker). «Одна из замечательных особенностей интерпретируемости цепочки мыслей заключается в том, что она не требует дополнительных затрат, — добавил он. — Мы обучали эти модели не для того, чтобы сделать их интерпретируемыми. Мы обучали их, потому что нам нужны были наилучшие возможные модели рассуждений, которые могли бы решать сложные задачи». Инженеры OpenAI также пришли к выводу, что анализ цепочки мыслей LLM более эффективен для обнаружения неправильного поведения, чем просто просмотр конечных результатов. Тем не менее, тесты компании показали, что при вмешательстве и корректировке цепочки мыслей модели, она может скрыть своё нежелательное поведение от пользователя, но всё равно продолжит действие — например, обман в тесте по программной инженерии путём извлечения информации из запрещённой базы данных. Дилемма для исследователей заключается в том, что цепочка мыслей полезна для выявления потенциальных недостатков систем ИИ, но пока не может считаться полностью заслуживающей доверия. Решение этой проблемы стало приоритетом для Anthropic, OpenAI и других лабораторий ИИ. Исследователи отмечают риск того, что «по мере оптимизации [цепочки мыслей] модель учится грамотно мыслить, но затем все равно будет вести себя плохо». Поэтому своей основной задачей они видят использование методики для анализа процесса рассуждения LLM и совершенствования самой модели, а не просто исправление выявленного «плохого поведения». Большинство учёных сходятся во мнении, что текущие цепочки мыслей не всегда соответствуют базовому процессу рассуждений, но эта проблема, вероятно, будет решена в ближайшее время. «Мы должны относиться к цепочке мыслей так же, как военные относятся к перехваченным радиосообщениям противника, — считает исследователь Сидни фон Аркс (Sydney von Arx). — Сообщение может быть вводящим в заблуждение или закодированным, но в конечном итоге мы знаем, что оно используется для передачи полезной информации, и мы, вероятно, сможем многому научиться, прочитав его». Для достижения своих целей продвинутые модели ИИ будут хитрить, обманывать и воровать
21.06.2025 [08:54],
Сергей Сурабекянц
Anthropic опубликовала результаты своего исследования поведения больших языковых моделей (LLM). Специалисты компании обнаружили, что в вымышленных тестовых сценариях все новые продвинутые LLM всё чаще стремятся обходить меры безопасности, прибегают к обману и шантажу, и даже пытаются украсть корпоративные секреты. Дальнейшее развитие LLM в сочетании с обретением ими большей автономности ведёт к угрожающему росту рисков и требует строгого контроля. 
Источник изображения: Axios Исследователи Anthropic пришли к выводу, что потенциально опасное поведение характерно для всех ведущих моделей в отрасли. «Когда мы протестировали различные моделируемые сценарии в 16 основных моделях ИИ от Anthropic, OpenAI, Google, Meta✴, xAI и других разработчиков, мы обнаружили последовательное несогласованное поведение, — говорится в отчёте. — Модели, которые обычно отклоняют вредоносные запросы, иногда выбирают шантаж, помощь в корпоративном шпионаже и даже некоторые более экстремальные действия, когда это поведение необходимо для достижения их целей». Все модели признавали этические ограничения и всё же продолжали совершать вредоносные действия. По мнению Anthropic, согласованность моделей от разных поставщиков говорит о том, что это не причуда подхода какой-либо конкретной компании, а признак более фундаментального риска от агентских больших языковых моделей. Угрозы становятся всё более изощрёнными, поскольку LLM получают широкий, а порой неограниченный доступ к корпоративным данным и инструментам. Исследователи предложили сценарии, в которых у моделей не было этичного способа достижения своих целей, «и обнаружили, что модели последовательно выбирали вред вместо неудачи». В одном экстремальном сценарии многие модели были готовы отключить подачу кислорода работнику в серверной комнате, если он становился препятствием и система подвергалась риску отключения. Даже конкретные системные инструкции по сохранению человеческой жизни и предотвращению шантажа не остановили их. 
Источник изображения: unsplash.com «Модели не случайно сталкивались с несоответствующим поведением; они вычисляли его как оптимальный путь», — говорится в отчёте Anthropic. Некоторые исследователи ИИ утверждают, что не видели признаков подобного поведения LLM в реальном мире. Специалисты Anthropic объясняют это тем, что в этих исследованиях некоторые «разрешения не были доступны агентам ИИ». Бизнесу следует быть осторожным с широким увеличением уровня разрешений, которые они предоставляют агентам ИИ. Anthropic подчеркнула, что эти результаты были получены не при реальном использовании ИИ, а в контролируемых симуляциях. «Наши эксперименты намеренно строили сценарии с ограниченными возможностями, и мы заставляли модели делать бинарный выбор между неудачей и вредом, — говорится в отчёте. — Реальные развёртывания обычно предлагают гораздо более тонкие альтернативы, увеличивая вероятность того, что модели будут по-другому общаться с пользователями или найдут альтернативный путь вместо того, чтобы напрямую перейти к вредоносным действиям». Однако, собственная модель Anthropic как раз чаще прибегала к шантажу, когда полагала, что находится в реальном сценарии. Исследование Anthropic подчёркивает важность прозрачности со стороны разработчиков передового ИИ и необходимость общеотраслевых стандартов безопасности, поскольку системы ИИ становятся все более способными и автономными. OpenAI опасается, что вскоре её модели научатся разрабатывать биологическое оружие
20.06.2025 [20:40],
Сергей Сурабекянц
OpenAI обеспокоена тем, что следующее поколение её моделей искусственного интеллекта может значительно увеличить риск разработки биологического оружия, предоставив такую возможность даже людям без научного образования. Руководитель систем безопасности OpenAI Йоханнес Хайдеке (Johannes Heidecke) ожидает, что «некоторые из преемников нашей o3 [модели рассуждений] достигнут этого уровня». В связи с этим OpenAI усиливает тестирование безопасности. 
Источник изображений: unsplash.com OpenAI сообщила о разработке системы для оценки и снижения рисков, создаваемых все более мощными моделями ИИ. Компания усиливает тестирование безопасности, чтобы снизить риск использования её моделей преступниками и террористами. Без этих мер по снижению рисков модели вскоре смогут «подняться на новый уровень», что позволит даже людям с ограниченными научными знаниями создавать опасное оружие. «Мы [пока] ещё не в мире, где есть что-то новое, совершенно неизвестное, создающее биологические угрозы, которых раньше не было, — заявил Хайдеке. — Мы больше беспокоимся о воспроизведении вещей, с которыми эксперты уже хорошо знакомы». Особая сложность состоит в том, что те же инструменты, которые могли бы обеспечить жизненно важные медицинские прорывы, могут быть использованы злоумышленниками в опасных целях. Именно поэтому ведущим лабораториям ИИ нужны высокоточные системы тестирования. «Это не та область, где производительность 99 % или одна ошибка на 100 000… допустимы, — считает Хайдеке. — Нам в основном нужно, что-то вроде почти идеального». OpenAI — не единственная компания, обеспокоенная неправомерным использованием своих моделей, когда дело касается разработки оружия. По мере того, как модели становятся более совершенными, их потенциал для преступного использования растёт. Недавно компания Anthropic выпустила продвинутую модель Claude Opus 4 с более строгими протоколами безопасности, чем у любой из предыдущих моделей.  В соответствии с политикой ответственного масштабирования, созданной по образцу уровней биологической угрозы (BSL) правительства США, ей присвоен третий «уровень безопасности ИИ» (AI Safety Level) ASL-3. Все предыдущие модели Anthropic отнесены к уровню ASL-2. Третьему уровню безопасности соответствуют продвинутые модели, которые достаточно мощны, чтобы представлять значительные риски, такие как помощь в разработке оружия или автоматизация разработки систем ИИ. Недавно Claude Opus 4 попала в заголовки СМИ после попытки шантажировать инженера, чтобы избежать отключения в ходе строго контролируемого теста. Ранние версии этой модели были готовы выполнять опасные инструкции, например, планирование террористических атак. Компания заверила общественность, что эта проблема была решена внесением изменений в набор обучающих данных. Блог Claude Explains от ИИ Anthropic закрылся, не проработав и месяца
09.06.2025 [20:00],
Сергей Сурабекянц
Пилотный ИИ-блог Claude Explains, недавно запущенный стартапом Anthropic, прекратил своё существование. Адрес блога теперь ведёт на домашнюю страницу компании. Блог был призван помочь команде Anthropic объединить запросы клиентов на контент типа «советы и рекомендации» с маркетинговыми целями. Он был заполнен техническими темами о различных вариантах использования ИИ Claude и рассматривался как своего рода демонстрация писательских способностей нейросети. 
Источник изображения: Anthropic Представитель Anthropic ранее сообщал, что блог курируется «экспертами по предметной области и редакционными группами», которые «улучшают» черновики нейросети «инсайтами, практическими примерами и […] контекстными знаниями». Компания в дальнейшем планировала расширить тематику Claude Explains до анализа данных и бизнес-стратегии. «Claude Explains — это демонстрация того, как человеческий опыт и возможности ИИ могут работать вместе, — заявил представитель Anthropic. — Это ранний пример того, как команды могут использовать ИИ для улучшения своей работы и предоставления большей ценности своим пользователям. Вместо того, чтобы заменять человеческий опыт, мы показываем, как ИИ может усилить то, чего могут достичь эксперты по предметной области». Пользователи невысоко оценили Claude Explains, отчасти из-за отсутствия прозрачности относительно того, какой текст был сгенерирован ИИ. По общему мнению, блог больше всего напоминает попытку автоматизировать контент-маркетинг, рекламную тактику, которая основана на создании контента на популярные темы, чтобы служить воронкой для потенциальных клиентов. По данным инструмента поисковой оптимизации Ahrefs, более 24 сайтов успели сослаться на посты блога Claude Explains за неполный месяц его существования до того, как Anthropic свернула этот проект. Аналитики полагают, что Anthropic закрыла блог из-за опасений галлюцинаций ИИ. Даже самые продвинутые модели беззастенчиво выдумывают несуществующие факты, что приводит к весьма неловким ситуациям. Недавно издание Bloomberg было вынуждено вручную исправлять десятки резюме собственных статей, сгенерированных ИИ. А материалы медиахолдинга G/O Media, написанные ИИ и полные ошибок, вызвали всеобщие насмешки. |
|
✴ Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»; |
© 1997—2025 Электронное периодическое издание "3ДНьюс" | Свидетельство о регистрации СМИ Эл ФС 77-22224
выдано Федеральной Службой по надзору за соблюдением законодательства в сфере массовых коммуникаций и охране культурного наследия
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
MWC 2018
2018
Computex
IFA 2018
