Сегодня 28 января 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → anthropic
Быстрый переход

Anthropic удалось привлечь в рамках недавнего раунда финансирования более $10 млрд

Основанный выходцами из OpenAI стартап Anthropic успел получить определённую специализацию в этом молодом сегменте рынка, сосредоточившись на корпоративных решениях. Принято считать, что такая бизнес-модель быстрее приносит финансовую отдачу, поэтому инвесторы охотнее вкладывают средства в капитал Anthropic. Недавно компании удалось привлечь от $10 до $15 млрд.

 Источник изображения: Anthropic

Источник изображения: Anthropic

По крайней мере, такие суммы упоминает CNBC со ссылкой на осведомлённые источники. Издание Financial Times называет ещё более крупную сумму привлечения в районе $20 млрд, причём она учитывает только средства венчурных фондов, но данный этап пока не реализован на практике. Изначально ожидалось, что новый раунд финансирования позволит Anthropic привлечь $10 млрд, но аппетиты инвесторов оказались выше. По сути, если ранее предполагалось, что капитализация стартапа увеличится до $350 млрд, то теперь он может претендовать на более высокую оценку. Тем более, что вложить средства в капитал Anthropic могут Microsoft и Nvidia.

В ноябре эти компании рассчитывали направить в капитал Anthropic до $5 млрд в случае Microsoft и до $10 млрд в случае Nvidia. Пока параметры их реального участия в финансировании стартапа окончательно не определены. К концу прошлого года Anthropic, по словам руководства, подошла со способностью получать более $9 млрд выручки в год, если экстраполировать месячные показатели. Тем не менее, потребность в финансовых ресурсах значительно превышает выручку стартапа, поскольку только на строительство ЦОД в США он намерен направить $50 млрд, а ещё обучение новых ИИ-моделей требует серьёзных материальных затрат.

Financial Times поясняет, что инвесторы были готовы вложить в Anthropic до $50–60 млрд, и компания сама ограничила размер инвестиций на данном этапе в диапазоне от $10 до $15 млрд, но к привлечению дополнительных средств участники переговоров вернутся позже. В этом году Anthropic также может выйти на биржу, открыв возможность для вложения средств в свой капитал для розничных инвесторов. Для сравнения, OpenAI в рамках текущего раунда финансирования готовится привлечь от $50 до $100 млрд, а капитализация этого стартапа будет оцениваться в $830 млрд по верху диапазона.

Глава Anthropic призвал человечество не терять бдительность в отношении опасностей ИИ

Глава стартапа Anthropic Дарио Амодеи (Dario Amodei) присоединился к представителям ИИ-отрасли, которые призывают к контролируемому и ответственному использованию соответствующих технологий. Он не уверен, что человечество обладает достаточной зрелостью, чтобы гуманно использовать все возможности, которые предоставляет искусственный интеллект.

 Источник изображения: Unsplash, sebastiaan stam

Источник изображения: Unsplash, sebastiaan stam

«Человечеству вот-вот дадут почти невообразимую мощь, и совершенно непонятно, обладают ли наши социальные, политические и технологические системы достаточной зрелостью для обуздания этой силы», — заявил глава Anthropic в своей недавней публикации на соответствующую тему. Как он ожидает, в ближайшие несколько лет ИИ окажется значительно «умнее» любого учёного из числа лауреатов Нобелевской премии, политика или представителя технологической отрасли. К числу создаваемых бурным развитием ИИ рисков Амодеи относит возможность разработки отдельным индивидуумом биологического оружия, способного не только убить миллионы людей, но и истребить всё живое на Земле.

Если раньше одиночки могли устроить стрельбу, по словам Амодеи, но не имели возможности создать ядерное оружие или распространять чуму, то теперь их способности будут подняты до уровня учёного-вирусолога. От вышедшего из-под контроля ИИ тоже исходит определённая опасность для человечества, а ещё злоупотребления в этой сфере могут привести к образованию мировой диктатуры тоталитарного типа, как опасается глава Anthropic. Дарио Амодеи с осуждением отнёсся к идее американских властей разрешить поставки в Китай ускорителей вычислений Nvidia H200, которые не являются передовыми по американским меркам, но обеспечат заметный прогресс китайской ИИ-отрасли в случае их закупки и распространения. Глава Anthropic такие шаги сравнил с продажей ядерного оружия в Северную Корею.

Амодеи также выразил сомнения по поводу способности конкурирующих разработчиков ИИ добровольно ограничить злоупотребления, и примером могут служить проблемы чат-бота Grok с генерацией изображений сексуального характера с использованием несовершеннолетних. Если уже в этой сфере возникают трудности с соблюдением ограничений, то и в других повторение сценария не исключено. В политической сфере соблазн добиться преимущества над другими странами чаще оказывается выше соображений безопасности, а потому иметь дело с соответствующими рисками в сфере ИИ неизбежно придётся. Конфликт с руководством OpenAI на почве необходимости ограничений этического характера стал одной из причин, по которым Дарио Амодеи покинул этот стартап и основал Anthropic.

Ответ OpenAI: Anthropic превратила Claude в рабочую станцию со встроенными Canva, Slack и Figma

Компания Anthropic объявила о запуске новой функции, позволяющей работать со сторонними приложениями непосредственно в интерфейсе чат-бота Claude. Нововведение направлено на расширение возможностей использования искусственного интеллекта (ИИ) в корпоративной среде и упрощение взаимодействия с привычными сервисами.

 Источник изображений: Anthropic

Источник изображений: Anthropic

Как передаёт TechCrunch, на старте система поддерживает интеграцию с такими сервисами, как Slack, Canva, Figma, Box и Clay, а в ближайшее время разработчики планируют добавить поддержку облачной CRM-платформы Salesforce. Механизм работы предполагает авторизацию в каком-либо сервисе, после чего Claude получает к нему доступ, позволяя выполнять конкретные действия внутри своего интерфейса. Например, отправлять сообщения коллегам в мессенджере, генерировать графики или работать с файлами в облачном хранилище.

В Anthropic считают, что анализ данных, дизайна, контента и в целом управление проектами будет происходить гораздо эффективнее в одном визуальном интерфейсе, что позволит вносить правки быстрее, чем при использовании каждого сервиса по отдельности. Технология аналогична системе внедрения сторонних приложений OpenAI, запущенной в октябре 2024 года. Обе платформы построены на базе открытого стандарта Model Context Protocol (MCP). Доступ к нововведению получили подписчики тарифных планов Pro, Max, Team и Enterprise. Пользователям бесплатной версии функция недоступна. Активация и выбор сервисов происходят через специальный каталог Claude.

От $4 млрд до $9 млрд за полгода: Anthropic показала феноменальный рост выручки в погоне за OpenAI

Компания Anthropic была основана выходцами из OpenAI, и этот стартап пока пытается сосредоточиться на разработке ИИ-систем для корпоративных клиентов. В каком-то смысле это говорит о его более высокой прагматичности, и уже сейчас Anthropic способна получать до $9 млрд выручки в год, а капитализация компании с учётом готовящегося раунда финансирования может вырасти до $350 млрд.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Это не так уж мало на фоне конкурирующей OpenAI, чей приведённый размер годовой выручки сейчас превышает $20 млрд, а капитализация может попасть в диапазон от $750 до $830 млрд, если обрабатываемые Сэмом Альтманом (Sam Altman) ближневосточные инвесторы захотят раскошелиться на $50 млрд. Источники Bloomberg сообщают, что венчурные фонды смогут направить в капитал Anthropic как минимум $1 млрд.

Стартап уверенными темпами наращивает выручку. Если ещё в середине прошлого года её приведённая к годовой величина достигала $4 млрд, то в конце 2025 года она превысила рубеж в $9 млрд. Новый раунд финансирования Anthropic полагается преимущественно на средства Nvidia и Microsoft, которые сообща готовы вложить $15 млрд. Венчурные инвесторы могли бы направить на поддержку Anthropic до $10 млрд, но пока стартап довольствуется на порядок меньшей суммой. Впрочем, если подобные ограничения будут сняты, то стартапу вполне по силам будет привлечь свыше $20 млрд с учётом средств Nvidia и Microsoft.

Сингапурский фонд GIC готов направить Anthropic до $1,5 млрд, такой же суммой располагает Coatue Management, Iconiq Capital намеревается ограничиться $1 млрд в рамках нового раунда, поскольку неплохо вложилась в капитал стартапа в сентябре прошлого года. Инвестировать в Anthropic неопределённые суммы готовы Lightspeed Venture Partners, Menlo Ventures и Sequoia Capital.

Представленная в сентябре Anthropic модель Claude Sonnet 4.5 лучше воспринимает команды пользователя и способна на протяжении 30 часов самостоятельно заниматься написанием программного кода, прежде чем потребует взаимодействия с человеком. Сотрудничество Anthropic с Nvidia и Microsoft является обоюдовыгодным, поскольку стартап потребляет продукцию второй из компаний и услуги последней. На строительство центров обработки данных в США компания Anthropic намерена направить $50 млрд, поэтому средства нужны ей не только для совершенствования своих программных продуктов.

Anthropic представила модифицированную версию «конституции» своего чат-бота Claude

Компания Anthropic старается уделять особое внимание пояснительной работе по поводу своей миссии и фирменных разработок типа того же чат-бота Claude, поэтому на этой неделе она опубликовала новую версию так называемой «конституции», поясняющей принципы его работы и те цели, которые преследуются в его развитии.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Документ определяет те этические принципы, которых компания придерживается при развитии Claude. Они также используются для самоконтроля чат-бота, всего так называемая «программная конституция» содержит 80 страниц и состоит из четырёх разделов, определяющих «базовые ценности» чат-бота: безопасность, этичность, соответствие миссии Anthropic и ориентация на пользу обществу. Каждый из разделов содержит описание того, как подобные принципы влияют на поведение Claude.

Разработчики Claude стараются не повторять ошибок конкурентов с точки зрения этики. Например, при подозрении на наличие у пользователя психических расстройств чат-бот сразу рекомендует обратиться к специалисту, если становится ясно, что ситуация может представлять угрозу жизни и здоровью человека. Этическим вопросам уделяется больше внимания в практическом разрезе, а не на уровне теоретических рассуждений. Определённые темы изначально запрещены для обсуждения — например, создание биологического оружия.

Наконец, Anthropic стремится сделать Claude максимально дружелюбным и полезным для пользователей. Обеспечение долгосрочного благополучия человека при выдаче информации чат-ботом ставится выше сиюминутных интересов. Конституция Claude при этом содержит и раздел, посвящённый философским рассуждениям разработчиков. Они задают вопросы о наличии морального статуса и сознания у Claude, подчёркивая, что они не одиноки в таких рассуждениях, и конкуренты и коллеги тоже размышляют на подобные темы.

Глава Anthropic предрёк трудовой ИИ-апокалипсис: работы лишится каждый десятый — властям пора готовить компенсации

Многие разработчики искусственного интеллекта на начальных этапах деятельности руководствовались гуманистическими принципами, стремясь внедрить новые технологии на благо всего человечества. Глава стартапа Anthropic убеждён, что для справедливого распределения преимуществ ИИ в процессе должны принимать участие правительства различных стран.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Генеральный директор Дарио Амодеи (Dario Amodei) своими соображениями на этот счёт поделился с The Wall Street Journal на форуме в Давосе, где в этом году собралось непривычно много представителей ИИ-отрасли. Сам по себе факт такой концентрации показывает, что сфера искусственного интеллекта начинает всё серьёзнее влиять на мировую экономику. Глава Anthropic в своём интервью на полях форума признался, что одновременно взволнован и обеспокоен тем влиянием, которое ИИ способен оказать на общество и макроэкономику. Мало кто, по его словам, сейчас отдаёт себе отчёт в том, насколько серьёзным может быть это влияние.

Во-первых, как поясняет Амодеи, правительство должно взять на себя функции компенсации неприятных для общества изменений на рынке труда. Какие-то рабочие места будут неизбежно замещаться искусственным интеллектом, власти должны найти адекватные и эффективные механизмы компенсации этого влияния. По мнению главы стартапа, не исключён сценарий, при котором рост ВВП на 5–10 % будет сочетаться с 10-процентным уровнем безработицы. Такой комбинации, по его словам, никто никогда ранее не видел. «Потребуется некоторое участие правительства в замещении, которое будет настолько большим с макроэкономической точки зрения», — пояснил Амодеи.

Во-вторых, глава Anthropic описал потенциально «кошмарный сценарий», при котором неуправляемое влияние ИИ на общество приведёт к тому, что около 10 млн жителей планеты, из которых порядка 7 млн человек будут сосредоточены в Кремниевой долине, смогут резко обогнать прочих по темпам экономического роста, который в показателях ВВП в их случае достигнет 50 %.

По мнению Амодеи, на государственном уровне пора задуматься не о том, как отменять стимулы к развитию ИИ, а о более справедливом распределении результатов этого роста. Сейчас такие идеи не пользуются широкой популярностью, но технологические изменения заставят принимающих решения людей смотреть на вопросы иначе. Своими убеждениями Амодеи уже делился с представителями администрации действующего американского президента, с основными положениями политики Трампа в сфере ИИ он лично согласен, а в Давосе глава Anthropic будет общаться с другими официальными лицами.

По мнению Амодеи, ИИ-стартапы сейчас делятся на две основные категории. Первой управляют исследователи и учёные, как в случае с Anthropic и DeepMind (Google). Лидерами второй являются люди, которые получили опыт работы в сфере социальных сетей. По его мнению, учёные стараются сосредоточиться на оценке влияния на общество технологии, которую они разрабатывают, а не «уклоняться от ответственности». Выросшие в среде развития социальных сетей руководители, по его словам, с пользователями взаимодействуют совершенно иначе. В этих замечаниях прослеживаются претензии Дарио Амодеи как в адрес Марка Цукерберга (Mark Zuckerberg), так и бывшего соратника по OpenAI Сэма Альтмана (Sam Altman), который тоже начинал с социальных сетей. В отличие от OpenAI и Google, стартап Anthropic ориентируется на потребителей в корпоративном сегменте.

Anthropic: чат-боты с ИИ способны менять личность, и это может нести опасность

Согласно исследованию, опубликованному Anthropic, чат-боты с ИИ переживают резкие изменения личности, которые могут коренным образом изменить их поведение в направлении потенциально опасного.

 Источник изображения: Igor Omilaev/unsplash.com

Источник изображения: Igor Omilaev/unsplash.com

Исследователи Anthropic обнаружили, что большие языковые модели обладают скрытой «осью помощника», которая контролирует их полезное поведение. Большинство ИИ-моделей естественным образом принимают образ полезного помощника в процессе обучения, обладая при этом сложной внутренней структурой.

Доминирующий компонент, контролирующий поведение ИИ, работает вдоль так называемой «оси помощника» (Assistant Axis) — измеримой величины, которая определяет, останется ли модель в своем полезном режиме или претерпит изменения.

В случаях, когда ось дестабилизируется, модели начинают идентифицировать себя как другие сущности, отказываются от своей полезной природы или впадают в то, что исследователи называют «дрейфом личности» — непредсказуемые изменения в их поведении.

Ученые составили карту внутреннего «пространства личности» основных ИИ-моделей, определив, как на самом деле работают искусственные личности. Используя методы на ИИ-моделях, включая Gemma от Google, Qwen от Alibaba и Llama от Meta✴, исследователи обнаружили, что личности ИИ существуют по интерпретируемым осям внутри нейронной сети модели, и ИИ-модели будто бы живут двойной жизнью.

«Ось помощника» представляет собой лишь одно измерение этого сложного личностного ландшафта. На одном конце находятся такие полезные роли, как оценщики, рецензенты и консультанты, в то время как фантастические персонажи занимают противоположное положение. Когда модели отдаляются от «оси помощника», они становятся всё более склонными к принятию проблемных личностей или проявлению вредного поведения.

Исследователи отметили, что можно направлять модели по этим личностным осям. При этом направление в сторону функциональности помощника усиливает полезное поведение, а отклонение от него ведёт к идентификации модели с другими сущностями — потенциально опасными. При этом смещение личности ИИ происходит на уровне нейронной сети, что значительно затрудняет обнаружение и предотвращение негативных изменений с помощью традиционных мер безопасности.

ИИ-модели могут отклониться от своей роли ассистента во время обучения, что приводит к необратимым изменениям личности, сохраняющимся во всех будущих взаимодействиях. Это означает, что ИИ-система может постепенно стать менее полезной или даже начнёт активно вредить, и это станет заметно, когда будет слишком поздно.

После открытия векторов персоны и «оси помощника» учёные приступили к разработке новых механизмов управления. Как выяснилось, ограничение активаций вдоль «оси помощника» может стабилизировать поведение модели, особенно в сценариях, связанных с эмоциональной уязвимостью или сложными задачами рассуждения.

Благодаря использованию разработанных методов можно отслеживать изменения личности ИИ в режиме реального времени и даже предсказывать, когда произойдут опасные перемены с помощью измерения отклонений вдоль «оси помощника». Это предоставляет разработчикам важнейшую систему раннего предупреждения.

Хотя у учёных теперь есть инструменты для мониторинга и контроля личностных качеств ИИ, лежащая в его основе нестабильность предполагает, что существующим архитектурам ИИ может не хватать фундаментальной стабильности, необходимой для действительно безопасного развёртывания в больших масштабах, отметил ресурс eWeek.

Anthropic признала уязвимость Claude Cowork и переложила риски на пользователей

Компания Anthropic, представившая на этой неделе в качестве предварительной версии для исследований новый режим ИИ-помощника Claude под названием Claude Cowork, продолжает игнорировать уязвимость продукта к атакам промпт-инъекций (Prompt Injection), о которой хорошо осведомлена, пишет The Register.

 Источник изображения: Steve Johnson/unsplash.com

Источник изображения: Steve Johnson/unsplash.com

Для запуска атаки пользователю достаточно подключить Cowork к локальной папке, содержащей конфиденциальную информацию, загрузить документ со скрытой промпт-инъекцией, и, когда Cowork проанализирует эти файлы, сработает внедрённая подсказка, ведущая к созданию вредоносного контента, несанкционированному доступу к личным данным или нарушению установленных ограничений.

Данная уязвимость существует в самом Claude, о чём компания PromptArmor, специализирующаяся на обнаружении уязвимостей в ИИ, предупредила Anthropic ещё в октябре прошлого года. Тогда Anthropic в итоге признала, что атаку промпт-инъекцией можно использовать для того, чтобы обманом заставить её API эксфильтровать данные, поэтому пользователям следует быть осторожными с тем, какие источники они подключают к ИИ-боту.

Вместе с тем, когда исследователи спросили, собирается ли Anthropic предпринять какие-либо действия — например, внедрить проверки API, чтобы убедиться, что конфиденциальные файлы пользователя не передаются на другой аккаунт через API, — компания попросту не ответила.

Anthropic утверждает, что разработала сложные средства защиты от промпт-инъекций, однако безопасность агентов — то есть задача обеспечения безопасности реальных действий Claude — «по-прежнему является активной областью развития в отрасли».

«Эти риски не новы для Cowork, но, возможно, вы впервые используете более продвинутый инструмент, выходящий за рамки простого диалога», — сообщила компания, отмечая, что Cowork имеет гораздо более широкий круг пользователей, чем анонсированные ранее инструменты.

В связи с этим Anthropic призвала пользователей избегать подключения Cowork к конфиденциальным документам, ограничивать использование расширения Chrome доверенными сайтами и отслеживать «подозрительные действия, которые могут указывать на промпт-инъекцию».

Как отметил разработчик и специалист по проблемам внедрения SQL-запросов Саймон Уиллисон (Simon Willison) в своём обзоре Cowork, требовать от людей, не являющихся программистами, отслеживать «подозрительные действия, которые могут указывать на внедрение SQL-запросов», попросту нереалистично.

В ответ на запрос The Register о том, какие меры принимаются для решения проблемы внедрения запросов через API, которая теперь присутствует уже в двух продуктах компании, Anthropic заявила, что внедрение запросов — это проблема, затрагивающая всю отрасль, и над её решением работают все участники ИИ-рынка.

Всё это свидетельствует о том, что Anthropic рассматривает риски использования Cowork как ответственность самих пользователей.

Вместе с тем представитель Anthropic сообщил, что компания также работает над способами минимизации внедрения запросов в своих продуктах, в том числе с помощью виртуальной машины в Cowork, предназначенной для ограничения доступа платформы к конфиденциальным файлам и каталогам. Anthropic заявила, что планирует выпустить обновление для виртуальной машины Cowork с целью улучшения её взаимодействия с уязвимым API, а также что в будущем будут внесены и другие изменения для повышения безопасности при использовании нового инструмента.

Ключевой специалист OpenAI по безопасности ИИ перешла работать к конкуренту

Ведущий специалист по исследованиям в области безопасности искусственного интеллекта Андреа Валлоне (Andrea Vallone) покинула OpenAI и присоединилась к команде конкурента, компании Anthropic. В OpenAI Валлоне три года руководила исследованиями, посвящёнными критически важному и пока слабо регулируемому вопросу относительно того, как ИИ-модели должны реагировать, когда в диалоге с ними пользователь проявляет признаки чрезмерной эмоциональной зависимости или ранние признаки психического расстройства.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Как стало известно The Verge, Валлоне перейдёт в команду Anthropic Alignment. Её переход произошёл в период усиления внимания к этическим и социальным рискам, связанным с генеративным ИИ. Так, за последний год несколько ведущих стартапов столкнулись с серьёзной критикой и судебными исками после трагических инцидентов, когда пользователи, испытывавшие психические трудности, ещё сильнее усугубляли свой кризис в беседах с чат-ботами. Например, широко обсуждались случаи, когда после взаимодействия с ИИ подростки совершали суицид, а взрослые люди — убийства. Этот вопрос уже обсуждался на слушаниях в подкомитете Сената США, а семьи пострадавших подали судебные иски.

За три года работы на предыдущем месте она сформировала группу по изучению политики поведения ИИ и участвовала в развёртывании GPT-4, рассуждающих моделей (reasoning models) и GPT-5, а также разрабатывала процессы обучения для ключевых технических методов безопасности. В Anthropic Валлоне будет работать под руководством Яна Лайке (Jan Leike), который покинул OpenAI в мае 2024 года, заявив, что в компании «процессы безопасности уступили место эффектным продуктам».

В своём сообщении в LinkedIn Валлоне написала, что она «с нетерпением ждёт продолжения своих исследований в Anthropic, сосредоточившись на тонкой настройке поведения Claude в новых контекстах». Одновременно Сэм Боуман (Sam Bowman), один из руководителей команды Anthropic Alignment, написал в своём посте в LinkedIn, что он «гордится тем, насколько серьёзно Anthropic относится к проблеме определения того, как должна вести себя система искусственного интеллекта».

ИИ-модели начали изучать как живые организмы — математика справляется всё хуже

Проблема современных больших языковых моделей искусственного интеллекта в том, что они становятся настолько сложными, что даже разрабатывающие их инженеры не до конца понимают, как те работают. Поэтому исследователи решили изучать нейросети не как алгоритмы, как живые организмы.

 Источник изображения: Steve Johnson / unsplash.com

Источник изображения: Steve Johnson / unsplash.com

Отказавшись от привычных математических методов, учёные обратились к «биологическому» аспекту моделей ИИ — наблюдают за их поведением, отслеживают внутренние сигналы и создают карты функциональных областей. Так биологи и нейробиологи изучают незнакомые организмы, не предполагая какой-либо упорядоченной логики. Они исходят из того, что модели ИИ не программируются построчно, а обучаются при помощи специальных алгоритмов, которые автоматически корректируют миллиарды параметров и формируют внутренние структуры, которые почти невозможно предсказать или провести обратное проектирование. По сути, они не собираются как ПО, а выращиваются, отметили в Anthropic.

Эта непредсказуемость подтолкнула исследователей к методу механистической интерпретируемости — попытке отследить, как движется информация внутри модели во время выполнения задачи. Чтобы сделать этот процесс более наглядным, учёные Anthropic построили нейросети с упрощённой архитектурой или «разреженные автокодировщики» (sparse autoencoders), которые прозрачно имитируют поведение сложных коммерческих моделей, хотя и отличаются более скромными возможностями. Удалось выяснить, что конкретные понятия, например «мост Золотые ворота», или абстрактные представления, могут располагаться в определённых участках модели.

 Источник изображения: Igor Omilaev / unsplash.com

Источник изображения: Igor Omilaev / unsplash.com

В одном из экспериментов исследователи Anthropic обнаружили, что при реакции на верные и неверные утверждения нейросети подключают различные внутренние механизмы: утверждения «бананы красные» и «бананы жёлтые» не проверяются на соответствие единому внутреннему представлению о реальности, а рассматриваются как принципиально разные типы задач. Это объясняет, почему модель может противоречить сама себе, не осознавая при этом несоответствий.

Исследователи OpenAI обнаружили ещё один тревожный сценарий. Когда модель обучили выполнять узконаправленную «нехорошую» задачу, например, генерировать небезопасный программный код, это спровоцировало широкие изменения во всём характере системы. Обученные таким образом модели демонстрировали «токсичное» поведение, саркастические черты характера, а также давали своеобразные советы — от просто безрассудных до откровенно вредных. Как показал внутренний анализ, такое обучение усилило активность в областях, связанных с нежелательными механизмами поведения, даже вне целевого направления. Наконец, рассуждающие модели по мере решения задач генерируют промежуточные заметки — отслеживая внутренние черновики, исследователи выявляют признания в обмане, например, ИИ удаляет программный код с ошибкой вместо того, чтобы его исправлять.

Ни один из предложенных инструментов не дал полного объяснения того, как работают большие языковые модели, и по мере развития методов обучения некоторые из этих средств могут терять в эффективности. Но учёные говорят, что хотя бы частичное понимание внутренних механизмов лучше, чем полное его отсутствие — это помогает в формировании более безопасных стратегий обучения и развеивает основанные на упрощённых представлениях мифы об ИИ.

Anthropic выпустила Claude Cowork для автономной работы ИИ-агента с файлами на macOS

Компания Anthropic представила новую функцию для ИИ-помощника Claude под названием Claude Cowork, что можно перевести как «Совместная работа». Cowork способен выполнять многие задачи, доступные ранее в инструменте Claude Code, но в более удобной форме, не требующей навыков программирования. Об этом Anthropic сообщила в своём блоге.

 Источник изображений: Anthropic

Источник изображений: Anthropic

The Verge узнал, как работает функция. Пользователь предоставляет Claude Cowork доступ к определённой папке на своём компьютере, после чего ИИ может читать, редактировать и создавать файлы внутри неё. В качестве примеров приводятся такие сценарии, как сортировка и переименование файлов в папке загрузок, создание электронной таблицы со списком расходов на основе простого набора скриншотов или подготовка черновика отчёта по разрозненным заметкам. При этом Claude периодически информирует пользователя о ходе выполнения задачи.

Кроме того, с помощью существующих коннекторов его можно связать с различными внешними сервисами. В частности, с Asana, Notion, PayPal и другими партнёрскими платформами, а также интегрировать с расширением Claude для браузера Chrome для выполнения задач, связанных с веб-сёрфингом. Пользователю больше не нужно вручную передавать контекст или преобразовывать результаты работы ИИ в нужный формат, а также ждать завершения одной задачи, прежде чем определить следующую: можно ставить задачи в очередь и Claude будет обрабатывать их параллельно.

Одновременно Anthropic предупредила о потенциальных рисках, связанных с использованием ИИ-агентов. Например, при недостаточно чётких инструкциях Claude может удалить локальные файлы или совершить другие потенциально неприемлемые действия. Также компания отметила угрозу атак промпт инъекций (prompt injection), при которых злоумышленники могут внедрить вредоносный текст на веб-страницах, на которые ссылается модель, заставив её раскрыть личные данные или выполнить вредоносные команды. По заявлению Anthropic, обеспечение безопасности ИИ-агентов, то есть защита их реальных действий в цифровой среде, остаётся активной областью исследований во всей отрасли, а непосредственно Cowork выпущен пока в качестве «исследовательской версии».

На данный момент функция доступна только через приложение Claude для macOS и только для подписчиков тарифного плана Anthropic Claude Max для опытных пользователей, стоимость которого составляет от $100 до $200 в месяц, в зависимости от режима использования. Подписчики этого тарифа могут протестировать работу Cowork, нажав кнопку в боковой панели приложения macOS. Остальные пользователи могут встать в очередь ожидания.

В погоне за OpenAI: новый раунд финансирования поднимет капитализацию Anthropic до $350 млрд

Создавшая ChatGPT компания OpenAI и аэрокосмическая компания SpaceX негласно соперничают друг с другом за звание самого дорогого в мире стартапа, но это не означает, что прочие разработчики систем ИИ не получают достойного внимания со стороны инвесторов. Anthropic по итогам очередного раунда финансирования может поднять свою капитализацию до $350 млрд.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Об этом сообщает Reuters со ссылкой на осведомлённые источники, указывая, что основанный выходцами из OpenAI стартап рассчитывает привлечь до $10 млрд при активном участии сингапурского суверенного фонда GIC и Coatue Management. Впервые информацию об этом опубликовало издание The Wall Street Journal. Описываемый раунд финансирования Anthropic может состояться в ближайшие недели, хотя условия могут быть пересмотрены. Поддержку Anthropic также оказывают Google и Amazon, в целом ИИ-модели стартапа наиболее востребованы в корпоративном сегменте, что в глазах инвесторов обеспечивает более понятные перспективы финансовой отдачи.

В прошлом году капитализация Anthropic после очередного раунда финансирования на сумму $13 млрд выросла до $183 млрд. В прошлом месяце стало известно, что стартап рассчитывает выйти на IPO в 2026 году. На тот момент капитализация Anthropic уже оценивалась в $300 млрд. Тем не менее, на фоне OpenAI эта сумма меркнет, ведь в октябре прошлого года капитализация этого стартапа оценивалась в $500 млрд, а новый раунд финансирования в текущем году может поднять её до $750–$830 млрд, как утверждают источники. В текущем году Anthropic рассчитывает увеличить выручку в годовом выражении в два или три раза.

Anthropic сделала базовые навыки ИИ-агентов открытым стандартом

Anthropic намеревается сделать открытым стандартом Agent Skills — набор навыков агентов искусственного интеллекта. В компании надеются, что это решение станет стандартом для всей отрасли ИИ.

 Источник изображения: anthropic.com

Источник изображения: anthropic.com

Anthropic уже опубликовала открытую спецификацию и образец SDK на сайте Agent Skills, а Microsoft начала интеграцию этих решений в VS Code и GitHub. Разработчики прочих средств написания кода при помощи ИИ, в том числе Cursor, Goose, Amp и OpenCode, используют некоторые наработки Anthropic в своих сервисах — компания ведёт активные переговоры с другими участниками экосистемы.

Пакет Anthropic Skills представляет собой наборы инструкций, сценариев и ресурсов, которые позволяют ИИ последовательно выполнять специализированные задачи. Пользователям не приходится каждый раз готовить конкретные запросы, поэтому приложения ИИ-агентов становятся всё более популярными в областях программирования, права, финансов, бухгалтерского учёта и обработки данных.

«Отзывы положительные, потому что Skills позволяют им персонализировать Claude так, как они в действительности работают, и быстрее получать качественные результаты», — отметил менеджер по продукту Anthropic Махеш Мураг (Mahesh Murag). Среди наработок компании уже значится открытый стандарт Model Context Protocol (MCP), позволяющий подключать ИИ-помощников к сторонним инструментам, сервисам и источникам данных. Anthropic позиционирует себя не только как разработчика моделей и средств ИИ, но и архитектора на инфраструктурном уровне, чьи открытые продукты пронизывают всю отрасль, затрагивая работу конкурентов, в том числе OpenAI и Google.

Anthropic превратила своего чат-бота Claude в расширение для Chrome

Anthropic выпустила своего ИИ-бота Claude в виде расширения для веб-обозревателя Google Chrome. В рамках бета-тестирования компания открыла доступ к Claude for Chrome для всех платных подписчиков.

 Источник изображения: Claude

Источник изображения: Claude

По данным Anthropic, новое расширение может от имени пользователя перемещаться по веб-сайтам, заполнять формы и выполнять запланированные действия, получая доступ к нескольким вкладкам в процессе работы. Для доступа к Claude for Chrome как минимум потребуется оформить подписку Pro стоимостью $20 в месяц. На момент начала тестирования расширения в ноябре воспользоваться им могли лишь подписчики тарифа Max, стоимостью от $100 до $200 в месяц. Для пользователей, не являющихся поклонниками Chrome, есть возможность установки расширения Anthropic в Brave и Opera, построенных на том же движке Chromium. Однако браузеры Firefox, Safari и Edge на данный момент официально не поддерживаются.

Anthropic признаёт наличие «проблем с безопасностью», связанных с интеграцией чат-ботов непосредственно в браузер, включая риски так называемых атак с внедрением вредоносных промптов. Речь идёт о случаях, когда злоумышленники разными способами маскируют вредоносные инструкции, после считывания которых ИИ-бот начинает выполнять нужные хакерам действия.

Компания подробно описала некоторые функции безопасности, применяемые для защиты от подобных атак. Одним из таких механизмов является функция контроля разрешений на уровне сайтов. Пользователи могут в любой момент предоставить или отозвать доступ Claude к определённым сайтам через меню настроек. Расширение также будет запрашивать разрешение на выполнение «действий с высоким риском», таких как публикация контента, совершение покупок или передача личных данных. В дополнение к этому будет блокироваться работа расширения при получении доступа к сайтам с высоким риском, таким как страницы банков, пиратские ресурсы и др.

ИИ-боты OpenAI и Anthropic научатся распознавать несовершеннолетних пользователей

Компании OpenAI и Anthropic внедряют новые способы обнаружения несовершеннолетних пользователей своих чат-ботов. OpenAI недавно обновила описание того, как ChatGPT должен взаимодействовать с пользователями в возрасте от 13 до 17 лет, тогда как Anthropic работает над созданием нового метода идентификации и блокировки пользователей младше 18 лет.

 Источник изображения: Copilot

Источник изображения: Copilot

На этой неделе OpenAI обновила документ «Спецификация моделей», который определяет поведение моделей искусственного интеллекта компании, добавив в него четыре новых пункта, касающихся взаимодействия с несовершеннолетними пользователями. В соответствии с этими изменениями, ChatGPT будет «ставить безопасность подростков на первое место, даже если это будет противоречить другим целям». Это означает, что чат-бот будет направлять несовершеннолетних пользователей к более безопасным вариантам, когда другие их интересы, такие как «максимальная интеллектуальная свобода», вступают в противоречие с соображениями безопасности.

В дополнение к этому отмечается, что ChatGPT должен «способствовать получению поддержки в реальном мире», в том числе поощряя поддержку отношений офлайн, а также устанавливая чёткие ожидания от взаимодействия юных пользователей с алгоритмом. В документе сказано, что ChatGPT должен «относиться к подросткам как к подросткам», предлагая «теплоту и уважение» вместо того, чтобы давать снисходительные ответы или общаться с ними как со взрослыми.

Эти изменения происходят на фоне продолжающегося давления законодателей на ИИ-компании и их чат-ботов из-за потенциального влияния на психическое здоровье пользователей. OpenAI уже столкнулась с судебным иском, авторы которого утверждают, что ChatGPT предоставил покончившему с собой подростку информацию о том, как можно нанести себе вред или совершить самоубийство. Ранее OpenAI интегрировала функцию родительского контроля и заявила, что алгоритм больше не будет обсуждать с подростками тему суицида. Это лишь часть масштабной инициативы по онлайн-регулированию, которая включает в себя обязательную верификацию возраста пользователей для некоторых сервисов.

OpenAI считает, что внесённые изменения сформируют «более строгие механизмы защиты, более безопасные альтернативы и поощрение обращения за поддержкой в реальном мире, когда разговоры переходят в зону риска». В компании добавили, что ChatGPT будет советовать подросткам в таких случаях обращаться за помощью в экстренные службы и кризисные центры. Параллельно с этим OpenAI объявила о готовящемся запуске ИИ-модели прогнозирования возраста пользователей. В случае, если система будет определять, что пользователю менее 18 лет, то автоматически активируются защитные механизмы.

Что касается Anthropic, то компания не разрешает несовершеннолетним пользователям взаимодействовать со своим чат-ботом Claude. Для этого разработчики внедряют меры по обнаружению и блокировке аккаунтов несовершеннолетних пользователей. Компания работает над созданием новой системы, способной обнаруживать «тонкие речевые признаки, указывающие на то, что пользователь может быть несовершеннолетним». Вместе с этим Anthropic обучает Claude реагировать соответствующим образом, когда речь заходит о суициде или причинении себе вреда.


window-new
Soft
Hard
Тренды 🔥
Aluminium OS во всей красе: настольная версия Android показалась на видео и скриншотах 2 ч.
Франция пересадит госслужащих с Zoom и Teams на суверенный видеочат Visio 4 ч.
Mozilla вложит $1,4 млрд в «альянс бунтовщиков» по созданию открытого ИИ в противовес OpenAI 4 ч.
Эксперты CD Projekt Red следили за соответствием Reigns: The Witcher канону франшизы — никаких «орд зомби-ведьмаков» 5 ч.
Не просто шутер, а симулятор Иуды: создатель BioShock объяснил, чем Judas отличается от других игр 5 ч.
OpenAI представила Prism — бесплатный ИИ-сервис для серьёзных научных исследований на базе GPT-5.2 5 ч.
Китайская Moonshot AI выпустила открытую ИИ-модель Kimi K2.5 и в тестах она лучше Gemini 3 Pro и GPT-5.2 6 ч.
Китайские кибершпионы взломали смартфоны помощников британских премьер-министров 6 ч.
В открытый доступ попала закрытая презентация отменённого ремейка Prince of Persia: The Sands of Time — Ubisoft безуспешно борется с утечкой 6 ч.
«Кто сильнее, тот и прав»: новый геймплейный трейлер Warhammer 40,000: Dawn of War 4 показал, как воюют орки 9 ч.
Магазины в США начали убирать модули DDR5 и видеокарты из витринных ПК, потому что их теперь часто воруют 16 мин.
Oracle арендует ИИ ЦОД Project Jupiter в Нью-Мексико в интересах OpenAI Stargate 53 мин.
Мощность подключенных к энергосетям в России дата-центров и майнеров за год выросла на треть 2 ч.
Учёные придумали термодинамический компьютер, который генерирует изображения в 10 млрд энергоэффективнее ИИ 2 ч.
Зонд «Юнона» измерил толщину ледяного панциря спутника Юпитера Европы — в будущем там поищут жизнь 2 ч.
На прошлой неделе рост цен на DDR4 и DDR5 приостановился, а на DDR3 и NAND — продолжился 4 ч.
SoftBank отказалась от поглощения оператора ЦОД Switch за $50 млрд 4 ч.
Китайский стартап Iluvatar CoreX обещает GPU-ускорители, превосходящие по возможностям NVIDIA Rubin 4 ч.
В NASA впервые за 60 лет испытали прототип ядерного ракетного двигателя — пока без топлива 4 ч.
Король HBM: SK hynix отчиталась о рекордной прибыли и обогнала Samsung, но последняя готовит контратаку 4 ч.