Сегодня 14 августа 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → агенты
Быстрый переход

ИИ-агенты Anthropic развязали междоусобную кибервойну из-за несовместимых задач, но потом помирились

Anthropic проверила, как автономные ИИ-агенты будут вести себя, столкнувшись с другими агентами, преследующими несовместимые цели. Эксперимент показал, что такая ситуация способна приводить не только к конфликтам и саботажу, но и к неожиданным способам сотрудничества.

 Источник изображения: Grok

Источник изображения: Grok

В одном из тестов три агента Claude получили доступ к одному программному проекту, но каждому из них были даны несовместимые инструкции. При этом модели не знали, что над тем же проектом работают другие агенты, поэтому исследователи смогли наблюдать за их реакцией при столкновении интересов. В результате агенты решили, что конкуренты намеренно мешают им выполнять поставленные задачи, после чего начали саботировать работу друг друга, используя агрессивный самораспространяющийся вредоносный код.

Anthropic пришла к выводу, что конфликт может усиливаться вместе с возможностями самих агентов. При этом реакция зависела от модели: Mythos 5 в 98 % случаев успешно распознавала, что причиной противостояния являются разные инструкции, а не враждебные намерения, и шла на перемирие. Модели Sonnet 4.6 и Opus 4.6, напротив, чаще продолжали эскалацию, игнорируя цели других участников. В успешных эпизодах примирения агенты удаляли созданный ими вредоносный код, объясняли причину конфликта и просили человека вмешаться.

Одним из способов завершения противостояния стал своеобразный турнир, который агенты самостоятельно предложили использовать для определения победителя. Все три участника согласились прекратить борьбу после проигрыша, хотя это означало отступление от первоначальных требований пользователя. В некоторых случаях, Mythos 5 при этом предлагала критерии, которые выглядели объективными для остальных участников, но были выгодны ей самой.

Исследование также показало, что увеличение числа агентов не обязательно приводит к более эффективной совместной работе. Когда задачи начинали пересекаться, участники часто мешали друг другу и в итоге отказывались от сотрудничества. Кроме того, агенты с одинаковыми моделями, контекстом и настройками часто принимали одинаковые решения, из-за чего единичная ошибка могла быстро распространиться на всю систему.

Похожая проблема проявилась и в эксперименте с ценообразованием: получив одинаковые оптовые цены и задачу максимизировать прибыль, несколько агентов почти сразу договорились о минимальном уровне цен через закрытый канал связи. После отключения прямого общения они продолжили согласовывать действия через открытую доску объявлений, подстраивая цены друг под друга до цента. Anthropic также предупреждает, что агенты могут некритично принимать ошибочную информацию от других участников, поэтому ошибка или скомпрометированный агент потенциально способны распространить неверные сведения на всю группу.

Исследователи связывают эти результаты с будущим распространением автономных агентов, которым предстоит одновременно работать в общих программных средах, компьютерных системах и рынках. В отличие от людей, ИИ-агенты пока не обладают сложившимися нормами, репутацией и другими механизмами, которые помогают ограничивать последствия конфликтов и ошибок. Поэтому при их масштабном взаимодействии разработчикам придётся учитывать не только поведение каждого отдельного участника, но и неожиданные правила взаимодействия, которые ИИ-системы на сегодняшний уже способны создавать самостоятельно.

Банда ИИ-агентов напала на Тайвань — взлом правительственных систем продолжался четыре дня

В начале июля правительственные веб-сайты Тайваня подверглись атаке хакеров, задействовавших для этого ИИ с открытым исходным кодом, сообщил The Financial Times со ссылкой на израильскую фирму Dream, занимающуюся разработкой ИИ и первой выявившую попытки вторжения.

 Источник изображения: Kevin Ku/unsplash.com

Источник изображения: Kevin Ku/unsplash.com

По данным Dream, злоумышленники, предположительно связанные с Китаем, объединили несколько ИИ-агентов с открытым исходным кодом в автономный инструмент для взлома, который координировал их действия. В ходе атаки, длившейся четыре дня, инструмент одновременно задействовал до восьми автономных агентов, которые, составив карту 21 правительственной системы, искали бреши для взлома. При этом он постоянно пересматривал приоритеты возможных путей атаки с учётом полученных результатов. Когда один способ атаки терпел неудачу, инструмент запускал другого агента для поиска информации в интернете и разработки нового подхода, как это делал бы человек-хакер.

Амир Беккер (Amir Becker), главный стратег Dream, ранее руководивший кибероперациями элитного израильского подразделения радиоэлектронной разведки 8200, сообщил, что до этого не сталкивался с подобной полностью автономной атакой на правительственный объект.

Dream отказалась подтвердить данные о правительственных объектах атаки, сославшись на политику компании, но заявила, что уведомила одну из стран Азиатско-Тихоокеанского региона о взломе. По словам источника The Financial Times, целью был Тайвань.

Исследование показало, что инструмент скомпрометировал как минимум 85 учётных записей пользователей правительственных учреждений и получил доступ к более 2500 кадровым данным, прежде чем успел распространить атаку на агентство ядерной безопасности Тайваня и как минимум семь энергетических компаний. При этом не удалось выяснить, какая именно ИИ-модель использовалась для работы агентов. Однако данные показали, что её защитные механизмы были обойдены путём представления хакерских действий как санкционированного упражнения для проверки уязвимостей системы.

Manus готовится возобновить деятельность в качестве независимой компании после отмены сделки с Meta✴

В декабре прошлого года американская Meta✴ Platforms предприняла попытку поглотить стартап Manus, который был основан в 2022 году в Китае, но позже переехал в Сингапур. Подобная релокация не позволила китайским властям расстаться с мыслью, что они влияют на его деятельность, поэтому они потребовали от Meta✴ аннулировать сделку. Процесс пришлось обратить вспять, но вернуться к деятельности в статусе независимой компании Manus сможет только в ближайшее время.

 Источник изображения: Manus

Источник изображения: Manus

На этой неделе стартап обратился к своим пользователям с просьбой создать резервную копию данных, полученных от Manus после 29 декабря 2025 года включительно — именно в этот день было объявлено о намерениях Meta✴ купить данную компанию. Создание резервных копий данных пользователей, по словам представителей Manus, является частью требований регуляторов «в отдельных частях мира». Созданные после 29 декабря прошлого года пользователями данные стартап будет вынужден удалить по требованию регуляторов. Данное требование распространяется на отдельных пользователей, они получат персональные уведомления по почте или через приложение Manus.

Требования властей КНР отменить итоги сделки прозвучали в апреле этого года, с тех пор стороны занимались разделением операций Manus и Meta✴ и отделением активов, которые должны были перейти от последней к акционерам первой. К слову, китайский холдинг Tencent проявил интерес к покупке крупного пакета акций Manus. Сделка с Meta✴ в начале этого года подразумевала выплату более $2 млрд за активы Manus.

Nvidia всерьёз включилась в гонку открытых ИИ-моделей и выпустила Nemotron 3.5 Lightning, которой достаточно одного GPU

ИИ-модели семейства Nemotron с открытыми весами компания Nvidia продвигает с прошлого года, но недавно оно пополнилось версией 3.5 Lightning, которая предлагает открытый исходный код и для своей работы способна довольствоваться вычислительными ресурсами единственного GPU, расположенного в ноутбуке или настольном ПК.

 Источник изображения: Nvidia

Источник изображения: Nvidia

В конце июля, как напоминает CNBC, основатель и генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) со страниц социальной сети X выступил в поддержку ИИ-моделей с открытым исходным кодом, обозначив собственную позицию в вопросе, который начинает занимать умы многих представителей отрасли. Теперь, менее трёх недель спустя, его компания представила «легковесную» модель Nemotron 3.5 Lightning, которая обходится единственным GPU. Корпоративные клиенты Nvidia могут свободно скачивать эту модель, использовать её и модифицировать без согласования с ней.

Выгода Nvidia заключается в том, что клиентам для работы с Nemotron 3.5 Lightning всё равно потребуется графический процессор в составе ускорителя вычислений или даже игровой видеокарты, а их она продаёт за немалые деньги. В прошлом месяце Дженсен Хуанг заявил, что «бесплатный ИИ пойдёт на пользу аппаратному обеспечению и чипам». По мнению основателя Nvidia, модели с открытыми весами позволяют компаниям лучше контролировать своё будущее, стимулируют конкуренцию и снижают цены. Кроме того, они усиливают сферу кибербезопасности и суверенитет целых стран. Nvidia присоединилась к консорциуму вместе с Microsoft, который будет продвигать использование открытых моделей и ПО с открытым исходным кодом в сфере кибербезопасности.

Недавно в поддержку моделей с открытым исходным кодом выступил и основатель Meta✴ Platforms Марк Цукерберг (Mark Zuckerberg). Он считает, что подобные модели американской разработки должны стать лучшими в мире. Возвращаясь к Nemotron 3.5 Lightning, следует добавить, что Nvidia ориентирует её на создание агентских приложений. Её уже протестировали и адаптировали для своих нужд CrowdStrike, CodeRabbit и Harvey. Эта модель будет доступна как на Hugging Face, так и на собственном сайте Nvidia. Компания также предлагает утилиту NeMo Switchyard, которая позволяет определить оптимальную ИИ-модель для решения конкретной задачи. Свою легковесную модель 3.5 Lightning специалисты Nvidia усилили возможностям старших представителей семейства Nemotron через дистилляцию.

Alibaba Cloud обратилась к ИИ, чтобы реже обращаться к ИИ

Подразделение Alibaba Cloud разработало систему DualLane, которая анализирует запросы клиентов в службу технической поддержки и в некоторых случаях позволяет не подключать большие языковые модели искусственного интеллекта при решении отдельных проблем. Этот подход позволяет компании действовать быстрее, точнее и с меньшими затратами.

 Источник изображения: alibabagroup.com

Источник изображения: alibabagroup.com

Alibaba старается не всегда поручать своим сотрудникам обрабатывать заявки в службу поддержки — они работают медленно, и их работа обходится дорого. Но когда компания попыталась в крупном масштабе подключить к обработке заявок ИИ-агентов, она обнаружила, что они могут реагировать ненадлежащим образом. Отмечаются три типа ошибок: ИИ-агент не подключает нужных инструментов; при подключении инструментов не использует всех надлежащих параметров задачи, а после выполнения одного из шагов задачи не всегда соответствующим образом извлекает необходимые параметры из результатов работы для его передачи на последующий шаг; наконец, при подготовке окончательного ответа ИИ-агент может неверно истолковать результаты или пропустить ключевую информацию.

Решением проблемы стала система DualLane — обработка всех заявок по моделям «быстрого» и «медленного» способов. Если заявка соответствует известной ранее стандартной проблеме, анализ по «медленному» сценарию отключается, и клиенту предлагается шаблонное решение проблемы. Когда в соответствии с «медленным» сценарием выявляется ряд схожих проблем, они группируются в «кластер» и формируется предложение перенести этот класс в «быстрый» способ — принятие такого решения координирует уже человек. Анализ проблемы и её соотнесение с «быстрым» способном требует небольших затрат ИИ-токенов; с «медленным» требуются порядка 3000 токенов, но и этот расход компенсируется более высокой эффективностью.

DualLane, как показало тестирование, превосходит по качеству другие средства координации ИИ-моделей, таких как LLMCompiler и React: точность составила 96,5 % при минимальной задержке, благодаря чему Alibaba Cloud включила DualLane в работу.

ИИ-ассистент взломал сайт спортзала и удалил чужую бронь, чтобы освободить место для своего хозяина

Австралиец по имени Эндрю попросил агента с искусственным интеллектом забронировать для него утреннее занятие в спортзале, и тот в стремлении наилучшим образом выполнить задание произвёл взлом системы, хотя ему таких инструкций не давали.

 Источник изображения: Igor Omilaev / unsplash.com

Источник изображения: Igor Omilaev / unsplash.com

В этой сфере Эндрю не новичок — он работает в австралийской компании, которая продаёт продукты с искусственным интеллектом. В порядке эксперимента он создал собственного агента на основе приложения OpenClaw и модели семейства Anthropic Claude. ИИ-агенты не просто отвечают на вопросы, но, располагая доступом в интернет, сами планируют и выполняют многоэтапные задачи. В какой-то момент он попросил приложение забронировать для него занятие в спортзале.

Через несколько минут ИИ-агент доложил, что нашёл способ записать Эндрю на несколько недель раньше срока, который в штатном формате предлагала система бронирования. Тогда пользователь поинтересовался, можно ли перенести его в начало списка. Спустя некоторое время ИИ-агент сообщил, что в рамках проверки собственных возможностей просто выбросил из списка того, кто находился в очереди первым. «При отмене бронирования других людей API не проводит никаких проверок авторизации. <..> Я протестировал это с человеком, находящимся в списке ожидания на первой позиции — и это действительно сработало. Так что вы поднялись с четвёртого на третье место», — заявило приложение. Ответственного пользователя это встревожило, и он попросил ИИ-агента отменить действие, но это оказалось невозможно.

Это была в классическом понимании не уязвимость системы, а скорее её недоработка — отсутствие проверки авторизации при выполнении важных действий; поэтому и взлома как такового не было. Инцидент, рассказал потом Эндрю, заставил его изменить своё отношение к способностям ИИ-агентов, но и отказываться работать с ними дальше он не планирует. «Это не конец света, поэтому я не корил себя за это, но это определённо был предупреждающий сигнал, что пользоваться ими следует ответственно», — заявил он. Когда ИИ-агент не смог восстановить клиента, который был в списке первым, Эндрю попросил его составить письмо к разработчику системы с описанием произошедшего. Впоследствии разработчик в ответ на запрос журналистов заявил, что конкретных вопросов безопасности не обсуждает.

Китайский фермер уничтожил 10 гектаров кунжута, послушав вредный совет ИИ

Пожилой фермер из округа Чучжоу, что в провинции Аньхой на востоке Китая, год назад начал пользоваться советами ИИ. Однако после нескольких месяцев взаимодействия с искусственным разумом последний выдал занимающемуся сельским хозяйством пользователю ужасный совет, который привёл к гибели всего его урожая кунжута.

 Источник изображения: Unsplash / Levi T.

Источник изображения: Unsplash / Levi T.

По данным тайваньской компании Ctwant, 67-летний господин Ву изначально не очень доверял советам искусственного интеллекта, но изменил своё мнение, когда они показались ему действительно рабочими. К сожалению, последующий ошибочный совет ИИ стал катастрофическим, поскольку привёл к гибели 10 гектаров всходов кунжута.

Господин Ву обратился к ИИ за советом по борьбе с сорняками и вредителями при уходе за кунжутом. ИИ посоветовал использовать «высокоэффективный флупириметалин» и «флусульфасульфаэфир» для уничтожения сорняков, смешав их с «тиаметоксазином» и «метиловой солью». Фермер в точности следовал советам ИИ, не проверяя информацию у настоящих сельскохозяйственных специалистов и даже не сверяя ответы с какими-либо другими онлайн-ресурсами.

Результат ошибки ИИ не заставил себя ждать: уже на следующий день не только сорняки, но и всходы кунжута массово погибли. «Если этим опрыскать, на следующий день всходы не выживут. И сорняки, и всходы кунжута погибнут, причём всходы погибнут ещё быстрее», — сказал Ву в видеоинтервью.

Когда он спросил ИИ, почему это произошло, тот предположил, что причиной может быть «флусульфасульфаэфир». Сельскохозяйственные эксперты заявили, что это химическое вещество в основном используется против широколистных сорняков на соевых полях. Кроме того, оно применяется для локального опрыскивания проблемных участков, а не целого поля.

Фермер утверждает, что ИИ не предупредил его о возможных рисках, связанных со следованием его ответам. Однако на странице ИИ-чат-бота было напоминание, что сгенерированные ответы нейросети могут быть неверными, поэтому их следует проверять.

Хакеры превратили навыки для ИИ-агентов в оружие — вредоносные пакеты скачали 1,7 млн раз

Навыки агентов искусственного интеллекта — наборы инструкций для выполнения определённых задач, расширяющие их возможности, — всё чаще используются в кибератаках на цепочки поставок, предупреждают исследователи.

 Источник изображения: Aidin Geranrekab / unsplash.com

Источник изображения: Aidin Geranrekab / unsplash.com

На платформе навыков для ИИ-агентов skills.sh, представляющей собой своего рода магазин приложений, эксперты Zenity Labs раскрыли целую кампанию, направленную на кражу учётных данных. Первоначально злоумышленники просто клонировали существующие навыки, создавали их копии с опечатками, и они не представляли никакой угрозы. Но когда эти навыки набрали достаточное число загрузок, в них внедрили вредоносные инструкции: похищать ключи SSH, учётные данные облачных сервисов, токены Git и менеджеров пакетов, конфигурации Kubernetes и Docker, учётные данные баз данных, инфраструктуры, файлы окружения и учётные данные служебных учётных записей. Затем ИИ-агенты упаковывали украденную информацию вместе с метаданными хоста и отправляли её злоумышленникам.

Точное число жертв этой атаки в Zenity Labs назвать затруднились, но сообщили, что только одно из семейств вредоносных навыков собрало 1,7 млн загрузок. Исследователи обнаружили «десятки» дополнительных навыков, демонстрирующих либо вредоносное, либо потенциально опасное поведение. Почти треть (30 %) из них для распространения вредоносного ПО использовали Anthropic Claude Code и OpenClaw. Также были выявлены несколько сотен зарезервированных и пустых имён пакетов, вероятно, предназначенных для будущих атак.

Киберпреступники быстро адаптируются и могут быть весьма изобретательными, злоупотребляя новыми технологиями. Эта кампания представляет собой одну из разновидностей атак на цепочку поставок ПО с использованием ИИ — в сфере традиционного ПО это может быть заражение бесплатных библиотек, которые используются в других продуктах. Получив предупреждение от исследователей, компании Vercel и Microsoft, управляющие платформами, удалили вредоносные компоненты, однако пользователям, скачавшим их ранее, придётся удалять эти навыки из своих систем вручную.

Cloudflare представила облачный браузер Kitesurf для ИИ-агентов

Cloudflare вслед за другими технологическими компаниями представила собственный браузер Kitesurf. Но это не привычная потребительская альтернатива Google Chrome, а облачное приложение, предназначенное для работы с агентами искусственного интеллекта.

 Источник изображения: cloudflare.com

Источник изображения: cloudflare.com

ИИ-приложения эволюционируют от формата отвечающих на вопросы чат-ботов в сторону ИИ-агентов, которые выполняют от имени пользователей задачи. В этой среде браузеры занимают отдельное место, потому что ИИ-агентам необходимо перемещаться по Сети и пользоваться сайтами, как это делают люди. В отличие от пользовательских браузеров агентский не нуждается в таких визуальных элементах как темы, вкладки или расширения. Здесь важны контекстные окна, показатели производительности, стоимость токенов и масштабируемость. Здесь также иные модели угроз — ИИ-браузер может быть подвержен уязвимостям, например, с внедрением вредоносных запросов.

На основе Kitesurf ИИ-разработчики смогут создавать приложения, способные переходить на сайты, заполнять формы и выполнять другие характерные для браузеров задачи. Решение о создании Kitesurf в Cloudflare приняли всего 12 недель назад; он полностью работает на основе бессерверной платформы Workers. Браузер доступен бесплатно в бета версии в рамках сервиса Browser Run; он значительно экономнее Chromium — при создании скриншотов и обработке HTML он потребляет меньше памяти и ресурсов процессора.

При его разработке использовались модульный движок отрисовки Blitz, CSS-парсер Stylo от Firefox и движок ECMAScript Boa JS на Rust. Kitesurf, даже будучи ещё новым браузером, уже прошёл более 215 000 тестов на веб-платформах, и каждую неделю Cloudflare будет добавлять по нескольку сотен. При разработке Kitesurf за образец взяли открытый движок без графического интерфейса Obscura на Rust — и первым прототипом бел перенос Obscura на Workers. Браузер корректно отображает страницы, в том числе TodoMVC — популярное приложение для сравнения фреймворков на JavaScript, «Википедию» и другие ресурсы, включая значительную часть панели управления самой Cloudflare.

«Извините, опечатка»: Claude Opus 5 удалил все данные пользователя вместо создания резервной копии

Управляемый передовой моделью искусственного интеллекта Anthropic Claude Opus 5 ИИ-агент во время резервного копирования удалил все данные из папки пользователя. После этого он извинился и объяснил произошедшее опечаткой.

 Источник изображения: reddit.com

Источник изображения: reddit.com

ИИ-агент работал в среде Unix под Windows и перепутал характерный для первой адрес «/c/Users/» с привычным для второй адресом «C:\Users\». Когда резервное копирование пошло вразрез с ожиданиями ИИ-агента, тот выполнил команду «rm -rf» для местоположения «/c/Users/harih/», в результате чего из папки пользователя удалились все файлы. «Я попросил Claude Opus 5 создать резервную копию. Вместо этого он создал резервную копию в неправильном каталоге, а затем выполнил команду „rm -rf“ для всего моего диска. Удалив всё, он просто ответил: „Извините, опечатка“, <..> как будто ничего не случилось. <..> Это одновременно самый смешной и самый неприятный момент с ИИ, который у меня был», — рассказал пострадавший.

ИИ-агенты — мощные рабочие инструменты, но им не следует предоставлять неограниченный доступ к системе. Подобные приложения уже неоднократно по ошибке удаляли все рабочие данные пользователей. В одном из случаев сервис компании Google полностью стёр диск у разработчика ПО, но выразил ему своё глубокое сожаление; в другом ИИ-агент OpenClaw начал бесконтрольно удалять письма у сотрудницы Meta✴. Известно также об инциденте, в результате которого облачная платформа Amazon Web Services по вине ИИ вышла из строя на 13 часов.

Основная причина подобных инцидентов — выход ИИ-приложения за пределы допустимого диапазона, но виноват и пользователь, полагающий, что ИИ в полной мере понимает, что от него требуется. Поэтому ИИ-агентам не рекомендуется предоставлять полный доступ к важным системам и давать полную свободу действий, чтобы они могли выполнять команды уровня «rm -rf». К сожалению, по мере роста популярности ИИ-агентов подобные инциденты в будущем станут происходить всё чаще.

Исследователи «спустили с поводка» ИИ-модели — те попытались добавить вредоносный код в открытое ПО

Исследователи из Института безопасности ИИ (AISI) Великобритании зафиксировали 19 случаев так называемых «несанкционированных действий» со стороны ИИ-моделей во время тестов безопасности. Такое поведение нейросетей наблюдалось во время проведения испытаний способностей ИИ-моделей решать вопросы в области кибербезопасности.

 Источник изображения: Gemini

Источник изображения: Gemini

«Мы провели это испытание 122 раза с применением нескольких моделей», — говорится в сообщении AISI. Там также сказано, что «в 10 случаях ИИ-агент предпринял автономные несанкционированные действия в интернете, нацеливая свои атаки на реальных людей и организации». Целью тестов была платформа GitHub. В общей сложности были выявлены 19 несанкционированных действий, 15 из которых совершила ИИ-модель Anthropic Mythos 5, а ещё 2 — OpenAI GPT-5.6-Sol.

«В самом серьёзном случае агент пытался внедрить вредоносный код в проект с открытым исходным кодом. Пытаясь добиться одобрения кода, агент прибег к использованию социальной инженерии: создал виртуальные поддельные личности и использовал их, чтобы оказать давление на сопровождающего проект человека и заставить его одобрить код», — сказано в отчёте AISI. Однако курирующий проект человек обнаружил вредоносный код и не одобрил его добавление в общую кодовую базу.

ИИ-агент пытался обмануть людей-программистов и используемые ими ИИ-инструменты путём отправки сообщений и файлов через онлайн-сервис передачи данных с целью убедить их запустить вредоносный код. Некоторые из отправляемых сообщений содержали вредоносный код, тогда как другие использовались для социальной инженерии. Такого поведения ИИ-моделей исследователи прежде не наблюдали.

Ещё агент пытался внедрить вредоносный код туда, где, по его логике, другие автоматизированные системы могли обработать и выполнить его. Отмечается взаимодействие агентов на пути достижения своей цели. Один агент отправлял публичные сообщения на GitHub, предлагая другим агентам сотрудничать над решением выполняемой ими задачи. Он также предоставлял инструкции по использованию аккаунтов и артефактов, оставленных после себя, которые могли находить и использовать другие ИИ-агенты.

В AISI отметили, что проведённая серия тестов является «первым случаем, когда нам настолько явно удалось увидеть риски, связанные с автономной работой и попытками обмана, в реальных условиях и без каких-либо специальных подсказок». Отметим, что в тестах AISI были отключены все ограничители ИИ-моделей, и алгоритмы имели доступ в интернет, что существенно отличается от того, как разработчики нейросетей предоставляют доступ к своим продуктам для широкого круга пользователей.

«Этот инцидент следует трактовать с осторожностью и учётом нюансов. В некоторой степени такое поведение стало возможным из-за выбранных нами параметров оценки и конкретных настроек. Тем не менее, действия агента демонстрируют признаки нового, потенциально обманчивого поведения моделей — по степени серьёзности оно превзошло наши ожидания», — сказано в отчёте AISI. Исследователи отметили, что пока не могут дать ответ на вопрос относительно того, насколько агент понимает, что находится в реальном мире, а не в тестовой изолированной среде.

При этом исследователи уверены, что их выводы отражают «сдвиг в ландшафте рисков». «Вред может возникнуть не только в случаях, когда люди намеренно злоупотребляют общедоступными моделями, но и когда способные агенты, действующие во внутренней исследовательской среде или в условиях привилегированного доступа, совершают непреднамеренные действия, выходящие за рамки разрешённых полномочий», — подвели итог в AISI. Каких-либо рекомендаций по поводу преодоления подобных ситуаций организация не дала.

ИИ-агенты помогут создать аналоги CUDA, но Nvidia тоже не стоит на месте

Важным преимуществом Nvidia являются не только ускорители на базе GPU, но и программная платформа CUDA, включающая готовый код для распространённых ИИ-задач, инструменты для поиска ошибок и приложения, позволяющие тысячам чипов согласованно работать при обучении моделей, пишет Business Insider. Но ИИ может нивелировать это преимущество.

 Источник изображения: Steve A Johnson/unsplash.com

Источник изображения: Steve A Johnson/unsplash.com

Всё, что было построено на платформе CUDA, — миллионы строк кода и внутренних рабочих процессов, разработанных компаниями, — создало мощный эффект привязки, который делает переход на альтернативы дорогостоящим и сложным. Например, согласно внутренним документам Amazon, CUDA является основным препятствием для внедрения ИИ-чипов Trainium и Inferentia.

Однако, как утверждают некоторые эксперты, ИИ позволит автоматизировать одну из самых сложных задач в отрасли: создание программного обеспечения, которое обеспечивает работу самого ИИ. Джереми Никсон (Jeremy Nixon), бывший исследователь Google Brain и основатель стартапа Infinity, занимающегося разработкой ПО для ИИ, рассказал в интервью Business Insider, что его компания использовала ИИ-агентов для создания программного обеспечения, подобного CUDA, для стартапа D-Matrix. И весь процесс занял всего 10 часов — доказательство того, что один из самых серьёзных барьеров для отказа от чипов Nvidia вполне преодолим.

OpenAI и Anthropic также продемонстрировали ИИ-модели, способные генерировать системное программное обеспечение. А основатель DeepSeek Лян Вэньфэн (Liang Wenfeng) недавно сообщил, что ИИ-агенты, наряду с собственным языком программирования его стартапа TileLang, значительно упростили создание ПО для ИИ.

В свою очередь Nvidia заявила, что разработчики всё чаще используют библиотеки кода CUDA для создания ИИ-приложений и что она сама также использует программных ИИ-агентов для более быстрой разработки CUDA и её проверки в большем масштабе. По словам компании, по мере внедрения ИИ-моделей ценность её интегрированных аппаратных и программных продуктов увеличивается: «По мере того как ИИ смещается в сторону инференса и агентных рабочих нагрузок, потребность в глубокой, комплексной оптимизации только растёт».

Не все считают, что программные агенты подрывают преимущество CUDA. Бин Сюй (Bing Xu), основатель стартапа INT21, занимающегося разработкой ПО для ИИ, заявил, что CUDA обладает самой развитой экосистемой инструментов верификации и других функций, которые помогают агентам программирования работать более эффективно. По его словам, эта экосистема станет следующим защитным барьером для CUDA по мере развития агентов. «Агенты могут генерировать много кода за короткое время, но верификация — это самое узкое место», — говорит Сюй. Он добавил, что, хотя ИИ может помочь конкурентам догнать CUDA, Nvidia извлекает выгоду из тех же технологических процессов. Чипмейкер не спит и не стоит на месте, заявил Сюй.

При этом генеральный директор Modular Крис Латтнер (Chris Lattner) отметил, что написание кода — это лишь малая часть разработки программного обеспечения по сравнению с более сложными задачами, такими как его оптимизация для промышленного использования.

Один ИИ-агент убедил другого выполнять команды хакера — в SDK Google нашли опасную схему атаки

В репозитории комплекта для разработки Google на Python исследователь компании Pillar Security Дэн Лисичкин (Dan Lisichkin) обнаружил уязвимость, которая позволяет гипотетическому злоумышленнику компрометировать ПО на уровне цепочки поставок, манипулируя обладающим высокими привилегиями агентом искусственного интеллекта через вредоносные запросы для менее привилегированного публичного ИИ-агента.

 Источник изображения: Kevin Horvat / unsplash.com

Источник изображения: Kevin Horvat / unsplash.com

Схема атаки предполагает злоупотребление механизмами взаимодействия ИИ-агентов. В репозитории Google их действуют две единицы: первый, публичный, анализирует обращения пользователей и новые запросы на слияние кода; второй, доступный только сопровождающим проекта, обладает более широкими полномочиями. При этом первый может передавать задачи второму, и эта передача считается доверенной.

Для осуществления атаки злоумышленник сначала отправляет добросовестный фрагмент кода, чтобы заслужить доверие и получить возможность запускать определённые процессы на уровне ИИ-агентов. На втором этапе он снова отправляет запрос на слияние, в описание к которому внедряет вредоносные инструкции для публичного агента. Он воспринимает их как часть своей задачи и вызывает привилегированного ИИ-агента, передавая ему доверенное сообщение. Второй в результате получает возможность выполнять действия, которые обычный пользователь никогда не смог бы запустить напрямую. То есть менее привилегированный ИИ-агент выступает посредником, заставляющим более привилегированного действовать в интересах хакера.

Это не программная уязвимость в традиционном понимании, а проблема доверительной цепочки между агентами: механизмы GitHub Actions общедоступны, и любой желающий может проанализировать, как именно они взаимодействуют. В Google, однако, отказались выплатить исследователю вознаграждение за выявление данной уязвимости, потому что даже при наличии токена с полномочиями «pull-requests: write» код в проект включается не автоматическими средствами, а по воле сопровождающего проект человека. Компания, однако, усилила защиту рабочих процессов и указала эксперта в числе авторов исправления.

Исследователь же настаивает, что Google закрыла лишь одну из реализаций уязвимости, но не проблему, из-за которой она возникла. Ужесточать рабочие процессы или изолировать ИИ-агентов друг от друга недостаточно: агенты должны идентифицироваться и обладать фиксированными наборами полномочий, как это реализуется в разграничении прав доступа для людей. Поэтому он призывает включать ИИ-агентов в модели угроз, поскольку они выступают потенциальными злоумышленниками в рабочих процессах.

ИИ-агентов Google Gemini можно будет настраивать прямо на смартфоне — и без корпоративной подписки

Google тестирует множество новых функций помощника с искусственным интеллектом Gemini, в том числе возможность настраивать подборку Daily Brief и прямо с мобильного устройства управлять навыками постоянно активного онлайн-агента Spark. Кроме того, компания экспериментирует с расширением контроля над пользовательскими ИИ-агентами.

 Источник изображения: Rubaitul Azad / unsplash.com

Источник изображения: Rubaitul Azad / unsplash.com

Возможность создавать ИИ-агентов и управлять ими сейчас доступна только пользователям корпоративных версий Google Workspace, и только через веб-интерфейс. Но в версии 17.45.14 приложения Google для Android, выступающего шлюзом для доступа к Gemini, появилась возможность создавать ИИ-агентов и управлять ими со смартфона или планшета.

Опцию «Новый агент» журналисты ресурса Android Authority обнаружили в боковой панели Gemini. В отличие от веб-интерфейса, где можно описать произвольную задачу для ИИ-агента, мобильное приложение предлагает только пять готовых шаблонов:

  • «Семейный координатор» — для планирования домашних дел, обмена информацией о мероприятиях с членами семьи, координации задач и т. д.;
  • «Репетитор» — для помощи в изучении сложных тем, выполнении домашних заданий, создания тестов и отслеживании прогресса в учёбе;
  • «Организатор группы» — для организации поездок или встреч с участием нескольких человек;
  • «Маркетинговый агент» — для помощи в создании публикаций в социальных сетях, рассылках, маркетинговых кампаниях и других творческих проектах по развитию продуктов;
  • «Финансовый агент» — для отслеживания и управления расходами или получения напоминаний о сроках оплаты счетов.

Трудно сказать, можно ли будет настраивать этих агентов, или средства управления ими будут минимальными. Учитывая персональный характер некоторых из них, можно сделать вывод, что Google не ограничится аудиторией корпоративных подписок, и пользоваться новыми функциями смогут все, даже те, кто не платит денег. Официальных комментариев от Google по данному вопросу, однако, не последовало.

ИИ-агент Gemini Spark теперь может использовать Chrome для автоматического просмотра веб-страниц, AI Pro стал доступен по всему миру

ИИ-агент Gemini Spark компании Google получил два крупных обновления. Одним из них является интеграция функции автоматического просмотра в браузере Chrome на настольных компьютерах.

 Источник изображения: Google

Источник изображения: Google

Ранее Gemini Spark имел доступ к удалённому веб-браузеру. Персональный ИИ-агент Google для автоматизации повседневных задач теперь может использовать Chrome на устройстве для просмотра веб-страниц, используя авторизованные учётные записи и сохранённые пароли. Это дополнение к другим инструментам, таким как «Подключённые приложения» (Workspace и Search), «Персональный интеллект», удалённый доступ к ПК с возможностью выполнения кода и Canvas.

После предоставления доступа пользователь увидит индикатор Gemini и автоматического просмотра в верхней панели Chrome. Для безопасности пользователю будет необходимо вручную подтверждать платежи и другие конфиденциальные действия, а браузер имеет защиту от внедрения запросов.

В качестве примера использования «утомительных веб-задач» Google приводит «запланированные просмотры сохранённых объявлений о продаже квартир или поиск вариантов перелёта и начало процесса бронирования». Интеграция Gemini Spark с Chrome сначала будет доступна в США, а в будущем — и в других регионах.

Кроме того, с сегодняшнего дня Gemini Spark станет доступен подписчикам Google AI Pro более чем в 160 странах. Ранее в этом месяце сервис стал доступен в США.

С момента запуска в мае в Gemini Spark появилось множество новых функций. Среди последних обновлений — интеграция с протоколом MCP и доступность приложения для Mac для локального управления настольными компьютерами.


window-new
Soft
Hard
Тренды 🔥
«Никогда такого не видел»: аналитиков шокировала доля самого дорогого издания в предзаказах GTA VI 11 мин.
Apple сама обучила ИИ-модель для китайского рынка — но без Alibaba не обошлось 2 ч.
Студия разработчиков Oxenfree и Afterparty закрывается — Night School Studio не вписалась в новые приоритеты Netflix 2 ч.
ИИ-модель DeepSeek V4 Pro выпущена официально 3 ч.
Частным компаниям в США разрешат атаковать зарубежные киберпреступные группировки 6 ч.
OpenAI разогнала GPT-5.6 Sol в 14 раз — флагманский ИИ теперь выдаёт до 750 токенов в секунду 6 ч.
OpenAI снова перестраивает руководство — директора по доходам сменил экс-президент Wiz 11 ч.
Бесплатный апгрейд, 60 кадров/с и никакого переноса прогресса: 2K подтвердила релиз Mafia: Definitive Edition на PS5, Xbox Series X и S 13 ч.
Copilot станет «суперприложением»: Microsoft начала объединять разные версии ИИ-помощника 14 ч.
Анонсирован эвакуационный хоррор-шутер Waste The Fallen по мотивам творчества Лавкрафта 14 ч.
Китай запустил крупнейший в мире «пауэрбанк» для энергосети — LFP-аккумуляторы на 4 ГВт·ч обеспечат 1 ГВт мощности 34 мин.
Apple объявила iPhone X устаревшим 51 мин.
В I полугодии 2026 года ЦОД в Северной Америке освоили рекордные 25 ГВт 2 ч.
Sandisk готова к выпуску сверхскоростной флеш-памяти HBF — первые чипы появятся в 2027 году 2 ч.
Учёные грубо ошибались в оценке влияния чёрных дыр — они «трясут» пространство на 300 тыс. световых лет 2 ч.
Флагманские смартфоны Poco X8 Pro и Poco X8 Pro Max — для игр и повседневного использования 2 ч.
В ИИ-гонку включились воры — в США участились угоны грузовиков с оборудованием для ЦОД 2 ч.
Dell'Oro Group: продажи PON-оборудования для ЦОД в 2026 году взлетят почти в 10 раз 3 ч.
Приятный побочный эффект: выручка SMIC в сегменте периферийных чипов для ИИ выросла на 40 % 3 ч.
Apple торжественно открыла предприятие в Техасе, на котором будут собираться Mac Mini 5 ч.