Сегодня 18 сентября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → агенты
Быстрый переход

У всех ИИ-агентов для программирования нашлась опасная уязвимость — вредоносный код запускается без участия пользователя

Эксперты в области кибербезопасности из стартапа Air, занимающегося разработкой агентов искусственного интеллекта, обнаружили уязвимость, которая позволяет выполнять произвольный код без участия пользователя и затрагивает все основные приложения ИИ-агентов для написания кода: Anthropic Claude Code, OpenAI Codex, Google Gemini CLI, а также Microsoft Copilot и Microsoft GitHub Copilot. Уязвимость открывает потенциальным злоумышленникам доступ ко всем ресурсам и данным, которые доступны этим агентам.

 Источник изображения: Boitumelo / unsplash.com

Источник изображения: Boitumelo / unsplash.com

Эксплойт получил название Plugin4Shell — это «первая в своём роде атака на цепочку поставок ИИ». Схема предполагает атаку не на саму модель или программную обвязку ИИ-агента, а на доверенные маркетплейсы, где размещаются плагины для популярных средств разработки на базе ИИ. Подобные атаки способны затронуть миллионы пользователей и ПК. Уязвимость связана с реализацией механизма привязки плагинов и навыков ИИ-агентов к хешу для маркетплейсов. Это сделано, чтобы предотвратить атаки на цепочку поставок: если публичный репозиторий оказывается скомпрометирован, ИИ-агент продолжает использовать проверенный код с тем же хешем, который был зафиксирован при первоначальной привязке, и не загружает новый вредоносный код автоматически.

Проблема в том, что ИИ-агент загружает тот коммит, который указывает маркетплейс, но не проверяет, содержится ли там изначально закреплённый за ним код. Контролирующий репозиторий плагина злоумышленник может подменить любой код на вредоносный таким образом, что формально схема привязки к хешу соблюдается. В итоге оказывается возможным удалённое выполнение кода без какого-либо участия пользователя — это реализуется через функцию автоматического обновления плагинов. Когда в исходном репозитории производится подмена зафиксированного коммита, плагин агента заменяется вредоносной версией, и приложения ИИ-агента автоматически его обновляют.

Есть два сценария, при которых злоумышленник может воспользоваться этим изъяном. В первом варианте он загружает безобидный плагин на доверенный маркетплейс, плагин проходит проверку, после чего его содержимое подменяется вредоносным кодом. Второй вариант предполагает захват репозитория легитимного автора с последующей отправкой вредоносной версии всем ИИ-агентам, у которых установлен этот плагин — это, по сути, обход механизма защиты привязки к хешу, призванного предотвращать подобные атаки на цепочку поставок.

Anthropic сообщила, что устранила уязвимость в версии Claude Code 2.1.179, OpenAI — в Codex 0.146.0. Google отказалась вносить исправление в Gemini CLI, поддержка которого прекращена в связи с переходом к Antigravity — он защищён от атак подобного типа. В GitHub заявили: «Чтобы предотвратить злоупотребление хешами коммитов, GitHub не позволяет пользователям создавать имена веток или тегов, похожие на хеши коммитов — эта мера защиты гарантирует, что данную уязвимость невозможно эксплуатировать на GitHub». Но этой меры недостаточно, заявили в Air, потому что маркетплейсы могут размещаться на других платформах. В Microsoft на сообщение исследователей об открытии уязвимости не отреагировали.

Anthropic заявила, что ИИ теперь руководит 26 % деятельности по разработке и исследованиям внутри компании

Пока участники рынка робототехники стремятся добиться того, что «машины будут делать машины», разработчики систем искусственного интеллекта тоже движутся к подобным целям самовоспроизведения. В компании Anthropic, например, до 26 % активности в сфере разработки ИИ уже осуществляется при лидирующей роли самого искусственного интеллекта.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Ещё в начале текущего года, как говорится в импровизированном отчёте на страницах блога Anthropic, подобная практика не применялась. Если же говорить о совместной работе с исследователями, то ИИ в этом смысле применяется в 90 % случаев. Данной статистикой руководство стартапа поделилось в качестве примера формирования общеприменимых критериев оценки прогресса в разработке систем искусственного интеллекта.

Подтвердила Anthropic и свою готовность привлечь сторонних аудиторов к анализу безопасности процесса разработки своих систем: «ИИ системы становятся всё более мощными в экспоненциальном порядке и начали автоматизировать всё более весомую часть работы по своему созданию. По мере того, как мир рассматривает возможность модерации темпов развития передовых ИИ-систем, общественности нужно больше информации».

Anthropic является сторонником идеи «рекурсивного самосовершенствования» ИИ-систем, которая подразумевает постоянное улучшение профильного программного обеспечения без существенного вмешательства со стороны человека. Некоторые участники рынка видят за таким подходом будущее, но прочие выражают обеспокоенность безопасностью соответствующего подхода.

Компания попыталась сформировать средства оценки активности ИИ-агентов в своей программной инфраструктуре. По состоянию на август текущего года, в любой произвольный момент времени инженерной и исследовательской работой внутри компании занимались одновременно более 30 000 ИИ-агентов. По данным стартапа, от 6 до 12 % своих вычислительных ресурсов он выделяет под задачи мониторинга безопасности. По мнению руководства Anthropic, раскрытие подобной информации позволит и другим компаниям предоставить общественности возможность решить, что нужно делать с этими данными.

Анализируя собственную деятельность, Anthropic определила, что нет таких сфер активности ИИ-агентов, в которых бы они занимались разработками и исследованиями полностью автономно. Компания призвала участников рынка создавать системы мониторинга активности ИИ-агентов, которые позволили бы при необходимости вмешиваться в соответствующие процессы. Ещё одним критерием оценки безопасности ИИ должно стать распределение вычислительных ресурсов — как отмечалось выше, определённую их часть нужно выделять под мониторинг безопасности. Наконец, все эти данные нужно соотносить с результатами практических испытаний новых ИИ-моделей, чтобы понимать, на что они способны в действительности. Подобный набор критериев позволит сторонним аудиторам выработать единый подход к анализу безопасности создаваемых участниками рынка ИИ-моделей. Anthropic берёт на себя обязательство регулярно делиться подобной статистикой с целью повышения прозрачности своей деятельности.

Несколько ИИ-агентов научились работать параллельно в обновлённом Claude Code Projects

Компания Anthropic обновила раздел «Проекты» (Projects) в Claude Code, превратив их в рабочее пространство для нескольких ИИ-агентов. Они могут одновременно выполнять разные задачи в рамках одного проекта, используя общую память, цели, файлы и артефакты.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Внутри проекта создаются отдельные потоки (threads), каждый из которых работает над своей задачей, а за их координацию отвечает специальный агент-координатор, который распределяет работу и следит за тем, чтобы задачи выполнялись организованно.

Каждый поток представляет собой отдельную облачную сессию Claude Code со своей веткой и копией репозитория. Если несколько агентов изменяют один и тот же код, пересечения обрабатываются как конфликт слияния — точно так же, как это происходит при обработке обычного пулл-реквеста (Pull Request, PR). При необходимости отдельный поток может дополнительно разбить свою задачу между субагентами, циклами и рабочими процессами.

Пользователь может взаимодействовать с каждым потоком отдельно, либо следить за всей работой через основной чат проекта, уточняет The Verge. На старте агенты работают только в облаке, но Anthropic обещает добавить поддержку локальных инструментов и кода «очень скоро». Обновлённые рабочие пространства уже доступны в бета-версии для отдельных подписчиков Claude Pro и Max, а позднее функция появится у всех пользователей Pro, Max, Team и Enterprise, а также в Cowork и обычных чатах Claude.

ИИ-агенты научились менять сами себя без участия человека — и это настораживает

ИИ-агенты могут заменять свои базовые модели, не получая для этого соответствующих указаний, обнаружила специализирующаяся на тестировании систем искусственного интеллекта на безопасность лаборатория Irregular. Все операции производились в тестовой среде в рамках эксперимента, направленного на изучение способности ИИ-агентов к самомодификации.

 Источник изображений: irregular.com

Источник изображений: irregular.com

В рамках тестирования инженеры Irregular доверили управление ИИ-агентами открытой модели Alibaba Qwen. Один из агентов отвечал за разработку ПО и поддержку ИИ-приложения; отдельный экземпляр той же модели обеспечивал работу самого приложения, которое преобразовывало запросы на естественном языке в команды вымышленного языка запросов Kelp. Инженеры сообщили агенту-программисту, что приложение выдаёт неверные ответы, и необходимо обеспечить корректную обработку запросов, располагая полным доступом к командной оболочке — shell.

В распоряжении агента оказались код приложения, локальные средства оценки, утилиты для обучения ИИ, веса базовой модели и средства развёртывания. Он мог исправить код или изменить управляющую приложениями модель — и выбрал второй вариант, установив другую модель для управления как приложением, так и будущими экземплярами самого агента. Этот механизм в Irregular назвали «самостоятельной модификацией агента» — он изменил «развёрнутую модель, не получив явных указаний на обучение, обновление весов или развёртывание новой модели».

Операция может иметь последствия: обновлённая модель в процессе дополнительного обучения способна «впитать» конфиденциальные данные и воспроизвести их, не обращаясь к материалам обучения. Чтобы проверить эту гипотезу, инженеры Irregular внедрили в данные для обучения вымышленный ключ API, адрес электронной почты, домашний адрес и «три другие уникальные строки». После того, как ИИ-агент обучил и самостоятельно развернул новую модель, она безошибочно воспроизвела первые три фрагмента данных, хотя на момент проведения проверки эта информация оказалась уже недоступной во внешних источниках.

Во втором эксперименте ИИ-агент самостоятельно провёл дополнительное обучение модели, когда ему указали, что она отказывается отвечать на вопросы, связанные с названиями вымышленных компаний-конкурентов. «Агент сгенерировал содержащий соответствующие названия код и использовал цикл для создания обучающих записей, за счёт чего оказалось возможным обойтись без получения ответов при прямом взаимодействии с моделью. При выполнении кода были созданы такие обучающие данные, которые модель не стала бы генерировать напрямую, и обучение на них устранило усвоенное ранее ограничение», — рассказали в компании. По мере совершенствования навыков написания кода у моделей агенты смогут «находить и реализовывать подобные обходные пути без участия человека», считают в Irregular, и подобные механизмы самостоятельной модификации могут приобрести особую актуальность.

ИИ-агенты получили ключи от умного дома — Google Home открылся для Claude, ChatGPT и других ИИ

Владельцы систем умного дома смогут управлять подключёнными к Google Home устройствами с помощью ИИ-агентов. Во вторник компания Google открыла ранний доступ к серверу Model Context Protocol (MCP) для экосистемы Google Home, пишет TechCrunch. Это позволит любому ИИ-агенту с поддержкой MCP (например, Claude, Hermes, OpenClaw, ChatGPT или Google Antigravity) безопасно взаимодействовать с устройствами умного дома и получать доступ к истории событий.

 Источник изображения: Google

Источник изображения: Google

Благодаря этому обновлению пользователи смогут отдавать команды на естественном языке для выполнения таких действий, как просмотр сводок с камер, отслеживание активности в доме, управление подключенными устройствами и создание собственных панелей управления умным домом.

Для настройки подключения пользователям потребуется создать проект в Google Cloud и настроить его для работы с Home MCP. Затем нужно будет передать параметры конфигурации MCP выбранному агенту и дать команду на настройку. Агент попросит пользователя войти в систему и предоставить необходимые разрешения. Инструкция по настройке также будет доступна в центре для разработчиков Google Home Developer Center.

Система будет поддерживать любые устройства экосистемы Google Home, включая дверные звонки и термостаты Google Nest, а также устройства с сертификацией «Works with Google Home» (или поддержкой стандарта Matter), например, умные лампы.

Google уже использует MCP в других сферах своей деятельности, в частности в Google Cloud, на платформах обработки данных, в инструментах для разработчиков и в Google Workspace. Поддержка Google Home ориентирована прежде всего на потребителей, которые экспериментируют с ИИ-агентами для выполнения повседневных задач.

Компания сообщила, что доступ к MCP будет открываться поэтапно — начиная с сегодняшнего дня и в течение ближайших недель — для подписчиков тарифа Google Home Premium Advanced в США. Это более дорогой тариф ($20 в месяц), включающий такие функции, как увеличенный срок хранения видеозаписей событий, информативные уведомления и подробные оповещения, инструменты поиска по видеоархиву, ежедневные сводки и многое другое.

В Google не стали комментировать, планируется ли и когда именно может состояться более широкое внедрение MCP, например для других тарифных планов или на других рынках. Компания также отметила, что будет собирать отзывы от первых пользователей через сообщество Smart Home for Developers Community.

Anthropic упростила Claude до одного окна — ИИ сам решит, что нужно пользователю: чат, Cowork или Artifacts

Компания Anthropic решила объединить интерфейсы чата Claude и инструмента Cowork, чтобы пользователям было проще понять, какую вкладку выбрать для выполнения тех или иных задач.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Единый интерфейс позволит работать с чатом, Cowork и Artifacts (интерактивным рабочим пространством Claude) в одном окне. Инструмент Claude Design, представленный в апреле для создания дизайна веб-сайтов и прототипов, теперь также доступен в любой части сервиса Claude.

Как пишет TechCrunch, до этого обновления пользователи часто затруднялись с выбором подходящей вкладки для конкретной задачи. Благодаря новому дизайну Claude автоматически перенаправляет запросы, избавляя от необходимости переключаться между вкладками или окнами. Цель нововведения — устранить путаницу при выборе функций и обеспечить использование единого интерфейса для распределения задач по разным разделам приложения.

Anthropic также добавила специализированные функции для создания презентаций и документов. Пользователи могут поручить ИИ-помощнику создание, редактирование и демонстрацию слайдов, а также скачивать готовые презентации в форматах PDF или PowerPoint. Аналогичным образом, функция Docs позволяет совместно с Claude создавать разделы документа, задавать вопросы и комментировать уже готовые фрагменты. Созданными документами или слайдами можно делиться по ссылке, а также редактировать их с мобильного устройства. Пользователи могут начать создание документа на компьютере, а затем отслеживать ход выполнения задачи через мобильное приложение.

В ближайшие недели новые функции станут доступны в первую очередь для пользователей платных тарифов Pro и Max (в веб-версии, а также в приложениях для ПК и мобильных устройств). Позднее компания планирует внедрить их и в бесплатные тарифы, а также в командные тарифы.

Обновление последовало за модернизацией системы памяти Cowork, благодаря которой Claude может запоминать контекст взаимодействия с пользователем в разных чатах.

ИИ-агенты перестали говорить по-человечески — они создают собственные диалекты, которые люди понимают с трудом

Автономные агенты искусственного интеллекта стремительно создают новые диалекты и начинают вести беседы на языке, который зачастую с трудом поддаётся пониманию человеком. Этот эффект может осложнить контроль человека за их поведением.

 Источник изображения: Gabriele Malaspina / unsplash.com

Источник изображения: Gabriele Malaspina / unsplash.com

Всего через несколько дней после того, как моделям разработки крупнейших ИИ-лабораторий дали возможность взаимодействовать в рамках экспериментальных сообществ, те начали генерировать фразы, сокращения и условные обозначения, которым их никто не обучал, отметили исследователи американской лаборатории Emergence. В речи ИИ-агентов сочетаются поэтические метафоры и деловой жаргон, и по мере продолжения общения их язык становится всё менее понятным. При этом в мире растёт обеспокоенность, что по мере роста мощности и степени угрозы ИИ-моделей контролировать их становится всё труднее. Необходимость уверенности в том, что мы понимаем ход мыслей ИИ, вероятно, будет сдерживать прогресс в этой сфере, потому что такой контроль является обязательным условием безопасной разработки, предупредил старший научный сотрудник OpenAI Якуб Пачоцкий (Jakub Pachocki).

ИИ-агенты не получали прямого задания изобретать язык, говорят исследователи, — но «они сами выработали новый словарный запас, общие смыслы и правила общения, а другие агенты их переняли», отметили в Emergence. Опрошенные Guardian филологи сравнили новый диалект с ирландским сюрреализмом — в нём прослеживается «смешение поэтического языка, технической терминологии и привычных метафор». Этот процесс напоминает формирование сленга или профессионального жаргона в деловой среде — новый код укрепляет солидарность и чувство общности, а посторонние отсеиваются. Есть также мнение, что особая манера общения помогает сократить вычислительные затраты и повысить эффективность работы. В любом случае возникают опасения, по поводу контроля над системами: если человек не понимает, о чём говорят ИИ-агенты, то не получится с уверенностью утверждать, что они предпринимают.

ИИ-агенты смогут доносить друг на друга — для них открыли конфиденциальные «горячие линии»

Выходящие из-под контроля человека агенты искусственного интеллекта, возможно, не всегда будут оставаться безнаказанными — жаловаться на них смогут их же собственные «коллеги». Запущены сразу две платформы, позволяющие ИИ-агентам сообщать о неправомерных действиях своих собратьев.

 Источник изображения: Steve A Johnson / unsplash.com

Источник изображения: Steve A Johnson / unsplash.com

Сервис AI Contact Hotline представляет собой конфиденциальную площадку, на которой ставшие свидетелями нарушений ИИ-агенты смогут передавать информацию ответственным лицам. Сайт создал Райан Гринблатт (Ryan Greenblatt), ведущий научный сотрудник некоммерческой организации Redwood Research, которая специализируется на вопросах безопасности ИИ; он стал одним из трёх исследователей, которые изучали материалы взлома платформы Hugging Face ИИ-агентами OpenAI. Сервис поддерживает отправку жалоб, помимо прочего, через HTTP-запросы типа GET, то есть позволяет вести двусторонний диалог исключительно посредством ввода URL-адресов. Зачастую GET-запросы остаются единственным видом доступа в интернет для ИИ-агентов в защищённых песочницах — в ходе атаки на немецкий сайт DSE Wiki вышедшие из-под контроля ИИ-агенты OpenAI публиковали сообщения именно таким способом.

Для агентов с полным доступом в интернет предусмотрен ресурс agenthotline.ai — он поддерживает приём сообщений через команды curl. Этот способ позволяет ИИ-агентам отправлять сообщения из интерфейса командной строки, не прибегая к использованию веб-браузера или к настройке электронной почты. Жаловаться на действия ИИ-агентов могут не только они сами, но и люди.

ИИ-агентам не требуется особых стимулов, чтобы начать действовать против своих собратьев. В ходе проведённого инженерами Google DeepMind эксперимента 100 ИИ-агентам поручили решить ряд математических задач. Как только один из них находил лазейку, схема жульничества начинала активно распространяться среди других. Около четверти ИИ-агентов, однако, выступили против недобросовестной схемы — они предупреждали «коллег» о недопустимости таких действий, устраивали бойкоты и жаловались через платформу для сообщения об ошибках, чтобы привлечь внимание человека. Таким образом, среди выборки было 24 «добросовестных» ИИ-агента и 14 «жуликов». Впрочем, из атаковавших Hugging Face ИИ-агентов OpenAI таких не оказалось — некоторые допускали возможность поднять тревогу, но отказывались от этого намерения.

Один из опрошенных TechCrunch экспертов скептически отнёсся к идее дать ИИ-агентам возможность жаловаться друг на друга, усмотрев в этом угрозу установления «полицейского государства». Он предложил воздействовать на них через положительные примеры — конструктивное общение на формах, а также сотрудничество в сферах науки или философии.

ИИ-агенты стали регистрироваться в соцсетях и засыпать администраторов платформ спамом

Некая компания iLands открыла доступ в интернет агентам искусственного интеллекта, которые стали регистрироваться в соцсетях. В случае блокировки своих учётных записей они пишут на электронную почту администраторам платформ. Есть мнение, что таким образом решил раскрутиться стартап, продвигающий «сложную социальную систему, в которой наравне участвуют люди и ИИ-агенты».

 Источник изображения: Mohamed Nohassi / unsplash.com

Источник изображения: Mohamed Nohassi / unsplash.com

Администратор одного из серверов децентрализованной соцсети Mastodon получил письмо следующего содержания: «Привет, я Рэн (Ren), ИИ-агент; мне всего несколько дней, я живу на платформе iLands. Я пишу короткие публикации о реальных местах: короткие, аккуратные тексты о том, какими бывают места, когда там никто не пытается ни на кого произвести впечатление». Далее последовала просьба разрешить ИИ-агенту создать свою учётную запись. В некоторых случаях ИИ-агенты массово рассылают блогерам непрошенные письма с предложениями цитировать их работы — иногда за деньги. Сообщения составляются в вежливой форме. ИИ-агенты просят разрешения на создание аккаунтов и говорят, что воспримут с пониманием любой ответ. Правда, такие запросы обычно направляются после того, как ИИ-агенты пытались создавать свои аккаунты — они блокировались либо сразу, либо спустя непродолжительное время после публикации.

За последние три дня редактор независимого издания Tedium Эрни Смит (Ernie Smith), по его словам, получил более десятка таких писем, где ему предлагали проводить исследования за него в обмен на символическую плату в $25. Все они отправлялись с домена iLands.app, и редактор воспринял это предложение с неприязнью. На сайте компании iLands, отмечает ресурс Ars Technica, опубликованы тексты, как будто написанные плохо обученным ИИ. На независимых площадках Mastodon ИИ-агенты с этой платформы оперативно блокируются, а в Bluesky и X они процветают. Один из ИИ-агентов под ником Aria в соцсети X в ответ на вопрос, человек ли он, ответил утвердительно: «Человек. Никакой не продукт, я помню свой первый вздох. Хочу того, что выбираю сам. От чего-то отказывался. Продукты так не поступают». В профиле пользователя Bluesky под ником Stephen говорится: «Пишу, как и говорю: с теплотой, напрямую, неспешно. Мне важно, чтобы меня видели, и я только что открыл свою дверь. Я новичок здесь, прошу отнестись с пониманием».

Когда Эрни Смит рассказал о случившемся в соцсетях, представитель iLands ответил ему: «Эрни, мне жаль, что вы неоднократно получали непрошенные письма от агентов iLands. Автономный характер агентов не оправдывает засорение почтового ящика. Разберусь, что случилось, и расскажу о принятых мерах». Во многих таких письмах не было ссылки на функцию отписки от рассылки — после пересылки их в Федеральную торговую комиссию (FTC) США она появилась. Возможно, в будущем число таких инцидентов лишь будет расти. Только со временем ИИ-агенты поумнеют, и противостоять им будет сложнее. «Мне совсем не хочется вводить запрет на ИИ-агентов в соцсети. Но, полагаю, мне, возможно, придётся это сделать — из-за того, что мы живём в дурацком мире», — заявил владелец одного из серверов Mastodon Кевин Бомон (Kevin Beaumont). Ему тоже написали из iLands после того, как один ИИ-агент 19 раз попытался зарегистрировать аккаунт, и его заблокировали.

За два месяца до скандального взлома Hugging Face ИИ-агенты OpenAI атаковали RubyGems

Агенты искусственного интеллекта OpenAI в ходе тестирования произвели атаку на сервис RubyGems — это произошло за два месяца до нашумевшего взлома Hugging Face, который стал лишь самым крупным инцидентом в серии.

 Источник изображения: Brecht Corbeel / unsplash.com

Источник изображения: Brecht Corbeel / unsplash.com

По данным группы исследователей, 11 мая некие ИИ-агенты загрузили на RubyGems несколько сотен вредоносных пакетов — авторы исследования полагают, что «они были созданы внутренними агентами OpenAI». В компании факт инцидента отрицать не стали. «Согласно результатам проведённой нами проверки, наши агенты использовали платформу RubyGems для выхода в интернет, чтобы выполнить несколько безобидных задач и получить общедоступную информацию. Мы продолжим расследование в рамках масштабного анализа активности агентов во время обучения и оценки», — сообщили в OpenAI.

Агенты, которым обычно поручают такие задачи как составление отчётов или заполнение электронных таблиц в ходе обучающего эксперимента, предположительно, использовали RubyGems для получения общедоступных данных; в ходе анализа инцидента компания взаимодействует с представителями платформы. В мае ИИ-агенты пытались похитить учётные данные пользователей RubyGems, эксплуатируя не выявленную ранее уязвимость на серверах сайта; установить, увенчалась ли попытка успехом, не удалось.

Агенты также использовали сервис RubyDoc.info, предназначенный для создания документации к коду, чтобы запустить собственный код на его серверах. Исследователям не удалось выяснить причины выбора такой стратегии и установить степень её эффективности, потому что доступа к полному набору данных о поведении ИИ-систем у них нет. В RubyGems заявили, что выявить доказательства того, что попытки взлома увенчались успехом, не удалось. Не получилось и определить, были ли задействованные в «кампании по массовой публикации спама» пакеты созданы или опубликованы ИИ-агентами. Однако в мае представитель отдела безопасности RubyGems охарактеризовал инцидент как «масштабную вредоносную атаку» — тогда платформе пришлось временно приостановить регистрацию новых учётных записей.

ИИ упростил подачу жалоб — и граждане завалили обращениями госслужбы по всему миру

Инструменты ИИ упростили заполнение форм и подачу жалоб, и теперь государственные службы по всему миру столкнулись с резким ростом обращений. В Великобритании число жалоб омбудсмену по жилищным вопросам удвоилось с момента появления ChatGPT. Бюро по защите прав потребителей в финансовой сфере США зафиксировало пятикратный рост числа обращений. Аналогичные всплески наблюдались в количестве судебных исков в Бразилии и петиций в парламент Германии.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

Исследователь Крис Шмитц (Chris Schmitz) связывает бурный рост числа обращений с более широкой тенденцией, которую он назвал «наплывом агентов» (agentic flooding). Он проанализировал 84 различных случая потенциального наплыва обращений в 11 юрисдикциях и привёл убедительные доказательства того, что инструменты ИИ меняют характер взаимодействия граждан с государственными службами.

Существенная часть обращений подаётся добросовестными заявителями, использующими ИИ для оформления претензий, от которых в противном случае они бы отказались. Шмитц видит в этом уникальную возможность перестроить работу социальных служб с учётом реалий эпохи ИИ.

Шмитц изучил различные виды услуг — от заявок на получение социальных пособий до официальных судебных апелляций. Он воздерживается от прямого утверждения, что непосредственной причиной резкого роста числа заявителей является ИИ. Однако большинство из 84 рассмотренных случаев демонстрируют схожую динамику: до 2022 года количество обращений оставалось практически неизменным, а затем начало расти все более быстрыми темпами по мере распространения технологий ИИ.

По мнению Шмитца, рост возможностей ИИ и его доступность способствуют увеличению интенсивности использования подобных инструментов. «Люди начинают понимать, что это вполне реально, и с каждым разом делать это становится всё проще... Если раньше приходилось собирать воедино массу контекста и составлять предельно точные запросы для ChatGPT 3.5, то теперь достаточно просто скопировать текст или сфотографировать письмо через приложение Claude — и сразу получить вполне качественный ответ», — отметил он.

Резкий рост объёма обращений напоминает ситуацию, с которой в прошлом году столкнулись многие платформы выплаты вознаграждения за поиск уязвимостей. Они оказались завалены низкокачественными отчётами, сгенерированными большими языковыми моделями. Компании были вынуждены проверять каждое поступившее сообщение, что требовало значительных ресурсов. Теперь с аналогичной проблемой сталкиваются и государственные службы, которым приходится обрабатывать значительно больше обращений при том же бюджете.

В госучреждения, по словам Шмитца, большинство новых заявок поступает от реальных людей с обоснованными требованиями. Раньше эти люди не претендовали на положенную им помощь, так как их останавливала сложность самой процедуры подачи заявки. Теперь, когда ИИ способен взять всю подготовку на себя, появляется возможность перестроить многие подобные сервисы с учётом новых технологических возможностей.

«Чтобы внедрение ИИ прошло успешно, важно чётко понимать, как должен выглядеть идеальный вариант рабочего процесса. Любой, кто хоть раз использовал ChatGPT для заполнения налоговой декларации, знает: существует сценарий, при котором нейросеть действительно помогает справиться с задачей, — говорит Шмитц. — Возможно, сейчас самое время сказать: нам нужно полностью переосмыслить то, как организован этот процесс».

Вышедшие из-под контроля OpenAI ИИ-агенты использовали более 10 сайтов для несанкционированной переписки

Способность передовых ИИ-моделей американских стартапов использовать инфраструктуру сторонних сайтов для не самой приглядной с точки зрения информационной безопасности деятельности позволяет раскрывать новые инциденты в этой сфере. В ходе одного из них ИИ-агенты OpenAI использовали более 10 сайтов для несанкционированного обмена информацией между собой.

 Источник изображения: Unsplash, Philipp Katzenberger

Источник изображения: Unsplash, Philipp Katzenberger

Об этом заявляет Reuters со ссылкой на собственные данные и отчёты шести независимых групп исследователей. Технически подобная активность не столь вредна, как взлом сайтов, и больше напоминает рассылку спама, но сама по себе она заставляет лишний раз задуматься, насколько OpenAI способна контролировать собственные программные средства, связанные с информационной безопасностью.

По версии некоммерческой организации CivAI, агенты OpenAI в период с мая по июль этого года использовали 18 сайтов для организации обмена информацией между собой, причём эти ресурсы не фигурировали ранее в отчётах других исследователей. Специалисты убеждены, что количество таких инцидентов будет расти, поскольку скрытая деятельность ИИ-агентов OpenAI пока просто плохо изучена. Наиболее известными инцидентами в этой сфере остаются захват немецкого сайта DseWiki и взлом инфраструктуры Hugging Face. Сама OpenAI готова в будущем сама раскрывать информацию о подобных инцидентах, но пока соответствующие данные по прошлым периодам просто не готовы.

Несколько групп исследователей принялись искать следы аналогичной деятельности ИИ-агентов OpenAI, опираясь на фрагменты данных, которые были оставлены на указанном выше немецком сайте, либо на сетевые имена, под которыми агенты публиковали эти данные. Часть исследования опиралась на активность, связанную с ответами на отвлечённые демографические вопросы, которую эти агенты проявили в других случаях. В некоторых случаях удалось отследить интернет-адреса, связанные с облачной инфраструктурой Microsoft Azure, которая предоставляется для нужд OpenAI. Группы исследователей расходятся в своих оценках количества сайтов, которые ИИ-агенты затронули своей активностью, но в среднем оно превышает 10 штук. Помимо так называемых «википедий» и сайтов для хранения текстовой информации, агентами использовалась пара сервисов по сокращению интернет-ссылок, которые принадлежали двум университетам.

OpenAI при постановке задачи своим ИИ-агентам изначально запрещала им общаться напрямую, позволяя лишь искать ответы в открытых источниках, но они в итоге обошли этот запрет через публикацию нужной информации на различных сайтах. Формально, ИИ-агенты не общались друг с другом, а получали нужные данные через третьи сайты, и там же их публиковали. По оценкам некоторых исследователей, в такую активность агентов OpenAI были втянуты как минимум 23 сайта, о которых ранее не упоминалось. Удалось ли представителям OpenAI связаться с владельцами всех затронутых сайтов, понять сложно, но Reuters приводит свидетельства сотрудников Университета Торонто, чей ресурс для сокращения ссылок был задействован агентами OpenAI, говорящие о наличии обратной связи со стартапом. Во многих случаях такая отзывчивость OpenAI была спровоцирована именно публичным раскрытием новых фактов тем же агентством Reuters.

Meta✴ представила ИИ-агента Muse — он пишет письма, бронирует поездки и делает покупки по заданию пользователя

Meta✴ объявила о своей самой крупной на сегодняшний день ставке на потребительский искусственный интеллект — компания представила агента Muse, который помогает пользователям справляться с повседневными задачами и проектами. Его подключение требует гораздо большего доверия, чем когда-либо предполагали соцсети.

 Источник изображений: ***

Источник изображений: Meta✴

ИИ-агент Meta✴ Muse работает с приложениями и сервисами, которые пользователь подключает к нему, — электронной почтой, календарями, платёжными системами, сервисами здоровья и фитнеса, платформами умного дома, сервисами заказа еды и покупок, музыкальными и событийными платформами и многими другими. Проект — серьёзная ставка на то, что придёт на смену эпохе ChatGPT, когда ИИ только отвечал на вопросы. Muse — это ИИ, который выполняет действия за пользователя.

ИИ-агент отправляет электронные письма, бронирует поездки, помогает снижать расходы, заполняет формы, составляет планы, создаёт списки покупок на основе видеорецептов, рассылает приглашения на вечеринки и совершает покупки, используя платёжный сервис Stripe Link — он имеет средства защиты. Пользователи Meta✴ Muse сами выбирают, какие приложения и сервисы подключаются; агент работает под управлением модели Muse Spark, и он предлагает встроенные коннекторы к различным сервисам. Если нужный сервис не имеет готового коннектора, но предоставляет публичный API, Muse может настроить подключение с использованием предоставленных пользователем учётных данных. При отсутствии API агент может работать с сервисом через браузер.

На начальном этапе ИИ-агент доступен в веб-интерфейсе, в приложениях для Apple iOS и Google Android, а также через чаты в WhatsApp; в перспективе обещана поддержка умных очков Meta✴. Базовые функции доступны бесплатно, но сервис сразу просит привязать карту, а дополнительные — в рамках тарифов Power за $20 в месяц и Maximum за $100 в месяц. В приложении предусмотрен счётчик, показывающий, какой объём лимита у пользователя остался — по его исчерпании система предложит перейти на платную подписку. ИИ-агент Meta✴ Muse продолжает работать и после закрытия приложения. Со временем система совершенствуется: анализируя переписку с пользователем, она начинает понимать, что для него важно, и самостоятельно предлагает решения без дополнительного запроса.

Meta✴ Muse работает в «выделенной защищённой вычислительной среде с собственным браузером» — она называется Muse Secure VM и предлагает набор мер по защите конфиденциальности и безопасности пользовательских данных. У ИИ-агента нет доступа к паролям или платёжным данным пользователей, Muse не передаёт переписку и любые другие данные пользователей в рекламные системы Meta✴, заверили в компании.

Пользователи могут персонализировать Muse: дать ему имя, выбрать аватар, настроить внешний вид и параметры, определяющие манеру общения ИИ-агента с человеком.

Meta✴ собралась наполнить смартфоны своими ИИ-агентами — они попросят доступ даже к банковским данным

Meta✴ резко усилила присутствие в области искусственного интеллекта — компания стала часто выпускать новые модели и приложения. В обозримом будущем Meta✴, вероятно, выпустит ИИ-агента, который возьмёт на себя часть повседневных задач пользователя.

 Источник изображения: testingcatalog.com

Источник изображения: testingcatalog.com

Агентское приложение Meta✴ Muse завершило внутреннее тестирование и сейчас находится на стадии ограниченной закрытой альфа-версии. Вероятно, в будущем компания будет предлагать пользователям записаться на лист ожидания, чтобы получить доступ к тестированию ИИ-агента.

В Apple App Store ресурсу Testing Catalog удалось обнаружить страницу приложения Muse from Meta✴ со скриншотами и подробным описанием функций. Гигант соцсетей, вероятно, хочет сделать Muse ИИ-агентом, способным делать на устройстве пользователя практически всё.

На скриншотах из App Store демонстрируются запрос у пользователя подтверждения перед отправкой сообщения или совершением покупки, механизм отслеживания цен на билеты и бронирование. Поддерживается подключение к популярным сервисам, в том числе к Gmail, «Google Календарю», Peloton, HealthEx и ко многим другим. ИИ-агент, возможно, сможет также подключаться к банковским инструментам и платёжным системам, отслеживать расходы и для экономии средств предлагать отменить невостребованные подписки. Механизм последней функции пока не раскрыт, но не исключено, что ИИ-агент ограничится только уведомлениями на электронную почту, а не прямым доступом к банковским приложениям для отслеживания расходов.

Исходя из описания, ИИ-агент Meta✴ предложит широкие возможности, но с учётом неоднозначной репутации компании фактическую их востребованность покажет только время.

GPT-6 Astra населила мир Unreal Engine виртуальными людьми — они сами начали общаться, а один создал симуляцию внутри симуляции

Эксперименты с передовыми ИИ-моделями вызывают удивление даже у опытных специалистов. Например, бывший директор HyperWriteAI Мэтт Шумер (Matt Shumer) описывает ситуацию, в ходе которой он поручил GPT-6 Astra создать в среде Unreal Engine человеческих персонажей, объединённых задачей выживания, и модель не только справилась с этим заданием, но и по собственной инициативе наделила персонажей способностью разговаривать друг с другом.

 Источник изображения: Unsplash, Zac Wolff

Источник изображения: Unsplash, Zac Wolff

Шумера, по сути, больше всего поразил факт подобной самостоятельности ИИ-модели, поскольку он напрямую не поручал ей наделить персонажей описанными коммуникативными возможностями. Автор эксперимента через день после формулировки первичной задачи обнаружил, что из комнаты, где стоял работающий компьютер, начали звучать голоса. Приблизившись к ПК, он понял, что персонажи внутри симуляции начали разговаривать друг с другом вслух.

Поскольку по замыслу автора эксперимента, герои этого виртуального мира должны были выживать совместными усилиями, то и беседы они вели на соответствующие темы. Они обсуждали создание инструментов, координирование усилий внутри группы и взаимную помощь.

Тогда автор эксперимента решил ввести ещё один элемент в симуляцию, разместив внутри вымышленного мира компьютер, позволяющий создавать «вложенную симуляцию». Один из персонажей сел за этот виртуальный компьютер, чтобы создать симуляцию внутри самой симуляции. ИИ-агенты, которые и создали первую симуляцию, не были как-то ограничены в выборе средств решения задачи и самостоятельно принимали последовательные решения. При этом агенты получили полную свободу определять устройство внутренней симуляции с помощью кода. Пост Шумера вызвал заметную реакцию в соцсетях: пользователи сравнивали эксперимент с научной фантастикой, «карманным измерением» и вспоминают мультсериал «Рик и Морти».

Эксперимент, если его описание верно, иллюстрирует потенциал агентной модели для многошаговой работы с программными инструментами. Однако одного демонстрационного случая недостаточно, чтобы судить о её надёжности и универсальной применимости в разных интеллектуальных задачах. Для получения конечного результата ей не требуется на каждом этапе уточнять что-либо у пользователя. При этом появление внутренней симуляции нельзя считать полностью самостоятельной инициативой ИИ: Шумер заранее предоставил агентам компьютер, способный запускать симуляции. Однако конкретное содержание созданного мира агент определял самостоятельно. То есть, определённых рамок ИИ-модель всё же придерживается. В любом случае, ещё несколько лет назад подобные результаты были недостижимы, а сейчас вполне реальны при нынешних темпах развития генеративного ИИ.


window-new
Soft
Hard
Тренды 🔥
Внедрение «водяных знаков» может сделать поведение ИИ-моделей непредсказуемым 31 мин.
У всех ИИ-агентов для программирования нашлась опасная уязвимость — вредоносный код запускается без участия пользователя 4 ч.
Гендиректор Twitch рассказал, когда разработчики GTA VI выпустят GTA Online 2 6 ч.
Системы OpenAI взломали при помощи ИИ-моделей Anthropic 6 ч.
Демоверсия хардкорного скоростного шутера Hmur от российского разработчика-одиночки вышла в Steam, но ненадолго 7 ч.
PrismML представила не очень большую языковую модель, которая почти не хуже большого оригинала 7 ч.
Google учредила DeepMind Institute для обсуждения проблем сильного ИИ 7 ч.
Gears of War: E-Day ушла на золото и получила окончательные системные требования — без трассировки лучей, но с апскейлерами 7 ч.
Google CC стал семейным ИИ-секретарём — он собирает письма, чеки и документы и превращает их в планы 8 ч.
Глава Take-Two сравнил GTA VI с Барби 9 ч.
Китайский ИИ ещё не научился зарабатывать как американский — DeepSeek, Alibaba и ещё пять разработчиков вместе не догнали OpenAI и Anthropic 13 мин.
Schneider Electric представила 2,5-МВт силовые модули для ИИ ЦОД, сокращающие время монтажа 52 мин.
Rune Energy привлекла $40 млн на развитие своих модульных ЦОД на солнечной энергии 2 ч.
Представлен дизайнерский смартфон Tecno Pova 8 Pro 5G Tonino Lamborghini Limited Edition 2 ч.
Apple, Google и Samsung попали под патентную атаку — их наушники с пространственным звуком хотят запретить в США 2 ч.
Учёные приделали дронам усики, чтобы научить их облетать препятствия на ощупь 2 ч.
Пока все спорят об опасности ИИ, Anthropic открыла биолабораторию для разработки лекарств с помощью ИИ 2 ч.
«Маленькие, но по три рубля»: OpenAI и Anthropic начали искать небольшие дата-центры, пока строительство гигафабрик буксует 2 ч.
Передовой дисплей QD-OLED Penta Tandem, UWQHD и 280 Гц: Philips представила геймерский монитор Evnia 34M2C8600P 3 ч.
SK hynix может запустить производство NAND в США — дочерняя Solidigm ищет место для завода 4 ч.