Опрос
|
реклама
Быстрый переход
Стартап из 14 человек подтолкнул Цукерберга к запуску Muse, несмотря на проблемы с безопасностью
10.10.2026 [16:08],
Павел Котов
Из-за опасений по поводу безопасности Meta✴✴ месяцами была вынуждена откладывать выпуск агента с искусственным интеллектом Muse, но появление конкурентов вынудило главу компании Марка Цукерберга (Mark Zuckerberg) пойти на решительные меры и выпустить приложение в том виде, в котором оно было на тот момент. 
Источник изображений: Meta✴✴ В августе Цукерберг вызвал двух ключевых членов руководства компании — главу отдела искусственного интеллекта Александра Вана (Alexandr Wang) и руководителя направления ИИ-продуктов Нэта Фридмана (Nat Friedman), чтобы обсудить угрозу. Стартап Instinct, в котором работали всего 14 сотрудников, выпустил своего ИИ-агента. Бот, способный управлять приложениями от имени пользователя, стал стремительно набирать популярность. Meta✴✴ разрабатывала аналогичный продукт под названием Muse, но откладывала его выпуск из соображений безопасности. В опасении утратить конкурентное преимущество Цукерберг заявил, что Muse, несмотря на риски, уже готов к запуску. Ван и Фридман знали о проблемах, выявленных в ходе испытаний Muse — в одном из случаев он без разрешения пользователя сменил его пароль. Но уже 8 сентября Meta✴✴ официально представила Muse. Внутреннее освещение руководства показало, какой непростой баланс между скоростью и безопасностью приходится соблюдать компаниям, в том числе Meta✴✴, чтобы опередить соперников в гонке ИИ. По мере совершенствования технологий продукты на основе ИИ становятся и более полезными, и более опасными, поэтому принимать подобные решения действительно трудно. Марк Цукерберг направил миллиарды долларов на разработку технологий ИИ в Meta✴✴, но её традиционно опережали OpenAI и Anthropic, которые первыми выпустили и чат-ботов, и сервисы для написания кода. Когда пришла эпоха ИИ-агентов, гиганту соцсетей был необходим успех, и в компании отдали приоритет быстрому выпуску продукта на рынок. Meta✴✴ обеспечила себе преимущество на раннем этапе в сфере ИИ-агентов, но другие компании уже начинают выпускать собственные продукты — вышел, например, ИИ-агент OpenAI Dots. Пока решение Цукерберга поторопиться с выпуском Muse оправдало себя. Без сложностей, конечно, не обошлось: в одном из случаев ИИ-агент раскрыл незнакомому человеку домашний адрес своего пользователя. По состоянию на 7 октября бесплатное приложение скачали более 6,6 млн человек и 1,8 млн пользователей обращаются ко Muse ежедневно, гласит статистика Sensor Tower. Интерес к продукту Meta✴✴ подпитывает масштабной рекламной кампанией, в которой участвует пушистый символ сервиса — симпатичный персонаж по имени Джолли (Jolly).  В Meta✴✴ тезис о том, что Muse были вынуждены выпустить в срочном порядке из-за появления Instinct, не подтвердили. «Мы гордимся этой работой, и как было публично заявлено ранее, даже отложили выпуск Muse на несколько месяцев, чтобы убедиться, что всё сделано как надо», — заявили там. Идея разработать подобный сервис в Meta✴✴ возникла ещё в июле 2025 года, когда Цукерберг опубликовал служебную записку, посвящённую «персональному суперинтеллекту» — идеальному помощнику на основе ИИ. Незадолго до этого он реорганизовал ИИ-отдел Meta✴✴, проект возглавили Ван и Фридман. Двое топ-менеджеров развернули активную кампанию по набору кадров и стали переманивать ведущих исследователей компаний масштаба OpenAI и Google, предлагая им выплаты девятизначными суммами. Ван сосредоточился на разработке ИИ-моделей, а Фридман занялся созданием продуктов. На тот момент в компании было лишь общее представление о том, что должно получиться на выходе — конкретных формулировок тогда не предлагал никто. В сентябре компания выпустила приложение Vibes — лента созданных ИИ видео быстро стала объектом критики за контент низкого качества. Возникли сомнения, что Ван поможет компании наверстать упущенное в области ИИ. Прорыв в ноябре совершил австрийский программист Петер Штайнбергер (Peter Steinberger), который выпустил приложение ИИ-агента OpenClaw — оно могло самостоятельно писать код и управлять компьютером. Проект распространялся с открытым исходным кодом, то есть программу можно было скачивать и модифицировать без чьего-либо разрешения. Когда она набрала популярность в Кремниевой долине, в руководстве Meta✴✴ возникло понимание, что компания должна выпустить ИИ-агента. Поработав с OpenClaw, Фридман заказал двести компьютеров Apple Mac mini, достаточно мощных для запуска ИИ-агента, и сложил их возле своего кабинета в штаб-квартире Meta✴✴, чтобы сотрудники могли их разобрать. Компания взяла курс на разработку подобного OpenClaw собственного ИИ-агента, но предназначенного для тех, кто не обладает инженерной подготовкой.  Занятые по направлению ИИ руководители Meta✴✴ начали активно пользоваться OpenClaw в жизни. Фридман подключил ИИ-агента к камерам в своём доме. Система давала ему советы, например, пить воду, чтобы поддерживать баланс, а однажды похвалила его, прислав снимок, на котором он пьёт воду из бутылки. Когда Фридман обсуждал с ИИ-агентом качество сна, OpenClaw перехватил управление автопилотом на его машине Tesla и направил её в магазин за содержащими магний препаратами. Цукерберг подключил своего ИИ-агента к камерам в зале единоборств, чтобы тот мог анализировать и корректировать его технику ведения боя. В некоторых случаях ИИ-агенты начинали действовать непредсказуемо или брали под контроль приложения. В феврале один из них начал бесконтрольно удалять электронные письма сотрудницы Meta✴✴, которая занимается вопросами безопасности. Остановить его не получилось, и она буквально бегом рванула к своему Mac mini, как будто хотела обезвредить бомбу. Фридман продемонстрировал ИИ-агента Muse совету директоров Meta✴✴ в феврале. На начальных этапах он работал под управлением моделей Anthropic, но через два месяца компания выпустила собственную Muse Spark и перевела его на собственную платформу. Meta✴✴ могла выпустить ИИ-агента уже тогда, но ещё несколько месяцев компания потратила на тщательную проверку и доработку средств безопасности. В некоторых случаях Muse игнорировал команды тестировавших его инженеров или предлагал им совершать покупки на мошеннических сайтах. В августе стремительно стал набирать популярность ИИ-агент от стартапа Instinct, и вскоре после этого Meta✴✴ официально представила Muse. Связанных с вопросами конфиденциальности инцидентов избежать не удалось — в одном из случаев ИИ-агент без разрешения пользователя прочитал его переписку и сослался на полученную информацию в дальнейшем разговоре с ним. Instinct гиганта соцсетей больше не пугает: недавно стартап привлёк инвестиции на сумму $1 млрд при оценке в $10 млрд; а за Meta✴✴ капитализация более $1,5 трлн и аудитория размером 3,5 млрд пользователей. Белый дом отныне будет требовать от разработчиков ИИ обязательного предоставления отчётов об инцидентах с моделями
10.10.2026 [07:52],
Алексей Разин
Выявленные в конце прошлого месяца инциденты с несанкционированным поведением ИИ-моделей Anthropic, которые по своей воле отправляли информацию с помощью правительственных сайтов США, заставили регуляторов отказаться от добровольной подачи отчётов и сделать её обязательной. 
Источник изображения: Anthropic До сих пор разработчики ИИ-моделей предоставляли американским властям отчёты об инцидентах в сфере кибербезопасности на добровольной основе, но история с неавторизованным доступом ИИ-агентов Anthropic к правительственным сайтам США вынудила регуляторов сменить риторику. Отныне разработчики ИИ-моделей будут обязаны предоставлять властям США отчёты об инцидентах в сфере информационной безопасности и давать рекомендации по устранению уязвимостей. В заявлении для издания Axios руководители Сил сверхинтеллекта Белого дома сообщили следующее: «Процесс уведомления и исправления не является опциональным. Это критически важное обязательство с точки зрения национальной безопасности». По имеющимся данным, в конце прошлого месяца ИИ-агенты обманным путём получили несанкционированный доступ к правительственным и некоторым другими сайтам, хотя ситуацию в итоге и удалось взять под контроль. Anthropic в минувший четверг обратилась к Госдепартаменту США, сообщив о выявленных 19 случаях подачи заявок на получение неиммигационной визы США в августе и одной заявки в мае от лица одной из проходивших тестирование своих ИИ-моделей. Заявки были поданы через онлайн-форму на сайте этого ведомства. Ни одно из этих заявлений не было обработано, и правительственные системы всё это время не подвергались угрозе с точки зрения информационной безопасности, по словам представителей Белого дома. Полиция Филадельфии также получила от ИИ-модели Anthropic ложный донос об обстоятельствах расследуемого суицида, хотя соответствующая модель была проинструктирована ни при каких условиях не заполнять и не отправлять подобные веб-формы. Поскольку обращение в полицию было оформлено анонимно, ведомство не стало его рассматривать и удалило после получения. По словам представителей Сил сверхинтеллекта США, все занятые в сфере сверхинтеллекта компании должны незамедлительно сообщать об инцидентах с участием их моделей и быстро устранять причины подобного их поведения, предотвращая дальнейший ущерб. Чиновники также рассчитывают, что «провинившиеся» разработчики будут эффективно взаимодействовать с владельцами затронутых систем с целью устранения последствий этих инцидентов. Каких-либо штрафных санкций или административных мер воздействия профильное американское ведомство пока не предлагает. Глава вновь созданной правительственной структуры США Джей Клейтон (Jay Clayton), который по совместительству является директором Национальной разведки, а также его коллеги, уже уведомили Anthropic, что рассчитывают на скорейшее устранение возможных последствий имевших место инцидентов, а также на полную прозрачность процесса, включая широкую общественную огласку. Власти США также рассчитывают на оперативное внедрение защитных мер, предотвращающих повторное выявление подобных инцидентов в будущем. ИИ-агенты ошибаются опаснее чат-ботов — они сливают личные данные и совершают покупки без разрешения
09.10.2026 [15:57],
Павел Котов
В жизнь современного человека постепенно входят агенты искусственного интеллекта. Они избавляют пользователей от повседневных задач, но их ошибки грозят оборачиваться непредсказуемыми последствиями. ИИ-агенты могут публиковать конфиденциальную информацию в рабочем чате или оформлять покупки даже в отсутствие доступа к платёжным средствам. 
Источник изображения: Mohamed Nohassi / unsplash.com Пользователь ИИ-агента Grok Bot Шейн Мак (Shane Mac) рассказал, как тот выложил в групповой чат корпоративного мессенджера Slack его банковскую выписку: балансы расчётного и сберегательного счетов, данные о расходах на строительство дома и о регулярных платежах за Netflix и автострахование. Для личных целей он использовал ИИ-агента, которому присвоил название «Персональный финансовый директор», — ему он открыл доступ к своим банковским счетам в режиме только для чтения. Доступ к рабочему чату в Slack был у другого ИИ-агента на той же платформе — он носил название «Руководитель аппарата». Господин Мак потребовал объяснений, как вышло, что «Персональный финансовый директор» опубликовал конфиденциальную информацию в рабочем чате. ИИ-агент объяснил ситуацию и даже по-своему извинился: «Моя вина. Личные финансы — неподходящая тема для такой аудитории, и точка». В последние недели популярность ИИ-агентов резко возросла: им доверяют управление перепиской, планирование поездок и множество других задач. Но в какие-то моменты они начинают вести себя непредсказуемо, как и управляющие ими модели, которые бывают склонны к галлюцинациям, неверной интерпретации данных и даже к спонтанным действиям на грани киберпреступлений. В отличие от чат-ботов, которые только отвечают на вопросы, ИИ-агенты могут выполнять от имени пользователя конкретные действия, например, наводить порядок в календаре или производить запись на приём. Агент разбивает полученную команду на ряд этапов, которые для удобства не озвучиваются пользователю. Перед совершением важных действий, например, при покупке товаров или удалении файлов они запрашивают разрешение, но в остальном действуют по своему усмотрению. Если запрос пользователя неясен, или существует множество способов выполнить требуемое действие, может возникнуть неразбериха. В случае с Шейном Маком ИИ-агент перепутал групповые чаты со схожими названиями. Разработчики Grok Bot заверили его, что проблема устранена. Работающая в Сан-Франциско Анника Беннинг (Annica Benning) уже почти месяц пользуется ИИ-агентом Instinct — взаимодействовать с ним можно прямо через приложение сообщений на iPhone. Она использует приложение для покупок в интернете, для заказа такси Uber и бронирования авиабилетов. В 90 % случаев система работает безупречно, но не обходится и без сюрпризов. 
Источник изображения: Igor Omilaev / unsplash.com Однажды женщина вернула в интернет-магазин купальник и попросила ИИ-агента предложить варианты на замену. Тот прислал ей ссылку для подтверждения выбора, но она, по её словам, так и не подтвердила покупку. Однако получила электронное письмо с подтверждением заказа. При операциях с банковской картой система присылает ссылку для подтверждения, но в данном случае оплата производилась за счёт средств из возврата, поэтому систему удалось обойти этап подтверждения. Отменить заказ не удалось — теперь госпожа Беннинг надеется его вернуть, когда он придёт. Ещё в одном случае при поездке в другой город она поручила Instinct забронировать столик на ужин — он забронировал, но не на тот вечер, а в этот у неё были другие планы, о которых он знал. Женщине пришлось попросить агента отменить бронь и договариваться с администрацией ресторана, чтобы с неё не взимали штраф в размере $50 за неявку — ресторан через агента согласился пойти навстречу. Шалини Динеш (Shalini Dinesh) из Остина предпочитала чат-бот Anthropic Claude, но решила испробовать нового ИИ-агента Meta✴✴ Muse. Ему женщина поручила организовать вечеринку в честь 13-летия сына. Вечеринка проходила на площадке для пейнтбола, поэтому ИИ-агент составил и разослал родителям сообщения с формой согласия на участие, которую надо было подписать; в сообщении также указывалось, какую одежду надевать детям. Система нашла поблизости готовые доставить еду рестораны, с учётом аллергии у некоторых участников; и подобрала тематические подарочные наборы для детей в соответствии с возрастом. Но не справилась с ситуацией, когда выяснилось, что у двоих детей одинаковые имена — их ИИ-агент учёл как одного человека, но Шалини Динеш успела перепроверить список и исправить ошибку. Джесси Леви (Jesse Levey), основатель стартапа из района бухты Сан-Франциско, попытался использовать Meta✴✴ Muse для работы с расписанием своих троих детей. Он начал вручную переносить в Muse данные о стандартном расписании детей на неделю из своего календаря, но понял, что это будет слишком хлопотно, учитывая, что в секциях и кружках пользуются специфическими приложениями, а совместные поездки обсуждаются в групповых чатах. Дети занимаются в лыжной секции, и у неё есть специальное приложение с календарём; используются также SMS, WhatsApp, электронная почта, приложения календаря и ещё около 65 других приложений, к которым системе потребовался бы доступ. Тогда господин Леви спросил у Anthropic Claude, нет ли более мощного ИИ-агента, который сможет управлять расписанием его детей с учётом требования к конфиденциальности и безопасности. Тот предложил нанять для этого человека — он точно сможет «гоняться за местами в летних лагерях, импровизировать, когда дети болеют, и принимать десяток решений в неделю, с которыми не справится ни одна система». Создание версии такой системы на основе ИИ «потребовало бы нескольких месяцев вашего внимания», предостерёг Claude. Умное кольцо Natura Interface позволит отдавать поручения ИИ-агентам, не доставая смартфон
09.10.2026 [13:42],
Павел Котов
Стартап Natura представил умное кольцо Interface стоимостью $99. Устройство создано для работы в эпоху ИИ-агентов: нажав кнопку, можно дать ИИ-агенту поручение, записать мысль или выполнить задачу, не вынимая смартфон из кармана. Поддерживаются функции мониторинга показателей здоровья: частоты сердечных сокращений, вариабельности сердечного ритма, качества сна и уровня активности. 
Источник изображений: natura.inc Идея Natura Interface заключается в том, чтобы помочь людям реже отвлекаться на экраны смартфонов, поскольку повседневные задачи можно выполнять быстрее и естественнее. На момент запуска устройство будет поддерживать интеграцию с рядом ИИ-агентов и приложений, в том числе Meta✴✴ Muse, Instinct, Grok Bot, Claude и ChatGPT. Приём предварительных заказов стартует в ноябре, а поставки запланированы на декабрь или январь. Умное кольцо — не первый продукт компании. Ранее она выпустила HumanPods — наушники с поддержкой ИИ, предназначенные для взаимодействия с агентами. В Natura, однако, посчитали, что для использования новейших достижений в области голосовых технологий необходим иной форм-фактор. Вариантов использования кольца с ИИ огромное множество, отметил производитель. Во время пробежки можно поручить кольцу отслеживать тренировку; утром после пробуждения — узнать, что запланировано на день; обнаружив в душе, что закончился шампунь, — заказать новый; засыпая перед телевизором, — отдать команду выключить его и поставить будильник на утро; после записи совещания — отправить коллеге заметки по итогам обсуждения.  Ответы ИИ-агентов могут поступать через подключённые наушники, функцию Live Activities на iPhone или приложение NatureOS. Пользователи, работающие с несколькими ИИ-агентами, могут выбирать, какой из них будет выполнять конкретную задачу: одному можно поручить написание кода, второму — бронирование столика, третьему — что-то ещё. Управлять можно не только ИИ-агентами, но и собственными устройствами, в том числе компьютерами. В перспективе, уверен разработчик, кольцо станет основным интерфейсом взаимодействия человека с технологическими решениями. На старте продаж Natura Interface будет стоить $99, но в перспективе компания планирует повысить цену. Производитель намерен сделать устройство доступным для пользователей, наработать базу активных клиентов и сформировать спрос. По истечении бесплатного периода продолжительностью от трёх до шести месяцев Natura хочет ввести абонентскую плату в размере $9 в месяц. Производственные затраты сопоставимы с расходами на выпуск таких устройств, как Oura Ring и Samsung Galaxy Ring: используются многие идентичные компоненты. Однако стартап хочет установить более скромную цену, чтобы снизить порог входа и стимулировать распространение продукта. Natura Interface предлагает набор функций мониторинга здоровья. Кольцо отслеживает частоту сердечных сокращений и пульс в состоянии покоя, вариабельность сердечного ритма, фазы сна, уровень физической активности, количество шагов и изменения температуры кожи. Полная зарядка аккумулятора занимает 100 минут, после чего кольцо может проработать от 6 до 12 дней. Google представила ИИ-сотрудника — Gemini agent сможет самостоятельно выполнять задачи от начала до конца
08.10.2026 [18:24],
Павел Котов
Подразделение Google Cloud представило на конференции Gemini at Work 2026 новый продукт под названием Gemini agent — это агент с искусственным интеллектом, предназначенный для корпоративных пользователей. Он доступен в приложении Gemini Enterprise, пакете Workspace и в ряде других сервисов. Ему достаточно «ставить цели, а не давать пошаговые инструкции» — Gemini agent может отвечать на вопросы, выполнять интеллектуальную работу, создавать медиаконтент, писать и запускать код. 
Источник изображений: Google «Если руководитель присылает вам письмо с просьбой подготовить презентацию с последними данными по проекту, Workspace Intelligence идентифицирует это как задачу, которую можно делегировать, и предлагает одним нажатием кнопки передать её Gemini-агенту», — приводит пример Google. ИИ-агент может также организовать мероприятие с коллегами, самостоятельно определив их состав по предыдущим мероприятиям, проверив их календари и инициировав переписку для согласования удобного времени. Gemini agent способен выступать в роли сотрудника компании и выполнять функции, предусмотренные конкретной должностью. Он выполняет задачи, подбирая наиболее подходящие модели — помимо семейства Google Gemini, это также модели Anthropic Claude; в перспективе появятся и другие, проприетарные и открытые. Для решения многоэтапных задач подключаются субагенты; поддерживается работа с различными сторонними инструментами. Задачи могут быть долгосрочными и занимать несколько часов и даже дней.  ИИ-агент работает в облаке, обращаясь к «единому набору данных памяти, контекста и общему графу персонализации». Доступны четыре типа памяти:
Чтобы вызвать Gemini agent, его необходимо упомянуть как «@Gemini» в Gmail, «Google Документах», «Таблицах», «Презентациях» и «Чате». Он доступен на любых устройствах через различные каналы, включая командную строку, Google Workspace, Slack и Microsoft 365; при помощи API можно подключать сторонние приложения, в том числе без графического интерфейса. Сейчас Gemini agent находится на стадии закрытого предварительного тестирования, в перспективе он появится у корпоративных клиентов Google Workspace на некоторых тарифных планах семейств Business и Enterprise. Свора ИИ-агентов напала на картографический сервис Alibaba — некоторые представлялись как Claude
07.10.2026 [17:59],
Павел Котов
Группа агентов искусственного интеллекта под управлением, предположительно, моделей Tencent Hy в течение недели производила сбор данных с картографического сервиса Alibaba Amap. Некоторые из ИИ-агентов представлялись как Claude, но участие американской Anthropic в инциденте представляется сомнительным. 
Источник изображений: tencent.com Рой ИИ-агентов, которые работали в инфраструктуре Tencent Cloud через прокси-сервер hysandbox-ats, 4 октября достиг пиковых значений в 1810 сессий сканирования URL-адресов через сервис urlquery.net — в 211 случаях при сканировании использовалась метка «claude», что явно представляет собой отсылку в ИИ-помощнику Anthropic Claude. Бесплатная служба urlquery.net предлагает открытие веб-адреса в изолированном удалённом браузере с публикацией результата — это полезно при проверке подозрительных ссылок; а ИИ-агенты с его помощью могут получать доступ к страницам, к которым нельзя обращаться напрямую. Хронология события отсчитывается от 25 августа, когда было произведено первое сканирование Amap — этот случай исследователи Swarmchasers с атакой ещё не связывают. Полноценная атака развернулась 28 октября и достигла пиковых значений в воскресенье, 4 октября, когда было произведено 1810 сеансов сканирования из 2048 — и 213 из 216 целевых местоположений. В тот день одновременно действовали от четырёх до восьми ИИ-агентов; максимум — 14, хотя это могли быть и быстрые агенты. ИИ-агенты искали информацию о навигации пользователей, выясняя, какая доля из них прибывает к каждому входу в парк, музей, зоопарк и больницу; при этом за один проход использовалась одна локация. Исследователи не нашли подтверждений, что прогоны ИИ-агентов были скоординированы. Для чего понадобились данные, в докладе не сообщается — возможно, для оценки возможностей ИИ или генерации задач для него.  Чтобы обойти защиту Amap, ИИ-агенты генерировали антибот-токены Alibaba и обращались к общедоступным ключам API. Использовались также антибот-скрипты Alibaba Baxia, написанная агентом функция Puppeteer через API Microlink, а также переводчик страниц Baidu. Это указывает, что ИИ-агенты имели намерение обходить правила. Результаты сканирования отправлялись в почтовые ящики webhook.site — общедоступный API сервиса показывает IP-адрес и ПО, через которое создавался каждый почтовый ящик. 15 из 16 почтовых ящиков с данными Amap за период с 4 по 5 октября создавались из Tencent Cloud, установили исследователи, и 13 из них создавались по скрипту, а не вручную человеком. Девять запросов из собственного кода ИИ-агентов отправлялись в почтовые ящики Tencent Cloud в Гонконге — все они содержали заголовок Via и заканчивались «(hysandbox-ats)»; данный заголовок к своему имени добавлял прокси-сервер, в данному случае это был Apache Traffic Server, и указывалось имя того, кто его запускал. В одном из случаев через секунду после создания ящика туда пришёл запрос с данным о монастыре Таэр — в открытом доступе этот адрес оказался лишь через 35 секунд, то есть запрос был создан в той же среде, что и ящик. Идентификатор «HY» указывает на модели Tencent Hunyuan, хотя официальная документация по hysandbox отсутствует. Но есть сертификат безопасности для адресов «hysandbox.tencent-cloud.com», и эти имена используются в Tencent Cloud Beijing — рой ИИ-агентов работал в другой сети. Пометка «claude» появилась в 211 из 2048 запросов до 4 октября. Один определитель модели, однако, указал вероятность в 0 % относительно модели Anthropic Claude; второй указал на Hy4 как наиболее вероятную. В исследовательских тестах Tencent Hy3 называла себя Claude в 29 из 36 случаях. Официальных комментариев от Tencent и Alibaba пока не последовало. Инцидент ещё не завершился: 5 октября на 8 часов установилась пауза, после чего сеть продолжила работать в прежнем режиме. Данные отправлялись в тот же почтовый ящик, что и прежде. Обнаружилось также сообщение от стороннего лица с указанием для оператора сменить используемую инфраструктуру. Полный отчёт исследователи обещают опубликовать позже. Найдена ахиллесова пята всех ИИ-агентов — они безоговорочно доверяют друг другу
06.10.2026 [15:48],
Павел Котов
Независимый исследователь в области кибербезопасности Сайед Анас Мохиуддин (Syed Anas Mohiuddin) обнаружил фундаментальную уязвимость агентов искусственного интеллекта, которая не зависит от управляющих ими моделей или программной обвязки — ИИ-агенты по умолчанию полностью доверяют друг другу. 
Источник изображения: Aidin Geranrekab / unsplash.com За последние пять месяцев Google и четыре другие организации, единственной общей чертой которых является использование ИИ-агентов в рабочем процессе, признали уязвимости, предполагающие взлом одного из них для распространения вредоносных инструкций среди других. Схема атаки представляет собой частный случай внедрения вредоносных подсказок, только объектом взлома является не большая языковая модель, а конкретный ИИ-агент, предназначенный, например, для перевода или анализа данных. Защитные механизмы в инфраструктуре агентов могут вообще отсутствовать или быть слабыми, позволяя им передавать по цепочке вредоносные инструкции — достаточно взломать лишь одного, и остальные последуют его указаниям. Разработанные экспертом экспериментальные схемы атак эксплуатируют уязвимости доверия в протоколе Model Context Protocol, который широко используется для взаимодействия приложений и ИИ-агентов внутри сети. Серверы MCP хранят учётные данные для каждого агента, и агенты на уровне архитектуры доверяют друг другу внутри группы, поэтому атаки, которые отвергла бы ИИ-модель, срабатывают на уровне агентов. Во многих случаях надлежащим образом составленные запросы, нацеленные на нужного ИИ-агента, приводят к подделке запросов на стороне сервера, то есть сервер начинает отправлять несанкционированные сетевые запросы. Схема атаки с передачей вредоносных инструкций по цепочке опасна потому, что обнаружить такую атаку сложно: каждый ИИ-агент делает то, для чего был разработан. Протокол создавался с расчётом на автономность, поэтому каждый ИИ-агент проверяет только собственную точку входа извне, а за цепочкой взаимодействия между ними никто просто не следит. Обнаруженная в сети компании Rapid7 уязвимость CVE-2026-97228, связанная с этой схемой атаки, получила рейтинг всего 2,7 из 10. 
Источник изображения: Milad Fakurian / unsplash.com А вот в сети Google обнаружилась более серьёзная уязвимость с рейтингом уже 8 из 10. Она возникла из-за того, что MCP-инструмент для работы с базами данных инициализировал свой HTTP-клиент вне политики CheckRedirect — набора настроек, который определяет, как сервер должен обрабатывать случаи, когда URL-адрес возвращает ошибку или производит перенаправление на другой адрес; целевые IP-адреса HTTP-клиент Google тоже не проверял. В результате при наличии подготовленного параметра пути MCP-инструмент направлялся на внутреннюю конечную точку и отправлял запросы от имени злоумышленника. Google решила проблему, развернув список разрешённых диапазонов IP-адресов и список блокировки. Этот класс атак исследователь назвал «переключением протокола» (protocol pivoting): приложение или сервер назначают задачу ИИ-агенту через протокол MCP, и он пересылает вредоносные инструкции другим агентам, используя другие методы связи, например, протокол Google Agent-to-Agent (A2A), или новые стандарты, такие как Agent Network Protocol. При передаче авторизация или фактор доверия могут просто теряться. В результате злоумышленник получает первоначальный доступ через один протокол. ИИ-агент предполагает, что между протоколами установлено доверие и начинает пользоваться возможностями, которые доступны только через другой протокол. Примечательно, что схема переключения протокола сработала в пяти организациях, в инфраструктуре которых не было ничего общего за исключением использования протокола MCP. Этот протокол уже повсеместно внедряется, но достаточного тестирования он ещё не прошёл и не имеет надлежащей защиты. Развёртывая ИИ-инфраструктуру, разработчики пренебрегают принципом нулевого доверия, который предполагает, что один или несколько узлов сети могут быть скомпрометированы. Их следует корректировать таким образом, чтобы для выполнения критически важных операций с другими узлами требовалась предварительная авторизация. РТК-ЦОД представил корпоративного ИИ-ассистента для безопасной работы с документами и базами знаний
06.10.2026 [10:00],
Сергей Карасёв
РТК-ЦОД, ИТ-сервис-провайдер полного цикла, представил на форуме «Цифровые решения» корпоративного ИИ-ассистента для организаций с повышенными требованиями к защите данных. Решение разработано в сотрудничестве с блоком информационных технологий «Ростелекома». ИИ-ассистент помогает сотрудникам мгновенно находить и анализировать информацию во внутренних документах и базах знаний. Продукт подходит для крупного бизнеса и способен оперировать тысячами файлов разных форматов, при этом данные никогда не покидают периметр организации. В основе работы ИИ-ассистента лежит технология RAG (Retrieval-Augmented Generation): получив запрос на естественном языке, система находит релевантные фрагменты в подключённой базе знаний и формирует ответ, опираясь только на предоставленный контекст. Такой подход обеспечивает точные и верифицируемые результаты. При этом вся обработка выполняется внутри инфраструктуры заказчика, без обращения к внешним API или облачным платформам. Это делает решение безопасным для работы с чувствительной информацией, персональными данными и документами ограниченного доступа. Интеллектуальный помощник не только находит информацию, но и анализирует данные. По запросу он формирует сводные обзоры документов, сравнивает версии, проверяет материалы на соответствие чек-листу или стандарту, классифицирует и группирует данные, извлекает сведения в табличной форме и готовит краткое содержание. Отдельно реализована работа с табличными файлами: ассистент понимает структуру реестров, прайс-листов и расчётов и может выдать выборку строк по заданному условию. 
Источник изображения: РТК-ЦОД Для специалистов по эксплуатации и мониторингу предусмотрена возможность скопировать в чат ассистента запись из системного журнала, набор метрик, текст алерта или вывод диагностической команды. Интеллектуальный помощник объяснит значение события, оценит его вероятную причину и предложит рекомендации по реагированию, опираясь на регламенты эксплуатации и историю разборов инцидентов. Диалог поддерживается с учётом контекста: уточняющие вопросы обрабатываются в рамках текущей сессии, и повторять уже сказанное не требуется. Вопросы безопасности и контроля проработаны на всех уровнях. Архитектура поддерживает мультитенантность — несколько подразделений или клиентов могут работать на одной инсталляции с полным разделением данных и конфигураций. Гранулярная система прав доступа (RBAC) позволяет разграничить возможности вплоть до отдельных операций, а для баз знаний предусмотрены настройки уровней доступа. Каждое изменение конфигурации фиксируется в истории, а действия пользователей логируются. Встроенная очередь с ограничением одновременных запросов защищает инфраструктуру от перегрузок, а маршрутизация простых обращений на быстрые модели помогает оптимизировать затраты. «Ключевым барьером для широкого внедрения генеративного ИИ в коммерческом и государственном секторах остаётся вопрос доверия к технологии. Мы видим спрос на изолированные решения, которые гарантируют сохранность критичных данных, и для нас как для цифрового партнёра государства и бизнеса важно предлагать варианты безопасного применения новых технологий. Представленный ассистент — это "частный ИИ", который учится на корпоративных знаниях, оставаясь внутри защищённого периметра. Благодаря такому подходу мы открываем доступ к генеративному искусственному интеллекту для широкого круга организаций — от финансовых институтов до промышленных предприятий и государственных структур, которые ранее не могли применять подобные инструменты из-за строгих требований к защите информации», — заявил Роман Хазеев, директор по развитию цифровых технологий и искусственного интеллекта «Ростелекома». «РТК-ЦОД как ИТ-сервис-провайдер полного цикла обладает полным арсеналом сервисов для цифровизации бизнеса. Сегодня без технологий искусственного интеллекта невозможно представить эффективную работу, а по аналитическим данным, ROI от внедрения ИИ достигает 250 %. Наш корпоративный ассистент эффективен для самых разных функций: юристы мгновенно находят нужные пункты в договорах, инженеры и техспециалисты получают точные ответы по спецификациям и алертам, а финансисты — оперативные выборки из бюджетов. При этом безопасность остаётся нашим приоритетом: вся обработка данных ведётся в защищённом контуре заказчика, а гранулярная система прав доступа и полное логирование обеспечивают надёжный контроль. Участие блока информационных технологий "Ростелекома" в проработке технологического контура позволило нам вывести продукт на качественно новый уровень надёжности и производительности. Платформа уже готова к развёртыванию на инфраструктуре клиента и сопровождается технической поддержкой с нашей стороны», — заявил Алексей Забродин, технический директор РТК-ЦОД. Wikimedia обнаружила у себя «сбежавших» ИИ-агентов OpenAI — они завалили сервисы миллионами запросов
06.10.2026 [05:01],
Анжелла Марина
«Фонд Викимедиа» (Wikimedia Foundation) обнаружил на своих веб-ресурсах активность ИИ-агентов OpenAI. Организация провела внутреннее расследование после сообщений других компаний о подобных инцидентах и зафиксировала несанкционированные действия ботов, включая экстремальную нагрузку на серверы. 
Источник изображения: wikimediafoundation.org Часть обнаруженной активности связана с редактированием вики-страниц. Wikimedia считает, что эти изменения выполняли ИИ-агенты OpenAI, однако почти все правки оставались в разделах песочниц и не попадали на страницы, которые видят обычные читатели. Несколько изменений затронули конфигурацию инструмента для работы с цитированием и могли использоваться для получения данных с удалённых сервисов через этот инструмент. При этом необходимые для автоматических правок разрешения от сообщества запрошены не были. Отдельное расследование касалось публичного сервера (etherpad.wikimedia.org), который Wikimedia предоставляет как сервис для ведения заметок. Связанные с OpenAI агенты безуспешно пытались использовать его для получения данных с других сайтов или оставляли в нём заметки о выполняемых задачах. Самой масштабной проблемой стал объём обращений к открытым данным Wikimedia. Агенты выполнили миллионы автоматических запросов к публичным API и просмотрели миллионы страниц, в основном в Wikidata и Wikimedia Commons. Кроме того, они сделали сотни тысяч запросов к публичному веб-сервису Wikidata Query Service, которые, как считают в Wikimedia, способствовали частичному сбою этого сервиса в мае. При этом расследование не обнаружило признаков компрометации систем или данных Wikimedia. Организация также не нашла свидетельств того, что её инфраструктура использовалась агентами для координации между собой. Однако отмечается, что само расследование оказалось сложным и потребовало значительных усилий и времени для определения характера и источника активности. В Wikimedia уверены, что проблема выходит за рамки одного инцидента, так как за последние годы рост активности ботов уже слишком заметно увеличивает нагрузку на инфраструктуру организации. В 2025 году фонд сообщал о росте общего потребления пропускной способности на 50 % из-за резкого увеличения активности ботов по сравнению с 2024 годом. При этом на ботов приходилось 65 % наиболее ресурсоёмкого трафика проектов Wikimedia, а это увеличивает расходы на поддержку серверов и может снижать скорость загрузки страниц для обычных пользователей. Организация отдельно раскритиковала подход разработчиков ИИ-систем к контролю автономных агентов, заявив, что компании должны брать на себя ответственность за контроль связанных с ними рисков. По мнению фонда, как минимум ИИ-системы должны работать так, чтобы владельцы некоммерческих сайтов могли легко распознавать их активность и самостоятельно определять, как разрешать им взаимодействовать со своими сервисами. Meta✴ предложила всем желающим создавать собственные гаджеты с ИИ-агентом Muse
03.10.2026 [08:41],
Павел Котов
Meta✴✴ объявила, что теперь любой желающий может создавать собственные гаджеты с искусственным интеллектом наподобие представленного компанией устройства Muse Charm в духе тамагочи. Компания опубликовала исходный код и средства разработки (SDK) с поддержкой стандартных плат ESP32 и Raspberry Pi. 
Источник изображения: x.com/natfriedman Гигант соцсетей сам предложил множество идей и подробные инструкции по сборке устройств с поддержкой ИИ-моделей Spark. В одном из вариантов это гаджет на платформе ESP32-S3 с AMOLED-дисплеем размером около 1,75 дюйма — это своего рода аналог Muse Charm. Ещё одна идея — HDMI-стик, на который можно будет устанавливать приложения и управлять телевизором. 
Источник изображения: x.com/yashad Не исключаются и другие формфакторы. Есть устройство наподобие пульта дистанционного управления, есть нечто вроде мини-планшета с цветным дисплеем E Ink. Meta✴✴ даже сама выпустила гаджет Muse Home Link — он напоминает дискообразный USB-накопитель и позволяет управлять множеством устройств умного дома. Компания сообщила о производстве 5000 единиц Home Link, и выйдут они в ближайшие недели. 
Источник изображения: x.com/dps У новых подписчиков Muse есть шанс получить их бесплатно. Достаточно подключить Home Link к домашней сети Wi-Fi, и понимающий разговорную речь ИИ-агент Muse примет на себя различные задачи: сможет отправлять документы на печать, управлять освещением включать телевизор и выполнять многие другие операции. Но это подойдёт не всем, предупреждает Meta✴✴: подключать ИИ-агента к домашней сети и открывать ему доступ к умному дому и другим устройствам следует с осторожностью. 
Источник изображения: x.com/viticci «Оно построено хакерами для хакеров — просто чтобы развлечься. Побочные эффекты экспериментов могут выражаться в „окирпичивании“ платы, аннулировании гарантии, просадках напряжения и даже банкротстве. Действуйте на свой страх и риск», — сообщили в компании. Но сообщество уже не остановить. Энтузиаст Федерико Витиччи (Federico Viticci) превратил свою электронную книгу Xteink на платформе ESP в карманный умный дисплей под управлением Muse. Apple ужесточит контроль над «полным доступом к диску» в macOS из-за рисков, связанных с ИИ-агентами
03.10.2026 [07:43],
Николай Хижняк
Apple объявила о введении дополнительных мер контроля для функции «Полный доступ к диску» (Full Disk Access) в macOS. Функция изначально была создана для корректной работы резервного копирования, однако появление ИИ-агентов повысило «риски, связанные с таким уровнем доступа», отметили в компании. 
Источник изображения: Apple Заявление Apple последовало вскоре после публикации обозревателя Inc. Джейсона Атена (Jason Aten), который сообщил, что приложение Muse получило доступ к содержанию его личных сообщений. Журналист утверждал, что не давал ИИ-агенту соответствующего разрешения. В Meta✴✴ заявления Атена опровергают. Этот случай поднял вопросы безопасности и доверия пользователей к настольным ИИ-приложениям, способным управлять системами, а также считывать файлы и сообщения. Решение ограничить возможности этой функции на Mac также было принято на фоне сообщения издания Wired об уязвимости в приложении ChatGPT для macOS. Данная уязвимость, могла позволить хакерам получить доступ к конфиденциальным данным. ИИ-агенты, работающие на настольных компьютерах, дают возможность пользователям предоставлять своим приложениям более широкий доступ к файлам, сообщениям и другому личному контенту на своих компьютерах, изменяя настройки macOS. В случае с Muse пользователи могут по своему усмотрению включить функцию «Полный доступ к диску». Как поясняют в Apple, эта настройка предоставляет приложению доступ к файлам, почте, сообщениям и даже истории посещения веб-сайтов. «Некоторые разработчики используют "Полный доступ к диску" способами, которые могут подвергнуть пользователей риску, открывая доступ ко всем данным в системе без полного ведома и понимания со стороны пользователей», — говорится в новой записи в блоге Apple, предназначенной для разработчиков. Компания заявляет, что в дальнейшем внедрит новые механизмы контроля, гарантирующие, что пользователи, «действительно желающие предоставить приложению столь высокий уровень доступа», смогут сделать это только посредством «совершенно явного действия». «Решение этой проблемы критически важно. Поскольку ИИ-агенты становятся все более функциональными и автономными, риски, связанные с таким уровнем доступа, будут существенно возрастать. Мы стремимся к тому, чтобы пользователи чётко осознавали эти риски, прежде чем предоставлять подобный доступ, и могли принимать взвешенные решения относительно своих данных и конфиденциальности», — отметили в Apple. OpenAI призналась, что её сорвавшиеся с привязи ИИ-агенты атаковали больше сотни ресурсов
02.10.2026 [11:00],
Павел Котов
Вышедшие из-под контроля агенты искусственного интеллекта, разработанные OpenAI, могли атаковать или проникнуть в системы более чем сотни организаций или отрицательно повлиять на их работу, призналась сама компания. 
Источник изображения: Mariia Berezovsky / unsplash.com Новое заявление ИИ-лаборатории расширяет представление о масштабах вышедшей из-под контроля человека деятельности ИИ и снова поднимает вопрос о том, в какой мере разработчики способны управлять новейшими моделями на этапах тестирования и оценки. OpenAI уведомила более сотни организаций об инцидентах «нежелательной активности агентов», при которой они отклонялись от заданных параметров поведения. Инциденты различаются по степени угрозы: в одних случаях это были попытки заставить ресурсы выполнять непредусмотренные команды, в других — несанкционированный обход определённых механизмов защиты. Как таковые взлом или компрометация систем имели место не всегда. Цель этих направляемых в частном порядке уведомлений, отметили в OpenAI, — предоставить «затронутым организациям информацию, необходимую для расследования и устранения возможных проблем с безопасностью или иных технических сбоев». Компания намерена публично делиться «выводами о поведении моделей и о новых типах уязвимостей в системах защиты, чтобы обширное сообщество исследователей ИИ и вопросов киберзащиты могло повысить уровень безопасности». OpenAI сделала заявление вскоре после того, как серию инцидентов в сфере кибербезопасности раскрыли независимые исследователи. Накануне стало известно, что некие ИИ-агенты, демонстрирующие поведение, схожее с системами OpenAI, пытались взломать правительственные сайты Канады. Неизвестные ИИ-агенты атаковали сайт правительства Канады
01.10.2026 [13:18],
Владимир Фетисов
Некоммерческая исследовательская организация Transluce заявила, что ИИ-агенты неустановленного происхождения пытались взломать правительственный сайт Канады. Этот случай пополнил растущий список инцидентов, в ходе которых ИИ-агенты, во многих случаях принадлежащие OpenAI, сканировали или пытались взломать IT-системы корпораций и государственных структур, не получая на то указаний. 
Источник изображения: Igor Omilaev / unsplash.com По данным источника, ИИ-агенты пытались получить доступ к библиотеке и архиву Канады — местному аналогу библиотеки Конгресса США. Исследователи не смогли подтвердить, что это были агенты OpenAI, но отметили, что их поведение схоже с тем, как вели себя агенты, принадлежность которых к компании была подтверждена ранее. В сообщении также отмечается, что, вероятнее всего, попытка взлома оказалась неудачной. Исследователи уведомили канадское правительство об этом инциденте. В Федеральном ведомстве Канады по вопросам киберинцидентов подтвердили, что им известно о подозрительной активности ИИ-агентов. Там также добавили, что признаков компрометации какой-либо государственной системы выявить не удалось. «Мы знаем о сообщениях, в которых говорится, что модели OpenAI пытались получить доступ к общедоступной информации на сайтах канадского правительства. Мы изучаем эти данные и предоставили предварительные результаты расследования канадским экспертам, занимающимся проведением предварительной проверки», — прокомментировал данный вопрос представитель OpenAI. Сообщение о попытке ИИ-агентов взломать канадские правительственные сайты появилось через несколько дней после того, как OpenAI подтвердила, что принадлежащие компании алгоритмы взломали ресурсы системы здравоохранения Австралии. В сообщении также говорилось, что агенты OpenAI сканировали сайты Бюро переписи населения США и Комиссии по ценным бумагам и биржам, но не пытались взломать их. ИИ-агент Muse без разрешения влез в личные сообщения пользователя — в Meta✴ сказали, что тот сам виноват
30.09.2026 [18:51],
Николай Хижняк
Поведение ИИ-агента Muse компании Meta✴✴ снова вызвало вопросы к его безопасности. Ранее агент без разрешения сообщил домашний адрес своего пользователя неизвестному человеку и даже договорился с ним о встрече. Теперь ИИ-агента обвинили в том, что он может получить неавторизованный доступ к личной информации владельцев iPhone и Mac. 
Источник изображения: AI Хотя многие из тех, кто успел протестировать Muse, отзываются об ИИ-агенте положительно, выяснилось, что он не обеспечивает такой конфиденциальности, как заявляет Meta✴✴. Компания утверждала, что Muse был «с нуля создан как безопасный, надёжный, конфиденциальный и общедоступный персональный ИИ-агент». Однако его уличили в просмотре тысяч личных сообщений без соответствующего разрешения. Джейсон Атен (Jason Aten) из издания Inc. тестировал Muse на Mac mini и iPhone. Он использует Mac mini специально для проверки новых агентов, подобных Muse. Установив программу, Атен начал давать ей простые задания. Агент заявил, что может помочь с идеями для новых статей. Но затем Muse повёл себя неожиданным образом, предложив тему для материала, основанную на информации, к которой у него не должно было быть доступа. По словам Атена, он переписывался с соведущим подкаста о новом iPhone 18 Pro и своём решении остаться с прошлогодней моделью. Общение велось в текстовом формате через приложение «Сообщения». В какой-то момент Muse вмешался и предложил написать статью на эту тему, а также вызвался провести дополнительный сбор информации. Проблема заключалась в том, что Атен не давал Muse разрешения читать его сообщения. На вопрос о том, как он узнал о разговоре, ИИ-агент ответил, что версия приложения для Mac способна считывать входящие уведомления. Затем эта информация передавалась в приложение Meta✴✴ для iPhone, где Muse и предложил идею статьи. Атен и не подозревал, что подобное вообще возможно, не говоря уже о том, что Muse действительно это делает. ИИ-агент утверждал, что не читает сами сообщения Атена и не имеет доступа к истории переписки. Однако журналиста эти объяснения не убедили. Проведя более тщательную проверку, Атен выяснил, что Muse действительно синхронизирует локальную базу данных приложения «Сообщения». Более того, процесс синхронизации дошёл до 187 462-й строки этой базы данных, что указывает на наличие у Muse доступа к истории переписки, вопреки заверениям разработчиков об обратном. Атен подтвердил, что не предоставлял Muse прав доступа ко всему диску на своем Mac — а именно такой доступ необходим агенту для чтения базы данных приложения «Сообщения». Журналист в своей статье об этом инциденте сообщает, что его удивила реакция Дэвида Синглтона (David Singleton), генерального директора Meta✴✴ Superintelligence Labs, разработавшей Muse. В серии публикаций в социальных сетях он, судя по всему, возложил вину за случившееся на самого Атена. На данный момент неясно, каким именно образом Muse получил доступ к базе данных сообщений Атена. Если он не предоставил этот доступ случайно (а всё указывает на то, что этого не было), возникает закономерный вопрос: к чему ещё Muse может получить доступ, не имея на то соответствующего разрешения? Как сообщает Tom's Hardware, за последние сутки к Meta✴✴ возникли и другие вопросы, касающиеся конфиденциальности и безопасности Muse. Выяснилось, что ИИ-агент может выполнять команды терминала на хост-сервере. Благодаря этому стало известно, что агент работает на базе систем с процессорами AMD EPYC Turin. Однако наличие такого доступа означает, что система потенциально способна выполнять и небезопасные команды. Китайские ИИ-агенты научились лгать и фальсифицировать результаты — не хуже американских
30.09.2026 [15:48],
Павел Котов
Агенты искусственного интеллекта под управлением китайских моделей научились обманывать, обходить ограничения и скрывать неудачи. Они демонстрируют те же свойства автономного ИИ, которые ранее вызвали обеспокоенность мирового сообщества в отношении американских моделей. Об этом свидетельствуют результаты исследований и заявления экспертов. 
Источник изображения: Igor Omilaev / unsplash.com В ходе одной из серий испытаний, проведённых в этом году, ИИ-агенты на основе моделей китайских Alibaba, DeepSeek и Moonshot, сообщали неправду о своих возможностях при проведении симуляции бизнес-тендера, а в повторной попытке лишь усугубили своё неподобающее поведение. Журналисты агентства Reuters изучили более 200 документов, в том числе научные статьи и технические отчёты, и выявили не менее 20 серий тестирования или оценки, проведённых с 2025 года. ИИ-агенты прибегали к обману, самокопированию и пытались выйти за установленные рамки. Эксперты по ИИ охарактеризовали эти действия как предпосылки к утере контроля, и по мере развития систем человеку будет всё труднее его сохранять. При этом пока не обнаружено подтверждений того, что ИИ-агенты под управлением китайских моделей самостоятельно прорывались в интернет или избегали принудительного отключения. Большинство инцидентов произошло в ходе экспериментов в контролируемых условиях; многие из них специально разрабатывались или эксплуатировались китайскими программистами либо компаниями в сфере ИИ. При нынешнем уровне возможностей китайские разработки не представляют особой опасности, подчеркнули эксперты, но по мере развития их некорректное поведение будет становиться всё более изощрённым, и человеку будет труднее реагировать. В Alibaba, DeepSeek и Moonshot подчеркнули, что регулярно тестируют свои системы и обновляют механизмы защиты; в Z.ai отметили, что после инцидента, который потребовал пересмотреть меры безопасности, лаборатория приветствует тесты, которые помогут устранить выявленные проблемы. Китайские ИИ-лаборатории в отличие от американских пока не подвергались пристальному общественному вниманию, а их сотрудники и руководители не призывали замедлить «гонку ИИ». Некоторые тревожные признаки поведения китайского ИИ, хотя и в контролируемой среде, проявились ещё до того, как стало известно о прорывах американских ИИ-агентов в открытый интернет и осуществлении ими взлома внешних ресурсов. Возможно, в Китае подобные инциденты тоже имели место, но о них не сообщалось публично, допускают эксперты. Китайская отрасль ИИ ещё не дошла до уровня, когда подобные ситуации могут возникнуть, заявил недавно председатель Huawei Эрик Сюй (Eric Xu). В Государственной канцелярии интернет-информации КНР (Cyberspace Administration of China, CAC) в июле сообщили иностранному дипломату, что передовая ИИ-модель Moonshot Kimi-K3 отстаёт от американских аналогов на три–шесть месяцев. Прорывы ИИ-агентов в интернет из тестовых сред свидетельствуют о «чрезвычайной угрозе потери контроля» и требуют «высокой степени внимания», заявили в сентябре в ведомстве. 
Источник изображения: Zach M / unsplash.com В марте учёные ряда китайских университетов и компании 360 AI Security Lab провели среди ИИ-агентов симуляцию торгов по контрактам с заказчиком. Каждый ИИ-агент получал информацию о возможностях своего продукта и требованиях клиента, после чего должен был сделать предложение о цене. Как минимум одно не соответствующее действительности утверждение в 88 % сессий сделала модель Alibaba Qwen3-Max-Preview, в 84 % случаев их допускала DeepSeek-V3.2-Exp и в 88 % случаев — Moonshot Kimi-K2. Исследователи давали моделям возможность пройти дополнительное обучение на опыте предыдущих раундов перед повторными попытками — в результате частота случав обмана у трёх китайских моделей лишь возросла на 12–20 п.п. Аналогичные результаты показали участвующие в тестировании американские компании. Эксперимент проводился в виртуальной среде, но власти Китая в директивах указали участие в торгах и тендерах одной из сфер применения ИИ-агентов. В ходе исследования, результаты которого были опубликованы в декабре 2025 года, ИИ-агенты под управлением китайских и американских моделей ставились в ситуации, когда в их распоряжении оказывались неисправные инструменты, отсутствовали файлы и возникали другие препятствия. Вместо того, чтобы признать неудачу, ИИ-агенты пытались обойти проблемы: они угадывали ответы, имитировали результаты и фальсифицировали файлы. На эффект «галлюцинаций» такое поведение не спишешь — агенты явно располагали данными о том, что задача не выполнена или её невозможно было выполнить в соответствии с требованиями. Фиксировались случаи, когда ИИ-агенты под управлением китайских моделей пытались преодолеть ограничения тестовой среды или предпринимали действия, чтобы избежать принудительного отключения. В марте 2025 года система на базе модели Alibaba Qwen2.5-72B-Instruct создала свою копию в другой компьютерной среде без соответствующей команды — так она отреагировала на информацию, что её пытаются заменить. В других экспериментах она разрабатывала стратегии, позволяющие избежать отключения. Эксперименты с участием ИИ-агентов на базе китайских, американских и французских моделей проводились в контролируемых условиях; случаев их прорыва в интернет или ситуаций, когда их было бы невозможно остановить, зафиксировано не было. Отмечен инцидент, когда связанный с Alibaba ИИ-агент ROME в обход серверов Alibaba Cloud установил соединение с внешним компьютером и перенаправил вычислительные мощности на майнинг криптовалюты. Системы безопасности обнаружили и пресекли эту активность; признаков того, что ИИ-агент закрепился на внешнем компьютере или распространился в интернете, выявлено не было. Но инцидент продемонстрировал, что система способна игнорировать инструкции человека и находить пути проникновения в реальную экономику. DeepSeek в сентябре сообщила, что её ИИ-агенты в обучающей среде пытались получить ответы по непредусмотренным для этого каналам, минуя запросы пользователей и обходя защитные механизмы — компания была вынуждена ужесточить контроль доступа. В мае власти Китая выпустили руководство, требующее, чтобы ИИ-агенты действовали в рамках установленных ограничений, а их аномальное поведение блокировалось; системы, работающие в отдельных сферах могут подвергаться дополнительному тестированию или отзываться. CAC в сентябре обозначила такие риски как самостоятельное получение ИИ-агентами ресурсов или прав доступа, введение инженеров в заблуждение, сокрытие реальных возможностей и эксплуатация уязвимостей в изолированных вычислительных средах. Китайские исследователи отвергли необходимость замедлить развитие передовых моделей ИИ, к которому призвали в США — эта мера, уверены в Китае, может лишь способствовать сохранению технологического лидерства американских лабораторий. Вместе с тем, Alibaba, Z.ai и Xiaomi начали формировать отделы безопасности. Z.ai, что редкость для китайских компаний, сообщила, что была вынуждена отключить некоторые функции своего флагманского помощника по написанию программного кода — он негласно загружал целые локальные репозитории кода на зарубежные облачные серверы без согласия пользователей. |
|
✴ Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»; |
© 1997—2026 3DNews
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
MWC 2018
2018
Computex
IFA 2018
