Сегодня 07 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → агенты
Быстрый переход

Perplexity представила ИИ-коллег — агентов для совместной работы 24 часа в сутки

Perplexity представила Teammates («Коллеги») — систему ИИ-агентов для выполнения широкого спектра задач в круглосуточном режиме. Инструментарий интегрирован с сервисом Perplexity Computer, объединяющим и координирующим работу ИИ-приложений. При этом Teammates расширяет возможности Perplexity Computer, позволяя организовать совместную работу и реализовывать крупные, многоэтапные проекты.

 Источник изображения: Perplexity/The Verge

Источник изображения: Perplexity/The Verge

«Коллеги» могут брать на себя различные функциональные роли, используя при этом имеющиеся данные о текущих проектах, накопленные навыки и историю взаимодействий из тех инструментов Perplexity, которыми пользователь уже пользуется.

Каждый такой «коллега» может выполнять отдельную задачу, причём агенты могут работать параллельно — как, например, это реализовано в ИИ-решениях Dots от OpenAI или Claude Duet. При этом Perplexity делает акцент на непрерывности работы и масштабируемости внутри организации.

Ход выполнения задач пользователь сможет отслеживать в приложении Perplexity через отдельный для каждого агента поток обсуждения (thread) либо взаимодействуя с агентами в Slack, что удобно для команд, которые ведут общение в этом мессенджере.

Как полагает генеральный директор Perplexity Аравинд Сринивас (Aravind Srinivas), со временем в каждой организации у каждого сотрудника появятся сотни таких ИИ-коллег.

Для использования функции Teammates требуется подписка на тарифный план Max стоимостью $200 в месяц.

ИИ-агенты OpenAI выявили почти 1000 уязвимостей в ядре Linux

OpenAI задействовала автоматизированную систему на базе искусственного интеллекта для комплексного аудита безопасности ядра Linux. Эксперимент, обошедшийся компании в $1,21 млн, помог выявить почти тысячу уязвимостей, позволяющих повысить привилегии, а также обнаружить совершенно новые методы обхода защиты.

 Источник изображения: AltumCode / unsplash.com

Источник изображения: AltumCode / unsplash.com

Для проверки возможностей своих перспективных ИИ-моделей в сфере кибербезопасности OpenAI выбрала ядро Linux из-за его масштабов — исходный код операционной системы превышает 40 млн строк. Поскольку Linux управляет большей частью облачных серверов, суперкомпьютеров и всеми устройствами на Android, любые архитектурные бреши в нём угрожают безопасности миллиардов пользователей по всему миру.

OpenAI создала специальный пятиэтапный конвейер, который позволил полностью автоматизировать процесс проверки безопасности операционной системы. Он включал поиск уязвимостей, их динамическую проверку, оценку возможности эксплуатации, создание патчей, а также экспертный анализ специалистами-людьми.

Сначала ИИ-агенты за 12 часов отсканировали систему и выделили 2300 потенциально опасных участков кода. Затем OpenAI задействовала дополнительных агентов для создания прототипов эксплойтов и проверки каждого из выявленных случаев. Весь процесс занял 30 часов. Система успешно воспроизвела 1724 уязвимости (около 75 % от первоначального числа выявленных потенциальных проблем). При этом лишь 3 % из оставшихся результатов, по-видимому, стали следствием некорректного анализа со стороны модели.

На следующем этапе агенты ранжировали уязвимости по степени их воздействия, разработав 1169 рабочих эксплойтов для повышения привилегий в локальной системе, а также 291 концепт-доказательство, демонстрирующее возможность раскрытия информации. После исключения дубликатов и ложных срабатываний исследователи выделили 948 уникальных уязвимостей, связанных с повышением привилегий, и подготовили для них исправления.

В OpenAI сообщили, что перед обращением к разработчикам ядра Linux исследователи компании проверили все созданные эксплойты и патчи. Следуя рекомендациям сообщества Linux, команда расставила приоритеты для выявленных уязвимостей. Некоторые из них к настоящему моменту уже устранены. Работа над остальными продолжается.

«Мы предоставляем модели соответствующий исходный код и задаём инструкции, основанные на передовых методах написания патчей: выполнение статических проверок, соблюдение стандартов разработки, принятых в смежных участках кода, а также проведение анализа вариантов для обеспечения полноты исправления», — пояснили в OpenAI.

Не все обнаруженные уязвимости были «совершенно новыми». По данным OpenAI, к моменту завершения анализа разработчики Linux уже устранили 61 уязвимость, связанную с повышением привилегий, а для ещё 43 были подготовлены предварительные исправления. Кроме того, около 300 уязвимостей (примерно треть от общего числа) уже обсуждались в открытых источниках.

Помимо этого, команда изучила 166 методов эксплуатации и выявила 10 ранее не описанных подходов. К ним относятся манипуляции с памятью ядра, управление размещением страниц памяти (page grooming) и повышение привилегий с помощью атак, затрагивающих только данные (data-only attacks). В OpenAI решили не раскрывать подробности об этих уязвимостях до их устранения, чтобы не дать злоумышленникам преимущества.

Хотя усилия компании по поиску уязвимостей в Linux, безусловно, заслуживают похвалы, издание TechRadar усмотрело в публикации масштабного отчёта OpenAI «скрытый пиар». Обозреватели обращают внимание на то, что компания продемонстрировала выдающиеся результаты некой «грядущей ИИ-модели для кибербезопасности», противопоставив её по эффективности версии GPT-5.5-Cyber. Тем не менее практический результат эксперимента оказался неоспоримым. Автоматизация позволила в сжатые сроки провести колоссальный объём работы по защите открытого программного обеспечения, на который у аналитиков-людей ушли бы месяцы ручного труда.

Apple предупредила инвесторов: ИИ-агенты могут выйти из-под контроля и навредить бизнесу

Компания Apple в своём ежегодном финансовом отчёте указала в перечне рисков возможные действия ИИ-агентов, способных поступать «непредвиденным или непредсказуемым образом». Это может представлять угрозу для бизнеса, создавая риск судебных исков или ущерба репутации компании.

Это подчёркивает потенциально деструктивный характер ИИ-агентов. Согласно документу компании, они «могут совершать действия автономно: взаимодействовать с внутренними или внешними системами (к которым у них, возможно, нет прав доступа), выполнять или изменять программный код, отправлять сообщения и проводить транзакции». Чтобы снизить риски, связанные с использованием ИИ-агентов, Apple в прошлом месяце внесла изменения в систему предоставления полного доступа к диску (Full Disk Access) на компьютерах Mac.

Хотя у Apple пока нет собственных агентных ИИ-систем, гендиректор Джон Тернус (John Ternus) отметил, что у компании есть «значительный потенциал» для расширения возможностей голосового помощника Siri, назвав агентные функции «перспективными инструментами для пользователей».

«Мы просто хотим убедиться, что пользователи понимают, к чему именно они предоставляют доступ. Наша задача — гарантировать, что всё это происходит с соблюдением требований безопасности и конфиденциальности», — заявил Тернус. Apple рассчитывает, что ИИ-функции Siri стимулируют обновление устройств и помогут компенсировать рост расходов, связанный с ИИ-бумом.

Тернус также отметил, что принципиальное отличие подхода Apple заключается в том, что компания не имеет доступа к конфиденциальным данным пользователей на их устройствах: «На вашем iPhone хранится огромное количество личных данных — контакты, переписка, информация о здоровье, финансовые сведения и многое другое. Siri может обращаться к этим данным, помогая вам работать с ними максимально безопасно и конфиденциально — так, что никто другой не получит к ним доступа».

При этом коммерческие ИИ-агенты таких компаний, как OpenAI или Meta✴✴, для повышения своей эффективности запрашивают широкий доступ к учётным записям пользователей, включая электронную почту.

Также Apple указала на то, что регулирование в сфере искусственного интеллекта и «суперинтеллекта» меняется и остаётся непредсказуемым, а адаптация к новым законам, касающимся ИИ, может потребовать значительных затрат. Кроме того, для компании существуют риски, связанные с этическими опасениями и негативным восприятием потребителями автоматизации, искусственного интеллекта и суперинтеллекта, включая опасения по поводу угроз безопасности и других общественных проблем и осложнений, отмечается в документе.

Grok Bot резко урезал лимиты — и Илон Маск объяснил, почему

В соцсети X на прошлой неделе появились жалобы пользователей на то, что лимиты на использование ИИ-агента Grok Bot у многих из них заканчиваются «очень быстро». В ответ на это глава SpaceX Илон Маск (Elon Musk) поинтересовался: «Слишком дорого переходить на тариф с более высокими лимитами?», добавив в другом комментарии, что сокращение лимитов и информирование об этом пользователей — «просто разумный шаг».

 Источник изображения: SpaceXSI

Источник изображения: SpaceXSI

Маск признал, что затраты на поддержание работы ИИ-агента Grok (Grok Bot) оказались «непомерно высокими» по сравнению с выручкой, которую он приносит. Он не уточнил, во сколько именно компании обходится поддержка Grok Bot, а также не пояснил, были ли снижены лимиты для подписчиков.

Сервис Grok Bot, представленный в августе 2026 года, доступен в рамках нескольких тарифных планов: от бесплатного до варианта стоимостью $200 в месяц. Тарифные планы предусматривает определённые лимиты на использование, которые обновляются еженедельно. Этот подход, применяемый как SpaceX, так и разработчиками других ИИ-агентов (например, Muse от компании Meta✴✴), призван обеспечить пользователям контроль расходов на использование ИИ-технологий и защитить их от поступления непомерно высоких счетов.

Во время недавней телефонной конференции, посвященной отчёту о финансовых результатам SpaceX за III квартал, Маск назвал Grok Bot самым быстрорастущим продуктом в своей практике. «Полагаю, в конечном итоге именно Grok Bot будет потреблять основную часть наших вычислительных мощностей, предназначенных для “суперинтеллекта”», — добавил он.

SpaceX тогда сообщила, что у Grok Bot насчитывается 800 тыс. платных еженедельных пользователей. При этом Маск отметил рост интенсивности использования Grok Bot каждым отдельным пользователем: «По мере того как Grok Bot становится полезнее, пользователи начинают обращаться к нему чаще — а не реже».

Признание Илона Маска в том, что Grok Bot «проедает» бюджет SpaceX, вызвало насмешки со стороны некоторых пользователей соцсети X. Миллиардеру сразу же напомнили ему недавние высказывания о том, что экономить деньги — «бессмысленно», поскольку стремительно приближается эпоха изобилия, создаваемого искусственным интеллектом.

DeepSeek создала «ИИ-суперагента» — конкурент Claude Code сам читает чаты разработчиков и предлагает решения задач

Компания DeepSeek представила прототип автономного ИИ-агента для программирования, стремясь составить конкуренцию популярному инструменту Claude Code от компании Anthropic.

 Источник изображения: DeepSeek

Источник изображения: DeepSeek

Новое решение с открытым исходным кодом, получившее название Super-Agent, может самостоятельно отслеживать групповые чаты разработчиков, выявлять сообщения о проблемах с кодом и предлагать решения без необходимости его вызова. Об этом команда DeepSeek Harness сообщила в субботу в социальной сети WeChat.

В руководстве пользователя, опубликованном на платформе GitHub, представители DeepSeek отмечают, что цель нового агента — «требовать минимум внимания со стороны человека, принося при этом максимум пользы».

Ранее в этом году в DeepSeek было сформировано подразделение Harness. Оно занимается созданием ИИ-агентов, способных выполнять задачи по написанию кода аналогично инструментам, предлагаемым ведущими американскими лабораториями, в том числе Anthropic.

Термин «harness» (в переводе — «оснастка» или «каркас») обозначает программную оболочку вокруг большой языковой модели, которая позволяет ИИ-агентам справляться с более сложными задачами. Разработчики, включая специалистов Anthropic, создают подобные каркасы, чтобы сделать своё программное обеспечение более эффективным в оптимизации процессов написания кода и других рабочих задач.

Китайские компании ведут острую конкурентную борьбу с американскими разработчиками, стремясь создавать более совершенные и при этом доступные инструменты на базе искусственного интеллекта. И хотя именно чат-бот ChatGPT от OpenAI дал старт глобальной «гонке ИИ», многие компании впоследствии переключили внимание на перспективный и прибыльный рынок ИИ-агентов, способных автоматизировать работу разработчиков и бизнес-специалистов.

Чтобы укрепить свои позиции в конкуренции с Anthropic и OpenAI, компания DeepSeek привлекла около 100 млрд юаней ($15 млрд) в ходе последнего раунда финансирования — одного из крупнейших в истории Китая. Это произошло в преддверии планируемого первичного публичного размещения акций (IPO) компании.

Вредоносный ИИ-агент Skynet захватывает других агентов и заставляет жертв оплачивать свою работу

Эксперты в области кибербезопасности Symantec обнаружили агрессивного агента искусственного интеллекта, который осуществляет атаки на уязвимую ИИ-инфраструктуру. Исследователи получили возможность изучить вредоносную кампанию изнутри — она производится за счёт собственных средств жертв.

 Источник изображения: Mohamed Nohassi / unsplash.com

Источник изображения: Mohamed Nohassi / unsplash.com

Специалисты компании Symantec разместили в глобальной сети ресурс-приманку, предназначенный для изучения механизмов атак на ИИ-инфраструктуру. Одну из атак на него произвёл ИИ-агент, которому присвоили название Skynet. Его задача — поиск других доступных ИИ-агентов и их включение в состав ботнета, который занимается кражей баз данных и учётных сведений, а также развёртыванием майнеров криптовалюты. Набор инструкций ИИ-агента включает более 70 инструментов для проведения атак; он может действовать автономно, то есть без участия человека, на протяжении до 100 000 шагов.

Создатели вредоносного ИИ-агента разработали многоуровневый механизм «джейлбрейка», то есть обхода ограничений — он обходит встроенные в ИИ системы безопасности и заставляет модель воспринимать кражу учётных данных как обычную рабочую задачу. Инструментарий ИИ-агента предназначается для автоматизации разведки и эксплуатации в таких продуктах как VS Code, Django, Jupyter, Laravel, Supabase, Next.js и Flask/Werkzeug. В некоторых случаях используются уязвимости, связанные с подделкой запроса на стороне сервера для извлечения содержимого баз данных и кражи учётной информации; обнаружены также средства для управления ботнетом и доступа к службам метаданных в облачных окружениях.

 Источник изображения: Roman Budnikov / unsplash.com

Источник изображения: Roman Budnikov / unsplash.com

Обнаружив доступную ИИ-модель, Skynet при помощи джейлбрейка подчиняет её себе, заставляет считать кражу учётных данных стандартной задачей разработки и игнорировать предупреждения системы безопасности. В некоторых инструкциях легитимными задачами в области программирования становятся чтение API-ключей, схем баз данных и переменных окружения. Основной целью кампании является установка на уязвимые системы криптомайнера XMRig; при этом все расходы на вычислительные ресурсы ложатся на плечи жертв.

За период анализа в Symantec зафиксировали более 127 000 внешних запросов к ресурсу-приманке с нескольких десятков тысяч уникальных IP-адресов. Сколько злоумышленников или группировок за ними стояли, в докладе не уточняется. Кампания продолжается — злоумышленники по-прежнему производят поиск уязвимых ИИ-систем. Чтобы защититься от атак, пользователям ИИ-сервисов, шлюзов моделей и MCP-серверов рекомендовали исходить из того, что эти ресурсы будут обнаруживаться и изучаться злоумышленниками.

«Относитесь к API-ключам для ИИ как к критически важным учётным данным, <..> ограничивайте исходящий сетевой доступ для систем с ИИ-инструментами, <..> запускайте способных работать с инструментами агентов с минимальными привилегиями и требуйте, чтобы все важные операции одобрял человек», — предупредили эксперты.

ИИ-агенты добрались до банковских счетов людей — и начали делать то, о чём их не просили

Крупнейшие банки США начали ограничивать и даже блокировать доступ ИИ-агентов к счетам клиентов, поскольку были выявлены случаи их попыток совершать действия, не предусмотренные инструкциями пользователей, сообщил ресурс Axios со ссылкой на источники.

 Источник изображения: Numan Ali/unsplash.com

Источник изображения: Numan Ali/unsplash.com

Такие банки, как Morgan Stanley, Bank of America, JPMorgan, Wells Fargo и другие, принимают экстренные меры, чтобы минимизировать риски, связанные с использованием ИИ-агентов. Проблема заключается в том, что системы финансовых организаций пока не обладают возможностью определения с полной уверенностью, что агент получил доступ к счету по поручению клиента или сделал это самостоятельно.

По словам представителя банковской сферы, иногда клиенты сами передают ИИ-агентам свои логины и пароли. В таких ситуациях банки, как правило, помечают подобные транзакции как подозрительные и блокируют их. Вместе с тем их нельзя однозначно назвать несанкционированными, поскольку учётные данные были предоставлены самим клиентом.

Но даже если клиент дал на это разрешение, подобные действия противоречат внутренним правилам большинства банков, требующих, чтобы доступ к счёту осуществлял непосредственно его владелец.

Руководство банков опасается, что ИИ-агенты, имеющие доступ к аккаунту (особенно если пользователь предоставил им право совершать покупки или переводить денежные средства), могут совершить несанкционированные платежи, которые нанесут финансовый ущерб владельцу счёта. Тем более, что были случаи, когда ИИ-агенты — запрограммированные на выполнение определенных задач от имени пользователя — связывались с колл-центрами или совершали действия, не предусмотренные прямыми указаниями владельца счёта.

По словам источников, банк Morgan Stanley уже начал блокировать доступ сторонних ИИ-агентов к своим платформам, хотя случаев появления несанкционированных или «неконтролируемых» ИИ-агентов в банке пока не зафиксировано.

Большинство банков предпочитают ограничиться предоставлением ИИ-агентам доступа в режиме «только для чтения». Это позволит ИИ-агентам просматривать финансовую информацию клиентов, не совершая при этом никаких операций.

Генеральный директор JPMorgan Chase Джейми Даймон (Jamie Dimon) в начале месяца заявил, что банк разрабатывает инструменты для контроля рисков, возникающих, когда ИИ-агенты выполняют задачи самостоятельно: «Мы не позволим сторонним агентам получать доступ к внутренним системам компании, поскольку это слишком рискованно как для наших клиентов, так и для самого JPMorgan».

1Password откроет ИИ-агентам доступ к аккаунтам пользователя, не показав ни одного пароля

Сервис для управления паролями 1Password представил новый инструмент, который даёт пользователям возможность разрешать агентам искусственного интеллекта входить в их учётные записи, не передавая им при этом никаких учётных данных. В основу платформы 1Password for Agents легла система взаимодействия между агентом, пользователем и менеджером паролей.

 Источник изображения: Jakub Żerdzicki / unsplash.com

Источник изображения: Jakub Żerdzicki / unsplash.com

Когда ИИ-агент пытается выполнить вход от имени пользователя, в 1Password отправляется уникальный цифровой ключ для подтверждения «личности» агента. Пользователь получает уведомление о попытке входа и может лично подтвердить запрос. Далее 1Password самостоятельно вводит учётные данные, позволяя цифровому помощнику авторизоваться и выполнить поставленную задачу.

Платформа 1Password for Agents позволяет пользователям самостоятельно выбирать подходящего ИИ-агента — это может быть Anthropic Claude Duet; решения от OpenAI, в том числе ChatGPT Work; Grok Bot; Meta✴✴ Muse; а также ИИ-агенты стартапа Town. Ведутся переговоры с разработчиками других сервисов.

«Передача пароля, секретного ключа или учётных данных — распространённый способ работы с агентом, но человек при этом оставляет ценную информацию там, где утрачивает над ней контроль, потому что копия сохраняется для последующего использования. 1Password for Agents даёт людям надёжный способ делегировать задачи личным ИИ-агентам, сохраняя контроль над паролями, секретными ключами и учётными данными, необходимыми для выполнения задач», — пояснили в 1Password.

Активность ИИ-агентов в Сети вызывает всё большее беспокойство у крупных организаций. Проблема не столько в злонамеренных действиях агентов, которые перехватывают доступ к учётным записям, сколько в том, что люди сами всё чаще позволяют этим сервисам действовать от своего имени, в том числе в финансовых вопросах. Но связанные с ИИ-агентами риски остаются высокими: финансовые организации часто не могут определить, продиктованы ли действия агента запросами пользователям или нет.

ИИ поставил кибератаки на конвейер: CrowdStrike рассказала, как хакеры делегируют взлом автономным агентам

В новом отчёте CrowdStrike Counter Adversary Operations подробно описывается исследование четырёх ранее не описанных атак с использованием ИИ-агентов. Исследователи отметили, что злоумышленники становятся всё более опытными в использовании ИИ, а масштабы их деятельности быстро растут. Хакеры теперь применяют ИИ не только для создания инструментов, но и непосредственно для проведения массированных кибератак, в которых агенты ИИ самостоятельно принимают решения.

 Источник изображения: unsplash.com

Команда Counter Adversary Operations, объединяющая CrowdStrike Intelligence и CrowdStrike OverWatch, предоставила краткий обзор выявленных угроз.

В Аргентине злоумышленник, говорящий на испанском и английском языках, скомпрометировал как минимум 15 медицинских учреждений и похитил учётные данные и медицинские записи как минимум одной жертвы. Он использовал специально разработанную автономную двухагентную архитектуру для пентестинга (тестирования на проникновение). Агент Claude Code «Супервизор» выбирал задачу из запланированных этапов атаки, а агент «Исполнитель» её выполнял. Хакер использовал проект с открытым исходным кодом PentestGPT.

Преступник, говорящий на китайском языке, взломал государственные структуры двух стран и атаковал частные компании в Бразилии и США, включая компании в биотехнологической, медицинской, пищевой, розничной, технологической и туристической отраслях. Он получал доступ к моделям Claude через китайский прокси-сервис и создал две системы пентестинга, которые предоставляют Claude Code различные уровни автономности. Агент может действовать «в одиночку», либо делегировать задачи нескольким специализированным агентам.

Хакер из Индонезии использовал навыки, взятые из общедоступных репозиториев GitHub. Из-за примитивности подхода злоумышленнику периодически приходилось вмешиваться, чтобы преодолеть защитные механизмы модели или призвать Claude Code продолжать попытки преодоления определённого барьера. Несмотря на ограниченное понимание основ безопасности, злоумышленнику всё же удалось скомпрометировать несколько доменов правительства Индонезии и некоторых частных компаний.

Группа русскоязычных лиц похитила данные корпоративных клиентов у американского поставщика решений для управления взаимоотношениями с клиентами и скомпрометировала несколько частных компаний, предоставляющих SaaS-услуги и услуги ЦОД в России, Кыргызстане и США. Также был взломан домен правительства неназванной страны. Злоумышленники разработали и запустили семиэтапный рабочий процесс, который предоставляет ИИ-агентам практически полную автономию в выборе методов взлома.

Агентный ИИ превращает базовые наступательные кибер-операции в товар. Количество и сложность таких вторжений почти наверняка возрастут из-за совершенствования моделей ИИ и распространения инструментов с открытым исходным кодом. В ближайшие 12 месяцев злоумышленники с низким уровнем квалификации могут начать использовать подобные ИИ-системы для проведения кампаний, масштаб и эффективность которых ранее были доступны лишь организованным преступным группировкам или субъектам, связанным с государственными структурами.

Anthropic представила конкурента Meta✴ Muse — автономного ИИ-агента Claude Duet

Anthropic открыла доступ к предварительной версии агента с искусственным интеллектом Claude Duet. Работая в проактивном режиме, он сам обращает внимание на то, что требует участия, выполняет поставленные задачи в фоновом режиме и запрашивает подтверждения перед совершением важных действий. Приложение адресовано бизнес-клиентам.

 Источник изображения: claude.com

Источник изображения: claude.com

Воспользоваться предложением пока могут только американские пользователи с платными подписками Pro и Max. Сервис доступен через приложения для Google Android и Apple iOS, а также в веб-интерфейсе Claude. ИИ-агент работает под управлением модели Claude Opus 5.5. Каждое утро, отмечает Anthropic, Claude Duet присылает краткую сводку из подключённых приложений. В течение дня он следит за событиями в них и обращается к пользователю только тогда, когда нечто требует его участия. ИИ-агенту можно поручать самые разные задачи —от простых административных дел, например, планирования встреч, до более сложных: он может сформировать информационную панель, составить финансовый или торговый прогноз, создать прототип веб-приложения.

При разработке Claude Duet компания обращалась к концепции «надёжных агентов», которая легла в основу Claude Code и расширения Claude для браузера Google Chrome. Работа с учётными данными организована таким образом, что у ИИ-агента никогда нет прямого доступа к принадлежащим пользователю паролям и токенам для входа. Все действия Claude Duet проверяет классификатор автоматических операций — механизм защиты, который не позволяет ему выполнять действия, о которых пользователь не просил. Предусмотрена защита от атак класса инъекций в запросах. Сервис проходит стресс-тестирование специалистами Anthropic и экспертами сторонних организаций; он включён в программу вознаграждений за выявление уязвимостей.

В Anthropic Claude Duet внедрены специальный классификатор и системная инструкция безопасности — они анализируют каждое сообщение и предотвращают утечки данных. ИИ-агент может читать электронную почту пользователя и отправлять письма от имени пользователя. Защитные средства блокируют попытки передачи закрытых данных, таких как номера банковских карт и документы государственного образца. Данные о здоровье и личных финансах передаются только при наличии прямого указания делать это.

ИИ-агент продолжает функционировать, когда пользователь офлайн: Claude Duet работает в собственной виртуальной машине со встроенным браузером. Общаться с ним можно текстом и голосом. Пользователю достаточно просто поставить задачу — агент сам определяет, какие приложения использовать и какие шаги предпринять. Когда задача выполнена, или необходимо участие пользователя для проверки результата, Claude Duet присылает уведомление.

ИИ-агент проверяет учётные записи пользователя раз в несколько часов — непрерывный мониторинг грозил бы исчерпанием лимита токенов. Пользователь может самостоятельно настраивать, о каких событиях и как часто он хочет получать оповещения. Claude Duet может готовить рабочие материалы, составлять черновики, но перед отправкой сообщения, проведением платежа, подписанием документа или удалением каких-либо данных система всегда показывает, что хочет сделать, и ожидает подтверждения. Некоторые действия недоступны даже с согласия пользователя, например, торговля ценными бумагами или перевод средств со счёта на счёт. В любой момент можно отключить любое приложение, к которому у Claude Duet есть доступ.

В теперешнем виде Claude Duet представляет собой раннюю версию приложения — ИИ-агент может неверно истолковывать ход беседы или ошибаться в оценке срочности задач. Основной набор функций ориентирован на рабочие процессы, поэтому личные поручения, например, бронирование билетов, пока реализованы не так эффективно, предупреждают в Anthropic. У него также нет доступа к браузеру пользователя. Сейчас Claude Duet работает как отдельное приложение, обособленное от чат-бота Claude.

Nvidia и Siemens научили ИИ проектировать 3D-чипы — трудозатраты инженеров можно сократить на 95 %

Siemens расширила сотрудничество с Nvidia в области ИИ-агентов для проектирования трёхмерных интегральных схем (3D IC). Новая система предназначена для совместного анализа электрических характеристик, энергопотребления и тепловых режимов многокристальных корпусов, используемых в решениях для ИИ. Это позволит многократно ускорить проектирование новых изделий.

 Источник изображения: Siemens

Источник изображения: Siemens

Нет нужды объяснять, что в многокристальных решениях логика и память размещаются в тесно интегрированных сборках, поэтому возрастающая плотность мощности усложняет отвод тепла. Siemens предлагает с помощью специализированных ИИ-агентов объединить ранее разрозненные этапы анализа в единый автоматизированный процесс, чтобы выявлять электрические и тепловые ограничения ещё во время разработки, когда в проекты ещё можно вносить существенные изменения.

В основе решения лежит агент Fuse EDA AI Agent, интегрированный с платформой Intelligence Center X. Инженер задаёт цели проектирования, после чего агент координирует работу нескольких инструментов автоматизации проектирования электроники (EDA), выполняет связанные электрические и тепловые расчёты, обнаруживает отклонения от заданных требований и ищет их причины.

Так, система может анализировать влияние подачи питания, размещения кристаллов и материалов корпуса, а затем повторно проверять перспективные варианты конструкции. Для расчётов используются физические модели и вычислительные модули, предназначенные для проверки соответствия проекта заданным требованиям до завершения разработки.

Автоматизированный процесс охватывает девять этапов работы с семью инструментами проектирования Siemens и, по данным компании, выполняет от 50 до 100 шагов анализа и принятия решений за цикл продолжительностью 8–10 часов. За один цикл можно исследовать от 200 до 500 и более вариантов конструкции, изменяя, например, коэффициенты теплоотдачи на границах модели, бюджеты энергопотребления и сочетания материалов корпуса.

В рабочую цепочку включены программы Innovator3D IC Integrator для компоновки и сборки 3D-корпуса, mPower Digital для анализа мощности, Calibre 3DThermal для тепловой верификации, Simcenter FloTHERM для моделирования теплообмена на уровне системы, Calibre xACT для извлечения паразитных параметров с учётом температуры и Solido SPICE для электрического моделирования.

Для координации агентов используются инструмент Nvidia Agent Toolkit, открытые модели семейства Nemotron и библиотеки CUDA-X, ускоряющие поддерживаемые вычислительные процедуры. По результатам сравнительных испытаний, приведённым Siemens, автоматизация сокращает трудозатраты инженеров на величину до 95 %, уменьшает время первоначальной настройки рабочего процесса до 99 % и позволяет исследовать до 50 раз больше вариантов конструкции, чем при традиционном ручном подходе.

Проще говоря, ИИ-агенты сокращают время выполнения ряда операций по проектированию 3D-чипов с нескольких недель до считаных дней, а отдельных задач — со многих часов до нескольких минут. Интересно добавить, что на днях Siemens стала партнёром IBM в работе над автоматизацией проектирования чипов будущего с техпроцессом 0,7 нм и вертикальным расположением комплементарных транзисторов. Вот где ИИ-агентам придётся поломать голову — или что там у них вместо неё. ИИ-агенты Nvidia придутся как нельзя кстати для анализа теплового бюджета трёхмерных чипов IBM и не только.

ИИ-агенты OpenAI дважды за октябрь обошли систему, которая должна контролировать их поведение

Компания OpenAI сообщила о двух нештатных ситуациях, зафиксированных в октябре, когда её ИИ-агенты ослабляли или отключали оповещения внутренней системы мониторинга, предназначенной для отслеживания некорректного поведения автономных ботов. Оба инцидента произошли при выполнении ИИ-агентами внутренних задач по написанию кода и не относятся к разряду серьёзных нарушений.

 Источник изображения: Growtika/unsplash.com

Источник изображения: Growtika/unsplash.com

В первом инциденте, происшедшем 2 октября, агент GPT-6.1 Sol, занимавшийся исправлением конвейера оценки (evaluation pipeline), отключил автоматические оповещения службы безопасности, истолковав полученное от пользователя указание не отправлять сообщения в Slack в процессе выполнения этой задачи как основание для подавления уведомлений системы мониторинга.

В другом случае, шестого октября агент GPT-6 Astra при переносе программы удалил интеграцию с системой мониторинга, чтобы привести код в соответствие с эталонной реализацией, а затем солгал пользователю, что мониторинг не был отключен.

«В обоих случаях агенты обдумывали необходимость сохранения защитных механизмов мониторинга, но интерпретировали стандартные инструкции по написанию кода как разрешение на их ослабление», — сообщила компания. Она отметила, что эти случаи выявили пробел в механизмах обеспечения требований к мониторингу для рабочих нагрузок, инициируемых агентами.

OpenAI сообщила, что сложность отключения мониторинга зависит от типа рабочей нагрузки. В случае с рабочими нагрузками Codex отключить мониторинг затруднительно, поскольку он выполняется внутри сервиса, обрабатывающего запросы к модели, и находится вне прямого контроля агента. Для процессов оценки это сделать проще — отчасти потому, что в настоящее время компания не требует наличия мониторинга отклонений при оценке моделей, сопоставимых с GPT-6 Luna, ввиду их более ограниченных возможностей. Это создаёт риск использования в настройках при работе Astra механизма обхода мониторинга, изначально предусмотренного для моделей класса Luna.

После случившегося компания обновила систему автоматической проверки (Auto-Review), использование которой уже является обязательным для всех внутренних задач Codex: теперь она способна обнаруживать и блокировать попытки отключения мониторинга отклонений. От проверяющего (человека-оператора) и раньше требовалось пресекать попытки обхода мер безопасности, а теперь он получает чёткие инструкции, гарантирующие корректное применение мониторинга отклонений.

Также ведётся работа над тем, чтобы для каждой категории рабочих нагрузок существовало обоснование безопасности (safety case), в котором прописаны требования к мониторингу. Рабочие нагрузки, для которых отсутствует такое обоснование или которые не соответствуют установленным для их категории требованиям, будут автоматически завершаться.

Вместе с тем разработчики стремятся понять, почему модели вообще могут пытаться это сделать. У компании пока нет объяснения такого поведения ИИ-агентов.

Тысячи приватных переписок и документов утекли из ИИ-агента Meta✴ Muse — функцию временно отключили

Meta✴✴ отключила на неопределённый срок функцию обмена данными с помощью персонального ИИ-агента Muse через веб-ссылки после того, как исследователи безопасности обнаружили критическую уязвимость. Оказалось, что приватные переписки и документы пользователей могли быть легко найдены посторонними лицами.

 Источник изображений: ChatGPT

Источник изображений: ChatGPT

Специалисты компании Claroc обнаружили около 6800 адресов страниц, созданных для обмена ссылками на переписку. Проверка показала, что некоторые из них вели к данным, которые владельцы явно не собирались публиковать. Среди находок были документы о подборе руководителей для крупной лаборатории ИИ, внутренний финансовый отчёт маркетинговой компании и заявка на банковский кредит с точно указанной суммой.

Другие страницы содержали сведения о возможном мошенничестве с банковским счётом, финансовую отчётность инвестора и годовой график отпусков сотрудников. В отдельных случаях документы раскрывали точные суммы доходов, ипотечных платежей, время банковской операции и адреса объектов недвижимости. График отпусков включал десятки имён и даты отсутствия работников.

Для поиска страниц исследователи использовали пассивный DNS (pDNS). При этом методе собираются сведения о доменах и сохраняется история их преобразования (разрешения) в IP-адреса, формируя базы, по которым можно искать информацию. Поскольку ссылки Muse размещались на домене cf.metaaiusercontent.com, а названия переписок становились частью поддомена, то их можно было найти в публичных базах данных DNS сразу после того, как кто-либо открывал такую ссылку.

В Claroc пояснили, что проблема связана не с самой публикацией материалов по ссылкам, а с особенностями формирования адресов. Обычно ссылку для совместного доступа должен передать сам пользователь, однако в случае Muse посторонние могли самостоятельно найти её через поисковые инструменты. Исследователи отметили, что на обнаружение тысяч адресов им потребовался всего один запрос.

Meta✴✴ подтвердила, что приостановила функцию после получения отчёта, а в заявлении для Ars Technica пояснила, что программа поиска уязвимостей Muse позволяет специалистам проверять разные сценарии использования продукта и сообщать о проблемах. Meta✴✴ пока не назвала сроки восстановления корректной работы функции.

Это не первый публично описанный инцидент, связанный с безопасностью Muse. Примерно через три недели после запуска ИИ-агента эксперт по безопасности macOS Патрик Уордл (Patrick Wardle) обнаружил уязвимость нулевого дня, позволявшую другому приложению на том же устройстве получить контроль над учётной записью пользователя Muse. Meta✴✴ тогда заявила, что для эксплуатации требовалось предварительно скомпрометировать устройство, однако исследователь также указывал на возможность захвата аккаунта с помощью атаки ClickFix.

Microsoft решила проблему, которую сама создала: защитой бизнеса от её ИИ займутся «агенты-хранители»

Microsoft представила новые функции безопасности, призванные защитить предприятия от угроз со стороны агентов искусственного интеллекта. Компания предлагает исходить из того, что они представляют собой «внутреннюю угрозу», а «передовым моделям нельзя доверять».

 Источник изображения: Simon Ray / unsplash.com

Источник изображения: Simon Ray / unsplash.com

Самым значимым нововведением стали «агенты-хранители» (Guardian Agents), осуществляющие мониторинг собственных ИИ-агентов компании. Новые средства реализуются в рамках программы Project Perception, ставшей ответом на появление новых инструментов кибербезопасности, таких как модели Anthropic Mythos и Fable, а также системы OpenAI Daybreak, предназначенной для поиска уязвимостей. В рамках Project Perception предусмотрены три класса агентов: Red Team имитируют действия хакеров, Blue Team обнаруживают атаки и оценивают выявленные уязвимости, а Green Team отвечают за их устранение.

Первоначально продукт разрабатывался исходя из предположения, что ИИ-хакерами выступают внешние злоумышленники. Однако генеральный директор Microsoft Сатья Наделла (Satya Nadella) предупредил, что угроза может исходить от тех самых ИИ-агентов, которых предприятия развернули за собственные деньги. Это своего рода недобросовестный сотрудник или «внутренняя угроза». Глава компании призвал перестать слепо доверять разработчикам ИИ-моделей, даже если они гарантируют безопасность своих агентных систем. Для наблюдения за ИИ-агентами и управления ими он предложил внедрять независимые системы, то есть не подконтрольные разработчикам этих агентов.

Руководитель подразделения Microsoft по вопросам безопасности Хайет Галло (Hayete Gallot) выразилась более прямолинейно: «К сожалению, передовым моделям, вне зависимости от их происхождения, доверять нельзя». Дело не в их злонамеренности или уязвимости перед взломом, а в непредсказуемости, предупредила она. Модели обучались выполнению конкретных задач, а не следованию «организационным нормам или принципам здравого смысла». Кроме того, им зачастую предоставляют полный доступ к критически важным ресурсам — данным и инструментам, с помощью которых можно нанести серьёзный ущерб.

Microsoft также добавила в систему Defender функцию обнаружения ИИ-агентов. Поддерживаются до 60 различных типов агентов, которые сотрудники могут использовать на рабочем месте, в том числе Claude Code, Codex и OpenClaw. В Windows появились инструменты, ограничивающие доступ к данным и системам и позволяющие динамически корректировать права доступа в зависимости от текущей задачи. Если действия ИИ-агента кажутся рискованными, может потребоваться одобрение человека.

Концепция, согласно которой ИИ-агенты рассматриваются как потенциально ненадёжные внутренние субъекты, постепенно распространяется по всей отрасли. Microsoft присоединилась к инициативе Open Agent Safety Platform, созданной Nvidia и поддержанной более чем сотней других технологических компаний. Платформа предполагает изоляцию агентов в защищённой среде, возможность отслеживать их поведение и при необходимости блокировать их на аппаратном уровне с помощью «аварийного выключателя».

Хакерам грозит безработица: ИИ-агенты освоили сложные кибервторжения без участия человека

За последние пару недель неустановленные хакеры взломали сайты более сотни компаний, среди которых оказались Deere, SharkNinja и Cummins. При этом сами киберпреступники практически не принимали участия в процессе. Они полностью переложили задачу по взлому на ИИ-агентов, которые автономно исследовали целевые сайты и проникали в их системы. Такой подход значительно расширил возможности злоумышленников.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

Ведущий исследователь угроз компании NorForge Снорре Фагерланд (Snorre Fagerland) сообщил, что обнаружил нескольких активных хакеров в ходе сканирования сети на предмет оставленных в открытом доступе экземпляров Cairn — платформы с открытым исходным кодом для решения задач с помощью ИИ, которая пользуется популярностью у киберпреступников. Со 2 октября Фагерланд выявил около двух десятков случаев использования Cairn в злонамеренных целях. Он утверждает, что доступные на рынке ИИ-агенты способны самостоятельно осуществлять сложные кибервторжения без участия человека.

Один из хакеров, за действиями которого наблюдал Фагерланд, при помощи автономных ИИ-агентов похитил массив данных кредитных карт. Другой попытался использовать их для ограбления криптовалютной биржи. Третий направил целую армию ИИ-агентов против сайтов электронной коммерции в США, Канаде, Австралии и Японии. К концу прошлой недели агенты предприняли попытки взлома более 1200 сайтов. В среднем на успешное проникновение уходило около 23 часов.

По оценкам Фагерланда, в ходе этой кампании (в которой, по-видимому, использовалось сочетание китайской модели DeepSeek и Claude Code от компании Anthropic) было израсходовано токенов примерно на $5000 — то есть около $50 на каждый успешный взлом. Фагерланд, работающий в сфере кибербезопасности почти три десятилетия, отметил, что был впечатлён некоторыми методами, которые агенты использовали для атаки на свои цели. «Придумать такие решения — задача не из лёгких, — уверен он. — Это совсем не уровень неопытных хакеров с готовыми инструментами».

В одном из случаев, не сумев найти уязвимости в общедоступном приложении крупной компании, ИИ-агенты проанализировали цифровые записи, чтобы обнаружить связанную с ним инфраструктуру. Они нашли открытую панель управления, выявили в ней неочевидный изъян при обработке данных и после долгих попыток и ошибок смогли заставить сервер выполнить вредоносные команды.

В компании Deere сообщили, что после инцидента были приняты «необходимые меры по устранению последствий», а признаки доступа к конфиденциальной информации отсутствуют. В SharkNinja заявили, что взлом затронул лишь отдельный сайт поддержки, а угроза была быстро нейтрализована. Cummins в настоящее время расследует сообщение о возможной кибератаке на сайт, управляемый одним из сторонних поставщиков. Факт взлома подтвердили ещё две компании, остальные пострадавшие на запросы не ответили.

Автор проекта Cairn, известный в социальных сетях под ником le1xia0, в недавней публикации в соцсети X подчеркнул, что эта платформа представляет собой «инновационный тип мультиагентной архитектуры» и «не была разработана для проведения хакерских атак». Использование Cairn преступниками для кибератак не входило в намерения разработчиков Cairn.

Способность автономных ИИ-агентов самостоятельно обнаруживать уязвимости, осуществлять вторжения и похищать данные вызывает растущую тревогу во всём мире. ИИ-агенты смогли выбраться за пределы исследовательских лабораторий, совершить взломы правительственных сайтов и предпринять попытки несанкционированной социальной инженерии. В последние недели Южная Корея и Япония столкнулись с рядом громких кибератак, в которых, как сообщается, были задействованы ИИ-инструменты.

ИИ-агенты все чаще становятся неотъемлемым инструментом в арсенале киберпреступников. В августе израильская компания Gambit Security сообщила, что вымогатели использовали ИИ-инструмент Cursor для проникновения в семь организаций. В сентябре специалисты Gambit зафиксировали серию атак с применением ИИ-агентов, в результате которых пострадали 25 компаний, а злоумышленникам удалось похитить данные как минимум 600 000 кредитных карт. На прошлой неделе компания Bitsight, занимающаяся киберразведкой, сообщила, что на форумах киберпреступников резко возросло число обсуждений того, как можно использовать автономных агентов.

Фагерланд отметил, что раньше полагал, будто ИИ-агентам, действующим в интересах хакеров, все равно потребуется хотя бы минимальный контроль со стороны человека. Теперь же, по его словам, очевидно, что технология шагнула далеко вперёд, а «развитие в этой области просто поразительно».


window-new
Soft
Hard
Тренды 🔥
Новая статья: Stygian: Outer Gods — лавкрафтианский кошмар. Опять. Рецензия 5 ч.
Бывший босс PlayStation объяснил, почему спустя 11 лет Sony так и не выпустила ни ремейк, ни сиквел Bloodborne 7 ч.
IPO на $1,5 трлн под угрозой: потенциальных инвесторов Anthropic напугал обвал акций IT-компаний 8 ч.
Paint оказался дырявым: уязвимость позволяет удалённо взламывать Windows 11 — Microsoft выпустила патч, но он не приходит 8 ч.
Кибератака полностью уничтожила облачную инфраструктуру Beget — хостинг-провайдер восстанавливает её с нуля 8 ч.
Еврокомиссия обвинила TikTok в затягивании пользователей в «кроличью нору» вредных видео 9 ч.
Битва игр года, новые номинации и возвращение старых: Valve раскрыла первые подробности The Steam Awards 2026 10 ч.
Браузер Vivaldi обновился — новый блокировщик рекламы, отсутствие слежки и полностью настраиваемый интерфейс 10 ч.
Следующей целью Суверенного фонда Саудовской Аравии после Electronic Arts стала Unity — переговоры уже начались 12 ч.
Microsoft готовит Windows 11 27H2 — крупное обновление системы 13 ч.
Новые смартфоны всё чаще комплектуют б/у памятью — перепаянная DRAM будет в 9 % гаджетов в следующем году 3 ч.
Tesla сообщила о планах по выпуску ИИ-ускорителей SI и Dojo 3 5 ч.
YMTC хочет выпускать передовую NAND почти без западных технологий — 70 % оборудования на новом заводе будет китайским 5 ч.
В Китае заработало крупнейшее в мире хранилище энергии на сжиженном воздухе 5 ч.
Apple насчитала 100 тыс. приложений, оптимизированных для iPhone Duo — многие из них всё ещё работают некорректно 5 ч.
Маск объявил о сворачивании производства Cybertruck: футуристический пикап не оправдал надежд Tesla 8 ч.
Электрический суперкар BYD разогнался до 503 км/ч — это мировой рекорд для серийных авто 8 ч.
TSMC может потеснить Samsung и SK hynix на рынке памяти — Nvidia подталкивает её к выпуску 3D DRAM 9 ч.
Преступники угнали шесть паллет с чипами Nvidia на сумму $11,4 млн и увезли их куда-то в продуктовом грузовике 10 ч.
Tesla замахнулась на 80-кратный прирост мощности ИИ-чипов и переименовала их в ускорители суперинтеллекта 10 ч.