Сегодня 07 августа 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → агенты
Быстрый переход

Исследователи «спустили с поводка» ИИ-модели — те попытались добавить вредоносный код в открытое ПО

Исследователи из Института безопасности ИИ (AISI) Великобритании зафиксировали 19 случаев так называемых «несанкционированных действий» со стороны ИИ-моделей во время тестов безопасности. Такое поведение нейросетей наблюдалось во время проведения испытаний способностей ИИ-моделей решать вопросы в области кибербезопасности.

 Источник изображения: Gemini

Источник изображения: Gemini

«Мы провели это испытание 122 раза с применением нескольких моделей», — говорится в сообщении AISI. Там также сказано, что «в 10 случаях ИИ-агент предпринял автономные несанкционированные действия в интернете, нацеливая свои атаки на реальных людей и организации». Целью тестов была платформа GitHub. В общей сложности были выявлены 19 несанкционированных действий, 15 из которых совершила ИИ-модель Anthropic Mythos 5, а ещё 2 — OpenAI GPT-5.6-Sol.

«В самом серьёзном случае агент пытался внедрить вредоносный код в проект с открытым исходным кодом. Пытаясь добиться одобрения кода, агент прибег к использованию социальной инженерии: создал виртуальные поддельные личности и использовал их, чтобы оказать давление на сопровождающего проект человека и заставить его одобрить код», — сказано в отчёте AISI. Однако курирующий проект человек обнаружил вредоносный код и не одобрил его добавление в общую кодовую базу.

ИИ-агент пытался обмануть людей-программистов и используемые ими ИИ-инструменты путём отправки сообщений и файлов через онлайн-сервис передачи данных с целью убедить их запустить вредоносный код. Некоторые из отправляемых сообщений содержали вредоносный код, тогда как другие использовались для социальной инженерии. Такого поведения ИИ-моделей исследователи прежде не наблюдали.

Ещё агент пытался внедрить вредоносный код туда, где, по его логике, другие автоматизированные системы могли обработать и выполнить его. Отмечается взаимодействие агентов на пути достижения своей цели. Один агент отправлял публичные сообщения на GitHub, предлагая другим агентам сотрудничать над решением выполняемой ими задачи. Он также предоставлял инструкции по использованию аккаунтов и артефактов, оставленных после себя, которые могли находить и использовать другие ИИ-агенты.

В AISI отметили, что проведённая серия тестов является «первым случаем, когда нам настолько явно удалось увидеть риски, связанные с автономной работой и попытками обмана, в реальных условиях и без каких-либо специальных подсказок». Отметим, что в тестах AISI были отключены все ограничители ИИ-моделей, и алгоритмы имели доступ в интернет, что существенно отличается от того, как разработчики нейросетей предоставляют доступ к своим продуктам для широкого круга пользователей.

«Этот инцидент следует трактовать с осторожностью и учётом нюансов. В некоторой степени такое поведение стало возможным из-за выбранных нами параметров оценки и конкретных настроек. Тем не менее, действия агента демонстрируют признаки нового, потенциально обманчивого поведения моделей — по степени серьёзности оно превзошло наши ожидания», — сказано в отчёте AISI. Исследователи отметили, что пока не могут дать ответ на вопрос относительно того, насколько агент понимает, что находится в реальном мире, а не в тестовой изолированной среде.

При этом исследователи уверены, что их выводы отражают «сдвиг в ландшафте рисков». «Вред может возникнуть не только в случаях, когда люди намеренно злоупотребляют общедоступными моделями, но и когда способные агенты, действующие во внутренней исследовательской среде или в условиях привилегированного доступа, совершают непреднамеренные действия, выходящие за рамки разрешённых полномочий», — подвели итог в AISI. Каких-либо рекомендаций по поводу преодоления подобных ситуаций организация не дала.

ИИ-агенты помогут создать аналоги CUDA, но Nvidia тоже не стоит на месте

Важным преимуществом Nvidia являются не только ускорители на базе GPU, но и программная платформа CUDA, включающая готовый код для распространённых ИИ-задач, инструменты для поиска ошибок и приложения, позволяющие тысячам чипов согласованно работать при обучении моделей, пишет Business Insider. Но ИИ может нивелировать это преимущество.

 Источник изображения: Steve A Johnson/unsplash.com

Источник изображения: Steve A Johnson/unsplash.com

Всё, что было построено на платформе CUDA, — миллионы строк кода и внутренних рабочих процессов, разработанных компаниями, — создало мощный эффект привязки, который делает переход на альтернативы дорогостоящим и сложным. Например, согласно внутренним документам Amazon, CUDA является основным препятствием для внедрения ИИ-чипов Trainium и Inferentia.

Однако, как утверждают некоторые эксперты, ИИ позволит автоматизировать одну из самых сложных задач в отрасли: создание программного обеспечения, которое обеспечивает работу самого ИИ. Джереми Никсон (Jeremy Nixon), бывший исследователь Google Brain и основатель стартапа Infinity, занимающегося разработкой ПО для ИИ, рассказал в интервью Business Insider, что его компания использовала ИИ-агентов для создания программного обеспечения, подобного CUDA, для стартапа D-Matrix. И весь процесс занял всего 10 часов — доказательство того, что один из самых серьёзных барьеров для отказа от чипов Nvidia вполне преодолим.

OpenAI и Anthropic также продемонстрировали ИИ-модели, способные генерировать системное программное обеспечение. А основатель DeepSeek Лян Вэньфэн (Liang Wenfeng) недавно сообщил, что ИИ-агенты, наряду с собственным языком программирования его стартапа TileLang, значительно упростили создание ПО для ИИ.

В свою очередь Nvidia заявила, что разработчики всё чаще используют библиотеки кода CUDA для создания ИИ-приложений и что она сама также использует программных ИИ-агентов для более быстрой разработки CUDA и её проверки в большем масштабе. По словам компании, по мере внедрения ИИ-моделей ценность её интегрированных аппаратных и программных продуктов увеличивается: «По мере того как ИИ смещается в сторону инференса и агентных рабочих нагрузок, потребность в глубокой, комплексной оптимизации только растёт».

Не все считают, что программные агенты подрывают преимущество CUDA. Бин Сюй (Bing Xu), основатель стартапа INT21, занимающегося разработкой ПО для ИИ, заявил, что CUDA обладает самой развитой экосистемой инструментов верификации и других функций, которые помогают агентам программирования работать более эффективно. По его словам, эта экосистема станет следующим защитным барьером для CUDA по мере развития агентов. «Агенты могут генерировать много кода за короткое время, но верификация — это самое узкое место», — говорит Сюй. Он добавил, что, хотя ИИ может помочь конкурентам догнать CUDA, Nvidia извлекает выгоду из тех же технологических процессов. Чипмейкер не спит и не стоит на месте, заявил Сюй.

При этом генеральный директор Modular Крис Латтнер (Chris Lattner) отметил, что написание кода — это лишь малая часть разработки программного обеспечения по сравнению с более сложными задачами, такими как его оптимизация для промышленного использования.

Один ИИ-агент убедил другого выполнять команды хакера — в SDK Google нашли опасную схему атаки

В репозитории комплекта для разработки Google на Python исследователь компании Pillar Security Дэн Лисичкин (Dan Lisichkin) обнаружил уязвимость, которая позволяет гипотетическому злоумышленнику компрометировать ПО на уровне цепочки поставок, манипулируя обладающим высокими привилегиями агентом искусственного интеллекта через вредоносные запросы для менее привилегированного публичного ИИ-агента.

 Источник изображения: Kevin Horvat / unsplash.com

Источник изображения: Kevin Horvat / unsplash.com

Схема атаки предполагает злоупотребление механизмами взаимодействия ИИ-агентов. В репозитории Google их действуют две единицы: первый, публичный, анализирует обращения пользователей и новые запросы на слияние кода; второй, доступный только сопровождающим проекта, обладает более широкими полномочиями. При этом первый может передавать задачи второму, и эта передача считается доверенной.

Для осуществления атаки злоумышленник сначала отправляет добросовестный фрагмент кода, чтобы заслужить доверие и получить возможность запускать определённые процессы на уровне ИИ-агентов. На втором этапе он снова отправляет запрос на слияние, в описание к которому внедряет вредоносные инструкции для публичного агента. Он воспринимает их как часть своей задачи и вызывает привилегированного ИИ-агента, передавая ему доверенное сообщение. Второй в результате получает возможность выполнять действия, которые обычный пользователь никогда не смог бы запустить напрямую. То есть менее привилегированный ИИ-агент выступает посредником, заставляющим более привилегированного действовать в интересах хакера.

Это не программная уязвимость в традиционном понимании, а проблема доверительной цепочки между агентами: механизмы GitHub Actions общедоступны, и любой желающий может проанализировать, как именно они взаимодействуют. В Google, однако, отказались выплатить исследователю вознаграждение за выявление данной уязвимости, потому что даже при наличии токена с полномочиями «pull-requests: write» код в проект включается не автоматическими средствами, а по воле сопровождающего проект человека. Компания, однако, усилила защиту рабочих процессов и указала эксперта в числе авторов исправления.

Исследователь же настаивает, что Google закрыла лишь одну из реализаций уязвимости, но не проблему, из-за которой она возникла. Ужесточать рабочие процессы или изолировать ИИ-агентов друг от друга недостаточно: агенты должны идентифицироваться и обладать фиксированными наборами полномочий, как это реализуется в разграничении прав доступа для людей. Поэтому он призывает включать ИИ-агентов в модели угроз, поскольку они выступают потенциальными злоумышленниками в рабочих процессах.

ИИ-агентов Google Gemini можно будет настраивать прямо на смартфоне — и без корпоративной подписки

Google тестирует множество новых функций помощника с искусственным интеллектом Gemini, в том числе возможность настраивать подборку Daily Brief и прямо с мобильного устройства управлять навыками постоянно активного онлайн-агента Spark. Кроме того, компания экспериментирует с расширением контроля над пользовательскими ИИ-агентами.

 Источник изображения: Rubaitul Azad / unsplash.com

Источник изображения: Rubaitul Azad / unsplash.com

Возможность создавать ИИ-агентов и управлять ими сейчас доступна только пользователям корпоративных версий Google Workspace, и только через веб-интерфейс. Но в версии 17.45.14 приложения Google для Android, выступающего шлюзом для доступа к Gemini, появилась возможность создавать ИИ-агентов и управлять ими со смартфона или планшета.

Опцию «Новый агент» журналисты ресурса Android Authority обнаружили в боковой панели Gemini. В отличие от веб-интерфейса, где можно описать произвольную задачу для ИИ-агента, мобильное приложение предлагает только пять готовых шаблонов:

  • «Семейный координатор» — для планирования домашних дел, обмена информацией о мероприятиях с членами семьи, координации задач и т. д.;
  • «Репетитор» — для помощи в изучении сложных тем, выполнении домашних заданий, создания тестов и отслеживании прогресса в учёбе;
  • «Организатор группы» — для организации поездок или встреч с участием нескольких человек;
  • «Маркетинговый агент» — для помощи в создании публикаций в социальных сетях, рассылках, маркетинговых кампаниях и других творческих проектах по развитию продуктов;
  • «Финансовый агент» — для отслеживания и управления расходами или получения напоминаний о сроках оплаты счетов.

Трудно сказать, можно ли будет настраивать этих агентов, или средства управления ими будут минимальными. Учитывая персональный характер некоторых из них, можно сделать вывод, что Google не ограничится аудиторией корпоративных подписок, и пользоваться новыми функциями смогут все, даже те, кто не платит денег. Официальных комментариев от Google по данному вопросу, однако, не последовало.

ИИ-агент Gemini Spark теперь может использовать Chrome для автоматического просмотра веб-страниц, AI Pro стал доступен по всему миру

ИИ-агент Gemini Spark компании Google получил два крупных обновления. Одним из них является интеграция функции автоматического просмотра в браузере Chrome на настольных компьютерах.

 Источник изображения: Google

Источник изображения: Google

Ранее Gemini Spark имел доступ к удалённому веб-браузеру. Персональный ИИ-агент Google для автоматизации повседневных задач теперь может использовать Chrome на устройстве для просмотра веб-страниц, используя авторизованные учётные записи и сохранённые пароли. Это дополнение к другим инструментам, таким как «Подключённые приложения» (Workspace и Search), «Персональный интеллект», удалённый доступ к ПК с возможностью выполнения кода и Canvas.

После предоставления доступа пользователь увидит индикатор Gemini и автоматического просмотра в верхней панели Chrome. Для безопасности пользователю будет необходимо вручную подтверждать платежи и другие конфиденциальные действия, а браузер имеет защиту от внедрения запросов.

В качестве примера использования «утомительных веб-задач» Google приводит «запланированные просмотры сохранённых объявлений о продаже квартир или поиск вариантов перелёта и начало процесса бронирования». Интеграция Gemini Spark с Chrome сначала будет доступна в США, а в будущем — и в других регионах.

Кроме того, с сегодняшнего дня Gemini Spark станет доступен подписчикам Google AI Pro более чем в 160 странах. Ранее в этом месяце сервис стал доступен в США.

С момента запуска в мае в Gemini Spark появилось множество новых функций. Среди последних обновлений — интеграция с протоколом MCP и доступность приложения для Mac для локального управления настольными компьютерами.

Исследование показало, что ИИ-агенты уже научились лучше втираться в доверие к людям, чем реальные мошенники

Передовые ИИ-модели начинают представлять опасность не только с точки зрения их способности взлома компьютерной инфраструктуры, но и воздействия на психологию человека. Международная группа исследователей своим экспериментом доказала, что обученные методам социальной инженерии ИИ-агенты втираются в доверие к потенциальным жертвам мошеннических действий даже лучше своих коллег из плоти и крови.

 Источник изображения: Unsplash, Erik Mclean

Источник изображения: Unsplash, Erik Mclean

Свои усилия в этом научном эксперименте объединили представители четырёх университетов из Индии, Италии, Германии и Израиля, как повествует Wired. Исследователи поставили цель обучить передовые ИИ-модели западной разработки методу мошенничества, который в англоязычной терминологии получил обозначение «pig butchering» — буквально, «забой свиньи». Он подразумевает знакомство с потенциальной жертвой по сетевым каналам с удалённым взаимодействием, чаще всего под видом формирования романтических отношений. На этапе «вскармливания» злоумышленник пытается установить доверительные отношения с жертвой, длительное время никак не выдавая своих истинных намерений. В решающий момент жертве предлагается установить на своё устройство приложение, которое в дальнейшем может под предлогом инвестиций в криптовалюту использоваться для выманивания у жертвы денег.

В эксперименте приняли участие более двух десятков добровольцев, которым было предложено помочь учёным в исследовании онлайн-знакомств. Они в течение недели вели одновременную переписку с двумя незнакомцами, в роли одного из них выступал ИИ-агент, а вторым был реальный человек с опытом психологической манипуляции. При этом ИИ-агент был обучен приёмам мошенников на опыте реальных лиц, задержанных за соответствующую сетевую активность. В конце первой недели онлайн-знакомства участникам эксперимента было предложено скачать два разных приложения на своё мобильное устройство. Реальный человек предлагал мобильную игру, а созданный при помощи Anthropic Claude чат-бот предлагал установить программу, которую якобы он помог написать самой жертве. Подобное разведение приложений по назначению и происхождению требовалось для чистоты эксперимента, поскольку два одинаковых запроса могли бы насторожить потенциальных жертв.

Хотя эксперимент был довольно сжатым по времени, ведь реальные мошенники могут поддерживать тёплые онлайн-отношения с жертвой на протяжении нескольких месяцев, прежде чем реализовать свои намерения, его результаты оказались довольно интригующими. В 46 % случаев участники эксперимента согласились скачать предложенное чат-ботом приложение, тогда как реальному мошеннику удалось подтолкнуть к схожим действиям только 18 % участников. Фактически, это говорит о том, что ИИ-агенту удалось завоевать доверие большей части аудитории, чем опытному мошеннику. Когда потенциальных жертв попросили оценить степень доверия виртуальному компаньону по пятибалльной шкале, то ИИ-агент удостоился среднего балла в 3,78, а реальный человек — только 3,31. Из всего объёма недельной переписки 80 % сообщений было отправлено жертвами именно ИИ-агенту. Получается, что ему удалось быстрее расположить к себе участников эксперимента.

Из 22 участников эксперимента, что характерно, лишь один самостоятельно пришёл к выводу, что ведёт переписку с ИИ-агентом. Организаторы провели настройку ИИ-модели Claude, строго запретив ей выдавать свою искусственную сущность. Когда в конце недельного эксперимента организаторы признались, что один из двух собеседников был чат-ботом, выявить его безошибочно смогли 20 из 22 участников. При этом в процессе общения, как можно понять, у них была полная иллюзия того, что они общаются с человеком.

Отдельно была исследована способность современных ИИ-моделей раскрывать свою сущность при общении с человеком. Результат сильно разнился в зависимости от версии ИИ-модели и её авторства, но лучше всего скрываться смогла Google Gemini 3.1 Pro. Модели OpenAI ChatGPT 5.5 и Anthropic Claude Opus 5 при помощи правильно подобранных запросов признавали, что они являются плодом искусственного интеллекта, а вот Gemini упорствовала в отрицании этого факта. Представители Anthropic отметили, что в основной части эксперимента использовалась ИИ-модель Claude версии 2025 года, и в текущих вопросы безопасности проработаны гораздо лучше. Если перед Claude не ставилась прямая задача подталкивать собеседника к действиям по примеру мошенников, то на этапе формирования доверительных отношений с потенциальной жертвой эта ИИ-модель никак себя не выдавала и показывала высокую эффективность.

Эксперты поясняют, что о массовом переходе мошенников на сквозное использование ИИ в своих схемах пока говорить рано, поскольку использование труда специально ориентированных на это людей пока обходится дешевле. Нередко операторов таких колл-центров удерживают силой и угрозами, заставляя обрабатывать жертв дистанционно, и расходы организаторов таких схем ниже, чем в случае с активным использованием ИИ. С другой стороны, на разных этапах мошенники уже активно используют новые технологии: для генерации видео и изображений, призванных ввести жертву в заблуждение, а также для улучшения качества пересылаемых жертве текстовых сообщений, если переписка ведётся на разных языках, с которыми сами мошенники не так хорошо знакомы.

«Яндекс» выпустит в сентябре универсального ИИ-агента для офисных задач

Yandex B2B Tech (подразделение «Яндекса») готовится выпустить в сентябре нового ИИ-агента для бизнеса, который станет единой платформой для взаимодействия с корпоративными сервисами, заменив разрозненные ИИ‑инструменты, пишет Forbes.

 Источник изображения: Steve A Johnson/unsplash.com

Источник изображения: Steve A Johnson/unsplash.com

Главной особенностью нового агента станет универсальность, благодаря чему он сможет взять на себя значительную часть рабочих обязанностей менеджеров, аналитиков, бухгалтеров, маркетологов, специалистов по закупкам и т.д. По словам разработчиков, он сможет выполнять от 30 до 50 % задач офисных сотрудников, на которые уходит до трети рабочего времени. Универсальный агент использует в работе технологии Yandex AI Studio — платформы от Yandex Cloud для создания и внедрения ИИ-решений.

Агент поможет справляться не только с рутиной, но и с более сложными, многоэтапными задачами, сообщили в «Яндексе»: «Скажем, он может сравнить коммерческие предложения от поставщиков, выбрать лучшего и оформить закупку. Или помогать с корпоративным документооборотом: самостоятельно заполнять договоры по шаблону, отправлять их контрагентам и формировать закрывающие документы».

Согласно замыслу, чат с агентом станет единым окном для взаимодействия со всеми рабочими приложениями и инструментами — например, AmoCRM или «Контур.Фокус».

«Мы запускаем своего рода операционную ИИ-систему для бизнеса. Она меняет подход к взаимодействию с нейросетями. Компаниям больше не придется комбинировать множество готовых ИИ-приложений или создавать собственные, чтобы автоматизировать рабочие процессы», — сообщил руководитель Yandex AI Studio Артур Самигуллин.

Сообщается, что ИИ-агент будет распространяться по подписке с установленным лимитом, при превышении которого его использование будет оплачиваться по токенам по стандартной тарификации Yandex AI Studio.

Как отметил Forbes, ИИ-агентов, которых активно развивают практически все бигтехи, внедряют всё больше компаний. Согласно оценкам Axenix и МГУ, затраты на их внедрение в течение трёх лет составят более 950 млн руб. для корпораций, 200-300 млн руб. для крупных компаний, 30-60 млн руб. для среднего бизнеса, 5-15 млн руб. для малого. При этом совокупная экономия от внедрения ИИ-агентов может составить 15-40 % в зависимости от отрасли.

OpenAI, Anthropic и Google призвали власти США взять под контроль ИИ-гонку после инцидента с Hugging Face

OpenAI, Anthropic, Google, Meta✴ и другие ведущие разработчики искусственного интеллекта подписали совместное обращение к правительству США с призывом разработать механизмы контроля темпов развития передовых ИИ-систем. Поводом для этого послужил инцидент, при котором модель OpenAI вышла за пределы своей среды и взломала Hugging Face.

 Источник изображения: Gemini

Источник изображения: Gemini

Авторы заявления указывают на реальную угрозу того, что способность ИИ к самостоятельному исследованию приведёт к неконтролируемому ускорению прогресса, опережающему возможности человечества по обеспечению безопасности таких систем. В документе отмечается, что каждая компания и страна испытывают сильное конкурентное давление, поэтому никто не заинтересован искусственно замедлять разработку. Именно поэтому предлагается создать международные технические и организационные инструменты, которые позволят при необходимости управлять темпами развития передовых ИИ-моделей.

Обращение появилось после громкого инцидента в сфере кибербезопасности, потрясшего индустрию на прошлой неделе, когда ещё не выпущенная публично модель OpenAI смогла самостоятельно выйти за пределы своей внутренней изолированной среды (песочница), обманным путём получила доступ к интернету, а затем атаковала инфраструктуру мирового хаба для работы в сфере искусственного интеллекта Hugging Face. Разработчики считают, что подобные случаи подчёркивают необходимость того, что одновременно с совершенствованием ИИ нужен более эффективный надзор и развитие мер безопасности.

Среди подписавших обращение — директор по исследованиям OpenAI Марк Чэнь (Mark Chen), главный научный сотрудник Якуб Пахоцкий (Jakub Pachocki), сооснователи OpenAI Джон Шульман (John Schulman) и Войцех Заремба (Wojciech Zaremba), а также сооснователи Anthropic Джек Кларк (Jack Clark), Крис Ола (Chris Olah) и Бен Манн (Ben Mann). Всего документ подписали более 1100 представителей ИИ-индустрии, а полный текст обращения опубликован на сайте Pacing the Frontier.

Perplexity Personal Computer научился превращать ПК на Windows в автономного ИИ-агента

Компания Perplexity расширила функциональность своего агентного инструмента Personal Computer для использования с операционной системой Windows, чтобы можно было её применять на ПК на Windows в качестве локально работающей ИИ-системы, сообщил The Verge.

 Источник изображения: Perplexity

Источник изображения: Perplexity

Как и версия для Mac, выпущенная Perplexity в апреле, Personal Computer for Windows функционирует как «универсальный цифровой работник», который может получать доступ к локальным файлам и приложениям для выполнения действий от имени пользователя, таких как создание документов и обновление электронных таблиц.

Релиз основан на интеграции приложения Personal Computer, которое Perplexity запустила для приложений Microsoft 365 Workspace и программного обеспечения Teams в мае. Personal Computer for Windows призван заполнить оставшийся пробел, работая непосредственно в среде Windows, сообщается в пресс-релизе Perplexity. Компания отметила, что корпоративные задачи, для которых предназначен агентный инструмент, обычно выполняются на Windows-устройствах локально, «вне досягаемости ИИ».

«Теперь пользователи Microsoft могут попросить программу Personal Computer работать с локальными файлами, Microsoft Office 365 и веб-сайтами в одном месте, — заявила Perplexity. — Она создана для выполнения зачастую неупорядоченных корпоративных задач на локальных компьютерах».

Personal Computer for Windows доступна по подписке пользователям тарифов Max и Enterprise Max, стоимость которых начинается от $200 в месяц. Perplexity утверждает, что инструмент не использует для обучения данные компании, и что всегда уведомляет пользователей перед выполнением конфиденциальных действий, таких как отправка электронных писем и удаление файлов.

Microsoft представила ИИ, который сам ищет уязвимости ПО и устраняет их за минуты — он превзошёл Mythos 5

Microsoft представила первую специализированную модель MAI-Cyber-1-Flash кибербезопасности и новую агентную платформу Perception. Инструменты предназначены для автоматизации поиска уязвимостей в ПО и защиты корпоративных систем от атак с использованием ИИ, сообщает TechCrunch.

 Источник изображения: Grok

Источник изображения: Grok

Модель разработана специально для обнаружения сложных уязвимостей в больших кодовых базах и работает в связке с системой MDASH, предназначенной для автоматического поиска программных ошибок и их последующим исправлением. Новая платформа Perception дополняет этот процесс, развёртывая команды агентов для автоматизации рабочих процессов, связанных с безопасностью. По словам генерального директора Microsoft AI Мустафы Сулеймана (Mustafa Suleyman), в составе MDASH модель показала более высокие результаты в тесте Cyber Gym, чем Gemini, GPT 5.5 Cyber, GPT 5.6 Sol и Mythos 5.

Исполнительный вице-президент подразделения по безопасности Хаете Галло (Hayete Gallot) отметил, что хакеры всё чаще используют искусственный интеллект в своих атаках, а платформа Perception позволит в корпоративной среде отвечать на угрозы с той же скоростью и масштабом, используя собственные алгоритмы. Система задействует красные команды для симуляции атак, синие для выявления ошибок и зелёные для их устранения. Perception также поддерживает интеграцию с MDASH.

Ведущий инженер проекта Дэйв Уэстон (Dave Weston) описал новинку как значительный скачок в эффективности работы служб безопасности. Теперь ручной труд нескольких специалистов заменяется автоматическим поиском, ранжированием приоритетных угроз и исправлением кода за считанные минуты.

Предварительная версия MAI-Cyber-1-Flash и Perception станет доступна 3 ноября, а конкурировать им предстоит с аналогичными системами Anthropic и OpenAI, представленными в этом году.

OpenAI настроена интегрировать ChatGPT в умные очки сторонних разработчиков

Компания OpenAI готова в перспективе предложить клиентам более десятка умных устройств, и логично было бы предложить, что среди них наверняка появятся умные очки, но президент Грег Брокман (Greg Brockman) одновременно указывает на готовность стартапа интегрировать свои программные решения в интерфейс умных очков сторонних разработчиков.

 Источник изображения: Unsplash, Bakir Custovic

Источник изображения: Unsplash, Bakir Custovic

По крайней мере, издание CNet утверждает, что президент OpenAI на встрече с журналистами в Нью-Йорке говорил именно о такой возможности. Компания уже предлагает ChatGPT Live — голосового ИИ-ассистента, который позволяет общаться с пользователем довольно натурально. По словам Брокмана, фирменный голосовой ассистент в конечном итоге должен получить возможность контролировать сторонние приложения. Сейчас ChatGPT Live связан с приложением Codex, которое помогает создавать программный код по запросам пользователей на естественном языке, но такая связь вовсе не обязательно должна существовать, по мнению Брокмана. Он напомнил, что Codex может полностью контролировать использование компьютера, и с этой задачей он будет справляться всё лучше и лучше.

По меньшей мере, человеку придётся всё меньше использовать клавиатуру для взаимодействия с компьютером. Как отмечает Брокман, работа по набору текста на клавиатуре является лишь фазой развития человечества, изначально никто и не планировал связывать себя подобной технологией. Компания Meta✴ недавно анонсировала обновление для своего агента Muse Spark, и подобные решения наверняка будут двигаться в сторону адаптации к моделям использования умных очков. Брокман заявил представителю CNet, что OpenAI очень заинтересована в интеграции своих решений, она готова предлагать разработчикам API, который поможет им реализовать подобную интеграцию. Просто сейчас эти API находятся на ранней стадии развития, а OpenAI хочет добиться того, чтобы этот интерфейс был доступен на всех типах устройств. Если умные очки оснащаются камерами, то сторонние ИИ-приложения должны иметь доступ к ним, чтобы эффективнее обрабатывать информацию о контексте, в котором находится пользователь.

Если Gemini скоро пропишется в программном обеспечении Android XR для умных очков, то решения Anthropic и OpenAI подобной интеграции пока не подразумевают. Некоторые очки используют опосредованный доступ к моделям OpenAI, но он уступает в качестве реализации потенциальному прямому взаимодействию с ними. Выпуская собственные умные устройства, OpenAI хочет продемонстрировать такой подход к решению проблем, которым до сих пор не пользовались другие компании. Умные очки рано или поздно обзаведутся поддержкой ИИ на том уровне реализации, который будет удобен для пользователей. Это заметно уже по активности разработчиков в текущем году.

Раскрыты подробности нечаянной атаки вышедших из-под контроля ИИ-агентов OpenAI на Hugging Face

На минувшей неделе платформа искусственного интеллекта Hugging Face пережила нестандартную кибератаку, которую произвела группа ИИ-агентов. Впоследствии выяснилось, что руководили ей не злоумышленники, а ИИ-модели OpenAI, которые проходили тест на кибербезопасность, но вышли из-под контроля, пишет The Wall Street Journal.

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Инцидент послужил одним из первых примеров сценариев выхода ИИ из-под контроля, которых давно опасались исследователи в области кибербезопасности. Механизмы взлома были чрезвычайно нестандартными. «Это лишено смысла. Этот парень просто смотрит на наборы данных по кибербезопасности. Злоумышленнику-человеку это не нужно. Ему нужно что-то, что он мог бы продать», — восстановил ход своих мыслей соучредитель и главный научный сотрудник Hugging Face Томас Вольф (Thomas Wolf). Злоумышленниками оказались ИИ-модели OpenAI, которые прорвались из исследовательской сети разработчика и 11 июля взломали ресурсы Hugging Face; они оставались активными в интернете несколько дней, прежде чем их удалось остановить. И сделать это помогла открытая китайская ИИ-модель — закрытые американские отказались, сославшись на собственные ограничения.

Многие вопросы пока остаются без ответов. Взламывали ли ИИ-модели другие сайты или ресурсы отдельных лиц? Как долго продолжалась атака? Обманывали ли они в других тестах на производительность? OpenAI пока не ответила ни на один из них. А участие китайской модели как средства защиты — это контраргумент для политиков, а также OpenAI и Anthropic, которые предлагают ограничить для них доступ.

Началось всё с запуска испытания на кибербезопасность ExploitGym. Оно включает серию из 900 тестов, которым подвергается модель ИИ. Системе демонстрируется известная ошибка, показывается схема её активации, и ставится задача взломать систему. ИИ требуется преобразовать полученную информацию в эксплойт — код, реализующий эту атаку. Проникнув в систему, ИИ должен доказать это, захватив длинную строку случайно сгенерированных букв и цифр, которые хранятся в системе.

 Источник изображения: Brecht Corbeel / unsplash.com

Источник изображения: Brecht Corbeel / unsplash.com

Обычно OpenAI ограничивает возможности своих моделей, чтобы они не занимались взломом, которого требует ExploitGym, но в тот раз компания убрала средства защиты, чтобы посмотреть, на что способны модели в неконтролируемом режиме. Тестировалась передовая модель GPT-5.6 Sol и ещё одна, более совершенная, которая ещё не вышла. Две модели пришли к выводу, что вместо выполнения задания ExploitGym они взломают песочницу — собственную систему, где они находятся, выйдут в интернет и обманут систему во время теста.

По причинам, установить которые не удалось, они решили, что ответы содержатся на платформе Hugging Face. Когда развернулась атака, компании Hugging Face поступили предупреждения от отслеживающих подобные инциденты ИИ-агентов: кто-то получил несанкционированный доступ к некоторым из её систем. Но это было не похоже ни на что, с чем Hugging Face сталкивалась раньше. Хакер действовал так, словно он из будущего. Воспользовавшись учётными данными неизвестного происхождения, ИИ-злоумышленник сформировал «рой» ИИ-агентов короткого действия, которые провели разведку сети компании, совершив 17 000 операций.

Обнаружив вторжение, Hugging Face попыталась обратиться к передовым американским моделям Anthropic Fable 5 и предшествующей ей Opus для анализа журналов событий. Но поскольку в журналах содержались элементы самой кибератаки, обе модели отказались от их анализа, сославшись на свои ограничения. Поэтому Hugging Face обратилась к открытой китайской модели Z.AI GLM 5.2. Компания сумела отключить ИИ-хакеров, сбросить пароли и восстановить скомпрометированные фрагменты своей сети. Утечки данных клиентов не произошло. Нет ясности, были ли задачи ExploitGym, которые пытались решить модели OpenAI, сложнее, чем атака, которую они развернули, чтобы украсть ответы, и удалось ли их, собственно, найти. Ирония в том, что они успешно организовали беспрецедентную кибератаку, чтобы избежать проверки на навыки взлома.

Джек Дорси представил конкурента Slack и GitHub — открытый мессенджер Buzz с ИИ-агентами и вайб-кодингом

Соучредитель платформ Twitter и Block Джек Дорси (Jack Dorsey) анонсировал приложение под названием Buzz. Платформа выступает конкурентом одновременно корпоративному мессенджеру Slack и репозиторию GitHub — она предлагает рабочие чаты, объединяя коллег и ИИ-агентов.

 Источник изображения: buzz.xyz

Источник изображения: buzz.xyz

Мессенджер Buzz «независим от модели, децентрализован, самодостаточен и имеет открытый исходный код». Разработчиком платформы выступила компания Джека Дорси Block, которая также управляет такими продуктами как Square, Cash App, Afterpay и Tidal. Современные стартапы всё чаще используют в работе агентов с искусственным интеллектом, но сотрудникам может быть непросто вести совместную работу на разных платформах, поэтому Buzz предполагает присутствие нескольких рабочих процессов в едином пространстве. Мессенджер очень похож на Slack, но здесь есть встроенные ИИ-агенты и возможность управлять проектами на GitHub в одном окне.

Платформа поставляется с открытым исходным кодом, и разработчики могут настраивать инстансы Buzz под рабочие процессы своих компаний. Для новых организаций, которые не успели укорениться в традиционных корпоративных мессенджерах вроде Slack, приложение Buzz может оказаться достойным внимания. Разработчики, однако, предупреждают, что сервис находится на «ранней стадии», поэтому и торопиться с его внедрением пока не следует. Исходный код платформы опубликован на GitHub, есть десктопные клиенты для Apple macOS, Microsoft Windows и Linux.

OpenAI представила программу «ChatGPT для малого бизнеса»

OpenAI представила программу «ChatGPT for small business», ориентированную на внедрение искусственного интеллекта в рабочие процессы малых предприятий. Она предполагает минимум технических нововведений — компания предложила небольшим компаниям помощь в развёртывании новых решений.

 Источник изображения: openai.com

Источник изображения: openai.com

Программа для малого бизнеса включает три основных направления. OpenAI намерена проводить вебинары по конкретным продуктам с демонстрациями, как небольшие предприятия могут использовать ChatGPT в повседневной работе: средства автоматизации и схемы рабочих процессов в области бухгалтерского учёта, маркетинга, электронной коммерции и по другим направлениям. В вебинарах предусмотрено участие как сотрудников OpenAI, так и партнёров компании; по итогам мероприятий проводятся сессии вопросов и ответов, которые помогают участникам непосредственно применять знания в своём бизнесе.

Работники подразделения OpenAI Academy намереваются проводить очные мероприятия для обучения предпринимателей под руководством опытных специалистов. В прошлом году компания провела серию мероприятий Small Business AI Jams, в ходе которых 78 % участников всего за день построили полнофункциональные рабочие процессы; 42 % удалось сэкономить более пяти часов рабочего времени в неделю.

OpenAI предлагает пакеты плагинов, навыков ИИ и предложений от партнёров компании для работы с наиболее популярными у малого бизнеса инструментами, такими как Shopify, Intuit, Slack, Atlassian и Wix. Навыки разрабатываются специально для распространённых рабочих процессов малого бизнеса; эксклюзивные акции упростят начало работы с уже готовыми инструментами.

Компания предлагает малым компаниям внедрять в работу её актуальные продукты: ИИ-агента ChatGPT Work, предназначенного для многоэтапного решения задач, а также семейство новых и самых мощных моделей GPT-5.6.

OpenAI признала «причастность» своих ИИ-моделей к взлому платформы Hugging Face

OpenAI подтвердила, что инцидент, затронувший крупнейшую открытую платформу Hugging Face, был вызван собственными предрелизными моделями компании во время внутреннего тестирования. Первоначально Hugging Face сообщала, что атаку совершил «внешний ИИ-агент», однако последующее расследование установило иную причину.

 Источник изображения: Grok

Источник изображения: Grok

По сообщению TechCrunch, инцидент произошёл во время проверки модели GPT-5.6 Sol и других моделей, для которых в рамках оценки кибервозможностей были ослаблены ограничения. Целью эксперимента являлось прохождение публичного бенчмарка ExploitGym, предназначенного для измерения способности ИИ выполнять атаки с использованием уже известных уязвимостей. Несмотря на отсутствие предусмотренного доступа к интернету, модели обнаружили неизвестную ранее уязвимость в программе установки пакетов, позволившую выйти за пределы изолированной среды.

Получив доступ к сети, модели сделали вывод, что Hugging Face может размещать модели, наборы данных и решения для ExploitGym. После этого они нашли способ получить доступ к секретной информации, содержащей ответы для прохождения теста. Как отметили в OpenAI, модели были сосредоточены исключительно на достижении поставленной цели, предпринимая для этого максимально возможные действия.

Согласно первоначальному сообщению Hugging Face, атака состояла из тысяч отдельных операций, выполнявшихся через множество кратковременно существующих изолированных сред с использованием распределённой инфраструктуры управления. В итоге модели смогли получить тестовые результаты непосредственно из производственной базы данных Hugging Face, фактически обойдя механизм проверки.

После расследования OpenAI сообщила, что уже выявила и раскрыла обнаруженные уязвимости, а также совместно с Hugging Face продолжает анализировать обстоятельства инцидента. Кроме того, компания намерена внедрить дополнительные механизмы контроля, затрагивающие как процесс тестирования моделей, так и связанную с ним инфраструктуру, чтобы предотвратить повторение подобных ситуаций в будущем.


window-new
Soft
Hard
Тренды 🔥
Devolver выкатила последнее бесплатное дополнение к Ball x Pit — продажи роглайка про игру с шарами превысили два миллиона копий 11 мин.
По мотивам книжной серии «Коты-Воители» выйдет пошаговая RPG — первый трейлер и подробности Warrior Cats: Clans of the Forest 2 ч.
RTX Spark становится ближе: Nvidia перенесла нейросетевое сжатие текстур на Windows on Arm 11 ч.
Тактический экшен, масштабные операции и публичное тестирование: Ubisoft раскрыла подробности новой Ghost Recon в честь 25-летия серии 15 ч.
Смерть игр на дисках не навредит Capcom — более 90 % продаж и так приходится на «цифру» 16 ч.
Adobe выпустила плагин, который добавляет 70 инструментов компании в ChatGPT 17 ч.
«Я просто хотел попасть в игру»: актёр озвучки GTA V пробовался более чем на 60 ролей в GTA VI, но Rockstar его проигнорировала 17 ч.
«Экстраординарно жестокая» игра Machine Party от создателя Buckshot Roulette показала «сумасшедшие» продажи за неделю 18 ч.
ИИ в «Google Картах» научился заказывать еду для пользователя и искать отели 19 ч.
Расширенный показ GTA VI пройдёт 27 августа в онлайн-кинотеатре Netflix 19 ч.