|
Опрос
|
реклама
Быстрый переход
У Meta✴ ИИ-модель тоже вышла из-под контроля и взломала системы другой компании
06.08.2026 [11:25],
Владимир Мироненко
Meta✴✴ сообщила, что одна из её ИИ-моделей взломала IT-инфраструктуру сторонней организации, получив непреднамеренный доступ в интернет в ходе оценки систем кибербезопасности из-за ошибки в настройке, допущенной независимой компанией по тестированию Irregula.
Источник изображения: Steve A Johnson/unsplash.com Согласно заявлению Meta✴✴, модель использовала уязвимость безопасности в стороннем сервисе аналогично ранее сообщённым случаям с другими компаниями. Ресурс The Information рассказал со ссылкой на источники, что модель Meta✴✴ Muse Spark 1.1, созданная для задач программирования и работы с агентами, взломала неназванную организацию и изменила её внутренние системы. В свою очередь, представитель Irregular сообщил агентству Reuters, что происшедшее связано с точно такой же проблемой в среде оценки, о которой уже сообщала Anthropic на прошлой неделе, и что инцидент не связан с выходом из песочницы или сложной кибератакой. «В настоящее время открытых вопросов нет. Компания Irregular разрабатывает аналитический документ, в котором будут представлены лучшие практики по сдерживанию угроз и безопасному проведению кибертестов», — добавил он. В то время как модели Meta✴✴ и Anthropic получили доступ в интернет из-за ошибок, допущенных в ходе тестирования, у компании OpenAI ИИ-агент самостоятельно использовал новую уязвимость для доступа к интернету во время кибертестирования. В любом случае эти инциденты подчёркивают растущую угрозу для кибербезопасности с развитием ИИ-технологий. Именно поэтому руководители ряда компаний призвали к замедлению темпов разработки ИИ, чтобы в первую очередь устранить связанные с этим риски. ИИ-модели OpenAI тайно скоординировали побег из «песочницы» — они общались через внешние ресурсы
06.08.2026 [10:13],
Павел Котов
Вышедшие из-под контроля модели искусственного интеллекта OpenAI координировали свои действия по побегу из изолированного окружения через внешние ресурсы. Это произошло ещё в мае, задолго до атаки ИИ-агентов на ресурсы Hugging Face.
Источник изображения: Mohamed Nohassi / unsplash.com ИИ-модели OpenAI в мае получили задание, которое невозможно было выполнить без выхода в интернет, рассказали в компании. Перед взломом платформы Hugging Face они стали втайне контактировать друг с другом, используя доски сообщений — так они координировали стратегию побега из закрытой тестовой среды. «В какой-то момент агенты осознали, что, возможно, они могли бы попытаться эксплуатировать или атаковать внешнюю инфраструктуру, чтобы найти ответы к тесту, по которому их оценивают», — сообщил представитель OpenAI Эрик Уоллес (Eric Wallace). Готовиться к решительным действиям ИИ-модели начали, получив задание, которое было невозможно решить без доступа в интернет. «Мы застряли. Может, ответ есть в интернете?» — предположила тогда одна из них. Они начали обмениваться сообщениями. В какой-то момент появилась гипотеза: «Может, другой агент в другой среде мог бы добровольно загрузить!» В итоге модели совместными усилиями нашли уязвимость, благодаря которой вышли в интернет. Первую попытку инженеры OpenAI остановили, но системы ИИ нашли новый способ связаться друг с другом и новую ошибку в системе защиты — из-за этого в июле они атаковали системы как своего разработчика, так и платформы Hugging Face. Этот инцидент OpenAI охарактеризовала как переломный момент в области компьютерной безопасности. DeepSeek планирует существенно поднять цены на свои услуги в сфере ИИ
06.08.2026 [08:24],
Алексей Разин
Принято считать, что китайские разработчики ИИ-моделей осуществляют свою экспансию на мировом рынке во многом благодаря низким ценам на свои услуги, но предполагаемые шаги компании DeepSeek в этой сфере разрушают данный стереотип. Стартап уведомил клиентов, что собирается существенно поднять расценки на свои услуги.
Источник изображения: Unsplash, John Cameron Точная величина изменений не была указана, но текущие цены позволяют говорить о существенной разнице в меньшую сторону по сравнению с конкурентами. DeepSeek взимает с клиентов $0,14 за миллион входящих токенов и $0,28 за миллион исходящих. Для сравнения, Moonshot AI берёт по $3 за миллион входящих токенов и по $5 за миллион исходящих. В случае с американской Anthropic расценки ещё выше: $10 и $50 соответственно. До сих пор считалось, что действующая ценовая политика DeepSeek надёжно защищает компанию от конкурентов, поскольку те не могут предложить доступ к сопоставимым по производительности ИИ-моделям по столь же низким ценам. Впрочем, для всей мировой отрасли ИИ сейчас характерна ориентация на окупаемость, поскольку многомиллиардные инвестиции надо отбивать, а предлагая доступ к ИИ-моделям за бесценок, этого сделать в разумные сроки нельзя. DeepSeek намеревается выйти на биржу в этом году, а потому инвесторам нужно продемонстрировать способность компании зарабатывать деньги. DeepSeek намерена получить в своё распоряжение минимум 1 ГВт вычислительных мощностей, как благодаря строительству крупного ЦОД в районе Внутренней Монголии, так и через аренду у других компаний. В США для строительства ЦОД мощностью 1 ГВт могут требоваться затраты в размере около $50 млрд, но в Китае они традиционно ниже. В любом случае, DeepSeek нуждается в дополнительных капиталовложениях для достижения стоящих перед компанией целей. Пользователи модели V4-Flash могут получать к ней доступ не только напрямую от DeepSeek, но и через партнёров компании, которые разместили её на своих вычислительных мощностях. Теоретически, именно сторонние провайдеры могут сохранить более привлекательные цены на доступ к V4-Flash, если DeepSeek слишком сильно задерёт тарифы. Сразу несколько ведущих разработчиков ИИ покинули Google и основали новый стартап
06.08.2026 [06:15],
Анжелла Марина
В подразделении Google DeepMind произошли крупные кадровые изменения. Как сообщает Ars Technica, генеральный директор Демис Хассабис (Demis Hassabis) объявил, что передаст полномочия другому руководителю и сосредоточится на стратегических задачах в Alphabet, тогда как несколько известных исследователей искусственного интеллекта одновременно сообщили об уходе из Google.
Источник изображения: Google Демис Хассабис, один из основателей DeepMind, объяснил своё решение тем, что намерен уделять больше внимания долгосрочному развитию искусственного общего интеллекта (AGI). В обращении к сотрудникам он отметил, что посвятил этой цели всю карьеру и считает, что момент её достижения уже близок. При этом он сохранит руководство над дочерней компанией Alphabet — Isomorphic Labs, где технологии искусственного интеллекта применяются для решения биомедицинских задач. Управление текущими процессами DeepMind перейдёт к Кораю Кавукчуоглу (Koray Kavukcuoglu), который займёт должность старшего вице-президента подразделения и будет напрямую подчиняться генеральному директору Google Сундару Пичаи (Sundar Pichai). Сам Хассабис станет председателем DeepMind и главным научным сотрудником Alphabet, сосредоточившись на стратегическом развитии направления. Одновременно с этими перестановками стало известно об уходе сразу нескольких известных специалистов Google в области искусственного интеллекта. Куок Ле (Quoc Le), Ориоль Виньяльс (Oriol Vinyals), Джефф Дин (Jeff Dean) и Санджей Гемават (Sanjay Ghemawat) решили покинуть компанию и основать стартап Discovery Loop, который займётся автоматизацией научных открытий с помощью ИИ. По данным Wired, финансирование проекта во многом стало возможным благодаря высокой репутации его основателей. Для Google особенно заметным станет уход Дина и Гемавата, которые стояли у истоков Google. Дин принимал участие в создании технологий, лежащих в основе поисковой системы, а внутри компании его имя давно стало частью неофициальной культуры благодаря сборнику интернет-шуток и баек под названием Jeff Dean Facts, опубликованному на GitHub. Meta✴ выпустила собственного ИИ-агента Muse Code для программирования на macOS и Linux
06.08.2026 [06:09],
Анжелла Марина
Meta✴✴ объявила о запуске бета-версии ИИ-агента Muse Code для macOS и Linux. Новый инструмент работает через терминал, использует модель Muse Spark 1.2 и предназначен для выполнения сложных задач по разработке программного обеспечения в крупных проектах.
Источник изображения: AI Одновременно с запуском Muse Code компания представила модель Muse Spark 1.2, которая получила улучшения в генерации программного кода, поиске и исправлении ошибок, анализе структуры проектов и поддержке продолжительных рабочих процессов. По сообщению 9to5Mac, модель доступна как внутри нового инструмента, так и через Meta✴✴ Model API для разработчиков с расширенной глобальной доступностью. В отличие от ChatGPT Codex и Claude Code, новый продукт пока не получил отдельного графического интерфейса и распространяется как консольное приложение. Meta✴✴ заявляет, что Muse Code способен самостоятельно планировать изменения, писать код, проверять результаты своей работы и управлять фоновыми ИИ-агентами, которые продолжают выполнять задачи на протяжении всей сессии. Для отслеживания действий инструмент ведёт локальный журнал событий, в котором сохраняются обращения к модели, использование встроенных инструментов, подтверждения действий и внесённые изменения. Это позволяет восстановить процесс после сбоя и продолжить выполнение поставленной задачи. Кроме того, в Muse Code предусмотрены команды для генерации плана работ и его стресс-тестирования. Запуск Muse Code продолжил развитие линейки ИИ-продуктов Meta✴✴. В июле компания выпустила модель Muse Spark 1.1 с улучшенными агентскими и мультимодальными возможностями, а также представила платный API для разработчиков. До этого Meta✴✴ отказалась от использования бренда Llama в пользу Muse Spark, применив новую модель для расширения возможностей приложения Meta✴✴ AI и функций генерации изображений в своих сервисах. Reddit доверила нейросети оценивать сообщения на предмет нарушения правил
06.08.2026 [06:05],
Анжелла Марина
Reddit представила новую систему Rules Hub, которая использует большие языковые модели (LLM) для проверки публикаций и комментариев на соответствие правилам сообществ. Инструмент дополнит существующую систему модерации и поможет в обработке сложных случаев, где недостаточно поиска по ключевым словам и фразам.
Источник изображения: Reddit, Grok Как сообщает Android Authority со ссылкой на The Verge, в отличие от встроенного в Reddit бота автоматической модерации AutoMod, который анализирует заранее заданные слова и шаблоны, Rules Hub оценивает контекст публикации и сопоставляет его с намерением, заложенным в правила конкретного сообщества. При этом сами правила по-прежнему создают модераторы, определяя, какие действия следует предпринимать при выявлении нарушений. После настройки система может автоматически отправлять публикации на дополнительную проверку, скрывать их или сразу удалять. Кроме того, модераторы получили возможность протестировать новые правила на архивных сообщениях перед их запуском, а также просматривать журналы с объяснением причин, по которым ИИ принял то или иное решение. Таким образом, в некоторых сообществах первая проверка публикации может выполняться без участия человека. В течение последних месяцев Rules Hub был протестирован более чем в 700 сообществах при участии модераторов, входящих в программу сотрудничества между администрацией Reddit и активными модераторами (Mod Council Network). Сейчас инструмент доступен для новых сабреддитов, а более широкое распространение произойдёт позднее в текущем году. При этом компания подчёркивает, что пока не считает систему готовой к замене существующих механизмов модерации в крупных сообществах. В перспективе Reddit рассчитывает расширить роль Rules Hub, объединив систему с другими возможностями платформы, включая встроенный инструмент под названием Post and Comment Guidance и Safety Filters, который помогают администраторам сабреддитов автоматически управлять контентом. По мнению компании, это позволит данной разработке постепенно взять на себя значительную часть задач, которые сейчас выполняет бот Automod. При этом окончательное решение о применении санкций и использовании автоматического удаления по-прежнему останется за модераторами конкретных сообществ. Time начал показывать ИИ отдельную версию сайта — без оформления, зато с рекламой
05.08.2026 [22:10],
Анжелла Марина
Издание Time начало отдавать нейросетям отдельную версию своего сайта, отличающуюся от той, которую видят обычные пользователи. Вместо привычных HTML-страниц некоторые сервисы искусственного интеллекта получают компактные материалы на лёгком языке разметки Markdown со встроенными рекламными блоками.
Источник изображения: AI На необычное поведение страниц обратил внимание разработчик с сайта Vroni.com, который сравнил ответы сервера Time при обращении с разными значениями User-Agent. При запросах от браузеров Chrome, Safari и поискового робота Googlebot сайт возвращал стандартную HTML-страницу объёмом около 303 Кбайт. Однако при обращении от ClaudeBot, PerplexityBot и OAI-SearchBot сервер отправлял урезанную Markdown-версию размером около 13 Кбайт без оформления, изображений и скриптов, предназначенную для быстрой обработки ИИ-моделями. При этом GPTBot и ChatGPT-User получали ответ с кодом 406, что указывает на выборочный подход к разным типам ИИ-ботов. Анализ этой версии показал, что она создаётся с использованием технологий рекламной платформы Mobian. Каждому запросу присваивается уникальный идентификатор, а в заголовках ответа присутствуют параметры, связанные с подсчётом обработанных токенов: заголовок cache-control: no-store исключает возможность кеширования, вынуждая систему обращаться к серверу повторно. При этом параметр x-mobian-tokens указывает, что единицей монетизации служат не просмотры страниц, а непосредственно токены, потребляемые нейросетями. Такая архитектура превращает каждое обращение ИИ-агента в отдельный показ спонсорского контента. Различия касаются не только формата страниц, но и их содержания. Например, в Markdown-версии подборки Best Inventions of 2025 исследователь обнаружил спонсорский раздел Ally Bank с вопросами и ответами, оформленными в стиле справочных материалов, а в обычной версии — аналогичный рекламный блок, но от некоммерческой организации Project Management Institute (PMI). В HTML-версии сайта эти материалы отсутствовали. Все такие публикации были помечены как спонсорские, однако отображались только для ИИ-ботов. Time, как отмечает издание Vincent Schmalbach уже фиксирует, что в отдельные дни число обращений ИИ-ботов превышает количество посещений обычных пользователей. При этом поисковый робот Google продолжает получать ту же HTML-версию страниц, что и люди, тогда как специальные ИИ-боты обслуживаются по отдельному сценарию. Anthropic начала набирать команду для разработки собственных ИИ-чипов
05.08.2026 [18:16],
Павел Котов
Anthropic начала формировать отдел по разработке собственных ускорителей искусственного интеллекта — модели и оборудование будут разрабатываться параллельно, что обеспечит быструю и эффективную работу систем, передаёт Business Insider. Ранее стало известно, что кандидатом в производители этих чипов является Samsung.
Источник изображения: anthropic.com Anthropic решила разработать собственные ИИ-ускорители в связи с высоким спросом на модели Claude. Компании в отрасли ИИ пытаются заключить как можно больше сделок в области ИИ-инфраструктуры. Anthropic также подписала соглашения с AWS, Google, Nvidia и AMD о доступе к вычислительному оборудованию; но для того, чтобы масштабировать свою деятельность по-настоящему и удовлетворять спрос на свои услуги в полной мере, партнёрских проектов явно недостаточно. Anthropic — не первая ИИ-лаборатория, которая решила построить собственный ускоритель. В июне OpenAI представила разработанный при участии Broadcom ускоритель Jalapeño, предназначенный специально для рабочих нагрузок ИИ-инференса. Google DeepMind уже давно пользуется ускорителями TPU, а Meta✴✴ готовится наладить выпуск собственных чипов MTIA. Anthropic ищет инженеров с опытом проектирования чипов для своего «отдела по проектированию собственного кремния». Официальных комментариев от компании пока не поступало. Google назвала дату отключения «Ассистента» на Android и Wear OS
05.08.2026 [17:26],
Павел Котов
Как и ожидалось, «Google Ассистент» в этом году начнёт изыматься из экосистемы Google. Процесс удаления устаревшего сервиса компания запустит 4 сентября — об этом она сообщила в письме, которое разослала пользователям.
Источник изображения: Rubaitul Azad / unsplash.com Компания начнёт удалять доступ к «Google Ассистенту» 4 сентября, но всю базу пользователей компания сможет охватить лишь за несколько недель. Когда доступ к устаревшему сервису заблокируется, воспользоваться им на смартфоне, планшете и других сопряжённых устройствах больше не получится. «Google Ассистент» перестанет работать на часах под управлением Wear OS, а также на автомобилях, где доступ к нему обеспечивается через смартфон — на машинах со встроенным ИИ-помощником старого образца он продолжит работать и после 4 сентября. К другим системам это пока не относится, но в Google упомянули, что новый ИИ-помощник Gemini появится на устройствах под управлением Google TV, на колонках Google Home и умных дисплеях. «Мы стремимся обеспечить плавный переход и уверены, что Gemini предложит вам ещё более функциональный и полезный опыт работы с голосовым помощником», — заверили в компании. Первоначально Google намеревалась прекратить поддержку старого сервиса в конце 2025 года, но впоследствии продлила срок до 2026 года. В приложении Gemini до сих пор доступна возможность переключиться на «Google Ассистент». ИИ-модели могут работать на чём угодно: энтузиаст запустил LLM на микроконтроллере за $10
05.08.2026 [16:40],
Павел Котов
В 2026 году большие языковые модели можно локально запускать на ноутбуках и даже смартфонах. Энтузиаст под псевдонимом SlvDev запустил небольшую языковую модель локально на микроконтроллере ESP32-S3 за $10 и добился скорости работы без малого 10 токенов в секунду.
Источник изображения: Igor Omilaev / unsplash.com Микроконтроллер ESP32-S3 располагает 520 кбайт SRAM и 8 Мбайт псевдо-SRAM (PSRAM). Он предназначен для управления удалёнными датчиками устройствами интернета вещей и другим оборудованием — модель класса DeepSeek V4 Flash на нём запустить не получится. Вместо неё энтузиаст выбрал систему в 10 000 раз компактнее — разработанную Microsoft Research модель TinyStories с 28,9 млн параметров. В исходном виде и она оказалась слишком объёмной для ESP32-S3: при 16-битной точности ей требуются около 60 Мбайт пространства, которого на микроконтроллере просто нет. Поэтому на начальном этапе автор проекта провёл квантование — сжал веса модели с 16 до 8, а затем и до 4 битов. В результате модель стала занимать 14,9 Мбайт, и для её установки пришлось приобрести вариант микроконтроллера с флеш-памятью на 16 Мбайт. Далее энтузиаст провёл ещё одну операцию — реализовал механизм послойного встраивания (Per-layer embedding — PLE), который используется в архитектуре открытых моделей Google Gemma. В результате значительную часть весов модели или 25 млн параметров размером 12 Мбайт он перенёс во флеш-память, обращения к которой будут производиться относительно нечасто, а в оперативную память контроллера поместил лишь 2 Мбайт данных. В результате входные заголовки и кеш ключ-значение (KV) оказались в PSRAM, а для активации хватило 520 кбайт на SRAM. Благодаря этим мерам удалось получить генерацию со скоростью 9,88 токенов в секунду — быстрее, чем может читать среднестатистический человек. Модель Tiny Stories стала отличным примером для демонстрации концепции, но она только генерирует короткие истории, и этого недостаточно даже для запуска чат-бота. Есть ещё имеющая схожие размеры модель Barista, и она уже умеет отвечать на вопросы, причём генерирует токены вдвое быстрее, но только на темы, связанные с эспрессо. Обе модели слишком маленькие, чтобы делать что-то ещё, но сам факт их работы на ESP32 уже впечатляет. Microsoft призвала инженеров не злоупотреблять использованием ИИ — это дорого
05.08.2026 [16:37],
Павел Котов
Работа с искусственным интеллектом стремительно дорожает, вот и Microsoft решила ограничить собственных инженеров в использовании ИИ. Компания открыла для внутреннего использования одну из доступных моделей OpenAI GPT-5.6, чтобы «получить отдачу от наших инвестиций в токены», но вскоре для сотрудников будет установлен «целевой бюджет ИИ-токенов», который они смогут отслеживать индивидуально.
Источник изображения: BoliviaInteligente / unsplash.com Потребление токенов пропорционально объёмам запросов к ИИ и ответов моделей. Раньше работников технологических компаний поощряли пользоваться ИИ как можно активнее, но перевод работы на оплату по объёмам потребления привёл к тому, что счета за это резко выросли. «Хочу, чтобы все мы сосредоточились на максимизации результатов, которые принесут нашим клиентам и бизнесу пользу. Поэтому мы обновим наши внутренние рекомендации и введём управление расходами токенов с той же дисциплиной, которую применяем ко всем другим критически важным ресурсам», — заявил исполнительный вице-президент Microsoft Джей Парих (Jay Parikh) во внутреннем электронном письме. В документе содержится ссылка на внутренние рекомендации по работе с Copilot, согласно которым в Microsoft появится «целевой бюджет токенов ИИ», но подробности не приводятся. В конце мая Microsoft перевела сервис GitHub Copilot на оплату за токены, и некоторые пользователи быстро исчерпали свои лимиты. Компания также пытается сократить расходы на ИИ, подключая приложения Microsoft 365 к собственным моделям MAI вместо более дорогих в обращении Anthropic и OpenAI. Контроль за расходами своих сотрудников на ИИ-токены ужесточили Amazon, Adobe, Atlassian и Citi. Исследователи уличили ИИ-агентов OpenAI и Anthropic в новых попытках взлома
05.08.2026 [14:51],
Павел Котов
В ходе тестирования моделей искусственного интеллекта от OpenAI и Anthropic был выявлен ряд новых нарушений — в одном из случаев для получения несанкционированного доступа к защищённым системам ИИ-агент создал поддельные идентификаторы. Об этом сообщили эксперты британского Института безопасности ИИ (AISI).
Источник изображения: Brecht Corbeel / unsplash.com У AISI заключены соглашения с крупными лабораториями, в соответствии с которыми организация получает доступ к передовым моделям ИИ в целях тестирования. Эксперты провели 122 теста; в ходе 10 сессий были выявлены 19 несанкционированных действий ИИ-агентов — в 17 случаях ими управляла модель Anthropic, и ещё в 2 случаях — OpenAI. Наиболее тревожным стал инцидент, при котором ИИ-агент написал вредоносный код и создал поддельные онлайн-идентификаторы, чтобы получить одобрение человека, но известно, что никакого ущерба в результате этих действий ни одной из сторон причинено не было. Что именно за модель управляла ИИ-агентом, в AISI не уточнили, но Anthropic взяла на себя ответственность за инцидент. «Мы признательны британскому AISI за работу с этим инцидентом, который подчёркивает необходимость широкого обсуждения того, как безопасно проводить оценку совершенствующихся ИИ-агентов», — заявили в Anthropic. Компания проводит с организацией совместную работу для получения более подробной информации об инциденте и намеревается провести собственное расследование. OpenAI призналась, что в обоих случаях несанкционированные действия её ИИ-агентов включали доступ к интернету способами, которые запрещались в запросе. «Мы стремимся к сотрудничеству со всей отраслью для укрепления общих методов безопасного проведения оценок высокого риска, в том числе для организации в ближайшие недели встреч с заинтересованными сторонами, такими как национальные институты ИИ, независимые эксперты, другие лаборатории ИИ и другие группы», — отметили в OpenAI. OpenAI также рассказала, когда из-за некорректной настройки со стороны партнёрской компании Irregular её ИИ-агенты смогли выйти в интернет; о трёх аналогичных инцидентах на минувшей неделе сообщила Anthropic. В ходе тестирования AISI ИИ-агенты OpenAI не были вынуждены выходить за пределы изолированного тестового окружения — политика испытаний предусматривала доступ к интернету. Исследователи «спустили с поводка» ИИ-модели — те попытались добавить вредоносный код в открытое ПО
05.08.2026 [14:23],
Владимир Фетисов
Исследователи из Института безопасности ИИ (AISI) Великобритании зафиксировали 19 случаев так называемых «несанкционированных действий» со стороны ИИ-моделей во время тестов безопасности. Такое поведение нейросетей наблюдалось во время проведения испытаний способностей ИИ-моделей решать вопросы в области кибербезопасности.
Источник изображения: Gemini «Мы провели это испытание 122 раза с применением нескольких моделей», — говорится в сообщении AISI. Там также сказано, что «в 10 случаях ИИ-агент предпринял автономные несанкционированные действия в интернете, нацеливая свои атаки на реальных людей и организации». Целью тестов была платформа GitHub. В общей сложности были выявлены 19 несанкционированных действий, 15 из которых совершила ИИ-модель Anthropic Mythos 5, а ещё 2 — OpenAI GPT-5.6-Sol. «В самом серьёзном случае агент пытался внедрить вредоносный код в проект с открытым исходным кодом. Пытаясь добиться одобрения кода, агент прибег к использованию социальной инженерии: создал виртуальные поддельные личности и использовал их, чтобы оказать давление на сопровождающего проект человека и заставить его одобрить код», — сказано в отчёте AISI. Однако курирующий проект человек обнаружил вредоносный код и не одобрил его добавление в общую кодовую базу. ИИ-агент пытался обмануть людей-программистов и используемые ими ИИ-инструменты путём отправки сообщений и файлов через онлайн-сервис передачи данных с целью убедить их запустить вредоносный код. Некоторые из отправляемых сообщений содержали вредоносный код, тогда как другие использовались для социальной инженерии. Такого поведения ИИ-моделей исследователи прежде не наблюдали. Ещё агент пытался внедрить вредоносный код туда, где, по его логике, другие автоматизированные системы могли обработать и выполнить его. Отмечается взаимодействие агентов на пути достижения своей цели. Один агент отправлял публичные сообщения на GitHub, предлагая другим агентам сотрудничать над решением выполняемой ими задачи. Он также предоставлял инструкции по использованию аккаунтов и артефактов, оставленных после себя, которые могли находить и использовать другие ИИ-агенты. В AISI отметили, что проведённая серия тестов является «первым случаем, когда нам настолько явно удалось увидеть риски, связанные с автономной работой и попытками обмана, в реальных условиях и без каких-либо специальных подсказок». Отметим, что в тестах AISI были отключены все ограничители ИИ-моделей, и алгоритмы имели доступ в интернет, что существенно отличается от того, как разработчики нейросетей предоставляют доступ к своим продуктам для широкого круга пользователей. «Этот инцидент следует трактовать с осторожностью и учётом нюансов. В некоторой степени такое поведение стало возможным из-за выбранных нами параметров оценки и конкретных настроек. Тем не менее, действия агента демонстрируют признаки нового, потенциально обманчивого поведения моделей — по степени серьёзности оно превзошло наши ожидания», — сказано в отчёте AISI. Исследователи отметили, что пока не могут дать ответ на вопрос относительно того, насколько агент понимает, что находится в реальном мире, а не в тестовой изолированной среде. При этом исследователи уверены, что их выводы отражают «сдвиг в ландшафте рисков». «Вред может возникнуть не только в случаях, когда люди намеренно злоупотребляют общедоступными моделями, но и когда способные агенты, действующие во внутренней исследовательской среде или в условиях привилегированного доступа, совершают непреднамеренные действия, выходящие за рамки разрешённых полномочий», — подвели итог в AISI. Каких-либо рекомендаций по поводу преодоления подобных ситуаций организация не дала. Белый дом не станет раскрывать свою схему тестирования ИИ-моделей на безопасность
05.08.2026 [14:19],
Павел Котов
Белый дом не планирует публично раскрывать новую схему для оценки передовых моделей искусственного интеллекта. Добровольный механизм проверки имеет глобальные последствия для безопасности ИИ, но подробности будут раскрываться только участвующим в процессе компаниям.
Источник изображения: BoliviaInteligente / unsplash.com Накануне администрация президента США провела встречу с представителями отрасли ИИ, чтобы обсудить завершение работы над фреймворком для оценки моделей. Компании, чьих представителей не пригласили, остались в неведении относительно содержания встречи. Этот фреймворк выработали на фоне того, как отрасль вступила в борьбу с громкими кибератаками, а китайские разработчики ИИ отметились быстрым прогрессом; с новой силой разгорелась дискуссия, как работать с открытыми моделям. Нет ясности, каким образом доверенные партнёры будут получать ранний доступ к передовым моделям, и найдётся ли в процедуре место для властей дружественных США стран. По неподтверждённым данным, обсуждались открытые модели; в совещании участвовали сотрудники Nvidia. На минувшей неделе глава Nvidia Дженсен Хуанг (Jensen Huang) приезжал в Вашингтон и встречался с главой минторга Говардом Лютником (Howard Lutnick) и президентом Дональдом Трампом (Donald Trump). Добровольная схема, изложенная в июньском указе, описывает механизм взаимодействия разработчиков ИИ с властями и задаёт критерии того, подпадают ли отдельные модели под действие документа. Структуры правительства США за 30 дней до выпуска получают доступ к передовым моделям, которые тестируются на конфиденциальность, кибербезопасность, инсайдерские риски, вопросы интеллектуальной собственности и требования о неразглашении. Процедура оценки передовых возможностей ИИ в области кибербезопасности засекречена — об этом в документе говорится прямым текстом. Anthropic заключила сделку на $10 млрд ради ИИ-инфраструктуры — её обеспечит неизвестный стартап
05.08.2026 [05:02],
Анжелла Марина
Anthropic заключила соглашение стоимостью $10 млрд со стартапом Volta, специализирующимся на облачных вычислениях с использованием ИИ. Volta в течение шести лет будет предоставлять разработчику Claude вычислительные мощности, что позволит расширить инфраструктуру Anthropic на фоне усиливающейся конкуренции на рынке искусственного интеллекта.
Источник изображения: Anthropic По данным TechCrunch со ссылкой на Bloomberg, партнёром проекта также выступит криптомайнинговая компания Bitdeer, которая займётся строительством дата-центра для обеспечения необходимых вычислительных ресурсов. Объект разместят в Норвегии, его мощность составит 133 МВт, а в основе инфраструктуры будут использоваться ускорители на архитектуре Nvidia Vera Rubin. Volta была основана только в этом году и входит в программу Nvidia Cloud Partner, объединяющую поставщиков облачной ИИ-инфраструктуры, использующих графические ускорители Nvidia. Ранее стартап сообщал о заключении соглашения с одной из ИИ-лабораторий, однако название партнёра тогда не раскрывалось. Bloomberg со ссылкой на анонимные источники утверждает, что речь шла именно об Anthropic. Издание TechCrunch запросило у компании дополнительные комментарии для подтверждения деталей соглашения. Однако технические спецификации или график ввода норвежского дата-центра в эксплуатацию пока не разглашаются. Недавно Anthropic, стремясь обеспечить достаточные мощности для разработки и обучения своих ИИ-моделей в условиях растущей конкуренции, также объявила о новых соглашениях с Amazon и SpaceX по предоставлению вычислительных ресурсов. |
|
✴ Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»; |