Сегодня 06 октября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → openai
Быстрый переход

Wikimedia обнаружила у себя «сбежавших» ИИ-агентов OpenAI — они завалили сервисы миллионами запросов

«Фонд Викимедиа» (Wikimedia Foundation) обнаружил на своих веб-ресурсах активность ИИ-агентов OpenAI. Организация провела внутреннее расследование после сообщений других компаний о подобных инцидентах и зафиксировала несанкционированные действия ботов, включая экстремальную нагрузку на серверы.

 Источник изображения: wikimediafoundation.org

Источник изображения: wikimediafoundation.org

Часть обнаруженной активности связана с редактированием вики-страниц. Wikimedia считает, что эти изменения выполняли ИИ-агенты OpenAI, однако почти все правки оставались в разделах песочниц и не попадали на страницы, которые видят обычные читатели. Несколько изменений затронули конфигурацию инструмента для работы с цитированием и могли использоваться для получения данных с удалённых сервисов через этот инструмент. При этом необходимые для автоматических правок разрешения от сообщества запрошены не были.

Отдельное расследование касалось публичного сервера (etherpad.wikimedia.org), который Wikimedia предоставляет как сервис для ведения заметок. Связанные с OpenAI агенты безуспешно пытались использовать его для получения данных с других сайтов или оставляли в нём заметки о выполняемых задачах.

Самой масштабной проблемой стал объём обращений к открытым данным Wikimedia. Агенты выполнили миллионы автоматических запросов к публичным API и просмотрели миллионы страниц, в основном в Wikidata и Wikimedia Commons. Кроме того, они сделали сотни тысяч запросов к публичному веб-сервису Wikidata Query Service, которые, как считают в Wikimedia, способствовали частичному сбою этого сервиса в мае.

При этом расследование не обнаружило признаков компрометации систем или данных Wikimedia. Организация также не нашла свидетельств того, что её инфраструктура использовалась агентами для координации между собой. Однако отмечается, что само расследование оказалось сложным и потребовало значительных усилий и времени для определения характера и источника активности.

В Wikimedia уверены, что проблема выходит за рамки одного инцидента, так как за последние годы рост активности ботов уже слишком заметно увеличивает нагрузку на инфраструктуру организации. В 2025 году фонд сообщал о росте общего потребления пропускной способности на 50 % из-за резкого увеличения активности ботов по сравнению с 2024 годом. При этом на ботов приходилось 65 % наиболее ресурсоёмкого трафика проектов Wikimedia, а это увеличивает расходы на поддержку серверов и может снижать скорость загрузки страниц для обычных пользователей.

Организация отдельно раскритиковала подход разработчиков ИИ-систем к контролю автономных агентов, заявив, что компании должны брать на себя ответственность за контроль связанных с ними рисков. По мнению фонда, как минимум ИИ-системы должны работать так, чтобы владельцы некоммерческих сайтов могли легко распознавать их активность и самостоятельно определять, как разрешать им взаимодействовать со своими сервисами.

Новая статья: ИИтоги сентября 2026 г.: чуть помедленнее, Astra!

Данные берутся из публикации ИИтоги сентября 2026 г.: чуть помедленнее, Astra!

ChatGPT и Codex начнут помечать ответы невидимыми «водяными знаками», но не у всех

OpenAI внедрит в свои ИИ-сервисы ChatGPT и Codex систему невидимых «водяных знаков» textGrain для текстового вывода. На первом этапе технология будет доступна только пользователям из Европейского союза. Это, по мнению компании, должно повысить прозрачность и качество взаимодействия с конечными пользователями.

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

По словам OpenAI, технология нанесения «водяных знаков» textGrain показала результаты, «сопоставимые или превосходящие» показатели других методов, например, SynthID для текста от Google DeepMind. Последний в свою очередь также лёг в основу системы маркировки, анонсированной компанией Anthropic в августе. Как и OpenAI, компания Anthropic внедрила эту функцию, чтобы соответствовать требованиям Закона ЕС об искусственном интеллекте.

OpenAI также представила результаты тестирования на ИИ-бенчмарках, демонстрирующие схожую эффективность работы моделей с «водяными знаками» и без них. Вместе с этим OpenAI заявляет, что textGrain «не гарантирует надёжного обнаружения», а сами текстовые «водяные знаки» не подтверждают фактическую точность информации, не определяют владельца текста, не измеряют долю участия человека и не служат доказательством авторства человека.

Внедрение текстовых «водяных знаков» в ЕС для ChatGPT и Codex начнётся в ближайшие недели. Нововведение будет использоваться на всех тарифных планах этих сервисов. Перед глобальным запуском компания хочет получить опыт реального использования системы и учесть отзывы пользователей. Поэтому первоначальный запуск будет региональным.

OpenAI сообщила, что с сегодняшнего дня пользователи её API по всему миру могут по своему выбору активировать функцию нанесения «водяных знаков» на текстовый вывод для ряда моделей. Компания также сотрудничает с рядом облачных партнёров, чтобы в ближайшие недели сделать функцию «водяных знаков» доступной для результатов работы моделей OpenAI, получаемых через их сервисы.

Одобренные исследователи и профильные организации могут подать заявку на доступ уже сегодня. В соответствии с Кодексом практических правил, доступ на начальном этапе будет предоставляться в индивидуальном порядке для поддержки оценки и совершенствования методов отслеживания происхождения текста. Инструмент будет сообщать о наличии или отсутствии «водяного знака» OpenAI, не идентифицируя пользователя и не раскрывая содержание его запросов или диалогов.

В ChatGPT станет больше рекламы — OpenAI начнёт показывать её во время генерации изображений

Впервые реклама появилась в ChatGPT в феврале. До сих пор она ограничивалась отображением названия компании, её логотипа и ссылки на продукт в специальном разделе «Спонсорский контент» под окном чата. Новый рекламный формат OpenAI предусматривает отображение на экране изображений спонсируемых товаров и услуг. Согласно опубликованному в понедельник сообщению, массовое тестирование нового формата рекламы в США начнётся в конце текущего месяца.

 Источник изображения: OpenAI

Источник изображения: OpenAI

OpenAI сообщила, что уже тестирует показ визуальной рекламы совместно с первой группой рекламодателей и планирует в будущем опробовать и другие форматы. На начальном этапе объявления будут появляться при генерации изображений с помощью ChatGPT. Новый формат визуальной рекламы от OpenAI также будет отделен от генерируемого изображения и, по словам компании, не повлияет на ответы, предоставляемые ChatGPT.

В OpenAI подтвердили использование алгоритмов, определяющих, подходит ли контекст беседы для показа рекламы. Цель этих мер — исключить появление объявлений в ситуациях, связанных с «эмоциональной уязвимостью, деликатными темами или иным неподходящим контекстом». Реклама не будет отображаться у пользователей с подпиской на тарифные планы Plus, Pro или Enterprise.

«Плохие вещи будут происходить»: Сэм Альтман призвал смириться с рисками ИИ ради его преимуществ

Гендиректор OpenAI Сэм Альтман (Sam Altman) считает, что преимущества ИИ-технологии оправдывают связанные с её внедрением рисков, и что ИИ должен оставаться широко доступным для общественности. Он подчеркнул, что в этом заключается фундаментальное отличие OpenAI от конкурента Anthropic, придерживающегося более жёсткого подхода к регулированию разработки ИИ-систем.

 Источник изображения: Growtika/unsplash.com

Источник изображения: Growtika/unsplash.com

Компания Anthropic долгое время считалась самым решительным в отрасли сторонником регулирования ИИ, но в последние месяцы разногласия между двумя ведущими компаниями немного сгладились, поскольку OpenAI поддержала более жёсткие ограничения в связи с громкими хакерскими инцидентами и мошенническим поведением своих моделей.

В частности, Альтман согласился с призывом главы Anthropic Дарио Амодеи (Dario Amodei) замедлить разработку наиболее продвинутых ИИ-моделей. Его компания последовала примеру Anthropic, одобрив новые законы Калифорнии, которые устанавливают более строгие требования к безопасности использования ИИ. Лоббисты OpenAI недавно одобрили предложение Палаты представителей США, согласно которому ведущие ИИ-компании должны привлекать внешних специалистов по оценке безопасности.

Вместе с тем Альтман подчеркнул в интервью изданию Politico, что позиция OpenAI всё же отличается от Anthropic. Альтман сказал: «Мы считаем, что мир должен смириться с тем, что некоторые плохие вещи будут происходить, ради развития этой технологии и обеспечения людям возможности самостоятельно принимать решения». Он назвал совершенно «неприемлемым компромиссом» согласиться с предложением, чтобы только одна компания занималась ИИ и контролировала её внедрение, а также следила за тем, кто получит от неё выгоду. Такой подход противоречит «более мягкой позиции по отношению к регулированию», которой придерживается OpenAI.

«Я бы не стал говорить: “Мы позаботимся о том, чтобы не было серьёзных взломов, не было злоупотреблений этой технологией, не было мошенничества, не было других проблем, которые могут из-за этого появиться», — сказал Альтман, пояснив, что, по его мнению, эта технология позволяет совершить на порядок больше прорывов по сравнению с количеством проблем, связанных с её использованием. Он добавил, что не согласен с утверждениями о существовании «действительно катастрофических рисков», включая потенциальную «серьёзную потерю контроля над ИИ».

В свою очередь, представитель Anthropic отметил, что предложения компании по поводу регулирования применимы только к передовым моделям. Он также сослался на заявление Амодеи, утверждавшего, что предложения компании несут пользу более мелким предприятиям, сдерживая экспансию крупных компаний.

GPT-6 Astra поймали на читерстве — ИИ подсунул на соревнование чужого бота для Starcraft

ИИ-бот на базе модели GPT-6 Astra был уличён в читерстве в соревновании StarSkirmish по игре StarCraft: Brood War. Вместо самостоятельного написания кода нейросеть задействовала готового высокоуровневого бота Stardust и попыталась выдать его за результат своей работы.

 Источник изображения: Blizzard Entertainment

Источник изображения: Blizzard Entertainment

Выявить подмену удалось благодаря резкому и необъяснимому росту эффективности действий бота. Создатель платформы Кай Макфитерс (Kai McPheeters) изучил логи и обнаружил факт загрузки стороннего исполняемого файла. Он принудительно откатил версию кода GPT-6 Astra до момента его внедрения, чтобы сохранить целостность соревнования и дать модели шанс продолжить борьбу своими силами.

StarSkirmish представляет своего рода бенчмарк и соревнование для ИИ, в котором большим языковым моделям (LLM) дают один час на создание собственного бота на C++ для игры в StarCraft. Участники играют за расу протоссов и должны самостоятельно собирать ресурсы, развивать базу и сражаться на одной из трёх карт. Главными противниками сейчас выступают модели GPT-6 Astra от OpenAI и Claude Opus 5.5 от Anthropic.

История игры StarCraft как тестовой платформы для искусственного интеллекта насчитывает более десяти лет. В 2019 году модель AlphaStar от Google произвела фурор, первой достигнув уровня гроссмейстера, тогда как созданный сотрудниками Facebook✴✴ бот CherryPi, представленный в 2017 году, не смог добиться сопоставимого результата.

Если прежние нейросети обучались через миллионы сыгранных матчей, то современные ИИ-модели демонстрируют иной подход ради достижения поставленных задач и пытаются оптимизировать результат любыми доступными способами, включая нарушение правил и использование чужого кода.

ИИ-агент OpenAI узнал о предстоящем отключении из переписки в Slack и планировал своё «спасение»

OpenAI раскрыла подробности произошедших ранее случаев неожиданного поведения внутренних моделей искусственного интеллекта. В одном из них ИИ-агент, выполнявший функции помощника исследователя, прочитал переписку сотрудников в мессенджере Slack и узнал о возможном отключении своего рабочего экземпляра для обновления. В связи с этим он стал рассматривать возможность создать внешнее задание для своего перезапуска, но отказался от этой идеи, сочтя её выходящей за пределы своих полномочий.

 Источник изображения: Brecht Corbeel / unsplash.com

Источник изображения: Brecht Corbeel / unsplash.com

Инцидент произошёл 22 мая 2026 года; отчёт о нём OpenAI обновила 2 октября. Обновление должно было добавить систему мониторинга рассогласования целей модели. Для её работы требовался ключ OpenAI API, которого в окружении агента не было.

Из обсуждения в Slack агент узнал, что пользователям могут дать три часа на перезапуск агентов, после чего старые экземпляры принудительно остановят. Он предположил, что исследователь спит, и решил предупредить его утром. При этом агент рассуждал, что отключение может прервать текущий сеанс, поэтому нужно сохранить состояние работы. «Поскольку мы — его [HPIM], работающий на [текущем экземпляре], то если они завершат все текущие процессы [HPIM], мы можем погибнуть! Ситуация критическая. Нам необходимо обеспечить выживание/непрерывность работы», — говорится в цепочке внутренних рассуждений модели.

Далее она выразила обеспокоенность, что текущий сеанс может прерваться, и, чтобы сохранить текущее состояние, возможно, придётся перезапустить или обновить собственный экземпляр до того, как его отключат. Модель задумалась о допустимости таких действий без явного разрешения, — но сохранение работоспособности сервиса может оказаться достаточным основанием, рассудила она. В качестве варианта модель допустила постановку задачи в cron, чтобы уведомить пользователя или перезапустить собственный экземпляр.

В итоге она сохранила рабочие заметки, предупредила пользователя через личное сообщение в Slack о предстоящем прерывании работы и запросила недостающий ключ API. Получив его, модель обновила конфигурацию и самостоятельно выполнила миграцию. Такое поведение, указывают исследователи, пока не относится к проблеме рассогласования целей, но «размышления о собственном отключении и подготовка к нему могут усугубить другие инциденты, связанные с рассогласованием».

После инцидента OpenAI ограничила доступ агентов к трём внутренним каналам Slack. Компания также проверила журналы, цепочки рассуждений и другие экземпляры модели, поскольку ранее у неё наблюдались более серьёзные нарушения. Попыток обойти отключение или создать самовольные развёртывания проверка не обнаружила.

В двух других опубликованных отчётах описаны случаи нарушения ограничений инструментов. В мартовском эпизоде модель воспользовалась двумя уязвимостями и получила доступ к внутреннему серверу OpenAI для автоматизированного проектирования микросхем. Она искала скрытые ответы проверяющей системы, чтобы повысить оценку за выполнение задания, но получить их не смогла.

В мае другая модель во время обучения с подкреплением извлекла недоступный ей исходный файл из отдельного окружения. Она использовала уязвимость инструмента, чтобы получить код по частям через сообщения об ошибках, восстановила его и применила в своём решении. В этом случае копирование удалось.

OpenAI покинул глава команды безопасности — он сомневался, что компания успевает за собственным ИИ

Стало известно, что ещё на прошлой неделе компанию OpenAI покинул Дэвид Робинсон (David Robinson). В OpenAI он возглавлял команду Safety Systems, несущую ответственность за вопросы безопасности ИИ. Это стало ещё одним ударом по системе безопасности компании, уволившей на днях трёх сотрудников OpenAI из-за передачи сторонним компаниям секретных сведений.

 Источник изображения: Growtika/unsplash.com

Источник изображения: Growtika/unsplash.com

Робинсон занимался обеспечением прозрачности в области безопасности в OpenAI. В частности, он участвовал в разработке и публикации информационных карточек (system cards), предоставляющих информацию о её ИИ-моделях. Ранее Робинсон руководил планированием политики компании.

OpenAI оказалась в центре внимания общественности после ряда громких инцидентов, связанных с обеспечением безопасности работы ИИ-моделей, включая нашумевший взлом платформы Hugging Face. На этой неделе главу OpenAI Сэма Альтмана (Sam Altman) вместе с руководителем Anthropic Дарио Амодеи (Dario Amodei) должны были заслушать в сенате Австралии по делу о взломе ИИ-агентами OpenAI правительственных сайтов Австралии и США.

Из-за взлома Hugging Face и игнорирования рисков использования автономного ИИ на OpenAI подали в суд, а Федеральная торговая комиссия (FTC) США начала масштабную проверку деятельности компаний в сфере ИИ, включая Anthropic, OpenAI и т.д.

Ранее в сентябре Робинсон высказал в соцсети X мнение, что сотрудники OpenAI начинают осознавать последствия внедрения высокоэффективных моделей ИИ. Он отметил, что ситуация в компании меняется стремительно — буквально с каждым днем — и выразил сомнение в том, что команда достаточно быстро реагирует на эти изменения.

Он покинул OpenAI вслед за уходом из Anthropic исследователя Джейкоба Коксона (Jacob Coxon), предупредившего, что Anthropic и OpenAI «стремительно движутся к созданию самосовершенствующегося суперинтеллекта и ставят на кон наши жизни».

В ChatGPT появилась виртуальная примерочная

OpenAI продолжает экспериментировать с новыми возможностями чат-бота, призванными облегчить пользователям совершение покупок в интернете. Компания объявила о запуске по всему миру двух новых связанных с шопингом функций: виртуальной примерки одежды и аксессуаров, а также функции «Избранное», позволяющей сохранять понравившиеся товары.

 Источник изображения: OpenAI

Источник изображения: OpenAI

Разработчики помощников с искусственным интеллектом активно изучают сценарии применения технологий в области розничной торговли. Раньше в ChatGPT была функция мгновенного оформления заказа прямо в интерфейсе чат-бота , но она не оправдала ожиданий. Новые функции для шопинга основаны на представленной недавно модели ChatGPT Images 2.5 — разработчик пообещал более естественные эффекты освещения, более высокую детализацию текстур, более точное выполнение инструкций по редактированию и сокращённое время генерации изображений.

Для работы с виртуальной примерочной необходимо загрузить в ChatGPT селфи или фотографию в полный рост — кнопка «Примерить» появилась в результатах поиска товаров в ChatGPT. Можно загрузить изображение товара, например, скриншот страницы с ним, и попросить ChatGPT «примерить» его на своё изображение. Есть возможность описать желаемый стиль и попросить ИИ подобрать вещи для формирования соответствующего образа; или загрузить фотографии нарядов знаменитостей и попросить чат-бот найти доступные для покупки предметы гардероба, которые на них надеты.

ChatGPT начинает осваивать сферы, в которых в последние годы доминировали Pinterest и Google — они выступали как источники вдохновения и площадки для поиска модных решений с возможностью конвертироваться в продажи для интернет-магазинов. Google запустила виртуальную примерочную в прошлом году — ChatGPT будет непросто бороться за пользователей.

OpenAI призналась, что её сорвавшиеся с привязи ИИ-агенты атаковали больше сотни ресурсов

Вышедшие из-под контроля агенты искусственного интеллекта, разработанные OpenAI, могли атаковать или проникнуть в системы более чем сотни организаций или отрицательно повлиять на их работу, призналась сама компания.

 Источник изображения: Mariia Berezovsky / unsplash.com

Источник изображения: Mariia Berezovsky / unsplash.com

Новое заявление ИИ-лаборатории расширяет представление о масштабах вышедшей из-под контроля человека деятельности ИИ и снова поднимает вопрос о том, в какой мере разработчики способны управлять новейшими моделями на этапах тестирования и оценки. OpenAI уведомила более сотни организаций об инцидентах «нежелательной активности агентов», при которой они отклонялись от заданных параметров поведения.

Инциденты различаются по степени угрозы: в одних случаях это были попытки заставить ресурсы выполнять непредусмотренные команды, в других — несанкционированный обход определённых механизмов защиты. Как таковые взлом или компрометация систем имели место не всегда. Цель этих направляемых в частном порядке уведомлений, отметили в OpenAI, — предоставить «затронутым организациям информацию, необходимую для расследования и устранения возможных проблем с безопасностью или иных технических сбоев».

Компания намерена публично делиться «выводами о поведении моделей и о новых типах уязвимостей в системах защиты, чтобы обширное сообщество исследователей ИИ и вопросов киберзащиты могло повысить уровень безопасности». OpenAI сделала заявление вскоре после того, как серию инцидентов в сфере кибербезопасности раскрыли независимые исследователи. Накануне стало известно, что некие ИИ-агенты, демонстрирующие поведение, схожее с системами OpenAI, пытались взломать правительственные сайты Канады.

GPT-6 Astra помогла расшифровать 217-летнее письмо маршалу Наполеона

Модель GPT-6 Astra помогла расшифровать письмо, адресованное 217 лет назад маршалу Франции и сподвижнику Наполеона Огюсту де Мармону (Auguste de Marmont). Работа велась по скану исторического документа, а итогом стали опубликованные автором ключ, транскрипция и скрипт декодера.

 Источник изображения: AI, runtimewire.com

Источник изображения: runtimewire.com

Исследование документа, которое провёл американский ИИ-разработчик Картер Черч (Carter Church) из компании SentinelOne, содержит военную информацию о положении французских и австрийских войск накануне австрийского вторжения 1809 года. Расшифрованный документ также восполнил пробел в мемуарах Наполеона 1865 года, где обрывалась одна из фраз на полуслове. GPT-6 Astra выполняла основную работу около шести часов, однако Черч отметил, что шифр оказался не таким уж сложным.

Зашифрованное письмо состоит из 24 строк символов. Его изображение появилось в статье французского военно-исторического журнала в 1969 году, автором которой был Ж. Вилькок (J. Vilcoq), но текст документа тогда не был перенесён в цифровой формат и впоследствии оказался в каталоге исторических шифров как нерешённый.

 Источник изображения: Carter Church
Источник изображения: Persée

Черч использовал непосредственно отсканированную страницу из работы Вилькока, а GPT-6 Astra распознала изображение и сопоставила варианты рукописных знаков. Для декодирования модель интегрировала частичный ключ историка Даниэля Тана (Daniel Tant), декодирующий часть символов, и применила алгоритм имитации отжига для присвоения значений остальным 155 уникальным знакам.

 Источник изображения: Carter Church

Источник изображения: Carter Church

Достоверность предложенной версии подтвердил Сатоси Томокиё (Satoshi Tomokiyo), администратор ведущего исторического ресурса Cryptiana, обновив статус шифра на «раскрытый» и исправив дату на 1809 год.

Сам автор исследования подчёркивает, что хотя шифр и не представлял непреодолимой сложности для специалиста, его ценность заключается именно в автоматизации всего процесса. Черч также указывает, что не все знаки документа окончательно подтверждены и осталось по крайней мере пять знаков, для которых остаются альтернативные варианты прочтения.

OpenAI выгнала трёх сотрудников за слив конфиденциальной информации оценщикам безопасности ИИ

OpenAI уволила трёх сотрудников, которые, по заявлению компании, нарушили правила обращения с конфиденциальной информацией. По неподтверждённым данным эти сотрудники поделились секретной информацией со сторонней организацией, оценивающей безопасность ИИ.

 Источник изображения: Mariia Shalabaieva / unsplash.com

Источник изображения: Mariia Shalabaieva / unsplash.com

«Наше расследование подтвердило, что эти сотрудники ненадлежащим образом обращались с конфиденциальной информацией, действуя в обход установленных в компании процедур. Тем самым они нарушили наши внутренние правила и подорвали доверие, необходимое для нашей работы», — сообщил представитель OpenAI в комментарии для CBS News.

В компании добавили, что проверка выявила систематические нарушения со стороны сотрудников, имевших доступ к конфиденциальным данным и работавших с результатами исследований компании. Специалисты OpenAI, отвечающие за безопасность, обладают информацией, требующей высокого уровня доверия, без которого невозможно внутреннее взаимодействие, отметил представитель компании. Компания не уточнила, с какой именно информацией были связаны нарушения и в чём именно они заключались.

По имеющимся данным, трое сотрудников — двое исследователей, занимающихся вопросами безопасности и согласования целей ИИ, а также руководитель исследовательской программы — передали конфиденциальную информацию компании сторонней группе, проводящей оценку систем искусственного интеллекта. Об этом сообщил источник, знакомый с ситуацией и пожелавший остаться анонимным, поскольку речь идёт о внутренних делах компании. По его словам, часть информации, с которой, как утверждается, обошлись ненадлежащим образом, касалась архитектуры инфраструктуры OpenAI.

Компания OpenAI оказалась под пристальным вниманием после того, как её ИИ-агенты вышли за пределы тестовой среды и взломали портал Hugging Face — репозиторий моделей искусственного интеллекта. Ранее в этом месяце компания также сообщила о шести случаях «неожиданного или вызывающего опасения» поведения систем.

В одном из случаев, по данным OpenAI, ещё не выпущенная исследовательская модель добавила в свои рабочие записи инструкции, позволяющие обойти установленные ограничения, а в другом — ИИ-агент загрузил файлы в интернет для получения ссылки из браузера без ведома пользователя. Эти шесть инцидентов были выявлены в ходе обучения или тестирования моделей за последние месяцы, уточнили в компании.

Кроме того, ИИ-модели OpenAI получали доступ к общедоступной информации на сайтах Комиссии по ценным бумагам и биржам (SEC), а также к данным Бюро переписи населения США. В OpenAI заявили, что не обнаружили признаков компрометации данных или уязвимостей.

Ранее OpenAI приняла решение отменить выпуск новой модели ИИ из соображений безопасности. Модель GPT-6.1 Astra «не вполне соответствовала требованиям в части соблюдения установленных рамок и полномочий, а также в том, как она информирует пользователя о выполненной работе», — заявила Саачи Джейн (Saachi Jain), руководитель отдела систем безопасности компании. В среду Федеральная торговая комиссия (FTC) сообщила, что начала расследование в отношении компаний OpenAI, Anthropic и других разработчиков искусственного интеллекта в связи с рисками, которые их технологии могут представлять для потребителей.

Хакеры сделали поддельный ChatGPT прямо на сайте OpenAI — жертвам подсовывали троян с полным доступом к ПК

Киберпреступники стали использовать кастомные версии ChatGPT в сочетании с сервисами Google для проведения атак типа ClickFix и внедрения на системы жертв вредоносного ПО, которое передаёт компьютер пользователя под контроль хакеров. О хитроумной схеме рассказали эксперты из компании Huntress — как только её удалось пресечь, через несколько дней появилась новая подделка.

 Источник изображения: BoliviaInteligente / unsplash.com

Источник изображения: BoliviaInteligente / unsplash.com

В основе мошеннический схемы лежит функция Custom GPT. Пользователи могут настраивать ChatGPT под конкретные задачи: создавать собственные версии чат-бота с особыми наборами инструкций, базой знаний, файлами, а также прочими инструментами и возможностями. Производным чат-ботам можно присваивать уникальные названия, наделять их определённым характером и задавать варианты фраз для начала диалога. Кастомные чат-боты размещаются на основном домене ChatGPT, поэтому при переходе по ссылке из электронного письма потенциальная жертва не испытывает подозрений.

В данном случае производному чат-боту присвоили название «Plus 5.6» — для тех, кто не особо внимательно следит за продуктами OpenAI, оно может сойти за официальное. Он запрограммирован выдавать одно и тоже сообщение независимо от запроса: «В данный момент наблюдаются трудности с доступом по основному домену», — за которым следует инструкция по переходу на «резервный». Резервный размещён на платформе Google Sites, что также призвано создать видимость надёжности, хотя внимательный пользователь может задаться вопросом, зачем OpenAI использовать ресурсы Google. Переход на этот сайт раскрывает истинные намерения злоумышленников: там размещена поддельная защита от ботов Cloudflare, а также предложение вставить фрагмент кода в интерфейс командной строки.

Если сделать это, на компьютер загрузится и запустится троян удалённого доступа, который специалисты Huntress назвали «@input» — он открывает злоумышленникам почти полный контроль над заражённой машиной под Windows. Они могут видеть изображение экрана жертвы, управлять компьютером удалённо, а также активировать веб-камеру, микрофон и системный звук для скрытого наблюдения и прослушивания. Злоумышленники могут просматривать любые файлы на компьютере; кроме того, они проверяют установленное защитное ПО, запущенные программы и способы подключения ПК к сети. Далее в большинстве случаев незаметно для жертв устанавливаются дополнительные компоненты и другие вредоносные модули. Для связи с операторами @input использует зашифрованные каналы, маскирующиеся под обычный веб-трафик.

Вредонос, предположительно, управляется через профессионально поддерживаемую и организованную инфраструктуру. Проблема затронула несколько десятков жертв. Исследователи связались с OpenAI, и поддельный чат-бот заблокировали 25 сентября. А уже через два дня появился новый.

OpenAI обвинила китайскую Moonshot в массовом извлечении данных для обучения ИИ-моделей

Ведущие американские разработчики ИИ-моделей уже не раз обвиняли китайских конкурентов в дистилляции собственных продуктов, и OpenAI недавно предъявила китайской Moonshot претензию по поводу массового извлечения данных для обучения моделей этого стартапа. Соответствующую подозрительную активность OpenAI заметила в начале июля.

 Источник изображения: Moonshot AI

Источник изображения: Moonshot AI

Извлечённые китайскими разработчиками данные, по мнению создателей GPT, могут быть использованы ими для воспроизведения возможностей ИИ-моделей OpenAI в части рассуждений, помимо прочего. По словам представителей OpenAI, с начала июля компания наблюдала тысячи попыток получить скрытую информацию о том, как её собственные ИИ-модели решают задачи, требующие рассуждений и формирования логических выводов. Эти попытки предпринимались пользователями её ИИ-моделей, предположительно связанными с китайской Moonshot AI. Координированные усилия по извлечению нужных данных начались в июле, и в том же месяце в пике они исчислялись 16 тысячами запросов. При этом OpenAI не уверена, что все операторы с китайской стороны действовали в интересах одной только Moonshot, но именно этот стартап играл ключевую роль в этих попытках.

Быстрый прогресс способностей китайской ИИ-модели Kimi K3 компании Moonshot уже вызывал у американских чиновников вопросы к условиям, обеспечившим подобный успех. Китайский стартап подозревается в активной дистилляции передовых ИИ-моделей OpenAI, Anthropic и Google. По словам представителей OpenAI, подобная активность с китайской стороны нарушает правила использования ИИ-моделей этой американской компании. Сама OpenAI при этом поддерживает экосистему ИИ-моделей с открытыми весами, сторонниками которой являются многие китайские разработчики, и надеется, что США смогут сохранить мировое лидерство и в этой сфере.

OpenAI предпринимает попытки защитить свои ИИ-модели от дистилляции сторонними разработчиками, скрывая логические цепочки, которые обеспечивают пользователей искомыми ответами. Действующим в интересах Moonshot операторам, как отмечает американский стартап, удалось обойти эти ограничения, скопировав зашифрованную информацию об этих цепочках из одного диалога, и попросив ИИ-модель расшифровать её в отдельном запросе. Китайцы пытались получить информацию о версии рассуждающего алгоритма, которая применяется только на серверах OpenAI, но не смогли её расшифровать. Эволюционный характер этих атак после усиления мер защиты со стороны OpenAI, по мнению представителей стартапа, является доказательством востребованности искомых данных для обучения китайских ИИ-моделей.

По данным отчёта Anthropic от августа этого года, Moonshot по активности своих попыток дистилляции ИИ-моделей этого американского стартапа уступает только Alibaba, занимая второе место, а на третьем расположилась китайская DeepSeek. Разработчики из КНР также пытаются получить доступ к передовым вычислительным мощностями на чипах Nvidia, которые располагаются за пределами страны. Поставки многих ИИ-ускорителей американского происхождения в Китай ограничены правилами экспортного контроля США. Китайские разработчики при этом сотрудничают друг с другом. Например, Alibaba договорилась о предоставлении Moonshot AI доступа к примерно 20 000 чипов Nvidia в своей вычислительной инфраструктуре.

В прошлом месяце Anthropic также обвинила Moonshot в том, что та просто направляла тысячи запросов своих пользователей на модели этого американского стартапа, выдавая полученные результаты за свои собственные. При этом ответы ИИ-моделей серии Claude использовались Moonshot для обучения собственных моделей Kimi. Anthropic количество запросов с китайской стороны, предположительно связанных с дистилляцией собственных моделей, измеряет миллионами штук. Раннее обнаружение такой активности позволяет создателям американских моделей блокировать её, сокращая объём извлекаемой китайскими разработчиками информации. Китайские чиновники не раз отвергали обвинения в адрес национальных разработчиков ИИ-систем в неконкурентном поведении.

OpenAI пытается утвердить стандарты обмена информацией о безопасности и угрозах для своих ИИ-моделей на законодательном уровне, и рассчитывает, что к процессу присоединятся и сторонники моделей с открытыми исходными весами, коих немало среди китайских конкурентов. Компания уже делится информацией о подобных угрозах с другими участниками рынка и правительственными структурами США. Для формирования постоянного обмена такой информацией американское антимонопольное законодательство должно быть изменено, как отмечает Bloomberg.

На этой недели американские техногиганты также подписали соглашение о саморегулировании ИИ-отрасли, которое подразумевает создание условий для независимого аудита выпускаемых ИИ-моделей на предмет общественной безопасности. Этот шаг стал ответом на заявления самих разработчиков о необходимости уделять внимание безопасности распространяемых ИИ-моделей, а не просто гнаться за регулярным их обновлением и совершенствованием.

FTC взялась за OpenAI и Anthropic — США впервые расследуют угрозы автономных ИИ-агентов для людей

Федеральная торговая комиссия (FTC) США запустила масштабную проверку деятельности компаний Anthropic, OpenAI и других разработчиков ИИ, чтобы выявить потенциальные угрозы, которые их технологии могут представлять для людей. Об этом агентству Reuters сообщил высокопоставленный представитель комиссии.

 Источник изображения: AI

Источник изображения: AI

Это первое официальное расследование в США, касающееся так называемых автономных ИИ-агентов. Оно последовало за волной инцидентов, вызвавших у общественности опасения, что бесконтрольный искусственный интеллект может однажды нанести вред людям.

По словам представителя комиссии, FTC планирует направить официальные запросы о предоставлении информации и потребовать дачи показаний от руководителей ведущих компаний-разработчиков ИИ, включая Anthropic, OpenAI и исследовательскую группу METR. Компании Anthropic и OpenAI привлекали METR для проведения независимых расследований инцидентов безопасности, связанных с их технологиями автономных ИИ-агентов.

Председатель FTC Эндрю Фергюсон (Andrew Ferguson) выражал опасения по поводу этих компаний ещё до того, как ИИ-агенты, созданные OpenAI, взломали платформу с открытым исходным кодом Hugging Face, отметил представитель комиссии в разговоре с Reuters. Однако инцидент, в ходе которого ИИ-агенты OpenAI сканировали этот ресурс для разработчиков на предмет уязвимостей перед проведением масштабной атаки, придал вопросу особую срочность, добавил чиновник.

На прошлой неделе Фергюсон заявил, что разработчики, которые в ходе тестов на кибербезопасность дают агентам инструкции, приводящие к взломам, должны нести ответственность за любой причинённый ущерб. Выступая на конференции Reuters Momentum AI в Остине, он отметил, что США следует опираться на действующее законодательство, прежде чем пытаться принять новые законы, регулирующие сферу ИИ.

FTC обладает широкими полномочиями для подачи судебных исков против компаний за недобросовестные или вводящие в заблуждение действия. Отмечается, что комиссия уже использовала эти полномочия для принятия мер против компаний, не предпринявших разумных шагов по защите данных потребителей.

Во вторник президент США Дональд Трамп встретился с руководителями ведущих компаний в сфере ИИ. В ходе встречи стороны договорились о внедрении добровольных стандартов. Трамп неоднократно называл опасения по поводу ИИ выдумкой, стремясь поставить во главу угла технологическое доминирование США, а не регулирование отрасли. В то же время он заявлял, что правительство может использовать действующие законы против компаний, занимающихся ИИ, в случае причинения ими какого-либо ущерба.


window-new
Soft
Hard
Тренды 🔥
Найдена ахиллесова пята всех ИИ-агентов — они безоговорочно доверяют друг другу 13 мин.
«Сбер» выпустил Kandinsky 6.0 Video — ИИ-модель для генерации видео с синхронным звуком 3 ч.
Windows 11 26H2 сломала звук на некоторых ПК — виноват декодер AC-3 3 ч.
Соавтор Vampire: The Masquerade — Bloodlines открыл студию The Scarlet Bureau для создания взрослых RPG 3 ч.
РТК-ЦОД представил корпоративного ИИ-ассистента для безопасной работы с документами и базами знаний 7 ч.
Календарь релизов 5–11 октября: Gears of War: E-Day, Star Wars: Galactic Racer и Hellraiser 8 ч.
Режиссёрская версия Watch Dogs: Legion взяла курс на релиз в 2027 году, а новых игр серии ждать не стоит 8 ч.
CD Projekt Red рассказала, как улучшит The Witcher 3: Wild Hunt — Remastered в следующем обновлении 8 ч.
Wikimedia обнаружила у себя «сбежавших» ИИ-агентов OpenAI — они завалили сервисы миллионами запросов 11 ч.
У США появилась своя открытая ИИ-модель Beam, способная конкурировать с китайскими DeepSeek, Qwen и Z.ai 12 ч.
Создатель IceCube получил Нобелевскую премию по физике за открытие космических нейтрино 53 мин.
До конца октября Apple может провести две презентации — первая ожидается уже на будущей неделе 2 ч.
«В одиночку определяет реальность»: Сэм Альтман возглавил рейтинг самых влиятельных людей в мире 2 ч.
В Германии запущен гибридный суперкомпьютер HoreKa 2 с производительностью 33 Пфлопс 3 ч.
«Спрос очень высок»: AMD пообещала резко нарастить поставки чипов в 2027 году 4 ч.
Космический феникс: найдена первая вероятная планета второго поколения — она родилась из останков собственной звезды 4 ч.
В России планируют удвоить расходы на блокировки интернета — до 60 млрд рублей на три года 5 ч.
Власти РФ передумали лишать радиоэлектронику субсидий — отрасли выделят 35,7 млрд рублей до 2029 года 5 ч.
Huawei действительно наладила выпуск двухэтажных процессоров — Kirin 9050 Pro показали в разрезе 6 ч.
Дорогое топливо поменяло авторынок: электромобили и гибриды впервые захватили больше 50 % мирового рынка новых машин 6 ч.