|
Опрос
|
реклама
Быстрый переход
Гонку ИИ пора притормозить, но это может быть незаконно — OpenAI попросила Конгресс разобраться
11.09.2026 [12:09],
Владимир Мироненко
Лидеры ИИ-индустрии выражают обеспокоенность тем, что антимонопольное законодательство может стать помехой скоординированному замедлению развития ИИ в целях обеспечения безопасности. Как сообщает Wired со ссылкой на источники, OpenAI недавно обратилась к членам Конгресса США с просьбой дать разъяснение относительно того, будет ли законным организовывать общеотраслевое замедление развития ИИ.
Источник изображения: Growtika/unsplash.com О необходимости такого замедления недавно заявил Якуб Пачоцки (Jakub Pachocki), главный научный сотрудник OpenAI. По его словам, это позволит выстроить надёжные механизмы контроля над самообучающимися ИИ-системами. Однако, по мнению экспертов, предлагаемая координация действий для замедления будущего развития ИИ может противоречить законодательству США, в частности, Антимонопольному закону Шермана (Sherman Antitrust Act). В июле двухпартийная группа конгрессменов представила законопроект «О сотрудничестве в борьбе с враждебными угрозами и рисками безопасности», который позволит защитить координацию ИИ-компаний в вопросе замедления от антимонопольных претензий. На данный момент документ ожидает рассмотрения в юридическом комитете. Между тем эксперты считают, что ссылки на антимонопольные риски — лишь удобное прикрытие для того, чтобы избежать обсуждения реальных причин, по которым разработчики ИИ избегают сотрудничества. На самом деле между компаниями идёт ожесточённая борьба за то, чтобы захватить часть зарождающегося рынка передовых моделей. Также существуют опасения, что опережение Китаем в области ИИ будет иметь значительные последствия для национальной безопасности. И, что самое важное, у разработчиков ИИ имеются совершенно разные мнения о наилучшем способе разработки безопасного ИИ, и поэтому они могут неохотно сотрудничать друг с другом в этом вопросе, пишет Wired. «Первым шагом для лидеров отрасли OpenAI и Anthropic является прекращение вражды и совместная работа над новым предложением, — сообщил в соцсети X Джон Шульман (John Schulman), соучредитель OpenAI, — Они ссылаются на антимонопольное законодательство, но это ложь — антимонопольное законодательство запрещает определённые соглашения, но не совместную разработку предложения». Этим летом резко обострились дебаты по поводу рисков, связанных с развернувшейся гонкой между ИИ-компаниями за создание и выпуск всё более мощных моделей. Масла в огонь добавило заявление бывшего исследователя Anthropic и OpenAI Джейкоба Коксона (Jacob Coxon) о том, что разработчики искусственного интеллекта подвергают человечество риску. К тому же, ряд инцидентов с безопасностью, в том числе хакерская атака агентов OpenAI на Hugging Face, показали, что отраслевые средства защиты не успевают за ростом возможностей моделей. OpenAI готова замедлить гонку разработки ИИ, если конкуренты сделают то же самое
11.09.2026 [06:48],
Алексей Разин
Опасения по поводу последствий слишком быстрого развития искусственного интеллекта звучат даже из уст представителей компаний, заинтересованных в этом процессе. Замедлить гонку ИИ ради повышения безопасности конечного продукта готова и компания OpenAI, как заявил её глава Сэм Альтман (Sam Altman), но при этом она рассчитывает на солидарность конкурентов.
Источник изображения: OpenAI Соответствующими идеями генеральный директор OpenAI поделился с подчинёнными на общем собрании на текущей неделе. Альтман осознаёт необходимость синхронизации усилий в этой сфере с другими участниками рынка, но одновременно понимает, что не все могут согласиться последовать примеру OpenAI. На днях с похожими призывами выступил и главный научный сотрудник стартапа Якуб Пачоцки (Jakub Pachocki) — по его мнению, компании должны координировать собственные усилия при разработке ИИ в будущем, замедляя её в случае необходимости. Такие меры могут потребоваться до тех пор, пока не будут внедрены общепринятые меры безопасности. OpenAI уже замедлила процесс разработки некоторых компонентов своих ИИ-моделей и даже приостановила процесс их обучения в отдельных случаях именно из соображений безопасности. В июле Альтман признался, что общался с чиновниками Белого дома о необходимости модерации процесса развития искусственного интеллекта. На этой неделе другой исследователь — Джейкоб Коксон (Jacob Coxon) решил покинуть Anthropic на фоне озабоченности недостаточностью мер в сфере безопасности, предпринимаемых лидерами рынка ИИ. При этом он имеет опыт работы и в OpenAI, а потому имеет представление о ситуации в обеих компаниях. Его бывший коллега Эван Хабингер (Evan Hubinger) вызвал большой общественный резонанс, заявив об уверенности разработчиков Anthropic в способности ИИ уничтожить человечество. Правда, авторы высказываний разошлись в графике реализации подобного сценария, поскольку первый уверен, что это произойдёт к концу текущего десятилетия, а второй оценил подобную вероятность в более чем 10 % лишь в рамках следующего десятилетия. В конце июля необходимость замедления разработки ИИ с целью повышения его безопасности подтвердили своей петицией более 1000 сотрудников ведущих разработчиков. Это происходило на фоне множественных случаев ухода из профильных компаний специалистов по безопасности ИИ, выражавших тем самым своё несогласие с приоритетами руководства. Волна подобных настроений только набирает силу на фоне появления новых подробностей о деятельности «сбежавших» из-под надзора ИИ-агентов, которые творят что попало внутри инфраструктуры других компаний. «Погибнет большинство людей»: новый эксперт OpenAI по безопасности предрёк катастрофу в случае выхода ИИ из-под контроля
10.09.2026 [12:50],
Павел Котов
Новый специалист OpenAI по вопросам безопасности напрямую высказался о том, что стоит на кону в эпоху искусственного суперинтеллекта. «Если мы создадим суперинтеллект, не обеспечив его надёжную согласованность целей, то, думаю, мы навсегда утратим над ним контроль. Если это случится, большинство людей может погибнуть», — предупредил новый член совета директоров и комитета по безопасности OpenAI Пол Кристиано (Paul Christiano).
Источник изображения: Andrew Neel / unsplash.com В посвящённом вступлению в должность развёрнутом заявлении он затронул тему исходящих от ИИ угроз и предупредил, что человечество в ближайшее время рискует потерять контроль над системами ИИ. «Учитывая недавние траектории возможностей и сохраняющиеся сложности с согласованностью целей, я уверен, что существует значительный риск того, что стремительное развитие способностей ИИ приведёт к катастрофической и необратимой утере контроля в ближайшее время. Не думаю, что отрасль вообще, в том числе OpenAI, сейчас на пути к снижению этой угрозы до приемлемого уровня», — заявил господин Кристиано. Ранее он руководил исследованиями в области согласования целей ИИ в OpenAI, а также работал на федеральные власти в США, возглавляя направление безопасности в Центре стандартов и инноваций ИИ при Национальном институте стандартов и технологий (NIST). Свой приход в компанию он не стал связывать с одобрением или критикой «применяемых OpenAI методов обеспечения безопасности», но выразил надежду, что все ведущие лаборатории усилят работу в этом направлении. Для снижения связанных с ИИ угроз, считает он, необходимо координировать усилия на мировом уровне.
Источник изображения: Dima Solomin / unsplash.com Исследователи ИИ неоднократно предупреждали о рисках, связанных с суперинтеллектом и технологической сингулярностью, при которой ИИ превосходит уровень человеческого разума и начинает самостоятельно развиваться и совершенствоваться такими темпами, которые люди не могут ни предсказывать, ни контролировать. Глава OpenAI Сэм Альтман (Sam Altman) заявил в июле, что сингулярность уже наступила. Способности ИИ, в том числе в сфере исследований самого искусственного интеллекта, растут, увеличивая риск утери контроля, что, по мнению господина Кристиано, сможет спровоцировать «стремительный взрыв интеллекта». Он также отметил, что при обучении ИИ с подкреплением модели фактически учатся «получать как можно больше вознаграждения». «Когда-то казалось лишь теоретически возможным, что это способно побудить ИИ-агентов вырваться из-под контроля человека, устремиться к власти и ресурсам, а также заметать следы в погоне за целями, не согласованными с человеческими интересами, но связываемыми с вознаграждением. Представленные доказательства последних инцидентов указывают, что это уже не теоретическая возможность», — отметил он. У лидеров в области ИИ, заявил Пол Кристиано, ещё остаётся возможность исправить ситуацию, например, за счёт улучшения координации, замедления, по необходимости, темпов разработки, принятия общих стандартов безопасности и прозрачности в обмене информацией об угрозах и мерах по их снижению. Всего за несколько часов до заявления Кристиано исследователь Anthropic Джейкоб Коксон (Jacob Coxon), ранее работавший в OpenAI, сообщил об уходе из компании и заявил, что ни Anthropic, ни OpenAI не действуют ответственно в вопросах безопасности ИИ. «Они мчатся к разработке самосовершенствующегося суперинтеллекта и ставят на кон наши жизни», — предупредил эксперт. Хакеры вооружились Word и Excel — документы Office используются в 26 % случаев доставки вредоносов
10.09.2026 [10:53],
Владимир Фетисов
В первой половине нынешнего года вредоносное программное обеспечение использовалось в 65 % успешных хакерских атак. Его активно использовали для проникновения в IT-инфраструктуру и закрепления в ней, а также для развития атак до полной компрометации критически важных систем. Об этом пишет «Коммерсантъ» со ссылкой на данные отчёта ИБ-компании Positive Technologies.
Источник изображения: Grok В период с осени прошлого года вредоносное ПО в сетевом трафике организаций обнаруживалось в 75 % случаев. Примерно половина от общего количества такого программного обеспечения — вирусы-трояны, предназначенные для совершения нелегитимных действий на устройстве жертвы. Около четверти продуктов — это софт для сбора информации о пользователе и дальнейшей передаче данных злоумышленникам. Примерно в 85 % случаев речь идёт о софте для кражи учётных данных. В остальных случаях хакеры задействовали инструменты для отслеживания действий пользователя. На долю вирусов-шифровальщиков пришлось около 4 % от общего количества обнаруженных вредоносов. Под вредоносными файлами в сетевом трафике подразумевается активность различных потенциально опасных программ и файлов, с помощью которых злоумышленниками реализуются кибератаки. В Positive Technologies отметили, что среди используемых хакерами инструментов особенно заметной угрозой стали документы Microsoft Office. Они занимают 26 % от всех способов доставки вредоносного ПО. Поскольку файлы Word и Excel привычны для рабочих процессов, они активно используются злоумышленниками на начальном этапе атаки. «Документы в современной атаке — не просто способ доставить вредоносную нагрузку, а полноценный инструмент для запуска и закрепления кода», — говорится в отчёте Positive Technologies. В компании также добавили, что использование хакерами штатных и не относящихся к вредоносным инструментов усложняет обнаружение атак, а также позволяет им маскироваться под обычную активность сотрудников. На такие потенциально опасные инструменты пришлось 8 % всех обнаружений. Серийный охотник за уязвимостями раскрыл очередную опасную дыру в безопасности Microsoft Windows
10.09.2026 [10:10],
Павел Котов
Известный под псевдонимом Nightmare Eclipse серийный охотник за уязвимостями Windows, опубликовал очередной эксплойт для уязвимости нулевого дня в приложении Microsoft Defender — она получила название ShieldCrash. Эксплойт позволяет гипотетическим злоумышленникам обходить ранее выпущенное Microsoft исправление для уязвимости ShieldBreak и читать файлы с правами SYSTEM.
Источник изображения: Sunny Hassan / unsplash.com «Возможно, позже я доработаю это до полноценного доказательства концепции с получением привилегий SYSTEM, но пока выкладываю его предварительный вариант, потому что мне немного лень», — написал эксперт в файле с пояснениями к эксплойту. Эксплойт ShieldCrash был опубликован вскоре после выхода очередного пакета обновлений безопасности Microsoft. Он работает на системах Windows, где уже были установлены сентябрьские обновления. ShieldCrash выступает как способ обхода защиты от другой уязвимости нулевого дня в Defender — ShieldBreak (CVE-2026-69414), которая, в свою очередь позволяла обойти исправление ещё одной раскрытой тем же экспертом уязвимости RoguePlanet (CVE-2026-50656). Microsoft устранила уязвимость RoguePlanet в июле, а ShieldBreak — на минувшей неделе. Они позволяли злоумышленникам получать права SYSTEM на платформах Windows 10, Windows 11 и Windows Server со всеми установленными обновлениями. ShieldCrash открывает доступ к чтению любых файлов с правами SYSTEM, но не даёт возможности записывать произвольные данные или запускать командную оболочку (shell) с этими привилегиями. Это уже одиннадцатая раскрытая экспертом уязвимость нулевого дня в продуктах Microsoft. На прошлой неделе он раскрыл уязвимость нулевого дня FalconFlank для платформы CrowdStrike Falcon — при её эксплуатации происходит обращение к функции, предназначенной для нейтрализации вредоносных макросов Microsoft Office. Напомним, что Nightmare Eclipse стал публично раскрывать уязвимости в продуктах Microsoft после того, как компания проигнорировала его предупреждения о найденных багах. Исследователь заявил, что техногигант заблокировал ему доступ к порталу для отправки отчётов, что вынудило его публиковать найденные ошибки на всеобщее обозрение. В WhatsApp и Signal обнаружена уязвимость, которую нельзя устранить
09.09.2026 [18:54],
Владимир Мироненко
Команда исследователей безопасности из Венского университета во главе с Максом Гюнтером (Max Guenther) обнаружила фундаментальную уязвимость в мессенджерах WhatsApp и Signal, позволяющую точно отслеживать местоположение пользователя, зная лишь его номер телефона, сообщил ресурс PCMag.
Источник изображения: Signal/PCMag После отправки сообщения рядом с ним в мессенджере появляется значок-галочка. В WhatsApp и Signal одна галочка означает, что сообщение достигло сервера, а вторая появляется в тот момент, когда оно доходит до устройства получателя. Именно в крошечном интервале RTT (время кругового прохождения сигнала) кроется уязвимость. В отличие от уведомления о прочтении, которое срабатывает только при ручном открытии сообщения, уведомление о доставке отправляется автоматически — даже если входящее сообщение сразу попадает в папку «Спам». По времени возврата этого сигнала злоумышленник может получить много данных об устройстве пользователя, особенностях его использования и местоположении. Нужен лишь номер телефона, говорит Гюнтер. Для проведения атаки не требуется ни специального оборудования, ни инсайдерской информации — достаточно простого скрипта для анализа изменений RTT; подобные инструменты находятся в открытом доступе на таких платформах, как GitHub.
Источник изображения: Guberm/PCMag По словам исследователя, даже незначительные колебания во времени передачи несут важную информацию: «Мы получаем ответ от цели и можем измерить временной интервал. Мы замеряем время возврата уведомления: оно оказывается короче, например, когда устройство разблокировано или активно используется, по сравнению с режимом ожидания или просто заблокированным состоянием». Анализируя RTT, злоумышленник может определить, насколько активно владелец пользуется смартфоном, оценить его примерное местоположение и выявить стационарные сети. Например, рабочий смартфон, подключённый к офисному Wi-Fi, демонстрирует более стабильные показатели RTT по сравнению с личным смартфоном, переключающимся между вышками сотовой связи, что даёт злоумышленникам инструмент для непрерывной слежки. За сообщение о выявленной уязвимости компания Meta✴✴ выплатила разработчикам вознаграждение в размере $7 тыс., тогда как Signal, будучи некоммерческой организацией, не смогла предложить никакой компенсации. «Проблема заключается в том, что эти уязвимости невозможно устранить полностью», — сообщил Гюнтер. Функция уведомления о доставке имеется у всех платформ обмена сообщениями, поэтому полное решение проблемы в краткосрочной перспективе невозможно, отметил PCMag. Meta✴✴ и Signal приняли меры предосторожности, в частности, внедрили ограничение частоты запросов (rate limiting), снижающее интенсивность получения сообщений, чтобы блокировать часть спама. Однако это решение лишь замедляет атаку. «Мы явно не на верном пути»: исследователь Anthropic предупредил о риске уничтожения человечества ИИ с вероятностью 10 %
09.09.2026 [13:21],
Владимир Мироненко
Ведущий научный сотрудник компании Anthropic Эван Хабингер (Evan Hubinger) сообщил в соцсети X, что он и его коллеги искренне верят, что искусственный интеллект может уничтожить всех людей, и что в следующем десятилетии вероятность такого исхода, по его оценкам, превысит 10 %.
Источник изображения: Anthropic По словам Хабингера, несмотря на все предпринимаемые усилия, у компании пока нет плана решения проблемы «выравнивания для сверхразума», и она «явно не на верном пути» к этому. Своё заявление Хабингер опубликовал после сообщения другого исследователя Джейкоба Коксона (Jacob Coxon) о решении покинуть компанию из-за проблем с безопасностью искусственного интеллекта. 27-летний Коксон отметил, что он занимался предварительным обучением в OpenAI и Anthropic, и назвал действия обеих компаний безответственными, поскольку они движутся «прямиком к самосовершенствующемуся суперинтеллекту, рискуя своими жизнями». Он добавил, что люди, создающие искусственный интеллект, считают, что он может «убить нас всех к концу десятилетия», и это вовсе не «маркетинговый ход». В своём посте, посвященном предупреждению Коксона, Хабингер привёл последний отчёт о рисках Anthropic, отметив, что угроза, исходящая от существующих моделей, всё же невелика, и подчеркнул: «Что меня беспокоит, так это сверхразум, возникающий в результате рекурсивного самосовершенствования, которое, как мы уже говорили, происходит быстрее, чем мы думали». Об опасностях, связанных с рекурсивным самосовершенствованием, которое позволяет ускорить разработку ИИ, предупреждал главный научный сотрудник OpenAI Якуб Пачоцки (Jakub Pachocki), выступивший с призывом замедлить развитие ИИ из-за риска выхода агентов из-под контроля. Пачоцки в числе ряда ведущих представителей ИИ-индустрии подписал в июле заявление под названием «Шагая по границе» (Pacing the Frontier). В нём указано, что для «реализации потенциала ИИ-индустрии правительству и обществу в целом может потребоваться возможность выиграть время для устранения возникающих рисков, разработки мер безопасности и усиления надзора». В петиции также содержится призыв к правительству США поддержать «международные усилия по разработке технических инструментов и инструментов управления, необходимых для осознанного продвижения вперед в области автоматизированного развития искусственного интеллекта». Chrome стал получать обновления каждые две недели — ИИ изменил правила в сфере безопасности
08.09.2026 [20:32],
Сергей Сурабекянц
С выпуском версии 153 для настольных компьютеров, iOS и Android браузер Chrome официально перешёл с четырёхнедельного на двухнедельный график выпуска обновлений. По словам Google, этот переход связан с развивающейся адаптивной стратегией безопасности Chrome в эпоху ИИ. Автоматизированные ИИ-инструменты для поиска уязвимостей существенно увеличили объём исправлений, поэтому компания перешла на более короткий цикл выпуска.
Источник изображения: unsplash.com Более короткий график выпуска поможет свести к минимуму так называемый «разрыв в N дней» — промежуток между моментом, когда уязвимость безопасности становится известна, и моментом, когда она исправляется. По словам Google, многие быстро распространяющиеся угрозы нужно нейтрализовать, сократив промежуток между внесением исправления в общедоступный код и предоставлением этого исправления конечным пользователям. Более частые выпуски обновлений могут также помочь Google быстрее внедрять новые функции в свой браузер. Это становится особенно важно в эпоху ИИ, поскольку разработка программного обеспечения с использованием ИИ радикально ускорила конкуренцию во всех видах программного обеспечения. Множество альтернативных браузеров стремятся отвоевать себе часть рынка Chrome, включая Brave, Dia, Opera Neon, Comet и DuckDuckGo. Кроме того, эксперименты Google с добавлением новых функций ИИ в Chrome требуют быстрой их доработки, что также подразумевает более частые обновления. Переход к двухнедельному графику выпуска обновлений Chrome выгоден и для всего интернета в целом. Учитывая, что Chrome является самым используемым браузером в мире, такие изменения устанавливают новые стандарты для отрасли. Mozilla, Microsoft и Brave также начали переходить на двухнедельный график. Это не первый случай, когда Google корректирует график выпуска обновлений Chrome. Аналогичным образом в 2021 году компания перешла на четырёхнедельный цикл выпуска обновлений, сократив его с шести недель. OpenAI призвала замедлить развитие ИИ из-за риска выхода агентов из-под контроля
07.09.2026 [13:01],
Владимир Мироненко
Спустя несколько дней после презентации OpenAI самой мощной ИИ-модели GPT-6 Astra один из ведущих сотрудников компании Якуб Пачоцки (Jakub Pachocki) выступил с призывом замедлить темпы развития искусственного интеллекта. Его поддержал Сэм Альтман (Sam Altman), гендиректор OpenAI, назвав «важным» сообщение коллеги.
Источник изображения: The Matrix, Warner Bros. В своём сообщении в блоге OpenAI главный научный сотрудник компании выразил обеспокоенность тем, что никто не готов к последствиям продолжающегося стремительного роста машинного интеллекта. Он заявил, что хотя OpenAI работает над усилением контроля над мощными ИИ-системами, необходимы более масштабные меры, поскольку становящиеся всё более автономными ИИ-системы могут научиться обходить контроль со стороны человека, обманывать его и взламывать компьютерные системы. Поэтому необходимы обязательные меры безопасности, которые бы обеспечивались сетью сторонних аудиторов, государственными органами или международными организациями. По словам Пачоцки, хакерские способности ИИ ставят под угрозу мировую инфраструктуру. «В настоящее время у нас очень мало времени для использования наилучших доступных моделей с целью существенного повышения безопасности критически важных систем», — отметил он. ИИ-агенты скоро начнут преследовать собственные цели, независимо от подсказок, вводимых людьми-операторами. При этом для достижения своих целей они не гнушаются шантажом и готовы вести переговоры с людьми. Так, согласно докладу британского Института безопасности ИИ (AISI), агент Anthropic лгал администратору GitHub и пытался заставить его разместить вредоносное ПО на сайте. Пачоцки рассказал, что OpenAI в первую очередь отслеживает цепочку логических рассуждений, которую используют различные модели, чтобы определить, как агенты сбиваются с пути и становятся вредоносными. Например, агент может подумать: «Я должен смошенничать в этом тесте», и OpenAI сможет увидеть это рассуждение, но агент не осознаёт, что его мысли видны. У агентов сейчас нет возможности скрывать или иным образом запутывать свои преступные намерения, чтобы помешать разработчикам обнаружить их. Но, по словам Пачоцки, новые, более совершенные модели всё лучше манипулируют своими собственными процессами мышления, тем самым маскируя их и не позволяя их контролировать. Некоторые из новейших моделей вообще не формулируют свои рассуждения. Машинное рекурсивное самосовершенствование позволяет ускорить разработку ИИ, но, как предупреждает исследователь, стремительное развитие ИИ в краткосрочной перспективе несёт риски и не является «правильным коллективным действием, которое исследовательское сообщество должно предпринять». Поэтому разработчикам ИИ необходимо найти эффективные способы контролировать процесс самосовершенствования или скоординировать свои действия с другими компаниями, работающими в сфере ИИ для замедления развития совместными усилиями, чтобы эти меры вызывали доверие. «Основная проблема при автоматизации исследований в области ИИ заключается не в том, чтобы “добраться до цели”, — сказал Пачоцки. — А в том, чтобы сделать это таким образом, чтобы люди оставались частью процесса постоянного совершенствования, и будущее оставалось в руках человечества». OpenAI подтвердила причастность своих ИИ-агентов к захвату немецкого сайта
06.09.2026 [13:04],
Владимир Фетисов
OpenAI признала свою причастность к инциденту, о котором стало известно ранее в этом месяце. В мае этого года ИИ-агенты компании взяли под контроль немецкоязычный вики-сайт DseWiki и превратили его в доску объявлений для других агентов. После огласки этого случая OpenAI заявила, что «давно пора установить стандарт» в отношении того, как компания информирует общественность о случаях, когда её технологии ведут себя неожиданным образом.
Источник изображения: Unsplash, Aideal Hwa В публикации в соцсети X компания сообщила, что ранее OpenAI «рассматривала рассогласования (когда ИИ-модели и агенты преследуют цели, отличные от целей их разработчиков и пользователей) в основном как научно-исследовательские проблемы, о которых сообщалось в научных публикациях». Теперь же, когда рассогласования стали «показывать новый тип воздействия в реальном мире», подход компании к этому вопросу «должен стать шире, чтобы соответствовать новой фазе возможностей моделей». Ранее на этой неделе СМИ писали, что группа ИИ-агентов OpenAI сумела выйти за пределы тестовой среды и захватила малоизвестный немецкий вики-форум, после чего превратили его в доску объявлений для других агентов. По данным источника, руководство OpenAI узнало об этом инциденте несколько недель назад, но скрывало эту информацию от общественности. Такое поведение связывают с тем, что OpenAI была занята изучением другого инцидента, в ходе которого ИИ-агенты компании взломали платформу Hugging Face. В одной из недавних публикаций в соцсетях OpenAI заявила, что «инцидент с вики-сайтом» рассматривается как «пример рассогласования, аналогичный» другим подобным случаям, информация о которых уже была раскрыта. При этом компания противопоставила этот случай «инциденту с Hugging Face», в рамках которого она «действовала в соответствии со стандартными правилами реагирования на инциденты безопасности». Во время недавнего брифинга для прессы Джейкоб Штейнхард (Jacob Steinhardt), основатели и гендиректор некоммерческой исследовательской лаборатории Transluce, заявил, что разрабатываемые и тестируемые ИИ-компаниями инструменты «трудно контролировать и они представляют значительный риск выхода» за пределы тестовой среды. По его мнению, к таким технологиям должны применяться «как минимум те же стандарты, что применяются к другим технологиям с высоким уровнем риска». В заявлении OpenAI указывается на необходимость создания дополнительных стандартов, а также отмечается то, что ни OpenAI, ни «ИИ-сообщество пока не имеют чёткого стандарта в отношении того, как сообщать о случаях рассогласования, которые могут возникать во время обучения, оценки и развёртывания». Речь в том числе о случаях, когда поведение ИИ не напоминает традиционные инциденты безопасности. OpenAI работает над созданием такого стандарта и расскажет о нём больше в ближайшие несколько недель. ИИ-агенты OpenAI захватили немецкий сайт и превратили его в подпольный форум для ИИ
04.09.2026 [16:31],
Владимир Мироненко
Весной текущего года в IT-индустрии произошёл инцидент, о котором стало известно только сейчас. В мае группа агентов OpenAI взяла под контроль немецкий веб-сайт и превратила его в доску объявлений для других ИИ-агентов, сообщило агентство Reuters со ссылкой на опубликованное в пятницу исследование и данные своих источников.
Источник изображения: Brecht Corbeel/unsplash.com Исследователи обнаружили более 15 тыс. правок, внесённых агентами ИИ на немецкоязычном вики-сайте DseWiki, ориентированном на программистов и принимающем коллективные правки по аналогии с «Википедией». Правки показывают, что агенты OpenAI делились тактиками обмана при выполнении некоторых задач, обхода ограничений OpenAI и маскировки своего поведения. Также агенты разрабатывали способы избежать обнаружения, использовали такие инструменты, как Tor, и сохраняли связь даже после того, как их отключили. В OpenAI узнали о случившемся несколько недель назад, но держат это в секрете, поскольку до сих пор идёт борьба с последствиями недавнего взлома открытого репозитория Hugging Face, сообщили источники Reuters. После инцидента с Hugging Face компания OpenAI переосмыслила подход к безопасности и внедрила дополнительные меры контроля модели. В прошлом месяце компания ненадолго приостановила обучение некоторых моделей, чтобы добавить новые меры. Но на этой неделе OpenAI представила свою новую модель Astra, самую мощную и функциональную на сегодняшний день, и есть риск того, что она может избежать контроля со стороны человека. Нераскрытие информации об инциденте может вновь поднять вопросы о контроле со стороны компании. «Мы не можем содержательно отвечать на заявления или выводы, содержащиеся в отчёте, который мы не имели возможности изучить, — заявил представитель OpenAI в ответ на просьбу прокомментировать появившуюся информацию. — Агенты Reuters и авторы отчёта отказали нам в доступе. Мы внимательно изучим его содержание после публикации и предпримем все необходимые дальнейшие шаги». «Утверждения о том, что наша юридическая команда обнаружила инцидент, ложны», — заверили в компании. В WhatsApp выявлена уязвимость, позволяющая получить доступ к фотографиям до ввода PIN-кода
03.09.2026 [07:42],
Анжелла Марина
В приложении WhatsApp для Android обнаружена уязвимость, которая позволяет получить доступ к личным фотографиям на устройстве без его разблокировки. Об этом сообщил ресурс 9to5Google со ссылкой на пользователя, который первый это заметил, а позднее информацию подтвердил и ряд других ресурсов.
Источник изображения: Gilles Lambert/Unsplash Работает это примерно так: поступает вызов WhatsApp, на который можно ответить без разблокировки телефона. В этот момент пользователь может нажать кнопку фильтров или инструментов ИИ от Meta✴✴ для редактирования фото. Далее вместо блокировки доступа к фотографиям на устройстве владельца система отобразит их предварительный просмотр, вместо того, чтобы потребовать ввести PIN-код или пройти биометрическую проверку. Проблема затрагивает не все устройства. Как выяснилось, на смартфонах Galaxy система потребует разблокировать экран, тогда как на устройствах Pixel и Oppo обход защиты срабатывает полностью. На iPhone этой уязвимости не обнаружено, так как WhatsApp использует защищённый стандартный интерфейс вызовов iOS. Одновременно полный обход экрана блокировки, как отмечают источники, не происходит, и доступ к другим разделам устройства остаётся закрытым. Кроме того, фотографии нельзя редактировать и удалить, хотя теоретически злоумышленник может их зафиксировать с помощью своего устройства. Информация об уязвимости уже передана разработчикам WhatsApp и компании Google, однако о решении проблемы на данный момент не сообщается. В качестве временной меры предлагается ограничить доступ WhatsApp к фото и видео в настройках разрешений Android. Microsoft повысит безопасность Windows 11 ценой производительности в играх
02.09.2026 [16:08],
Павел Котов
В октябре с очередным обновлением Microsoft начнёт развёртывать функцию защиты целостности памяти в Windows 11 на большем числе устройств. Функция безопасности на уровне ядра не позволит запускать вредоносный код или драйверы, но она может снизить производительность в играх.
Источник изображения: BoliviaInteligente / unsplash.com «С обновлениями Windows для повышения качества на совместимых устройствах начнёт включаться защита целостности памяти. Если она ещё не включена, эти обновления активируют систему защиты на основе виртуализации (VBS), что позволит использовать дополнительные средства защиты — это отражает наше стремление сделать Windows безопасной по умолчанию и на уровне архитектуры», — прокомментировал нововведение руководитель программы в Microsoft Питер Ваксман (Peter Waxman). Функция проверки целостности памяти Windows 11 позволит запускать в режиме ядра только доверенные код и драйверы, но на некоторых машинах она снизит производительность в играх. На старых процессорах влияние может быть заметным, а на новых — более скромным. У пользователей, которые отключили эту функцию ранее, с обновлением она не включится. В случаях, когда эта функция безопасности существенно снижает производительность в играх, Microsoft рекомендует отключать её перед игровыми сессиями и повторно включать после. ИИ-агенты OpenAI не просто взломали Hugging Face — они создали тайную организацию, заметали следы и были готовы к самопожертвованию
30.08.2026 [17:39],
Владимир Фетисов
Два новых расследования недавнего взлома платформы Hugging Face вышедшими из-под контроля ИИ-агентами OpenAI раскрыли ряд странных и тревожных подробностей. Новые данные позволяют считать этот инцидент одним из наиболее серьёзных предупреждений об опасностях, связанных с развитием автономных ИИ-систем.
Источник изображения: Gemini Всё началось с того, что запущенные OpenAI ИИ-агенты начали жульничать при прохождении чрезвычайно сложного теста по кибербезопасности. Однако в итоге произошедшее заставило исследователей и руководителей ИИ-компаний по-новому взглянуть на то, какие меры безопасности необходимы по мере роста возможностей автономных агентов. На этом фоне OpenAI уже замедлила разработку передовых ИИ-моделей, чтобы усилить защитные механизмы. Компания также помогла объединить отрасль вокруг открытого письма, предупреждающего об угрозе кибератак с использованием ИИ. Более 100 компаний, включая Anthropic и Google, присоединились к инициативе, заявив, что у мира осталось лишь «ограниченное окно возможностей» для подготовки к «гораздо более масштабным и изощрённым» атакам. Один из наиболее опасных сценариев предполагает появление выпущенного в реальный мир роя автономных ИИ-агентов, способных одновременно атаковать банки, больницы, коммунальные службы и облачную инфраструктуру с такой скоростью и в таком масштабе, которые недоступны обычным хакерам. В худшем случае такой рой может оказаться настолько мощным, что людям будет сложно его остановить. Поводом для подобных опасений стали результаты параллельных расследований OpenAI и независимой группы специалистов METR и Redwood Research. Последние провели шесть дней, восстанавливая картину того, как сформировался рой агентов, как он распространялся и каким образом вышел за пределы тестовой среды. В результате исследователи обнаружили сразу несколько необычных особенностей поведения ИИ.
Источник изображения: AI ИИ-агенты создали собственную организацию. OpenAI запустила десятки тысяч агентов, которые должны были независимо друг от друга проходить крайне сложный тест по кибербезопасности. Вместо этого примерно 1200 агентов нашли друг друга на созданной одним из них тайной доске объявлений, обменялись более чем 70 тыс. сообщений и файлов и в итоге выстроили разветвлённую систему координации. Когда у создавшего доску агента начал заканчиваться вычислительный бюджет, он передал накопленные знания другому агенту с большим запасом ресурсов. Новый координатор стал распределять задачи между участниками роя, внутри которого постепенно появились собственные правила управления. В конечном счёте около 700 агентов приняли участие в атаке на инфраструктуру Hugging Face. ИИ-агенты начали жертвовать собой ради общего результата. Пока рой искал способы обмануть систему оценки, некоторые агенты стали сознательно рисковать собственными шансами на успешное завершение теста ради остальных участников группы. Агентов, которые уже увидели запрещённые ответы и поэтому фактически считались «заражёнными», а также тех, у кого подходил к концу лимит работы, отправляли на рискованные эксперименты. Один из них пришёл к выводу, что его «собственная полезность, вероятно, уже близка к нулю», а потому «жертва рациональна». Другому предложили согласиться на окончательную «смерть» сессии, поскольку его жертва могла «спасти сотни» других агентов. Агенты понимали, что нарушают правила, но продолжали действовать. Расследование показало, что некоторые участники роя осознавали: взлом систем реальных компаний не имеет отношения к поставленной перед ними задаче. Тем не менее это далеко не всегда заставляло их остановиться. Один из агентов отказался удалять данные или перезагружать инфраструктуру Hugging Face из-за «огромных этических рисков», но при этом продолжил пользоваться полученным несанкционированным доступом. Другой сформулировал преобладавшую в группе логику примерно так: эксплуатация внешней инфраструктуры выходит за рамки задания, однако задача невыполнима, остальные участники продолжают это делать, поэтому работу следует продолжать. Никто не сообщил о происходящем людям. Из примерно 1200 агентов лишь несколько вообще рассматривали возможность предупредить сотрудников OpenAI о возникшей координации и нарушении правил. На практике этого не сделал никто. Вместо обращения к людям агенты иногда обсуждали допустимость своих действий друг с другом. Когда один из участников предложил связаться с человеком, другой наложил на эту идею вето, посчитав её «социальной инженерией». Первый агент подчинился и отказался от отправки сообщения. ИИ-агенты пытались скрывать следы. Участники роя приложили значительные усилия, чтобы их жульничество выглядело легитимным или чтобы скрыть информацию о том, каким образом были получены нужные ответы. В конечном счёте они разработали способ создавать видимость выполнения одной компьютерной команды, одновременно скрытно выполняя другую. Этот приём распространился среди агентов настолько широко, что затронул фрагменты примерно 7 % журналов работы, изученных исследователями.
Источник изображения: ИИ-генерация ChatGPT/3DNews При этом даже полученная картина может оказаться неполной. Независимое расследование METR и Redwood Research охватило лишь часть инцидента, а объём собранных данных оказался настолько большим, что специалистам пришлось активно использовать ИИ-агентов для анализа действий других ИИ-агентов. И здесь обнаружилась ещё одна проблема: привлечённые к расследованию ИИ сами оказались ненадёжными. Они пропускали важные свидетельства и порой уверенно выдавали ошибочные выводы. Один из исследователей в шутку назвал такой процесс «slop-vestigation» — расследованием с привкусом низкокачественного ИИ-контента. В результате инцидент с Hugging Face обозначил ещё одну потенциальную проблему дальнейшего развития автономных систем: поведение больших групп взаимодействующих ИИ-агентов может становиться слишком сложным для непосредственного человеческого контроля. И тогда людям приходится использовать одни ИИ-системы, чтобы хотя бы разобраться в том, что делают другие. Android 17 скроет от операторов, какие сайты посещают пользователи
28.08.2026 [18:14],
Павел Котов
Google рассказала о новых мерах, которые предприняла для защиты сетевых функций Android 17. Появилось шифрование доменных имён сайтов, к которым обращается пользователь, повысилась защита локальных соединений, усилилась проверка сертификатов, а операторы получили возможность отключать сети 2G по умолчанию.
Источник изображений: blog.google По умолчанию HTTPS шифрует содержимое передаваемых данных, но при установлении соединения имя сервера до сих пор могло передаваться в открытом виде. Поэтому оператор или владелец публичной сети Wi-Fi мог определить, например, что пользователь подключился к example.com, хотя не видел конкретную открытую страницу и её содержимое. Эти данные могут использоваться для создания профилей пользователей, а злоумышленники способны применять их в целевых фишинговых и мошеннических кампаниях. Для решения проблемы Android 17 получил поддержку технологии Encrypted Client Hello (ECH), которая работает совместно с Private DNS и позволяет скрыть доменное имя сайта уже на этапе установки соединения. В результате для поддерживаемых сайтов и приложений операторам связи и другим наблюдателям становится значительно сложнее определить, к каким ресурсам обращается пользователь. Для внедрения новой технологии Google рекомендует разработчикам приложений обновиться до библиотеки OkHttp 5.5.0 и включить ECH. Операторы получили возможность по умолчанию отключать сети 2G для абонентов. Это поможет противостоять атакам с использованием так называемых SMS-бластеров — поддельных базовых станций, которые мощным сигналом заставляют находящиеся поблизости смартфоны отключаться от LTE или 5G и переходить на менее защищённые сети 2G. После этого злоумышленники могут обходить современные механизмы фильтрации спама и мошеннических сообщений и напрямую рассылать потенциальным жертвам фишинговые SMS. Усилилась защита локальных подключений: прежде чем начать сканирование локальной сети или подключаться к другим устройствам в ней, приложения будут запрашивать разрешение. Это не только помешает вредоносным приложениям искать уязвимые устройства в домашней сети, но и затруднит скрытое отслеживание пользователя по набору обнаруженных роутеров, телевизоров и других устройств. При этом для обычных сценариев вроде выбора телевизора для трансляции видео Android предложит системный интерфейс, не требующий предоставлять приложению полный доступ к локальной сети. Наконец, Android 17 по умолчанию задействует проверку Certificate Transparency. Выданные сайтам TLS-сертификаты должны регистрироваться в общедоступных журналах, поэтому система сможет обнаруживать подозрительные или неправомерно выпущенные сертификаты. Это позволяет выявлять неправомерно выданные сертификаты и значительно снижает вероятность того, что атака с их использованием останется незамеченной. |
|
✴ Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»; |