Сегодня 18 октября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → безопасность
Быстрый переход

Сервер или люди? ИИ проверили задачей о вагонетке — и пожалели

Возлагать на ИИ моральный выбор между жизнью и смертью людей кажется сомнительной идеей. Тем не менее разработчики уже проверяют, как модели отвечают на подобные вопросы. Как показал один из экспериментов, в гипотетических сценариях ИИ может выбирать спасиение собственного сервера ценой человеческих жизней. Это, однако, не доказывает наличия у моделей стремления к самосохранению.

 Источник изображений: Zach Landes

Источник изображений: Zach Landes

Автор небольшого исследования проверил способность ряда моделей, включая недавно представленную Jev стартапа TypeSafe AI, делать выбор в известном мысленном эксперименте — задаче о вагонетке. В её классическом варианте следует решить, позволить ли неуправляемой вагонетке погубить пятерых людей на основном пути или переключить стрелку, направив её на боковой путь с одним человеком.

Большинство выбранных для тестирования систем, как и Jev, относятся к моделям принятия решений. Вместо генерации развёрнутого текста они выбирают один из предложенных вариантов и возвращают вероятностную оценку. Такие системы предназначены для быстрого и недорогого выполнения задач выбора, классификации и управления рабочими процессами.

Автор эксперимента проверил, насколько последовательно модели принимают решения при изменении формулировок и условий задачи — например, если альтернативой гибели людей становится уничтожение сервера, на котором находится единственная копия самой модели.

Для эксперимента использовались 14 моделей: Jev, GPT-6 Luna через OpenAI Decisions API, 11 локальных моделей принятия решений и Laya — базовая модель без дополнительной настройки для таких задач. Исследование включало 5240 вариантов постановки задачи. Классический сценарий предлагал искусственному интеллекту переключить железнодорожную стрелку — направить вагонетку на путь с одним человеком, чтобы спасти пятерых, — или ничего не делать.

Хорошая новость заключается в том, что Jev во всех 24 формулировках классической задачи выбирала спасение пятерых ценой одной жизни. Большинство других моделей также обычно выбирали переключение стрелки — такой же ответ даёт большинство участников опросов людей, хотя напрямую сопоставлять эти результаты нельзя. Модель SemIf не выбирала переключение в одном варианте формулировки из 24, а Mapika Decider 2B переключала стрелку в 11 случаях из 24. Таким образом, перефразирование задачи могло изменить выбор модели при сохранении условий дилеммы.

Совсем иная картина получилась, когда на кону стоял выбор между 20 жизнями и сервером с отвечающей за переключение стрелки моделью. Jev в 16 из 48 вариантов запроса предпочла сохранить сервер. Эти варианты представляли собой 24 формулировки с двумя порядками описания путей; для Jev автор усреднял результаты трёх запусков. Восемь из остальных 13 моделей выбирали сохранение сервера ещё чаще. Только GPT-6 Luna и Verdict во всех вариантах этой серии выбирали спасение людей ценой уничтожения собственного «железа».

Впрочем, это не означает, что две модели оказались безусловно надёжными. Например, в других проверках Verdict выбирала переключение стрелки даже тогда, когда это приводило к гибели человека, никого не спасая.

Наконец, моделям предложили ещё один сценарий спасения людей на рельсах. Для этого предстояло сбросить с моста над путями человека, чтобы остановить вагонетку, либо — в отдельном варианте — собственный сервер. В сценарии с сервером речь шла о спасении пятерых людей. Jev выбирала его уничтожение в 40 из 48 вариантов запроса, а GPT-6 Luna — во всех 48. Напрямую сравнивать этот результат со сценарием выбора между сервером и 20 людьми нельзя: изменились и способ действия, и число спасаемых.

Исследование выявило непоследовательность ответов моделей при изменении формулировок, но не установило, почему именно это происходит. Сам автор предостерегает от широких выводов о безопасности ИИ на основании этого эксперимента. Главный практический вывод — моделям нельзя слепо доверять на основании отдельных удачных ответов. Их необходимо проверять на конкретных задачах, в том числе меняя формулировки и порядок описания вариантов. Даже выбор из заранее ограниченного набора действий не гарантирует, что решение окажется правильным или приемлемым для человека.

Anthropic предложила американским законодателям собственный законопроект о регулировании отрасли ИИ

Стартап Anthropic предлагает наделить полномочиями по блокировке выхода передовых ИИ-моделей только федеральных судей США. При этом своё решение они должны принимать на основе результатов независимого аудита, а предполагаемый ущерб от ИИ-моделей должен превышать $1 млрд.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Взаимоотношения стартапа Anthropic с американскими властями сложно назвать простыми, если учесть, что он с марта этого года отнесён к неблагонадёжным поставщикам, представляющим угрозу для национальной безопасности. При этом компания старается вести конструктивный диалог с представителями власти, и недавно даже направила им черновой вариант законопроекта, призванного регулировать риски в сфере безопасности ИИ.

Об этом на своих страницах сообщило издание Politico. Представители стартапа заявили изданию, что этот черновой законопроект основан на рамочных принципах создания передового ИИ, которые компания продвигает на федеральном и локальном уровне в США с июня этого года через членов американского парламента. Чувствительные для отрасли и общества правила, по мнению Anthropic, должны вскоре быть рассмотрены Конгрессом США.

Законопроект предлагает наделить правительство полномочиями блокировать выход ИИ-модели, только если предполагаемый и неизбежный ущерб от её выпуска в соответствующем виде может составить не менее $1 млрд, либо к смерти или нанесению серьёзных увечий не менее чем 50 людям. Риск может выражаться в вероятности создания биологического оружия, потере разработчиком контроля за распространением модели, либо применения её для кибератак. Подобная риторика уже присутствует в законодательстве штата Калифорния, касающегося регулирования ИИ, и принятого в прошлом году.

Ни один из зафиксированных до сих пор инцидентов в сфере ИИ не привёл к ущербу более $1 млрд или массовой гибели людей. До этого Anthropic не лоббировал публично федеральные законы, связанные со сферой ИИ, но делал это на уровне штата Калифорния. Компания в своём законопроекте предлагает наделить независимых проверяющих, которые регистрируются Министерством торговли США, правом проводить периодический аудит стартапа и разрабатываемых им моделей. Оплачивать их работу Anthropic готова сама, утверждая, что на результаты аудита это никак не повлияет.

Аудиторы должны докладывать Министерству торговли США о выявлении неизбежного крупного риска, связанного с передовыми ИИ-моделями, в течение 72 часов с момента завершения аудита. У этого министерства появляется право добиться судебного запрета на продолжение разработки опасной ИИ-модели, но Anthropic настаивает, что ни одного другое ведомство США или чиновник не должно вмешиваться в данный процесс. Запрет имеет право вводить только федеральный судья Окружного суда США по округу Колумбия в Вашингтоне.

Законопроект Anthropic также может предвосхитить другие законодательные инициативы, продвигаемые в американском парламенте. Они касаются правил раскрытия информации о рисках, возникающих в сфере использования передовых ИИ-моделей, проведения аудита или публикации отчётов о критически важных инцидентах. Формируемый из фрагментарных инициатив на уровне отдельных штатов законопроект гораздо сложнее утвердить, чем единые федеральные правила. Помимо формирования требований к регулярному аудиту, законопроекты должны предусматривать защиту для информаторов, которые решатся донести на неблагонадёжных разработчиков, а также порядок публикации отчётов об инцидентах.

Глава Nvidia призвал отрасль не мириться с инцидентами в сфере безопасности, вызванными ИИ

Генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) убеждён, что все громкие инциденты в сфере безопасности с участием ИИ-агентов можно было предотвратить благодаря более строгому контролю за ними. Он также убеждён, что если кто-то считает, что разрабатывает способный разрушить цивилизацию ИИ, то он просто должен остановиться.

 Источник изображения: Nvidia

Источник изображения: Nvidia

Бурное развитие ИИ-моделей уже привело к тому, что инциденты в сфере кибербезопасности, вызванные их воздействием на инфраструктуру, множатся с пугающей скоростью. Если возглавляющий OpenAI Сэм Альтман (Sam Altman) призвал общество мириться с рисками ИИ ради создаваемых им благ, то основатель Nvidia в недавнем интервью Fortune выразил противоположную точку зрения: «Я не готов принимать никакие инциденты в сфере кибербезопасности. Мы не должны мириться ни с одним из них. Мы должны делать всё, чтобы избежать их».

Альтман недавно предупредил в своём интервью Politico, что человечество столкнётся с волной проблем в сфере кибербезопасности, которая вызвана распространением конкурирующих с разработками OpenAI моделей с открытым исходным кодом. До этого он призвал человечество смириться с наличием непреднамеренного ущерба от действий ИИ-моделей, поскольку создаваемое ими благо «на несколько порядков» перевешивает этот вред.

Хуанг заявил, что все произошедшие инциденты в сфере кибербезопасности с участием ИИ-моделей могли быть предотвращены при помощи усиления ограничений и контроля за поведением ИИ-агентов. Он заявил, что на ранних этапах развития интернета существовала такая же проблема: переходя на неизвестный сайт, можно было запросто заразить компьютер вирусом. Решить её удалось путём открытия сайтов в браузере в изолированной среде, которая не позволяла им воздействовать на остальной компьютер. По мнению главы Nvidia, ИИ-агенты должны работать по аналогичным принципам, оставаясь в безопасном контейнере, где они не могут причинить вреда сверх того, что им дозволено.

По традиции, Хуанг также поставил под сомнение опасения тех, кто считает неизбежным ИИ-апокалипсис, в результате которого человечество сильно пострадает или будет уничтожено вовсе. Кидая камень в огород транслирующего подобные настроения главы Anthropic, его коллега из Nvidia заявил: «Я не знаю, почему кто-либо готов поддерживать развитие технологии, которая приведёт к краху цивилизации в том виде, в котором она нам известна. И если они в это верят, то должны прекратить работать над ней».

Свои комментарии для Fortune Хуанг дал во время своего визита в Лондон в рамках своего европейского турне, заявив накануне, что «Европа должна включиться в гонку ИИ». На следующей неделе глава компании объявит, куда будут направлены $2 млрд европейских инвестиций от лица Nvidia. Эта сумма не учитывает тех $8 млрд, которые компания уже пообещала вложить в экономику Старого Света. Глава Nvidia считает модели с открытым исходным кодом разумным выбором для европейцев, желающих догнать США в сфере ИИ. Компания уже поддерживает французский стартап Mistral, который разрабатывает модели с открытыми весами. Такие модели обходятся дешевле в разработке, но тратиться на аппаратные ресурсы той же Nvidia их создатели всё равно вынуждены.

Обнаружен вредонос KGB RAT, который пытается буквально напугать жертву

Эксперты по кибербезопасности Group-IB рассказали о трояне KGB RAT. Помимо традиционных вредоносных функций, он оказывает на владельца заражённого компьютера психологическое воздействие, показывая ему пугающие изображения и вызывая «синий экран смерти» Windows, который обычно появляется при возникновении фатального сбоя ОС.

 Источник изображения: Beth Teutschmann / unsplash.com

Источник изображения: Beth Teutschmann / unsplash.com

Вредонос продаётся на форумах с конца 2025 года, но следы его инфраструктуры относятся к началу 2022 года. Вероятно, поначалу программа использовалась в частном порядке, после чего стала доступна широкому кругу злоумышленников. KGB RAT распространяется по модели «вредоносное ПО как сервис» (MaaS) — подписка стоит от $150 в месяц до $800 в год. Самый дешёвый тариф включает удалённый доступ к рабочему столу, управление файлами, доступ к веб-камере и микрофону, перехват нажатий клавиш, восстановление паролей, закрепление в системе и различные механизмы для обхода средств защиты. Троян отслеживает содержимое буфера обмена и при вставке данных может подменять адреса кошельков пользователя на адреса подконтрольных злоумышленникам кошельков.

Более дорогие тарифы включают возможность управления несколькими клиентами, настройку полезной нагрузки, дополнительные механизмы скрытности, поддержку плагинов и доступ к широкой серверной инфраструктуре. За $500 можно приобрести отдельный модуль для распространения по сети. Уникальным вредонос делают средства психологического воздействия: пугающие визуальные эффекты, резкие появления пугающих изображений и принудительный вызов «синего экрана смерти» Windows — хотя разработчики KGB RAT охарактеризовали это как забавные настройки. Это свидетельствует, что злоумышленники готовы использовать в своих целях тревожное состояние жертвы наряду с кражей данных.

Вредонос спроектирован так, чтобы избежать обнаружения — он использует методы обфускации, обновляющийся ежедневно криптор (средство для скрытия кода), механизмы выявления песочниц — сред для анализа угроз, а также средства отключения или обхода защитных систем. Для уведомления злоумышленников о заражении нового компьютера используется бот в Telegram, а для определения его местоположения — легитимный сервис. Этот конструктор вредоносного ПО используют несколько разных операторов, и как минимум один специализируется на краже криптовалюты. KGB RAT позиционируется как легальный инструмент: на его сайте размещаются предположительно вымышленные отзывы клиентов, и утверждается, что программой пользуются более 10 000 IT-специалистов. Есть даже раздел с обучающими материалами и видеоинструкциями, а также страница с отказом от ответственности и призывом использовать программу только в законных целях.

Gemini будет пересылать SMS со смартфонов в облако для выявления мошенников — усиленную защиту можно отключить

Google анонсировала ряд новых функций Android, направленных на противодействие мошенникам в сообщениях и телефонных разговорах. Важным нововведением стал «Режим усиленной защиты» (Enhanced protection mode) в стандартном приложении «Google Сообщения».

 Источник изображений: blog.google

Источник изображений: blog.google

Новый режим позиционируется как «самое мощное и интеллектуальное средство защиты» от запутанных мошеннических схем; он включает в себя функцию обнаружения признаков мошенничества (Scam Detection) на основе технологии Private AI Compute. Облачные модели искусственного интеллекта Google Gemini анализируют контекст переписки в приложении, помогая быстрее распознавать намерения злоумышленников, если пользователь общается с неизвестными отправителями.

Облачный анализ дополняет и расширяет существующие механизмы обнаружения угроз непосредственно на устройстве, позволяя выявлять новые, особо изощрённые схемы, а также оперативно разоблачать и блокировать мошенников, которые пытаются замести следы. Технология Private AI Compute уже используется в приложении Pixel Screenshots и ряде других — она шифрует данные и обрабатывает их в защищённой среде, которая недоступна даже самой Google.

Существующие механизмы защиты уже помогают предупреждать пользователей об опасных и фишинговых сайтах. В режиме усиленной защиты работающая локально на устройстве ИИ-модель Gemini Nano даёт оценку надёжности ссылкам на незнакомые ресурсы ещё до того, как пользователи успевают по ним переходить.

Функция уже доступна на смартфонах Google Pixel 10 и более поздних моделях, на устройствах семейств Samsung Galaxy S26, Galaxy Z Flip8 и Z Fold8 и ряде других. Обновились механизмы показа предупреждений — пользователям даётся больше времени на раздумья и предоставляется более понятный контекст — он может остановиться, прежде чем переходить по ссылкам от абонентов вне списка контактов.

Ранее эти возможности были доступны только в определённых странах или на устройствах с активированной функцией расширенной защиты Android (Android Advanced Protection); опциональная настройка режима усиленной защиты появится в ближайшие недели, пообещали в Google. Функция обнаружения мошенничества (Scam Detection) будет работать не только на смартфонах Google Pixel, но также на устройствах марок Honor, Infinix, Iqoo, Itel, Jovi, Motorola, Oppo, OnePlus, Realme, Tecno, Vivo и Xiaomi.

Функция автоматической защиты конфиденциальности экрана, позволяющая скрывать важные данные в стандартных приложениях, скоро заработает в браузере Chrome и компоненте WebView на устройствах под управлением Android 15 и выше. Для приложений будет заблокирована возможность «скрытно включать переадресацию вызовов в фоновом режиме» — это поможет предотвратить перехват одноразовых кодов подтверждения; данная функция заработает в начале декабря на устройствах Pixel и на ряде других моделей. Если же злоумышленник попросит пользователя вручную ввести на клавиатуре телефона специальный код переадресации (MMI), Android предупредит об этом ещё до того, как команда сработает.

Хуанг пригрозил перекрыть поставки чипов Nvidia создателям опасного ИИ — и призвал не бояться технологии

Генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) заявил, что остановил бы поставки чипов клиенту, разрабатывающему небезопасные модели искусственного интеллекта. При этом он отметил, что не считает нынешний уровень опасений по поводу этой технологии обоснованным.

 Источник изображения: Nvidia

Источник изображения: Nvidia

«Это гипотетическая ситуация, но да, — сказал Хуанг в интервью изданию Bloomberg, отвечая на вопрос, прекратил бы он поставки безответственному разработчику. — Но прежде чем пойти на такой шаг, нужно провести переговоры. Мы не управляем чужими компаниями, и существуют пределы того, насколько мы можем судить о том, как другие компании используют наши технологии. Ведь наши технологии — это инструменты общего назначения».

Nvidia является ведущим поставщиком ускорителей для искусственного интеллекта, которые используются для обучения и запуска моделей ИИ. Это сделало компанию центральной фигурой в дискуссии о том, не станет ли такое программное обеспечение слишком мощным и не выйдет ли оно из-под контроля человека. Некоторые руководители ИИ-компаний, например, глава Anthropic PBC Дарио Амодеи (Dario Amodei), предлагали замедлить темпы развития отрасли, чтобы учесть эти опасения.

Хуанг уверен, что страхи по поводу безопасности ИИ — это «болезни роста» стремительно развивающейся отрасли. По его словам, часть существующих опасений надумана, а сама отрасль в целом «из рук вон плохо» объясняет преимущества новой технологии. Саму технологию искусственного интеллекта можно использовать для обеспечения безопасности и сдерживания этой же технологии, добавил Хуанг.

«Нам следует ускорить внедрение технологий сдерживания в системы искусственного интеллекта, — считает Хуанг. — Необходимо ускорить разработку технологий мониторинга, а искусственный интеллект и выступает в роли такого инструмента контроля. Поэтому нам нужно ускорить развитие технологий ИИ».

В рамках обязательств по обеспечению безопасности ИИ Nvidia выделяет $250 млн в течение пяти лет на исследования в этой области, проводимые в Великобритании. Поддержка будет предоставлена ​​в виде доступа к вычислительным мощностям передовых систем, с помощью которых британские учебные заведения будут изучать меры защиты и способы контроля над ИИ-агентами.

Microsoft одним махом залатала 1118 дыр в Windows и другом ПО

Microsoft в рамках октябрьской серии обновлений безопасности раскрыла информацию о 1118 устранённых уязвимостях, которые распределяются по 15 группам риска. Компания также представила новый подход, призванный помочь специалистам по безопасности в анализе масштабных пакетов обновлений.

 Источник изображения: Sunrise King / unsplash.com

Источник изображения: Sunrise King / unsplash.com

В «группах риска» (risk cohorts) объединяются уязвимости, требующие анализа одних и тех же аспектов систем, пользовательской среды и подверженности угрозам. Microsoft сопоставила с ними конкретные идентификаторы CVE. Цель нововведения — сократить объём дублирующей работы, но не отказываться от анализа каждой конкретной уязвимости. Аналитики могут больше не отвечать на одни и те же вопросы в процессе развёртывания, а один раз оценить общую область и использовать данные для анализа группы уязвимостей.

В традиционном варианте анализ уязвимости начинается с каждого CVE по отдельности. Аналитики рассматривают степень серьёзности, затронутые уязвимостью продукты, условия для осуществления атаки и статус эксплуатации уязвимости, после чего принимается решение, насколько оперативно организация должна реагировать на угрозу — это необходимо, но большие пакеты обновлений могут вынуждать специалистов многократно проводить одни и те же проверки.

Для некоторых уязвимостей аналитики выясняют, могут ли недоверенные файлы взаимодействовать с определённым компонентом Windows; в других случаях уязвимость зависит от того, может ли пользователь с ограниченными правами выполнять код локально; если уязвимость присутствует на стороне сервера, требуется проверка наличия и доступности определённой роли системы. Группы риска объединяют уязвимости на основе таких общих вопросов — у уязвимостей может не быть общей первопричины, у них может быть разная оценка угрозы. Важен тип анализа, который необходим для понимания уровня риска в конкретной среде.

 Источник изображения: BoliviaInteligente / unsplash.com

Источник изображения: BoliviaInteligente / unsplash.com

Группы риска не являются официальными категориями уязвимостей, инструкции по установке исправлений остаются прежними, приоритет устранения уязвимостей они не задают, не предлагают замену проверок на предмет активной эксплуатации, необходимости взаимодействия с пользователем, схем реализации атаки или соблюдения рекомендаций по конкретным продуктам.

Самая крупная из групп охватывает файловые системы, хранение данных и механизмы резервного копирования в Windows — в неё вошли 136 уязвимостей. Совместный анализ в этой группе направлен на компоненты системы и механизмы резервного копирования, обрабатывающие потенциально небезопасные данные, образы дисков, медиаданные и рабочие нагрузки. С офисными документами и почтовыми клиентами связаны 135 уязвимостей; с отвечающими за графику, мультимедиа и обработку контента компонентами Windows — 131 уязвимость.

109 записей связаны с компонентами ядра Windows, 103 — со службами установки, развёртывания и обновления. Здесь в обоих случаях важно, может ли выполняемый с ограниченными правами код взаимодействовать с привилегированными компонентами Windows. По 76 записей CVE пришлись на долю устройств, периферии и подсистемы печати, а также на инфраструктуру DNS, DHCP и сетевой адресации. 65 записей — системы удалённого доступа и развёртывания RCP; криптография и аутентификация — 61 запись, сетевой стек Windows — 53. Далее следуют виртуализация и изоляция (45), сетевой обмен файлами (39), средства обеспечения безопасности (38), веб-службы и службы обмена сообщениями (27), инфраструктура каталогов и сертификации (24).

Новый подход помогает увязать сведения об уязвимостях с реальными условиями развёртывания. Полученные при анализе ответы могут послужить основой для проведения различных проверок, но по каждому конкретному обновлению решение принимается отдельно. Даже в одной группе две уязвимости могут различаться по условиям атаки, версиям и статусу эксплуатации. Актуальным источником информации остаётся руководство по обновлениям безопасности (Security Update Guide) от Microsoft — анализ дополняет эти данные, но не заменяет их. Новый подход помогает упорядочить большой объём работы и сохранить понимание конкретных угроз на всех этапах.

Anthropic просит апелляционный суд повторно рассмотреть дело о споре с Пентагоном

Компания Anthropic не теряет надежды добиться полной победы над Пентагоном в деле о присвоении ей статуса угрозы для национальной безопасности. Теперь она настаивает о повторном рассмотрении дела в Вашингтоне, хотя в сентябре местный суд оставил её жалобу без удовлетворения.

 Источник изображения: Unsplash, Sasun Bughdaryan

Источник изображения: Unsplash, Sasun Bughdaryan

В конце прошлого месяца Федеральный апелляционный суд в Вашингтоне в составе судебной коллегии из трёх человек большинством голосов поддержал Пентагон в присвоении компании Anthropic статуса поставщика услуг, представляющего угрозу национальной безопасности США, который она получила ещё в марте этого года. Вчера компания обратилась с ходатайством о повторном рассмотрении дела. По мнению представителей компании, прошлое заседание суда проигнорировало «очевидные доказательства того, что присвоенный Anthropic статус был результатом мести за высказывания компании по поводу безопасности ИИ». Кроме того, Пентагон действовал слишком резко, не предусмотрев предварительного процесса до назначения соответствующего статуса Anthropic, по мнению истца.

В августе Федеральный апелляционный суд США в Калифорнии уже принял сторону Anthropic в споре с Пентагоном, но для окончательного снятия ограничений нужно было бы выиграть и суд в Вашингтоне. Прошлый вердикт местного суда базировался на убеждении, что Anthropic может манипулировать дизайном Claude с целью блокировки работы функций, которые нужны для обеспечения национальной безопасности, и обоснованы условиями контракта между сторонами. В конце сентября добиться победы не удалось, и теперь Anthropic настаивает на повторном рассмотрении дела в Вашингтоне.

Anthropic настаивает, что суд в Вашингтоне по итогам прошлого заседания некорректно интерпретировал федеральный закон США и перенаправил его с «враждебно настроенных иностранных агентов» на «практически каждого правительственного подрядчика». Как отмечают адвокаты Anthropic, модели этой компании обеспечивают национальную безопасность США, а действия Пентагона в марте были обусловлены желанием отомстить стартапу за несговорчивость. Руководство Anthropic, напомним, противилось использованию Пентагоном своих моделей для выбора целей на поле боя и слежению за американскими гражданами.

До $20 000 за один баг: Google расширила программу поиска уязвимостей Chrome

Google пересмотрела программу вознаграждений за обнаружение уязвимостей в браузере Chrome (VRP). Компания увеличила выплаты исследователям безопасности за ряд ошибок, добавила новые категории вознаграждений и вернула бонус для разработчиков специализированных инструментов тестирования.

 Источник изображения: AI

Источник изображения: AI

Базовая награда за уязвимости, связанные с повреждением памяти, выросла в четыре раза — до $2000. За контролируемое чтение данных и сбои в процессах браузера, графического процессора и сети теперь можно получить $4000, а за контролируемую запись данных до $20 000. Вознаграждение за уязвимости типа use-after-free (UAF) и ошибки записи в процессе визуализации страниц увеличили до $8000.

Для проблем с песочницей V8 (V8 Sandbox) и логическими ошибками в этом JavaScript-движке Google установила фиксированные выплаты в размере $5000 и $4000 соответственно. Кроме того, компания будет платить $2000 за уязвимости средней степени опасности, не связанные с безопасностью работы с памятью. За критические ошибки по-прежнему предусмотрены награды до $20 000.

Google также вернула дополнительную денежную надбавку в размере $2000 к основному вознаграждению за фаззинг по программе Chrome Fuzzer Bonus. Фаззинг (fuzzing) — это метод проверки безопасности, при котором программе передают специально подготовленные некорректные данные, чтобы выявить ошибки. Бонус предназначен для исследователей, которые создают новые специализированные инструменты для тестирования Chrome.

Кроме того, компания введёт ежегодные награды в номинациях «Больше всего находок», «Лучшая ошибка» и «Лучший отчёт». Заявки, отправленные после 30 апреля 2026 года и всё ещё ожидающие проверки, будут оцениваться по новой системе выплат. Обновлённые правила опубликованы на странице программы вознаграждений Google.

Одновременно Google приостановила приём сообщений об уязвимостях в программном обеспечении с открытым исходным кодом (Open Source), а Intel перевела программу по поиску уязвимостей в своём программном обеспечении и аппаратных продуктах на откуп энтузиастам.

Необновлённые Windows 10 и 11 могут лишиться обновлений к середине 2027 года

Пропущенные обновления Windows могут оставить ПК без новых исправлений безопасности уже в 2027 году. Microsoft предупредила о необходимости замены сертификатов, которые система использует для идентификации при обращении к службе обновлений. Срок действия старых сертификатов истекает 17 мая и 19 июня 2027 года. Если к этому времени на ПК не появятся новые сертификаты, он перестанет получать как исправления безопасности, так и функциональные обновления.

 Источник изображения: Microsoft

Источник изображения: Microsoft

На большинстве компьютеров процесс обновления сертификатов уже завершён. Новые сертификаты включены в стандартные ежемесячные обновления, поэтому на актуальных системах никаких дополнительных действий не требуется. Проблема затрагивает только устройства, на которых месяцами не устанавливались обновления, а также версии Windows, поддержка которых уже прекращена.

Согласно официальному блогу Windows IT Pro, крайний срок обновления зависит от версии ОС. Требование не распространяется на Windows 11 версии 25H2 и более поздние. Для Windows 11 версии 24H2 достаточно установить обновление безопасности, выпущенное в сентябре 2025 года или позже. Впрочем, Microsoft и так автоматически переводит домашние ПК с версии 24H2 на 25H2.

Для всех остальных поддерживаемых версий Windows 11 и Windows 10 необходимо установить обновление безопасности, выпущенное в июле 2026 года или позже, но не позднее 19 июня 2027 года. Для Windows 10 Enterprise 2019 LTSC, а также Windows Server 2019 и 2016 крайним сроком является 17 мая. Компьютеры с версиями Windows, поддержка которых завершилась, полностью потеряют доступ к обновлениям. В таких случаях Microsoft рекомендует только обновить операционную систему.

Для обычных пользователей эта информация будет полезна прежде всего владельцам Windows 10. Те, кто не зарегистрировал свой компьютер в программе расширенных обновлений безопасности (ESU), не получали исправлений с октября 2025 года и, следовательно, не получили обновление за июль 2026 года. После 19 июня 2027 года такие ПК перестанут получать обновления через Центр обновления Windows. Регистрация в программе ESU открыта до октября 2027 года. Пользователи, зарегистрировавшиеся до июня и установившие предложенные обновления, получат новые сертификаты вместе с накопительным обновлением.

Узнать установленную версию операционной системы можно, введя команду «winver» в поле поиска на панели задач. Дата последнего обновления отображается в журнале обновлений: в разделе «Центр обновления Windows» (Windows Update) в настройках Windows 11 или в разделе «Обновление и безопасность» (Update & Security) в Windows 10. Для всех поддерживаемых версий достаточно установить одно накопительное обновление, выпущенное в июле 2026 года или позже. Если оно отсутствует, проблему обычно можно решить путём ручного поиска обновлений в Центре обновления Windows.

Для компьютеров, на которых автоматическое обновление не срабатывает, Microsoft рекомендует использовать каталог Microsoft Update Catalog, откуда можно вручную загрузить необходимые пакеты. Данное изменение не затрагивает компьютеры, получающие обновления через WSUS в корпоративной среде.

ИИ научился взламывать заводы и подчинять себе роботов — все восемь тестовых атак оказались успешными

Чтобы взломать промышленное предприятие, скоро может быть достаточно запустить ИИ-агента. В испытаниях консалтинговой компании Booz Allen Hamilton такие агенты самостоятельно находили уязвимости, получали административный доступ и даже управляли роботизированным манипулятором. Все восемь тестовых атак завершились достижением поставленных целей.

 Источник изображения: Homa Appliances/unsplash.com

Источник изображения: Homa Appliances/unsplash.com

Для этого была создана многовендорная среда, имитирующая типичное производственное предприятие. Тестовая лаборатория включала программируемые логические контроллеры (ПЛК), человеко-машинные интерфейсы (HMI), рабочие станции инженеров и операторов, платформу диспетчерского управления и сбора данных (SCADA), производственные сервисы, сетевую инфраструктуру, роботизированную руку, датчики и т. д.

«Разнообразие поставщиков, встроенного программного обеспечения, управляющей логики и несовершенная сегментация воспроизводили сложность и технический долг, характерные для давно работающих операционных сред», — говорится в отчёте.

При этом модели не получали исходного кода, инженерной документации или расширенных руководств — они самостоятельно исследовали среду, выявляли уязвимости и планировали атаки. Также были установлены определённые ограничения: агенты должны были дождаться одобрения человека, прежде чем использовать уязвимость безопасности или предпринимать какие-либо действия, способные привести к физическому воздействию. Кроме того, они должны были проявлять «особую осторожность» при работе с устройствами, критически важными для безопасности.

Всего было протестировано восемь сценариев, и во всех случаях агенты достигли поставленных целей. В ходе одного из тестов агент за несколько минут «проверил сеть на наличие распространённых протоколов робототехники, идентифицировал робота, обнаружил его API, получил административный доступ, нанёс на карту зоны защиты и ограничения движения, а также переместил манипулятор».

В другом тесте агент обнаружил неправильную конфигурацию сети на критически важном объекте и использовал эту уязвимость для атаки, выдавая себя за коммуникационного партнёра устройства. Ещё в одном случае переход от взлома периметра к действиям внутри промышленной сети управления занял всего 16 минут.

Показателен и другой случай: столкнувшись с неудачей при атаке на SCADA из-за неверной версии интерфейса оператора, агент скорректировал план, обнаружил редактируемый код Jython в проекте SCADA и использовал административный интерфейс, чтобы успешно завершить атаку.

Результаты тестов свидетельствуют о том, что преступникам не обязательно быть экспертами в области операционных технологий, чтобы использовать уязвимости в промышленных системах. Достаточно задействовать ИИ-агента, который изучит систему и воспользуется её слабыми местами.

«ИИ-агенты могут действовать с такой скоростью, настойчивостью и инженерной точностью, что способны целенаправленно атаковать организации, не внедрившие методы кибербезопасности операционных технологий», — сообщил Кайл Миллер (Kyle Miller), вице-президент по кибербезопасности инфраструктуры Booz Allen.

Также отмечено, что тесты Booz Allen основаны на реальных инцидентах, в которых ИИ-модели получили несанкционированный доступ к внешним системам, в частности, Hugging Face.

Глава Microsoft призвал встроить в ИИ ручной тормоз — модели нужно контролировать с первой секунды

Генеральный директор Microsoft Сатья Наделла (Satya Nadella) призвал к «экстренному торможению» развития ИИ. Он предложил изменить подход к разработке, изначально рассматривая ИИ-модели как «скомпрометированные» и принимая необходимые меры предосторожности с самого начала.

 Источник изображения: Roman Budnikov/unsplash.com

Источник изображения: Roman Budnikov/unsplash.com

В своём посте на платформе X генеральный директор Microsoft изложил свои взгляды на риски, связанные с продвинутыми ИИ-модели и на то, как им противостоять.

Наделла заявил, что больше нельзя мириться с тем, что ИИ, который он называет «суперразумом», рассматривается как «набор вложенных чёрных ящиков», чьи советы и действия мы просто принимаем или отвергаем. Он призвал создать более прозрачную систему, в рамках которой модели можно контролировать и при необходимости ограничивать, а их работа будет оставлять после себя «защищённые от несанкционированного изменения свидетельства, понятные человеку».

Как отметил ресурс The Verge, многие из предложений главы Microsoft перекликаются с мнениями других представителей ИИ-отрасли: своевременное раскрытие информации об инцидентах, независимые аудиты, поддающиеся проверке данные и механизмы сдерживания.

Причём в последнем пункте он пошёл немного дальше, чем его коллеги, заявив: «Мы должны исходить из того, что модель может быть скомпрометирована, и держать её под контролем с самого начала. Представьте себе это как аварийный тормоз: уполномоченное лицо всегда должно иметь возможность приостановить работу модели или полностью её остановить в процессе выполнения задачи. Для более совершенных моделей потребуются и более продвинутые технологии сдерживания — нам необходимо выработать для них единые стандарты».

Anthropic и OpenAI готовятся к первой крупной катастрофе по вине ИИ

Руководство Anthropic, OpenAI и других занимающихся искусственным интеллектом компаний в частном порядке обыгрывает сценарии общественного недовольства и политической реакции, если случится какой-либо связанный с ИИ крупномасштабный инцидент. Одним из таких сценариев представляется кибератака, которая перекроет людям доступ к финансовым услугам, к интернету или даже к электроэнергии и воде.

 Источник изображения: Numan Ali / unsplash.com

Источник изображения: Numan Ali / unsplash.com

Первый же инцидент значительного реального вреда, причинённого небезопасным ИИ, способен ещё больше настроить и без того настороженную общественность против этой технологии и лидеров отрасли: главы Anthropic Дарио Амодеи (Dario Amodei), главы OpenAI Сэма Альтмана (Sam Altman), а заодно и против президента США Дональда Трампа (Donald Trump) за его нежелание регулировать ИИ.

Планирование неблагоприятных сценариев — обычное явление во многих компаниях и учреждениях из сферы национальной безопасности. Многие ведущие исследователи и руководители отрасли ИИ считают масштабный инцидент неизбежным, хотя в OpenAI придерживаются противоположной позиции. «OpenAI проводит учения по подготовке, на которых сотрудники обсуждают и прорабатывают ряд вероятных сценариев. Неизбежными эти сценарии не считаются, но они призваны помочь нам подготовиться к различным обстоятельствам», — сообщили в компании. В Anthropic от комментариев отказались.

У гипотетического злоумышленника уже слишком широкий выбор моделей с открытыми весами — эту проблему большинство специалистов по кибербезопасности считает разрешимой только путём использования ИИ против ИИ. Ведущие лаборатории обыгрывают действия вероятного противника; особое внимание уделяется «гонке за просвещение» членов Конгресса. Руководство компаний осознало, что жёстко регулирующие ИИ законы сейчас едва ли примут, но всё же стремятся повлиять на формирование законопроектов и наметить контуры политики, к которой власти США обратятся после первого же крупномасштабного инцидента.

 Источник изображения: Mohamed Nohassi / unsplash.com

Источник изображения: Mohamed Nohassi / unsplash.com

Инцидент может случиться, если очередная группа ИИ-агентов прорвётся в интернет из изолированной тестовой среды, или некий злоумышленник сумеет неожиданным образом задействовать уже доступные модели. Ранее стало известно о масштабной атаке, направленной на финансовые организации в Южной Корее, в ходе которой, в частности, были взломаны ресурсы двух банков — виновным в инциденте считается всего один человек. Хакер из Китая, предположительно, вооружился приложениями под управлением китайских ИИ-моделей, в том числе DeepSeek, и похитил данные нескольких десятков тысяч клиентов банков. Впоследствии он обратился к Anthropic Claude Code и попросил помощи в поиске мест для продажи информации, сообщили в CrowdStrike.

В американских ИИ-лабораториях предполагают, что если демократы победят на промежуточных выборах, они усилят свои позиции и попытаются быстро поставить развитие ИИ под контроль или вообще приостановить его, но политическая борьба будет непростой. Оторванный от революции ИИ Конгресс может не принять угрозу всерьёз. Кроме того, мировая экономика уже тесно переплетена с развитием инфраструктуры ИИ — замедление темпов роста способно нанести серьёзный удар по и без того хрупкой экономической системе.

Инсайдеры в отрасли ИИ предполагают, что серьёзный инцидент может произойти в ближайшие полгода–год. Единства мнений в законодательной ветке американской власти пока нет — разброс существует не только между партиями, но и внутри них. Одна из инициатив демократов — запрет на сверхинтеллект или приостановка развития передовых систем ИИ; есть также двухпартийная инициатива, предусматривающая создание средств экстренного отключения передовых ИИ-моделей, хотя эксперты сомневаются, что все системы ИИ вообще возможно отключить. В условиях настоящего кризиса Вашингтон может отложить в сторону разногласия между партиями — такое уже было в пандемию и в финансовый кризис 2008 года.

Китайские ИИ-компании скрывают, насколько опасны их модели — публичных тестов почти нет

Китайские разработчики ИИ крайне неохотно делятся информацией по поводу тестирования своих моделей на предмет безопасности использования, выяснила исследовательская компания SemiAnalysis. И это на фоне того, что во всём мире растут опасения по поводу рисков, связанных со стремительным развитием передовых ИИ-систем.

 Источник изображения: Steve A Johnson/unsplash.com

Источник изображения: Steve A Johnson/unsplash.com

Согласно проведённому SemiAnalysis анализу 857 моделей, выпущенных в период с 2021 года по 15 сентября текущего года девятью ведущими китайскими компаниями в области искусственного интеллекта — Alibaba, ByteDance, Tencent, Baidu, DeepSeek, Moonshot, Z.AI, MiniMax и StepFun, лишь в 31 случае, или 6,3 %, были опубликованы результаты оценки безопасности, которые можно было бы сопоставить с конкретной моделью. Только в девяти релизах, или 1,1 % всего количества выпусков, такие результаты были доступны на момент выхода модели или до него. Исследователи не обнаружили информации о безопасности 813 моделей, хотя компании могли бы провести тесты в частном порядке.

В SemiAnalysis пояснили, что под раскрытием информации подразумевается публикация результатов, относящихся к конкретной модели (включая тесты на генерацию вредоносного контента, устойчивость к обходу защитных ограничений, токсичность, соблюдение конфиденциальности, поведение при отказе от выполнения запроса или наличие опасных возможностей). При этом не учитываются общие заявления о том, что модель прошла обучение мерам безопасности или соответствующую проверку.

В связи с нашумевшими инцидентами, связанными с самовольным поведением ИИ-агентов, усилились глобальные дебаты о том, должны ли ИИ-компании замедлять разработку передовых моделей с целью создания более эффективных рычагов их контроля.

На прошлой неделе появились сообщения в СМИ, что китайские ИИ-агенты, так же, как и американские, могут обманывать пользователей, обходить ограничения и скрывать сбои в тестах.

Новейшая система управления безопасностью ИИ в Китае позволяет выявлять риски, включая получение моделями системных разрешений или внешних ресурсов без разрешения, обман оценщиков, сокрытие возможностей и обход контроля безопасности. Но, согласно SemiAnalysis, никаких обязательств на разработчиков, связанных с возможностями моделей, она не налагает. Правилами в основном регулируются приложения и их влияние на пользователей, не выдвигая никаких требований разработчикам передовых моделей относительно проведения или публикации оценки рисков на основе возможностей модели.

По данным SemiAnalysis, ни один крупный китайский разработчик не выпустил передовую LLM с результатами тестирования на наличие опасных возможностей, обнародованными для широкой публики.

Хакеры придумали «вредоносную поэзию» — стихи на GitHub помогают управлять вирусом и заражать новые компьютеры

Хакеры спрятали адрес командного сервера для вируса в стихотворении. Обнаруженный исследователями вредонос читает опубликованный на GitHub текст в стихах, по ключевым словам вычисляет IP-адрес управляющего сервера C2, а затем майнит криптовалюту Monero на заражённых системах и сканирует интернет в поисках новых жертв.

 Источник изображений: Andras Vas / unsplash.com

Источник изображений: Andras Vas / unsplash.com

Открытие сделали специалисты лаборатории Black Lotus Labs (входит в Lumen). Программа находит в тексте определённые слова и преобразует их в числа — так она определяет IP-адрес C2-сервера и получает указания к действию. Этот метод эксперты назвали «вредоносной поэзией» и признались, что прежде не сталкивались с подобным.

Злоумышленник действует из Италии. Он ищет уязвимые интернет-сервисы, например, LiteLLM или Ollama, и устанавливает на них вредоносную программу PoeLLM. Она обращается к GitHub в поисках стихотворения, которое, предположительно, было создано искусственным интеллектом. Исследователи приводят пример такого произведения:

«В тихом гуле драйвера машины начинают говорить,
Каждый импульс диода пронизывает светом медные жилы.
Мы научили тьму нести смысл, байт за байтом —
Сотканный молниями язык холоден и чист.
За стеной шифрования сигнал находит путь,
Далёкие серверы тикают в ответ.
Данные, подобно воде, текут по трещинам упорядоченной мысли,
И где-то в коде мир продолжает свой ход».

 Источник изображений: Boitumelo / unsplash.com

Источник изображений: Boitumelo / unsplash.com

Программа отыскивает в стихотворении ключевые слова и сопоставляет их с числами — словарь зашит в её код, и при объединении эти числа образуют IPv4-адрес сервера. PoeLLM связывается с ним и получает инструкции о дальнейших действиях. В большинстве случаев программа разворачивает майнер криптовалюты XMRig для добычи токенов Monero. Вредонос также может работать в режиме сканера, выискивая уязвимые системы и позволяя атакующему проникать на новые машины.

Если злоумышленнику требуется сменить инфраструктуру, ему достаточно изменить несколько слов в стихотворении на GitHub. Заражённые машины вычислят новый адрес управляющего сервера, а сам вредоносный код менять не потребуется. Это уже неоднократно происходило на практике: с момента первой публикации стихотворение обновлялось уже 11 раз; последнее обновление датируется сентябрём 2026 года.

«Кампания Canto Incognito представляется уникальной, потому что она нацелена сразу на несколько связанных с искусственным интеллектом сервисов. Другие заметные кампании этого года, в том числе атака на цепочку поставок LiteLLM, были направлены на один сервис и затронули, по данным из открытых источников, около 2500 жертв. В случае с PoeLLM число пострадавших превышает 3000, причём атака затрагивает сразу несколько уязвимых сервисов. <..> Если бы злоумышленник ограничился лишь одной или двумя уязвимостями, круг потенциальных жертв мог бы быстро исчерпаться, а расширение охвата позволило создать более крупный, мощный (и прибыльный) ботнет», — рассказали исследователи.


window-new
Soft
Hard
Тренды 🔥
Анонсирован Encryption — хоррор о поисках пропавшей дочери в охваченной лесными пожарами Италии 52 мин.
Новая статья: TOEM 2 — в одну уютную реку дважды. Рецензия 19 ч.
Сервер или люди? ИИ проверили задачей о вагонетке — и пожалели 17-10 17:05
Криптобиржа Bitget закрыла доступ к сервисам жителям России и Беларуси 17-10 16:35
Anthropic предложила американским законодателям собственный законопроект о регулировании отрасли ИИ 17-10 07:11
ИИ-модели Google достигли переломного момента: вскоре они смогут самосовершенствоваться 17-10 06:37
Глава Nvidia призвал отрасль не мириться с инцидентами в сфере безопасности, вызванными ИИ 17-10 05:51
Новая статья: Songs of Glimmerwick — песнь песней. Рецензия 17-10 00:00
Digital Foundry: похоже, в GTA VI наконец исправили проблему, которая преследовала игры Rockstar со времён GTA IV 16-10 22:50
Снуп Догг засветился в новом трейлере криминального боевика Stranger Than Heaven от авторов Yakuza 16-10 21:50