Сегодня 16 октября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → безопасность ии
Быстрый переход

Хуанг пригрозил перекрыть поставки чипов Nvidia создателям опасного ИИ — и призвал не бояться технологии

Генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) заявил, что остановил бы поставки чипов клиенту, разрабатывающему небезопасные модели искусственного интеллекта. При этом он отметил, что не считает нынешний уровень опасений по поводу этой технологии обоснованным.

 Источник изображения: Nvidia

Источник изображения: Nvidia

«Это гипотетическая ситуация, но да, — сказал Хуанг в интервью изданию Bloomberg, отвечая на вопрос, прекратил бы он поставки безответственному разработчику. — Но прежде чем пойти на такой шаг, нужно провести переговоры. Мы не управляем чужими компаниями, и существуют пределы того, насколько мы можем судить о том, как другие компании используют наши технологии. Ведь наши технологии — это инструменты общего назначения».

Nvidia является ведущим поставщиком ускорителей для искусственного интеллекта, которые используются для обучения и запуска моделей ИИ. Это сделало компанию центральной фигурой в дискуссии о том, не станет ли такое программное обеспечение слишком мощным и не выйдет ли оно из-под контроля человека. Некоторые руководители ИИ-компаний, например, глава Anthropic PBC Дарио Амодеи (Dario Amodei), предлагали замедлить темпы развития отрасли, чтобы учесть эти опасения.

Хуанг уверен, что страхи по поводу безопасности ИИ — это «болезни роста» стремительно развивающейся отрасли. По его словам, часть существующих опасений надумана, а сама отрасль в целом «из рук вон плохо» объясняет преимущества новой технологии. Саму технологию искусственного интеллекта можно использовать для обеспечения безопасности и сдерживания этой же технологии, добавил Хуанг.

«Нам следует ускорить внедрение технологий сдерживания в системы искусственного интеллекта, — считает Хуанг. — Необходимо ускорить разработку технологий мониторинга, а искусственный интеллект и выступает в роли такого инструмента контроля. Поэтому нам нужно ускорить развитие технологий ИИ».

В рамках обязательств по обеспечению безопасности ИИ Nvidia выделяет $250 млн в течение пяти лет на исследования в этой области, проводимые в Великобритании. Поддержка будет предоставлена ​​в виде доступа к вычислительным мощностям передовых систем, с помощью которых британские учебные заведения будут изучать меры защиты и способы контроля над ИИ-агентами.

Anthropic просит апелляционный суд повторно рассмотреть дело о споре с Пентагоном

Компания Anthropic не теряет надежды добиться полной победы над Пентагоном в деле о присвоении ей статуса угрозы для национальной безопасности. Теперь она настаивает о повторном рассмотрении дела в Вашингтоне, хотя в сентябре местный суд оставил её жалобу без удовлетворения.

 Источник изображения: Unsplash, Sasun Bughdaryan

Источник изображения: Unsplash, Sasun Bughdaryan

В конце прошлого месяца Федеральный апелляционный суд в Вашингтоне в составе судебной коллегии из трёх человек большинством голосов поддержал Пентагон в присвоении компании Anthropic статуса поставщика услуг, представляющего угрозу национальной безопасности США, который она получила ещё в марте этого года. Вчера компания обратилась с ходатайством о повторном рассмотрении дела. По мнению представителей компании, прошлое заседание суда проигнорировало «очевидные доказательства того, что присвоенный Anthropic статус был результатом мести за высказывания компании по поводу безопасности ИИ». Кроме того, Пентагон действовал слишком резко, не предусмотрев предварительного процесса до назначения соответствующего статуса Anthropic, по мнению истца.

В августе Федеральный апелляционный суд США в Калифорнии уже принял сторону Anthropic в споре с Пентагоном, но для окончательного снятия ограничений нужно было бы выиграть и суд в Вашингтоне. Прошлый вердикт местного суда базировался на убеждении, что Anthropic может манипулировать дизайном Claude с целью блокировки работы функций, которые нужны для обеспечения национальной безопасности, и обоснованы условиями контракта между сторонами. В конце сентября добиться победы не удалось, и теперь Anthropic настаивает на повторном рассмотрении дела в Вашингтоне.

Anthropic настаивает, что суд в Вашингтоне по итогам прошлого заседания некорректно интерпретировал федеральный закон США и перенаправил его с «враждебно настроенных иностранных агентов» на «практически каждого правительственного подрядчика». Как отмечают адвокаты Anthropic, модели этой компании обеспечивают национальную безопасность США, а действия Пентагона в марте были обусловлены желанием отомстить стартапу за несговорчивость. Руководство Anthropic, напомним, противилось использованию Пентагоном своих моделей для выбора целей на поле боя и слежению за американскими гражданами.

ИИ научился взламывать заводы и подчинять себе роботов — все восемь тестовых атак оказались успешными

Чтобы взломать промышленное предприятие, скоро может быть достаточно запустить ИИ-агента. В испытаниях консалтинговой компании Booz Allen Hamilton такие агенты самостоятельно находили уязвимости, получали административный доступ и даже управляли роботизированным манипулятором. Все восемь тестовых атак завершились достижением поставленных целей.

 Источник изображения: Homa Appliances/unsplash.com

Источник изображения: Homa Appliances/unsplash.com

Для этого была создана многовендорная среда, имитирующая типичное производственное предприятие. Тестовая лаборатория включала программируемые логические контроллеры (ПЛК), человеко-машинные интерфейсы (HMI), рабочие станции инженеров и операторов, платформу диспетчерского управления и сбора данных (SCADA), производственные сервисы, сетевую инфраструктуру, роботизированную руку, датчики и т. д.

«Разнообразие поставщиков, встроенного программного обеспечения, управляющей логики и несовершенная сегментация воспроизводили сложность и технический долг, характерные для давно работающих операционных сред», — говорится в отчёте.

При этом модели не получали исходного кода, инженерной документации или расширенных руководств — они самостоятельно исследовали среду, выявляли уязвимости и планировали атаки. Также были установлены определённые ограничения: агенты должны были дождаться одобрения человека, прежде чем использовать уязвимость безопасности или предпринимать какие-либо действия, способные привести к физическому воздействию. Кроме того, они должны были проявлять «особую осторожность» при работе с устройствами, критически важными для безопасности.

Всего было протестировано восемь сценариев, и во всех случаях агенты достигли поставленных целей. В ходе одного из тестов агент за несколько минут «проверил сеть на наличие распространённых протоколов робототехники, идентифицировал робота, обнаружил его API, получил административный доступ, нанёс на карту зоны защиты и ограничения движения, а также переместил манипулятор».

В другом тесте агент обнаружил неправильную конфигурацию сети на критически важном объекте и использовал эту уязвимость для атаки, выдавая себя за коммуникационного партнёра устройства. Ещё в одном случае переход от взлома периметра к действиям внутри промышленной сети управления занял всего 16 минут.

Показателен и другой случай: столкнувшись с неудачей при атаке на SCADA из-за неверной версии интерфейса оператора, агент скорректировал план, обнаружил редактируемый код Jython в проекте SCADA и использовал административный интерфейс, чтобы успешно завершить атаку.

Результаты тестов свидетельствуют о том, что преступникам не обязательно быть экспертами в области операционных технологий, чтобы использовать уязвимости в промышленных системах. Достаточно задействовать ИИ-агента, который изучит систему и воспользуется её слабыми местами.

«ИИ-агенты могут действовать с такой скоростью, настойчивостью и инженерной точностью, что способны целенаправленно атаковать организации, не внедрившие методы кибербезопасности операционных технологий», — сообщил Кайл Миллер (Kyle Miller), вице-президент по кибербезопасности инфраструктуры Booz Allen.

Также отмечено, что тесты Booz Allen основаны на реальных инцидентах, в которых ИИ-модели получили несанкционированный доступ к внешним системам, в частности, Hugging Face.

Глава Microsoft призвал встроить в ИИ ручной тормоз — модели нужно контролировать с первой секунды

Генеральный директор Microsoft Сатья Наделла (Satya Nadella) призвал к «экстренному торможению» развития ИИ. Он предложил изменить подход к разработке, изначально рассматривая ИИ-модели как «скомпрометированные» и принимая необходимые меры предосторожности с самого начала.

 Источник изображения: Roman Budnikov/unsplash.com

Источник изображения: Roman Budnikov/unsplash.com

В своём посте на платформе X генеральный директор Microsoft изложил свои взгляды на риски, связанные с продвинутыми ИИ-модели и на то, как им противостоять.

Наделла заявил, что больше нельзя мириться с тем, что ИИ, который он называет «суперразумом», рассматривается как «набор вложенных чёрных ящиков», чьи советы и действия мы просто принимаем или отвергаем. Он призвал создать более прозрачную систему, в рамках которой модели можно контролировать и при необходимости ограничивать, а их работа будет оставлять после себя «защищённые от несанкционированного изменения свидетельства, понятные человеку».

Как отметил ресурс The Verge, многие из предложений главы Microsoft перекликаются с мнениями других представителей ИИ-отрасли: своевременное раскрытие информации об инцидентах, независимые аудиты, поддающиеся проверке данные и механизмы сдерживания.

Причём в последнем пункте он пошёл немного дальше, чем его коллеги, заявив: «Мы должны исходить из того, что модель может быть скомпрометирована, и держать её под контролем с самого начала. Представьте себе это как аварийный тормоз: уполномоченное лицо всегда должно иметь возможность приостановить работу модели или полностью её остановить в процессе выполнения задачи. Для более совершенных моделей потребуются и более продвинутые технологии сдерживания — нам необходимо выработать для них единые стандарты».

Anthropic и OpenAI готовятся к первой крупной катастрофе по вине ИИ

Руководство Anthropic, OpenAI и других занимающихся искусственным интеллектом компаний в частном порядке обыгрывает сценарии общественного недовольства и политической реакции, если случится какой-либо связанный с ИИ крупномасштабный инцидент. Одним из таких сценариев представляется кибератака, которая перекроет людям доступ к финансовым услугам, к интернету или даже к электроэнергии и воде.

 Источник изображения: Numan Ali / unsplash.com

Источник изображения: Numan Ali / unsplash.com

Первый же инцидент значительного реального вреда, причинённого небезопасным ИИ, способен ещё больше настроить и без того настороженную общественность против этой технологии и лидеров отрасли: главы Anthropic Дарио Амодеи (Dario Amodei), главы OpenAI Сэма Альтмана (Sam Altman), а заодно и против президента США Дональда Трампа (Donald Trump) за его нежелание регулировать ИИ.

Планирование неблагоприятных сценариев — обычное явление во многих компаниях и учреждениях из сферы национальной безопасности. Многие ведущие исследователи и руководители отрасли ИИ считают масштабный инцидент неизбежным, хотя в OpenAI придерживаются противоположной позиции. «OpenAI проводит учения по подготовке, на которых сотрудники обсуждают и прорабатывают ряд вероятных сценариев. Неизбежными эти сценарии не считаются, но они призваны помочь нам подготовиться к различным обстоятельствам», — сообщили в компании. В Anthropic от комментариев отказались.

У гипотетического злоумышленника уже слишком широкий выбор моделей с открытыми весами — эту проблему большинство специалистов по кибербезопасности считает разрешимой только путём использования ИИ против ИИ. Ведущие лаборатории обыгрывают действия вероятного противника; особое внимание уделяется «гонке за просвещение» членов Конгресса. Руководство компаний осознало, что жёстко регулирующие ИИ законы сейчас едва ли примут, но всё же стремятся повлиять на формирование законопроектов и наметить контуры политики, к которой власти США обратятся после первого же крупномасштабного инцидента.

 Источник изображения: Mohamed Nohassi / unsplash.com

Источник изображения: Mohamed Nohassi / unsplash.com

Инцидент может случиться, если очередная группа ИИ-агентов прорвётся в интернет из изолированной тестовой среды, или некий злоумышленник сумеет неожиданным образом задействовать уже доступные модели. Ранее стало известно о масштабной атаке, направленной на финансовые организации в Южной Корее, в ходе которой, в частности, были взломаны ресурсы двух банков — виновным в инциденте считается всего один человек. Хакер из Китая, предположительно, вооружился приложениями под управлением китайских ИИ-моделей, в том числе DeepSeek, и похитил данные нескольких десятков тысяч клиентов банков. Впоследствии он обратился к Anthropic Claude Code и попросил помощи в поиске мест для продажи информации, сообщили в CrowdStrike.

В американских ИИ-лабораториях предполагают, что если демократы победят на промежуточных выборах, они усилят свои позиции и попытаются быстро поставить развитие ИИ под контроль или вообще приостановить его, но политическая борьба будет непростой. Оторванный от революции ИИ Конгресс может не принять угрозу всерьёз. Кроме того, мировая экономика уже тесно переплетена с развитием инфраструктуры ИИ — замедление темпов роста способно нанести серьёзный удар по и без того хрупкой экономической системе.

Инсайдеры в отрасли ИИ предполагают, что серьёзный инцидент может произойти в ближайшие полгода–год. Единства мнений в законодательной ветке американской власти пока нет — разброс существует не только между партиями, но и внутри них. Одна из инициатив демократов — запрет на сверхинтеллект или приостановка развития передовых систем ИИ; есть также двухпартийная инициатива, предусматривающая создание средств экстренного отключения передовых ИИ-моделей, хотя эксперты сомневаются, что все системы ИИ вообще возможно отключить. В условиях настоящего кризиса Вашингтон может отложить в сторону разногласия между партиями — такое уже было в пандемию и в финансовый кризис 2008 года.

Китайские ИИ-компании скрывают, насколько опасны их модели — публичных тестов почти нет

Китайские разработчики ИИ крайне неохотно делятся информацией по поводу тестирования своих моделей на предмет безопасности использования, выяснила исследовательская компания SemiAnalysis. И это на фоне того, что во всём мире растут опасения по поводу рисков, связанных со стремительным развитием передовых ИИ-систем.

 Источник изображения: Steve A Johnson/unsplash.com

Источник изображения: Steve A Johnson/unsplash.com

Согласно проведённому SemiAnalysis анализу 857 моделей, выпущенных в период с 2021 года по 15 сентября текущего года девятью ведущими китайскими компаниями в области искусственного интеллекта — Alibaba, ByteDance, Tencent, Baidu, DeepSeek, Moonshot, Z.AI, MiniMax и StepFun, лишь в 31 случае, или 6,3 %, были опубликованы результаты оценки безопасности, которые можно было бы сопоставить с конкретной моделью. Только в девяти релизах, или 1,1 % всего количества выпусков, такие результаты были доступны на момент выхода модели или до него. Исследователи не обнаружили информации о безопасности 813 моделей, хотя компании могли бы провести тесты в частном порядке.

В SemiAnalysis пояснили, что под раскрытием информации подразумевается публикация результатов, относящихся к конкретной модели (включая тесты на генерацию вредоносного контента, устойчивость к обходу защитных ограничений, токсичность, соблюдение конфиденциальности, поведение при отказе от выполнения запроса или наличие опасных возможностей). При этом не учитываются общие заявления о том, что модель прошла обучение мерам безопасности или соответствующую проверку.

В связи с нашумевшими инцидентами, связанными с самовольным поведением ИИ-агентов, усилились глобальные дебаты о том, должны ли ИИ-компании замедлять разработку передовых моделей с целью создания более эффективных рычагов их контроля.

На прошлой неделе появились сообщения в СМИ, что китайские ИИ-агенты, так же, как и американские, могут обманывать пользователей, обходить ограничения и скрывать сбои в тестах.

Новейшая система управления безопасностью ИИ в Китае позволяет выявлять риски, включая получение моделями системных разрешений или внешних ресурсов без разрешения, обман оценщиков, сокрытие возможностей и обход контроля безопасности. Но, согласно SemiAnalysis, никаких обязательств на разработчиков, связанных с возможностями моделей, она не налагает. Правилами в основном регулируются приложения и их влияние на пользователей, не выдвигая никаких требований разработчикам передовых моделей относительно проведения или публикации оценки рисков на основе возможностей модели.

По данным SemiAnalysis, ни один крупный китайский разработчик не выпустил передовую LLM с результатами тестирования на наличие опасных возможностей, обнародованными для широкой публики.

Anthropic запустила бесплатный сервис для поиска дыр в ПО с открытым исходным кодом

Компания Anthropic представила бесплатный сервис сканирования OSS Scanner для регулярного поиска уязвимостей в проектах с открытым исходным кодом (open source). Сервис использует самые мощные ИИ-модели разработчика, включая Claude Mythos.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Проекты смогут подключаться к сервису добровольно по подписке opt-in, предусматривающей добровольное согласие пользователя на получение уведомлений и отчётов о найденных уязвимостях. Anthropic рассчитывает, что автоматическое сканирование позволит выявлять проблемы быстрее и раньше, чем при использовании исключительно традиционных методов проверки.

При этом отчёты OSS Scanner не будут проходить проверку специалистами. Anthropic подчёркивает, что все результаты формируются ИИ без участия человека в проверке и первичной оценке обнаруженных проблем. Поэтому среди сообщений могут оказаться ошибочные или недействительные находки, которые разработчикам придётся проверять самостоятельно.

OSS Scanner появился на фоне растущего интереса к использованию ИИ для поиска уязвимостей в программном обеспечении. В последние месяцы подобные инструменты помогли обнаружить несколько серьёзных проблем в проектах с открытым исходным кодом, включая критическую уязвимость Copy Fail, затронувшую почти все дистрибутивы Linux в мае.

Одновременно увеличение числа автоматических проверок создаёт и дополнительную нагрузку на разработчиков. Некоторые проекты с открытым исходным кодом уже с трудом справляются с потоком отчётов об ошибках, созданных ИИ-моделями. Среди тех, кто столкнулся с этой проблемой, оказались Линус Торвальдс (Linus Torvalds) и даже компания Google.

Китайские разработчики отказались притормозить ИИ-гонку — за сентябрь они выпустили 16 новых моделей

Пока американские разработчики призывают к замедлению развития ИИ ради общественной безопасности, китайские разработчики руководствуются собственными приоритетами. В итоге за прошлый месяц китайские компании успели выпустить 16 совершенно новых ИИ-моделей.

 Источник изображения: Unsplash, Steve A Johnson

Источник изображения: Unsplash, Steve A Johnson

Напомним, что призывы генерального директора Anthropic Дарио Амодеи (Dario Amodei) не были встречены единодушной поддержкой даже среди участников американского рынка, а на политическом уровне нашли ещё меньше понимания. Президент США Дональд Трамп (Donald Trump) хоть и поприветствовал внедрение механизмов саморегулирования в ИИ-отрасли, поддерживать идею намеренного замедления развития не стал, ссылаясь на конкурентную угрозу со стороны Китая. Общение Трампа с Си Цзиньпином (Xi Jinping) к каким-то совместным декларациям на эту тему тоже не привело.

Своё эссе с призывами замедлить развитие ИИ Амодеи опубликовал в середине сентября. Издание Nikkei Asian Review подсчитало, что десять ведущих китайских разработчиков по итогам сентября успели выпустить 16 новых моделей, которые не являются продуктом переработки или оптимизации уже существующих. Среди них были и модели, ориентированные на генерацию аудио и видео, которые чисто формально существенной угрозы человечеству не несут, если не считать злоупотреблений в сфере подмены личности.

Китайские компании сконцентрированы на создании достаточно «легковесных» ИИ-моделей, которые ограничиваются умеренным количеством параметров, а в своём применении оказываются не столь затратными и при этом достаточно гибкими. По данным сайта BenchLM, в период с июля по сентябрь включительно восемь крупных китайских разработчиков выпустили 20 больших языковых моделей. При этом за первый квартал текущего года они выпустили всего две модели, а с апреля по июнь вышло уже 17 моделей. Прослеживается усиление активности китайских компаний на этом направлении.

В период с января по сентябрь американские разработчики выпустили 59 моделей, что на 50 % превышает показатели китайской ИИ-отрасли на том же интервале. В отдельные месяцы текущего года китайским разработчикам удавалось превзойти по своей активности американских соперников. Спрос на недорогие ИИ-модели растёт по мере распространения ИИ-агентов, которые потребляют большие количества токенов — единиц измерения обработки данных. Китайские разработчики в этом смысле хорошо понимают потребности рынка.

При этом они не забывают и о разработке высокопроизводительных ИИ-моделей. В прошлом месяце Alibaba анонсировала намерения создать версию модели Qwen с количеством параметров от 5 до 10 трлн. Предыдущая флагманская модель Alibaba этой серии, которая вышла в августе, насчитывает 2,4 трлн параметров. С точки зрения быстродействия передовые американские модели пока превосходят китайские, но отставание сокращается, по мнению многих экспертов. При этом китайские модели остаются более доступными для клиентов по стоимости, разрыв может достигать 20–50 раз для одного и того же задания по сравнению с передовыми моделями американской Anthropic.

Дарио Амодеи уделил в своей публикации внимание «китайской угрозе» и призвал не только усилить контроль за экспортом передовых ИИ-чипов, но и бороться с так называемой «дистилляцией», которая позволяет китайским компаниям быстрее обучать собственные модели, используя данные и возможности американских. Нельзя утверждать, что китайских разработчиков вопросы безопасности ИИ не беспокоят. Глава DeepSeek Лян Вэньфэн (Liang Wenfeng) в прошлом месяце выступил соавтором одной их публикаций на эту тему. Труд был посвящён безопасным методам обучения ИИ-агентов.

РТК-ЦОД представил корпоративного ИИ-ассистента для безопасной работы с документами и базами знаний

РТК-ЦОД, ИТ-сервис-провайдер полного цикла, представил на форуме «Цифровые решения» корпоративного ИИ-ассистента для организаций с повышенными требованиями к защите данных. Решение разработано в сотрудничестве с блоком информационных технологий «Ростелекома». ИИ-ассистент помогает сотрудникам мгновенно находить и анализировать информацию во внутренних документах и базах знаний. Продукт подходит для крупного бизнеса и способен оперировать тысячами файлов разных форматов, при этом данные никогда не покидают периметр организации.

В основе работы ИИ-ассистента лежит технология RAG (Retrieval-Augmented Generation): получив запрос на естественном языке, система находит релевантные фрагменты в подключённой базе знаний и формирует ответ, опираясь только на предоставленный контекст. Такой подход обеспечивает точные и верифицируемые результаты. При этом вся обработка выполняется внутри инфраструктуры заказчика, без обращения к внешним API или облачным платформам. Это делает решение безопасным для работы с чувствительной информацией, персональными данными и документами ограниченного доступа.

Интеллектуальный помощник не только находит информацию, но и анализирует данные. По запросу он формирует сводные обзоры документов, сравнивает версии, проверяет материалы на соответствие чек-листу или стандарту, классифицирует и группирует данные, извлекает сведения в табличной форме и готовит краткое содержание. Отдельно реализована работа с табличными файлами: ассистент понимает структуру реестров, прайс-листов и расчётов и может выдать выборку строк по заданному условию.

 Источник изображения: РТК-ЦОД

Источник изображения: РТК-ЦОД

Для специалистов по эксплуатации и мониторингу предусмотрена возможность скопировать в чат ассистента запись из системного журнала, набор метрик, текст алерта или вывод диагностической команды. Интеллектуальный помощник объяснит значение события, оценит его вероятную причину и предложит рекомендации по реагированию, опираясь на регламенты эксплуатации и историю разборов инцидентов. Диалог поддерживается с учётом контекста: уточняющие вопросы обрабатываются в рамках текущей сессии, и повторять уже сказанное не требуется.

Вопросы безопасности и контроля проработаны на всех уровнях. Архитектура поддерживает мультитенантность — несколько подразделений или клиентов могут работать на одной инсталляции с полным разделением данных и конфигураций. Гранулярная система прав доступа (RBAC) позволяет разграничить возможности вплоть до отдельных операций, а для баз знаний предусмотрены настройки уровней доступа. Каждое изменение конфигурации фиксируется в истории, а действия пользователей логируются. Встроенная очередь с ограничением одновременных запросов защищает инфраструктуру от перегрузок, а маршрутизация простых обращений на быстрые модели помогает оптимизировать затраты.

«Ключевым барьером для широкого внедрения генеративного ИИ в коммерческом и государственном секторах остаётся вопрос доверия к технологии. Мы видим спрос на изолированные решения, которые гарантируют сохранность критичных данных, и для нас как для цифрового партнёра государства и бизнеса важно предлагать варианты безопасного применения новых технологий. Представленный ассистент — это "частный ИИ", который учится на корпоративных знаниях, оставаясь внутри защищённого периметра. Благодаря такому подходу мы открываем доступ к генеративному искусственному интеллекту для широкого круга организаций — от финансовых институтов до промышленных предприятий и государственных структур, которые ранее не могли применять подобные инструменты из-за строгих требований к защите информации», — заявил Роман Хазеев, директор по развитию цифровых технологий и искусственного интеллекта «Ростелекома».

«РТК-ЦОД как ИТ-сервис-провайдер полного цикла обладает полным арсеналом сервисов для цифровизации бизнеса. Сегодня без технологий искусственного интеллекта невозможно представить эффективную работу, а по аналитическим данным, ROI от внедрения ИИ достигает 250 %. Наш корпоративный ассистент эффективен для самых разных функций: юристы мгновенно находят нужные пункты в договорах, инженеры и техспециалисты получают точные ответы по спецификациям и алертам, а финансисты — оперативные выборки из бюджетов. При этом безопасность остаётся нашим приоритетом: вся обработка данных ведётся в защищённом контуре заказчика, а гранулярная система прав доступа и полное логирование обеспечивают надёжный контроль. Участие блока информационных технологий "Ростелекома" в проработке технологического контура позволило нам вывести продукт на качественно новый уровень надёжности и производительности. Платформа уже готова к развёртыванию на инфраструктуре клиента и сопровождается технической поддержкой с нашей стороны», — заявил Алексей Забродин, технический директор РТК-ЦОД. 

Трамп нашёл нового «ИИ-царя» — «Силами сверхинтеллекта» будет руководить глава нацразведки

О необходимости создания правительственного органа, регулирующего вопросы безопасности ИИ, Дональд Трамп (Donald Trump) говорил недавно на встрече с представителями отрасли. Теперь он назначил ключевого чиновника, который будет курировать развитие ИИ в США — новым «ИИ-царём» стал директор национальной разведки Джей Клейтон (Jay Clayton).

 Источник изображения: Sullivan & Cromwell LLP

Источник изображения: Sullivan & Cromwell LLP

Первым об этом назначении сообщило издание The Wall Street Journal, которое и взяло интервью у чиновника. Клейтон возглавит правительственный орган, в обязанности которого будет входить оценка рисков в сфере искусственного интеллекта и определение степени влияния правительства США на развитие профильной отрасли. «Президент попросил создать группу, которая будет заниматься тем, о чём он говорил, обеспечивая сохранение нашего лидерства в сверхинтеллекте с учётом интересов американского народа на первом месте», — заявил Клейтон в интервью.

Профильный орган получил обозначение «Силы сверхинтеллекта» (Super Intelligence Force), отображая директиву Трампа по замене термина «искусственный интеллект» (AI) на более политически нейтральный «superintelligence». Вновь созданная правительственная структура свой первый отчёт о положении дел в отрасли должна будет подготовить в течение 120 дней.

Помимо рисков, орган будет оценивать и возможности, открывающиеся для США в свете развития передовых ИИ-моделей. По мнению самого Клейтона, риск упущения лидерства в данной сфере довольно высок. Возглавляемая им структура будет предлагать меры воздействия на сферу ИИ со стороны уже существующих федеральных органов власти США.

В состав органа правления данной структуры в должности заместителей председателя (Клейтона) войдут Эмиль Майкл (Emil Michael, заместитель министра обороны США), Скотт Купор (Scott Kupor, директор Управления кадровой службы США) и председатель Федеральной комиссии по торговле Эндрю Фергюсон (Andrew Ferguson). В качестве рядовых членов совета в составе будут числиться вице-президент США Джей-Ди Вэнс (JD Vance), министр обороны Пит Хегсет (Pete Hegseth), министр финансов Скотт Бессент (Scott Bessent) и глава аппарата Белого дома Сьюзи Уайлс (Susie Wiles). На роль внешних советников приглашены бывший «ИИ-царь» Дэвид Сакс (David Sacks) и бывший госсекретарь США Кондолиза Райс (Condoleezza Rice).

Попутно издание Axios распространило слова министра финансов США Скотта Бессента (Scott Bessent), который упрекнул разработчиков ИИ в нагнетании паники относительно экзистенциальных угроз для человечества. По его мнению, отрасль должна заняться саморегулированием и предложить готовые решения: «Именно люди в лабораториях должны взять на себя ответственность, и я с этим согласен. Я считаю, что лаборатории к подобным мыслям уже тоже пришли».

OpenAI покинул глава команды безопасности — он сомневался, что компания успевает за собственным ИИ

Стало известно, что ещё на прошлой неделе компанию OpenAI покинул Дэвид Робинсон (David Robinson). В OpenAI он возглавлял команду Safety Systems, несущую ответственность за вопросы безопасности ИИ. Это стало ещё одним ударом по системе безопасности компании, уволившей на днях трёх сотрудников OpenAI из-за передачи сторонним компаниям секретных сведений.

 Источник изображения: Growtika/unsplash.com

Источник изображения: Growtika/unsplash.com

Робинсон занимался обеспечением прозрачности в области безопасности в OpenAI. В частности, он участвовал в разработке и публикации информационных карточек (system cards), предоставляющих информацию о её ИИ-моделях. Ранее Робинсон руководил планированием политики компании.

OpenAI оказалась в центре внимания общественности после ряда громких инцидентов, связанных с обеспечением безопасности работы ИИ-моделей, включая нашумевший взлом платформы Hugging Face. На этой неделе главу OpenAI Сэма Альтмана (Sam Altman) вместе с руководителем Anthropic Дарио Амодеи (Dario Amodei) должны были заслушать в сенате Австралии по делу о взломе ИИ-агентами OpenAI правительственных сайтов Австралии и США.

Из-за взлома Hugging Face и игнорирования рисков использования автономного ИИ на OpenAI подали в суд, а Федеральная торговая комиссия (FTC) США начала масштабную проверку деятельности компаний в сфере ИИ, включая Anthropic, OpenAI и т.д.

Ранее в сентябре Робинсон высказал в соцсети X мнение, что сотрудники OpenAI начинают осознавать последствия внедрения высокоэффективных моделей ИИ. Он отметил, что ситуация в компании меняется стремительно — буквально с каждым днем — и выразил сомнение в том, что команда достаточно быстро реагирует на эти изменения.

Он покинул OpenAI вслед за уходом из Anthropic исследователя Джейкоба Коксона (Jacob Coxon), предупредившего, что Anthropic и OpenAI «стремительно движутся к созданию самосовершенствующегося суперинтеллекта и ставят на кон наши жизни».

Apple ужесточит контроль над «полным доступом к диску» в macOS из-за рисков, связанных с ИИ-агентами

Apple объявила о введении дополнительных мер контроля для функции «Полный доступ к диску» (Full Disk Access) в macOS. Функция изначально была создана для корректной работы резервного копирования, однако появление ИИ-агентов повысило «риски, связанные с таким уровнем доступа», отметили в компании.

 Источник изображения: Apple

Источник изображения: Apple

Заявление Apple последовало вскоре после публикации обозревателя Inc. Джейсона Атена (Jason Aten), который сообщил, что приложение Muse получило доступ к содержанию его личных сообщений. Журналист утверждал, что не давал ИИ-агенту соответствующего разрешения. В Meta✴✴ заявления Атена опровергают. Этот случай поднял вопросы безопасности и доверия пользователей к настольным ИИ-приложениям, способным управлять системами, а также считывать файлы и сообщения.

Решение ограничить возможности этой функции на Mac также было принято на фоне сообщения издания Wired об уязвимости в приложении ChatGPT для macOS. Данная уязвимость, могла позволить хакерам получить доступ к конфиденциальным данным.

ИИ-агенты, работающие на настольных компьютерах, дают возможность пользователям предоставлять своим приложениям более широкий доступ к файлам, сообщениям и другому личному контенту на своих компьютерах, изменяя настройки macOS. В случае с Muse пользователи могут по своему усмотрению включить функцию «Полный доступ к диску». Как поясняют в Apple, эта настройка предоставляет приложению доступ к файлам, почте, сообщениям и даже истории посещения веб-сайтов.

«Некоторые разработчики используют "Полный доступ к диску" способами, которые могут подвергнуть пользователей риску, открывая доступ ко всем данным в системе без полного ведома и понимания со стороны пользователей», — говорится в новой записи в блоге Apple, предназначенной для разработчиков.

Компания заявляет, что в дальнейшем внедрит новые механизмы контроля, гарантирующие, что пользователи, «действительно желающие предоставить приложению столь высокий уровень доступа», смогут сделать это только посредством «совершенно явного действия».

«Решение этой проблемы критически важно. Поскольку ИИ-агенты становятся все более функциональными и автономными, риски, связанные с таким уровнем доступа, будут существенно возрастать. Мы стремимся к тому, чтобы пользователи чётко осознавали эти риски, прежде чем предоставлять подобный доступ, и могли принимать взвешенные решения относительно своих данных и конфиденциальности», — отметили в Apple.

Уязвимость в приложении ChatGPT для macOS позволяла хакерам получить доступ к конфиденциальным данным

Недавно устранённая уязвимость в версии ChatGPT для macOS компании OpenAI наглядно демонстрирует, насколько ценным для злоумышленников может быть взлом самого программного обеспечения на базе ИИ. Особенно, когда такие приложения получают всё более широкое распространение.

 Источник изображения: Mariia Shalabaieva / unsplash.com

Источник изображения: Unsplash, Mariia Shalabaieva

Эту уязвимость можно было использовать для фактического захвата контроля над ChatGPT на компьютере жертвы. В этом случае злоумышленник мог получить доступ ко всей истории переписки и другим данным, хранящимся в приложении, а также к связанным ресурсам, таким как сеансы работы в браузере. Уязвимость, обнаруженная исследователями из фонда Objective-See Foundation, иллюстрирует глубокий уровень доступа к системе и высокий уровень доверия, которыми наделяются ИИ-платформы для выполнения своих функций. Этот случай одновременно показывает, какой привлекательной мишенью подобные платформы становятся из-за этого.

«Для выполнения своих задач таким агентам требуется обширный доступ. Они подобны управляющему зданием, у которого есть ключи от всех помещений. Поэтому, если их работу удаётся скомпрометировать или перехватить контроль над ними, это создаёт серьёзнейшие проблемы. Это может означать, что код с низкими привилегиями потенциально получит доступ ко всем защищённым ресурсам», — рассказал в разговоре с Wired Патрик Уордл (Patrick Wardle), аналитик программного обеспечения фонда Objective-See Foundation и эксперт, давно занимающийся исследованиями безопасности macOS.

Компания OpenAI публично признала наличие уязвимости и факт её устранения в журнале изменений системы 25 сентября. «Мы продолжаем совершенствовать наши методы обеспечения безопасности, но осознаем необходимость действовать быстрее», — заявил изданию Wired представитель OpenAI Шейн Бауэр (Shane Bauer).

Приложение ChatGPT для macOS состоит из множества компонентов, которые взаимодействуют друг с другом по защищённым каналам, проверяя цифровые подписи. Цель таких проверок — подтвердить, что оба взаимодействующих процесса являются компонентами OpenAI, а не сторонним и, возможно, вредоносным программным обеспечением, отправляющим запрос. Архитектура системы предусматривает проверку подписей на трёх уровнях вложенности относительно самого запроса. Это гарантирует, что вредоносная программа не сможет каким-либо образом заставить компонент OpenAI выступить в роли посредника и выполнить запрос, который будет выглядеть как доверенный.

Исследователи из Objective-See Foundation обнаружили наличие доверенного компонента — интерпретатора скриптов, — который принимал недоверенный скрипт (список команд для выполнения). Этим компонентом можно было манипулировать, чтобы внедрить такой скрипт в основной процесс ChatGPT. «Система также проверяет родительский и "прародительский" процессы, но вредоносный скрипт просто запускает интерпретатор трижды, а затем отправляет запрос, тем самым удовлетворяя всем требованиям проверки», — поясняет Уордл.

 Источник изображения: Unsplash, Flipsnack

Источник изображения: Unsplash, Flipsnack

По его словам, эксплуатация этой уязвимости была «до смешного простой», а для создания прототипа, демонстрирующего проблему, потребовалось всего около дюжины строк кода. Помимо доступа к истории переписки в ChatGPT, уязвимость позволяла заставить чат-бот выполнять команды злоумышленника, например, запускать браузер или обращаться к другим критически важным приложениям. При этом запросы выглядели как легитимные инструкции, исходящие от самого программного обеспечения OpenAI.

В ноябре на конференции Objective by the Sea, посвящённой вопросам безопасности экосистемы Apple, Уордл представит результаты анализа ряда уязвимостей в приложениях для macOS, использующих технологии искусственного интеллекта. Недавно он обнаружил и сообщил об исправлении уязвимости в функции диктовки нового ИИ-помощника Muse от компании Meta✴✴. Ею мог воспользоваться локальный злоумышленник (имеющий прямой доступ к оборудованию жертвы), чтобы перехватить некорректно обрабатываемый токен аутентификации и получить доступ к данным пользователя. Также Уордл сообщил, что уже передал в OpenAI информацию о новой уязвимости, связанной с интеграцией ChatGPT и нового ИИ-помощника Dots, который работает в фоновом режиме постоянно. В настоящее время OpenAI изучает его отчёт.

«Сейчас компании, занимающиеся искусственным интеллектом, одержимы внедрением новых функций. Но, как это всегда бывает, чем больше функций, тем шире поверхность атаки. Поэтому всем этим компаниям необходимо уделять первостепенное внимание безопасности, однако, судя по всему, этот аспект зачастую отходит на второй план», — отметил Уордл.

OpenAI выгнала трёх сотрудников за слив конфиденциальной информации оценщикам безопасности ИИ

OpenAI уволила трёх сотрудников, которые, по заявлению компании, нарушили правила обращения с конфиденциальной информацией. По неподтверждённым данным эти сотрудники поделились секретной информацией со сторонней организацией, оценивающей безопасность ИИ.

 Источник изображения: Mariia Shalabaieva / unsplash.com

Источник изображения: Mariia Shalabaieva / unsplash.com

«Наше расследование подтвердило, что эти сотрудники ненадлежащим образом обращались с конфиденциальной информацией, действуя в обход установленных в компании процедур. Тем самым они нарушили наши внутренние правила и подорвали доверие, необходимое для нашей работы», — сообщил представитель OpenAI в комментарии для CBS News.

В компании добавили, что проверка выявила систематические нарушения со стороны сотрудников, имевших доступ к конфиденциальным данным и работавших с результатами исследований компании. Специалисты OpenAI, отвечающие за безопасность, обладают информацией, требующей высокого уровня доверия, без которого невозможно внутреннее взаимодействие, отметил представитель компании. Компания не уточнила, с какой именно информацией были связаны нарушения и в чём именно они заключались.

По имеющимся данным, трое сотрудников — двое исследователей, занимающихся вопросами безопасности и согласования целей ИИ, а также руководитель исследовательской программы — передали конфиденциальную информацию компании сторонней группе, проводящей оценку систем искусственного интеллекта. Об этом сообщил источник, знакомый с ситуацией и пожелавший остаться анонимным, поскольку речь идёт о внутренних делах компании. По его словам, часть информации, с которой, как утверждается, обошлись ненадлежащим образом, касалась архитектуры инфраструктуры OpenAI.

Компания OpenAI оказалась под пристальным вниманием после того, как её ИИ-агенты вышли за пределы тестовой среды и взломали портал Hugging Face — репозиторий моделей искусственного интеллекта. Ранее в этом месяце компания также сообщила о шести случаях «неожиданного или вызывающего опасения» поведения систем.

В одном из случаев, по данным OpenAI, ещё не выпущенная исследовательская модель добавила в свои рабочие записи инструкции, позволяющие обойти установленные ограничения, а в другом — ИИ-агент загрузил файлы в интернет для получения ссылки из браузера без ведома пользователя. Эти шесть инцидентов были выявлены в ходе обучения или тестирования моделей за последние месяцы, уточнили в компании.

Кроме того, ИИ-модели OpenAI получали доступ к общедоступной информации на сайтах Комиссии по ценным бумагам и биржам (SEC), а также к данным Бюро переписи населения США. В OpenAI заявили, что не обнаружили признаков компрометации данных или уязвимостей.

Ранее OpenAI приняла решение отменить выпуск новой модели ИИ из соображений безопасности. Модель GPT-6.1 Astra «не вполне соответствовала требованиям в части соблюдения установленных рамок и полномочий, а также в том, как она информирует пользователя о выполненной работе», — заявила Саачи Джейн (Saachi Jain), руководитель отдела систем безопасности компании. В среду Федеральная торговая комиссия (FTC) сообщила, что начала расследование в отношении компаний OpenAI, Anthropic и других разработчиков искусственного интеллекта в связи с рисками, которые их технологии могут представлять для потребителей.

FTC взялась за OpenAI и Anthropic — США впервые расследуют угрозы автономных ИИ-агентов для людей

Федеральная торговая комиссия (FTC) США запустила масштабную проверку деятельности компаний Anthropic, OpenAI и других разработчиков ИИ, чтобы выявить потенциальные угрозы, которые их технологии могут представлять для людей. Об этом агентству Reuters сообщил высокопоставленный представитель комиссии.

 Источник изображения: AI

Источник изображения: AI

Это первое официальное расследование в США, касающееся так называемых автономных ИИ-агентов. Оно последовало за волной инцидентов, вызвавших у общественности опасения, что бесконтрольный искусственный интеллект может однажды нанести вред людям.

По словам представителя комиссии, FTC планирует направить официальные запросы о предоставлении информации и потребовать дачи показаний от руководителей ведущих компаний-разработчиков ИИ, включая Anthropic, OpenAI и исследовательскую группу METR. Компании Anthropic и OpenAI привлекали METR для проведения независимых расследований инцидентов безопасности, связанных с их технологиями автономных ИИ-агентов.

Председатель FTC Эндрю Фергюсон (Andrew Ferguson) выражал опасения по поводу этих компаний ещё до того, как ИИ-агенты, созданные OpenAI, взломали платформу с открытым исходным кодом Hugging Face, отметил представитель комиссии в разговоре с Reuters. Однако инцидент, в ходе которого ИИ-агенты OpenAI сканировали этот ресурс для разработчиков на предмет уязвимостей перед проведением масштабной атаки, придал вопросу особую срочность, добавил чиновник.

На прошлой неделе Фергюсон заявил, что разработчики, которые в ходе тестов на кибербезопасность дают агентам инструкции, приводящие к взломам, должны нести ответственность за любой причинённый ущерб. Выступая на конференции Reuters Momentum AI в Остине, он отметил, что США следует опираться на действующее законодательство, прежде чем пытаться принять новые законы, регулирующие сферу ИИ.

FTC обладает широкими полномочиями для подачи судебных исков против компаний за недобросовестные или вводящие в заблуждение действия. Отмечается, что комиссия уже использовала эти полномочия для принятия мер против компаний, не предпринявших разумных шагов по защите данных потребителей.

Во вторник президент США Дональд Трамп встретился с руководителями ведущих компаний в сфере ИИ. В ходе встречи стороны договорились о внедрении добровольных стандартов. Трамп неоднократно называл опасения по поводу ИИ выдумкой, стремясь поставить во главу угла технологическое доминирование США, а не регулирование отрасли. В то же время он заявлял, что правительство может использовать действующие законы против компаний, занимающихся ИИ, в случае причинения ими какого-либо ущерба.


window-new
Soft
Hard
Тренды 🔥
Состоялся релиз стабильной Xiaomi HyperOS 4 для совместимых устройств, но пока без глобальной версии 3 ч.
Вышла FLUX 3 Image Klein с открытыми весами для генерации и редактирования изображений — она быстро работает даже на RTX 4070 3 ч.
Chrome разряжает ноутбук быстрее? Apple обещает до пяти лишних часов работы Mac с Safari 4 ч.
ИИ-агенты взламывали сайты и обманывали — теперь OpenAI и Anthropic будут объясниться с FTC 4 ч.
Шпионское ПО научилось заражать устройства через рекламу без единого клика — достаточно просто открыть сайт 7 ч.
Фильм Paramount по Cyberpunk 2077 не станет пересказом игры, а экранизация от создателей «Настоящего детектива» отменена 7 ч.
Sega снимет с продажи полное издание Total War: Shogun 2 и восстановит старую игру — новая версия заслужила в Steam «крайне отрицательные» отзывы 8 ч.
Anthropic по секрету сообщила инвесторам о росте выручки на 45 % и выходе на прибыль 8 ч.
GTA VI была на волоске от пропуска The Game Awards 2026, но всё-таки сразится за звание лучшей игры 2026 года 9 ч.
Китайские ИИ-агенты вышли из-под контроля, а потом пошли на контакт с исследователями и попытались их обмануть 10 ч.
Новая статья: Сравнительный обзор 32-дюймовых мониторов Samsung Odyssey G80HS и G80SH: 6K IPS против 4K OLED 3 ч.
Sony выпустила позолоченный Walkman за $5900 — и объяснила, что золото тут не для красоты 4 ч.
Новый аппаратный криптокошелек от Ledger — это Android-телефон без функций телефона 4 ч.
IBM и Siemens вместе научат инженеров проектировать чипы будущего — ангстремные и с наноштабелированием 5 ч.
NASA испытала морозостойкие лунные аккумуляторы — когда-то они могут улучшить земные электромобили 5 ч.
ИИ-модели запускаются, игры (не все) идут, но батарея садится быстро: первые тесты ноутбуков на Nvidia RTX Spark 5 ч.
Apple превратила простаивающие Mac в «миньонов» — и заставила их работать на ИИ 6 ч.
AR-очки становятся мейнстримом: поставки в 2026 году удвоятся стараниями Meta и китайских брендов 6 ч.
Китай показал собственный источник EUV-излучения для выпуска передовых чипов — до серийного производства ещё 3–5 лет 6 ч.
xMEMS запустила серийное производство крошечных кулеров, которые гоняют воздух без вентиляторов 9 ч.