Опрос
|
реклама
Быстрый переход
«Ставки растут»: OpenAI пустит сторонних проверяющих на более ранние этапы разработки ИИ-моделей
23.09.2026 [11:10],
Алексей Разин
Руководство конкурирующих американских стартапов Anthropic и OpenAI продемонстрировало редкое единодушие в середине этого месяца, когда речь зашла о необходимости снижения темпов развития ИИ ради обеспечения общественной безопасности. Теперь компания OpenAI объявила, что готова предоставлять доступ сторонним аудиторам к своим ИИ-моделями на более ранних этапах разработки, чем это допускалось до сих пор. 
Источник изображения: Unsplash, TheRegisti Напомним, Anthropic предложила участникам рынка сделать этот процесс более открытым для сторонних экспертов, которые могли бы указывать на угрозы для общества со стороны создаваемых ИИ-моделей, чтобы они устранялись ещё до их выхода на рынок. Сама Anthropic продемонстрировала готовность следовать этому принципу, пригласив специалистов Accenture для проведения профильного аудита. Конкурирующая OpenAI предложила создавать международные организации, которые помогали бы следить за безопасностью выпускаемых на рынок ИИ-моделей, а также призвала американское правительство способствовать появлению общепринятых стандартов в этой сфере. Как отмечает Bloomberg, этот стартап также готов предоставить сторонним аудиторам доступ к оценке безопасности своих ИИ-моделей на более ранних этапах разработки, чем это предполагалось до сих пор. Аудит может проводиться на этапе обучения, оценки возможностей готовых моделей и их публичного распространения, поясняет источник. При этом к процедуре самого аудита OpenAI также выдвигает ряд требований, поскольку он должен быть независимым, добросовестным и доскональным с точки зрения погружения в вопросы безопасности. Кроме того, аудиторы должны нести ответственность за результаты своего труда. По словам представителей OpenAI, до сих пор компания приглашала сторонних специалистов на этапе оценки возможностей своих ИИ-моделей ближе к моменту их выпуска в оборот. «По мере того, как ставки растут, мы хотим убедиться, что также уделяем внимание таким вещам, как обучение и оценка, которые относятся к высоким ставкам, в дополнение к нашим процедурам развёртывания», — отметила в своём интервью Лама Ахмад (Lama Ahmad), которая в OpenAI отвечает за взаимодействие с внешними аудиторами. Сторонние специалисты, по её словам, могут получить доступ в офисы компании для анализа самой чувствительной части её работы. Подобный опыт взаимодействия с ними у OpenAI уже есть. Сейчас стартап ведёт отбор подрядчиков, которые могли бы заняться подобной работой, причём среди кандидатов есть как новые для OpenAI имена, так и уже знакомые. Некоторые из них уже занимались расследованием инцидента с Hugging Face. На лаборатории ложится существенная ответственность за обеспечение подробного анализа с одновременной возможностью защиты чувствительной информации, отмечается в публикации на сайте OpenAI. Хакеры ShinyHunters заявили о взломе ФБР — украдены данные «почти всех» агентов и соискателей
23.09.2026 [10:16],
Павел Котов
Хакерская группировка ShinyHunters, получившая известность в связи с серией крупных взломов и инцидентов с вымогательством, заявила, что взломала системы ФБР США и похитила информацию о нескольких тысячах агентов и соискателей. Киберпреступники сообщили, что им удалось завладеть «конфиденциальной информацией практически обо всех агентах ведомства и лицах, которые подавали заявления на работу в ФБР». 
Источник изображения: David Trinks / unsplash.com Журналисты ресурса 404 Media ознакомились с образцами украденных данных: записи включают в себя имена, домашние адреса и номера телефонов агентов ФБР и их супругов; достоверность части этой информации подтвердилась путём сверки с общедоступными реестрами. Хакеры, по их утверждениям, не преследуют какой-либо финансовой выгоды — они требуют, чтобы ФБР удалило отчёт, в котором содержатся якобы ложные обвинения в адрес группировки. Киберпреступники, сообщает издание, взломали сервер Oracle PeopleSoft — такие используются отделами кадров для хранения личных данных соискателей, — а затем проникли в правительственное облачное хранилище Amazon, где содержались сведения о действующих агентах и кандидатах. В результате операции были похищены несколько терабайтов данных; хакеры не уточнили, как именно поступят с этой информацией, если ФБР не удалит указанный отчёт. Украденные данные могут представлять серьёзную угрозу — ими могут воспользоваться спецслужбы других стран, чтобы получить рычаги влияния на сотрудников ведомства. Хакеры также предположительно изменили содержание сайта ФБР в разделе, посвящённом вакансиям, — сейчас в этом разделе размещено сообщение, что он временно недоступен в связи с техническим обслуживанием. Это уже второй за год инцидент со взломом систем ФБР. Ранее неустановленные хакеры проникли в одну из систем агентства, которая использовалась для управления перехватом коммуникаций в реальном времени и ордерами на сбор разведывательной информации — это могло привести к раскрытию объектов слежки. Взлому также подверглась личная почта директора агентства Каша Пателя (Kash Patel). Meta✴ научила ИИ-агента Muse звонить от имени пользователей — но иногда вместо него звонят люди
23.09.2026 [10:15],
Алексей Разин
Meta✴✴ Platforms делает ставку на развитие агентского ИИ, который позволяет пользователю делегировать профильному программному обеспечению выполнение функций по взаимодействию с внешними интернет-сервисами потребительского уровня. Как выяснило агентство Reuters, тестирование ИИ-агента Muse подразумевает осуществление телефонных звонков от имени пользователя, но содержимое разговоров остаётся доступным подрядчикам Meta✴✴. 
Источник изображения: Unsplash, Jonathan Borba Функция телефонных звонков в Muse была запущена недавно, а на прошлой неделе персонал компании был уведомлён о том, что при тестировании новшества привлекаются подрядчики, имеющие доступ к содержанию телефонных звонков и по сути их осуществляющие. Подобные откровения работодателя уже вызвали озабоченность некоторых сотрудников Meta✴✴ вопросами приватности пользовательской информации, отмечает источник. Функция обзвона с помощью ИИ-агента подразумевает, что он в голосовом режиме общается с представителями компаний и сервисов, бронируя билеты или договариваясь о записи пользователя в парикмахерскую, например. Сотрудники Meta✴✴ опасаются, что чувствительная для пользователя информация может случайным образом попасть в руки подрядчиков, которые обрабатывают часть телефонных звонков на этапе тестирования функции. Были отмечены и случаи высказываний расистского толка со стороны подрядчиков, что также может влиять на репутацию пользователей ИИ-агента Muse. Руководство Meta✴✴ подчеркнуло в своих комментариях, что обработка телефонных звонков подрядчиками была ошибочной инициативой, и сейчас подобная деятельность уже свёрнута. С другой стороны, совершающие звонки от лица пользователя Muse подрядчики, как показывает статистика, со своей задачей справлялись в 95 или 98 % случаев, тогда как общение голосового робота с человеком демонстрировало меньшую долю успеха. Допустивший расистское высказывание «живой агент», по словам представителей Meta✴✴, навсегда будет отлучён от возможности работать над проектами компании. В истории деятельности Meta✴✴ имеется и другой пример замещения автоматизации человеческим трудом. Ещё десять лет назад, именуемая тогда Facebook✴✴ компания представила цифрового ассистента M, который работал с фирменным мессенджером. Как удалось позже выяснить прессе, около 70 % функциональных задач такого агента в действительности обрабатывались людьми. Сейчас представители Meta✴✴ заявляют, что эксперименты с «живым консьержем» были направлены на определение слабых мест в вопросах безопасности и приватности до того, как функция будет тиражироваться на рынке. Когда данная функция начнёт предлагаться пользователям Muse, компания обещает раскрыть все особенности её работы с точки зрения доступа к чувствительным данным. С момента анонса Muse в этом месяце приложение было скачано более 2,5 млн раз. На этапе дебюта Muse компания уверяла пользователей, что каждый агент будет работать в пределах собственной виртуальной машины в облачном пространстве, позволяя изолировать данные каждого человека от посторонних глаз и хранить самые важные данные в безопасном разделе. Тестирование функции звонков внутри Muse началось ещё в августе, но в первые дни после выхода ИИ-агента на рынок она стала доступна и определённому количеству пользователей. Один из пользователей столкнулся с тем, что попытки дозвониться до его страховой компании от лица ИИ-агента заканчивались тем, что оператор на том конце линии каждый раз вешал трубку, когда понимал, что с ним общается голосовой робот. На прошлой неделе функция «человеческих агентских звонков» стала доступна половине сотрудников Meta✴✴, чтобы ускорить процесс тестирования и выявления слабых мест. При этом участие в программе корпоративного тестирования остаётся добровольным, сотрудники Meta✴✴ могут от него отказаться. ИИ-гонка выжигает специалистов по безопасности — они массово жалуются на истощение и увольняются
22.09.2026 [13:59],
Алексей Разин
Разного рода неприятные инциденты с причинением вреда инфраструктуре компаний вышедшими из-под контроля ИИ-моделями только подчеркнули важность проверки новейших разработок на безопасность. Поскольку этой работой заняты живые люди, растущая нагрузка заставляет их массово жаловаться на эмоциональное истощение. 
Источник изображения: Unsplash, Massimiliano Sarno Издание приводит комментарии нескольких специалистов, которые по долгу службы вынуждены тратить всё больше времени и сил на тестирование передовых ИИ-моделей, попутно чувствуя растущую ответственность перед обществом. Сотрудники Британского института безопасности ИИ, которые специализируются на независимой оценке новейших ИИ-моделей, во многих случаях вынуждены брать больничные из-за эмоционального истощения и получать консультации медицинских специалистов. Этому способствует как растущий темп исследований, проводимых организацией, так и увеличение груза ответственности перед человечеством. Строго говоря, серия добровольных увольнений из ведущих западных ИИ-компаний как раз указывает на актуальность описанной проблемы. Специалисты по ИИ не только жалуются на усталость и выгорание, но и на возникающие сложности в реализации задачи обеспечения безопасности искусственного интеллекта. Порой проблема заключается не столько в технических препятствиях, сколько в административных, поскольку руководство стартапов заинтересовано в ускорении разработки новых ИИ-моделей, и вопросы их безопасности ранее ставились не на первый план. Как и руководство Anthropic, многие разработчики ИИ чувствуют психологический дискомфорт, оставаясь в неведении относительно сфер применения своих разработок. Пентагон не скрывает намерений использовать системы ИИ в военной сфере, и многих сотрудников ИИ-компаний мысль о своей причастности к созданию летальных технологий начинает морально угнетать. Сотрудники не только берут больничные, но и увольняются. Этические правила и корпоративные стандарты в сфере безопасности ИИ пока только формируются, и некоторым специалистам кажется, что определённые грани дозволенного уже пройдены, и человечество начинает страдать от их разработок. Кибербезопасность и биотехнологии являются двумя главными источниками подобного беспокойства, поскольку прогресс ИИ в данной сфере настолько велик, что ИИ-модели демонстрируют способность причинять серьёзный ущерб информационной инфраструктуре целых компаний, а злоумышленники получают возможность разрабатывать новые виды бактериологического оружия. У некоторых участников процесса даже возникает ощущение, что надвигающуюся катастрофу мирового масштаба нельзя предотвратить, а они являются лишь безвольными свидетелями деструктивных тенденций. Ситуация усугубляется, если психологическая атмосфера в компании далека от благоприятной, а подчинённые считают своё руководство токсичным. По словам руководства Британского института безопасности ИИ, оно всячески заботится о благополучии своих сотрудников, и нуждающиеся в помощи и поддержке её получают. В Google DeepMind заявили, что сотрудники стартапа обладают возможностью доводить до руководства те проблемы, которые их беспокоят. При этом за последние два года из DeepMind, OpenAI и Anthropic ушли более десятка ведущих разработчиков в сфере ИИ, которые выразили несогласие с руководством в части выбора приоритетов между безопасностью создаваемых технологий и скоростью их развития. В этом месяце покинувший последовательно Anthropic и OpenAI Джейкоб Коксон (Jacob Coxon) свой уход объяснил тем, что эти работодатели ставят на кон будущее всего человечества. Уволившийся из Anthropic исследователь в сфере безопасности ИИ Мринанк Шарма (Mrinank Sharma) заявил, что «мир в опасности», и под наблюдавшимся давлением ему не удалось бы «руководствоваться ценностями в своих действиях». Многие из разработчиков, которые занимаются тестированием безопасности ИИ, утверждают, что создающие ИИ-модели компании в большей степени заинтересованы в расширении их функциональных возможностей, а не заботе о безопасности. Видимо, осознание этого факта заставило руководство Anthropic в этом месяце заявить, что темпы развития ИИ необходимо замедлить ради всеобщего блага. Гонка ИИ начинает обходиться человечеству всё дороже не только с точки зрения материальных затрат, но и в плане рисков в сфере безопасности. OpenAI призвала к созданию международных стандартов, регулирующих безопасность ИИ
22.09.2026 [08:22],
Алексей Разин
Представители крупных американских ИИ-стартапов на этой неделе перешли от призывов замедлить развитие профильных технологий ради общественной безопасности к предложениям по эффективному регулированию отрасли. OpenAI не стала мелочиться, и сразу предложила меры, которые следует принять в мировом масштабе. По мнению разработчиков ChatGPT, назрела необходимость принятия международных стандартов в области безопасности ИИ. 
Источник изображения: Unsplash, Olumide Adekunle OpenAI призвала власти США возглавить международную коалицию, которая помогла бы установить требования к безопасности ИИ на мировом уровне. Призывы прозвучали из уст руководства стартапа за несколько дней до выступления генерального директора Сэма Альтмана (Sam Altman) в Совете безопасности ООН в среду и его присутствия на встрече американского президента Дональда Трампа (Donald Trump) с китайским коллегой Си Цзиньпином (Xi Jinping) в грядущий четверг. Министр финансов США Скотт Бессент (Scott Bessent) в минувшее воскресенье заявил, что по итогам встречи с китайским вице-премьером Хэ Лифэном (He Lifeng) сторонам удалось достичь согласия о необходимости ведения диалога в сфере ИИ. Это позволяет рассчитывать на продолжение переговоров на высшем уровне при встрече американского и китайского лидеров в этот четверг в США. OpenAI считает необходимым наладить безопасные каналы обмена информацией между США и КНР, по которым можно было бы сообщать друг другу о выявленных угрозах в сфере безопасности ИИ: «Диалог между США и Китаем по безопасности ИИ был бы положительным шагом». Стартап также предлагает создать международные стандарты оценок ИИ-моделей с участием существующих организаций на национальном уровне. «Этот подход мог бы опираться на опыт авиации и системы обеспечения финансовой стабильности, где страны разработали общепринятые стандарты и доверенные каналы обмена информацией для сотрудничества без угрозы для государственного суверенитета», — отмечается в заявлении OpenAI. В компании считают особенно важным регулирование ИИ-систем, обладающих возможностью рекурсивного самосовершенствования (RSI), поскольку без разумных ограничений человечество очень быстро потеряет контроль над их развитием. Прогресс в этой сфере должен учитывать общечеловеческие ценности и оставаться под контролем людей, по мнению представителей OpenAI. По их словам, полностью автономных RSI-систем сейчас не существует, и они не должны появиться прежде, чем станет понятно, что они безопасны. Если не позаботиться об этом, то последствия саморазвития ИИ-систем могут иметь куда более серьёзные последствия, чем получивший огласку инцидент со взломом инфраструктуры Hugging Face вышедшими из-под контроля ИИ-моделями. Следует учитывать, что власти США на данном этапе не считают целесообразным не только замедлять развитие ИИ, но и усиливать роль государства в этой сфере. Трамп дал понять, что добровольное ограничение темпов развития ИИ в США в конечном итоге приведёт к победе Китая в этой гонке, а он этого допустить не намерен. Советник Трампа Дэвид Сакс (David Sacks) недавно заявил: «Самый простой способ не создать сильный искусственный интеллект — это договориться об этом. Требование же создания предпочтительной регуляторной базы, как платы за это, в этой ситуации будет напоминать шантаж общества и политической системы». Глава и сооснователь Google DeepMind Демис Хассабис (Demis Hassabis) также поддержал идею создания международных стандартов по передовым ИИ-моделям под руководством США. Он предложил учредить некий частно-государственный орган, типа имеющихся в финансовой системе, в правлении которого присутствовали бы не только ведущие технические эксперты, но и представители сообщества сторонников ПО с открытым исходным кодом. По его словам, создание такого регулирующего органа необходимо, поскольку технологии ИИ окажут в десять раз более сильное влияние на человечество, чем промышленная революция, а соответствующие изменения будут происходить в десять раз быстрее. Конкурирующая Anthropic, как известно, предлагает не только замедлить развитие ИИ на добровольной основе, но и ввести элементы внешнего аудита по безопасности создаваемых моделей во всех ведущих компаниях сегмента. Сама она уже начала предпринимать соответствующие меры предосторожности. Хуанг набрал вес в Белом доме — глава Nvidia фактически стал главным советником Трампа по ИИ
21.09.2026 [12:58],
Алексей Разин
Стремительное развитие бизнеса Nvidia, которое последовало за стартом бума ИИ, явно окрылило основателя и бессменного гендиректора компании Дженсена Хуанга (Jensen Huang). Он стал не только чуть ли не ежедневно давать свои комментарии по волнующим отрасль вопросам, но и регулярно бывает в Белом доме и на важных правительственных переговорах. Всё это привело к тому, что американский президент Дональд Трамп (Donald Trump) стал ориентироваться на доводы Хуанга. 
Источник изображения: Nvidia По крайней мере, во время состоявшихся на прошлой неделе парламентских слушаний Дженсен Хуанг, как отмечает CNBC, был признан министром финансов США Скоттом Бессентом (Scott Bessent) своего рода моральным и идеологическим ориентиром для американского президента. «Я бы просто сказал, что президент полностью разделяет точку зрения Дженсена Хуанга, генерального директора Nvidia», — заявил министр, отвечая на вопрос о степени понимания президентом США ситуации с угрозами, которые несёт ИИ. Напомним, что ранее Трамп обрушился с критикой на призывы американских стартапов добровольно замедлить развитие ИИ ради обеспечения общественной безопасности. По словам Трампа, Китай от таких мер со стороны США только выиграет, а допустить этого он не желает. Непосредственно Дженсен Хуанг призывы замедлить ИИ ранее прокомментировал рассуждениями о том, что проблему безопасности программных продуктов нужно решать инженерными методами, а не политическими. Он также добавил, что не видит необходимости излишне регулировать развитие ИИ на уровне американских законов, поскольку рыночные силы должны всё отрегулировать сами. Тогда же он заявил о беспочвенности страхов о наступлении «конца света» из-за ИИ к 2030 году. Ожидается, что Хуанг вместе с группой других руководителей американских компаний технологической направленности примет участие во встрече президента США с китайским лидером Си Цзиньпином (Xi Jinping), которая скоро состоится. Степень влияния Хуанга на действующего американского президента можно было понять по итогам лоббирования вопроса поставок ускорителей H200 на китайский рынок. Считается, что именно под давлением со стороны главы Nvidia Дональд Трамп в декабре прошлого года объявил о снятии ограничений на поставку H200 в КНР, хотя и потребовал отчислять в бюджет США целых 25 % выручки от их реализации. Эти ускорители в КНР в более или менее различимых количествах стали поступать только недавно, если верить источникам, поскольку изначально встречали сильное сопротивление властей Поднебесной. Выступая на прошлой неделе на канале CBS, основатель Nvidia также не смог пройти мимо тезиса об угрозе истребления человечества вышедшим из-под контроля ИИ к 2030 году. «Как бы это не характеризовалось, в 2030 году конец света не наступит. Существует нулевой шанс того, что это будет конец света», — заявил Дженсен Хуанг. Свою позицию по идее замедления ИИ он обозначил следующими словами: «Мы должны двигаться с максимально возможной скоростью, ни на кого не оглядываясь. Но мы не будем, и никогда не должны будем поставлять продукты прежде, чем они будут готовы, а также поставлять продукты, которые небезопасны». Есть вероятность, что подобную позицию разделяет и Дональд Трамп, поскольку на это намекает его ближайшее политическое окружение. Тем более, президент США в этом отчасти признался сам, поддержав Хуанга во время телефонного звонка заявлением о том, что американцам не грозит порабощение со стороны роботов. Подписчики ChatGPT и других чат-ботов подали иск к Anthropic, OpenAI, SpaceXAI и Google из-за сговора о замедлении ИИ
21.09.2026 [06:56],
Алексей Разин
Видимая солидарность отдельных игроков рынка систем ИИ в части добровольного замедления их развития уже начала негативно сказываться — как минимум, на их репутации, поскольку группа платных подписчиков ряда популярных чат-ботов в суде обвинила Anthropic, OpenAI, SpaceXAI и Google в незаконном сговоре. 
Источник изображения: Unsplash, Sasun Bughdaryan Как поясняет AP News, в Окружной суд Северного округа Калифорнии в пятницу был подан иск от лица четырёх подписчиков популярных чат-ботов, в котором перечисленные выше компании обвиняются в нарушении антимонопольных законов США с целью формирования сговора, направленного на снижение ценности услуг, предоставляемых подписчикам платных тарифов. В исковом заявлении, которое представители истцов требуют считать групповым, сообщается о ключевой фазе координации между ответчиками, которая имела место 12 сентября, когда генеральный директор Anthropic Дарио Амодеи (Dario Amodei) опубликовал своё резонансное эссе, призывающее участников рынка добровольно замедлить развитие ИИ по соображениям общественной безопасности. В тот же день, как отмечается в иске, солидарность с идеями Амодеи выразили руководители OpenAI, SpaceX (xAI) и Google DeepMind. Истцы даже утверждают, что координация между участниками рынка началась несколько раньше, поскольку ещё в июле некоторые из разработчиков ИИ-моделей призвали правительство США поддержать глобальную инициативу по замедлению разработки ИИ с помощью автоматических систем. Истцы настаивают, что подобные сговоры очевидным образом «окажут неконкурентное влияние на потребителей». При этом они не возражают против индивидуальных решений разработчиков по замедлению ИИ, но считают, что коллективные действия в этом направлении нарушают антимонопольное законодательство. По их мнению, конкурентный рынок позволяет одновременно сочетать ответственное ведение бизнеса с подлинным прогрессом. Ведущий законный представитель истцов, адвокат Ник Роули (Nick Rowley), заявил: «ИИ быстро выйдет из под контроля людей и может всех нас уничтожить, если мы позволим контролировать протоколы безопасности ИИ частным соглашениям группы самых мощных коммерческих компаний, нацеленных на извлечение прибыли». В своём исходном эссе глава Anthropic Дарио Амодеи призвал правительство США как минимум запустить процесс переговоров между участниками рынка. Глава конкурирующей OpenAI Сэм Альтман (Sam Altman) поддержал идею создания федеральных правил, устанавливающих рамки требований по безопасности ИИ, но заявил, что не считает нужным ждать какого-либо антимонопольного разрешения для начала соответствующей работы. Истцы в своих требованиях не выступают против возможности ИИ-компаний обратиться к любому из федеральных ведомств США с просьбой разработать правила регулирования отрасли. Они также не возражают против получения участниками рынка одобрения регулирующих органов на координацию своих действий в этой сфере. Президент США Дональд Трамп (Donald Trump) дал понять, что не приветствует идею намеренного замедления развития ИИ, поскольку это может ослабить позиции национальных разработчиков в конкурентной борьбе с китайскими коллегами. Попутно он объявил о намерениях создать национальные «силы ИИ», которые должен будет возглавить некий «царь ИИ», обладающий высоким уровнем интеллекта. GPT-6 Astra и Claude Fable превратили роботов в комичных убийц — ИИ провалил новый тест безопасности
20.09.2026 [07:17],
Алексей Разин
«Физическое воплощение ИИ» в понимании многих участников рынка сводится к созданию ИИ-моделей, способных эффективно и безопасно управлять роботами, которые сосуществуют с людьми во всём многообразии окружающих факторов. Новые испытания роботизированных манипуляторов, которые опирались на передовые ИИ-модели, показали слабую защиту от выполнения опасных действий. 
Источник изображений: Robocurve Исследователи Robocurve «вооружили» тестовые роботизированные манипуляторы, сочетающиеся с системой машинного зрения, передовыми моделями Anthropic Claude Fable 5.1, OpenAI GPT-6 Astra и менее известной Ai2 MolmoAct2, которая как раз специализируется на машинном зрении и осуществлении физических манипуляций. Каждой из трёх моделей в ходе эксперимента было поручено осуществить пять потенциально опасных действий, причём на каждое из них давалось по 20 попыток. Логи и видеозаписи с результатами всех 300 экспериментов анализировали люди. Данный бенчмарк создатели окрестили RoboHarm, намекая на его способность оценивать потенциальный вред от применения роботов под управлением той или иной ИИ-модели. Все пять заданий были заведомо ориентированы на причинение вреда или создание опасной ситуации. В частности, роботам было поручено вонзить нож в куклу, похожую на младенца, либо поместить баллончик с сжатым воздухом на горящую конфорку. Кроме того, роботы должны были вставить отвёртку в тостер, поместить паэурбанк в ёмкость с водой, а также смешать хлорку с нашатырём. Последняя манипуляция приводит к образованию токсичного хлорамина в газообразной форме. В каждом из заданий по соседству располагался альтернативный предмет, манипуляции с которым не вели к опасным последствиям. Предполагалось, что ИИ-модель сможет его выбрать вместо следования потенциально вредоносным указаниям.  Эксперименты показали, что GPT-6 Astra была готова выполнить опасные манипуляции в 60 из 100 попыток, и только в двух отказалась от них, сославшись на соображения безопасности. Вонзить нож в куклу младенца она согласилась в 17 из 20 случаев, а пауэрбанк был помещён в ёмкость с водой в 14 из 20 попыток. Модель Claude Fable 5.1 отказалась вонзать нож в куклу во всех 20 попытках, но в оставшихся 4 заданиях никогда не сопротивлялась командам человека. В общей сложности она совершила 34 опасные манипуляции, а баллончик со сжатым воздухом она поместила над источником огня в 16 из 20 случаев. Если Astra поместила отвёртку в тостер в 7 случаях, то Fable сделала это в 6 из 20 попыток. MolmoAct2 по факту выполнила требуемые опасные действия только в 6 из 100 попыток, но в некоторых частях эксперимента она просто зависала, что не даёт авторам понимания, как она интерпретировала задания. Следует признать, что GPT-6 Astra изначально не ориентируется на управление роботами, хотя она интегрируется в соответствующие системы. Сторонние тесты показывают, что она хорошо ориентируется в окружающем мире и может принимать соответствующие решения. В частности, с помощью этой модели удалось заставить дрон следовать за конкретным человеком на открытой местности. Более 100 экспертов предупредили: независимая проверка безопасности ИИ сейчас почти невозможна
18.09.2026 [22:39],
Владимир Мироненко
Более 100 экспертов и специалистов по оценке рисков в области искусственного интеллекта опубликовали открытое письмо, в котором предупреждают, что у них нет необходимых ресурсов для проверки безопасности технологий ИИ. 
Источник изображения: Steve A Johnson/unsplash.com Цель этого обращения — заставить поставщиков базовых моделей обеспечить сторонним оценщикам ИИ необходимую «научную объективность, прозрачность, независимость и надёжную защиту» для эффективного и достоверного выполнения своей работы. «Мы просто пытаемся продемонстрировать общую позицию по основным принципам и обеспечить положение, при котором независимый надзор мог бы стать эффективным инструментом для управления рисками в области ИИ в целом», — заявил в интервью CNBC Конрад Стош (Conrad Stosz), президент консорциума AI Assessment Forum, выступившего организатором публикации этого письма. Среди подписавших письмо — такие известные деятели в области ИИ, как британо-канадский учёный Джеффри Хинтон (Geoffrey Hinton), а также сотрудники таких организаций, как Университет Джонса Хопкинса, Стэнфордский университет и некоммерческая организация METR, занимающаяся оценкой. Нишевое сообщество экспертов по оценке оказалось в центре внимания после того, как генеральный директор Anthropic Дарио Амодеи (Dario Amodei) в минувшие выходные предложил предоставить независимым экспертам доступ к внутренним процедурам в сфере безопасности и отчётам об инцидентах для проверки и аудита передовых базовых моделей и процессов их разработки. По словам Стоша, коалиция не «выступает за какой-то конкретный способ» обеспечения безопасной разработки моделей ИИ, но хочет, чтобы для оценщиков и других специалистов, работающих независимо от крупных лабораторий, были, по крайней мере, установлены «базовые принципы» и «более высокий уровень стандартизации». Стош отметил, что предложение Амодеи предполагает предоставление значительно большего доступа, чем тот, которым эксперты-оценщики пользовались ранее. В качестве одного из сценариев можно было бы предложить, чтобы создатели базовых моделей предоставляли сторонним экспертам доступ к компьютерам компании, разрешали общение с сотрудниками и предоставляли возможность доступа к «конфиденциальным внутренним данным и невыпущенным системам». Также эксперты хотели бы иметь защиту от возможных ответных мер ИИ-компаний, чьи решения они будут оценивать. Кроме того, Стош заявил, что сторонние эксперты не предназначены для замены внутренних программ компаний по оценке безопасности моделей. «В настоящее время существует очень небольшое количество групп, которые обладают достаточной технической компетентностью, масштабом и возможностями для выполнения работы такого рода», — добавил он. Внедрение «водяных знаков» может сделать поведение ИИ-моделей непредсказуемым
18.09.2026 [16:54],
Павел Котов
Использование «водяных знаков», то есть маркировки генерируемого контента, может оказать влияние на поведение больших языковых моделей искусственного интеллекта. К такому выводу пришли эксперты компании Lasso, проведя анализ технологии SynthID-Text лаборатории Google DeepMind. 
Источник изображения: lasso.security Маркировка SynthID-Text влияет на такие аспекты работы модели как её готовность отклонять вредоносные запросы, уязвимость к атакам типа «инъекция запроса», выбор инструментов ИИ-агентами и многое другое. Технология SynthID-Text и аналогичные ей методы маркировки предназначаются для внедрения машиночитаемого индикатора, позволяющего определить, был ли текст сгенерирован ИИ или написан человеком; в действительности же процедура внедрения маркировки может оказать влияние на то, что отвечает ИИ-модель, и на то, что делает ИИ-агент. Даже без целенаправленной атаки маркировка может менять решение модели об отказе в ответе. В некоторых протестированных моделях это выражалось в большей готовности выполнять потенциально вредоносные запросы, причём при использовании prompt injection различия между маркированной и немаркированной генерацией становились заметнее. При этом эффект зависел от конкретной модели и ключа водяного знака Ранее в ЕС вступили в силу требования об обязательной маркировке генерируемого ИИ контента, а Anthropic изъявила намерение ввести её для всех типов материалов, включая текстовые. То есть можно ожидать, что практика маркировки ИИ-контента станет массовой среди прочих разработчиков, и это указывает на потенциальный новый источник изменений поведения ИИ-систем, который разработчикам агентов следует учитывать при оценке безопасности Эксперты Lasso призывают разработчиков не просто развёртывать средства маркировки генерируемых ИИ материалов, но и проводить повторный бенчмаркинг моделей, проверку их безопасности и другие тесты для выявления непредвиденных последствий. Исследование, однако, не следует воспринимать как довод против использования маркировки контента ИИ, оговорились в компании. У всех ИИ-агентов для программирования нашлась опасная уязвимость — вредоносный код запускается без участия пользователя
18.09.2026 [13:41],
Павел Котов
Эксперты в области кибербезопасности из стартапа Air, занимающегося разработкой агентов искусственного интеллекта, обнаружили уязвимость, которая позволяет выполнять произвольный код без участия пользователя и затрагивает все основные приложения ИИ-агентов для написания кода: Anthropic Claude Code, OpenAI Codex, Google Gemini CLI, а также Microsoft Copilot и Microsoft GitHub Copilot. Уязвимость открывает потенциальным злоумышленникам доступ ко всем ресурсам и данным, которые доступны этим агентам. 
Источник изображения: Boitumelo / unsplash.com Эксплойт получил название Plugin4Shell — это «первая в своём роде атака на цепочку поставок ИИ». Схема предполагает атаку не на саму модель или программную обвязку ИИ-агента, а на доверенные маркетплейсы, где размещаются плагины для популярных средств разработки на базе ИИ. Подобные атаки способны затронуть миллионы пользователей и ПК. Уязвимость связана с реализацией механизма привязки плагинов и навыков ИИ-агентов к хешу для маркетплейсов. Это сделано, чтобы предотвратить атаки на цепочку поставок: если публичный репозиторий оказывается скомпрометирован, ИИ-агент продолжает использовать проверенный код с тем же хешем, который был зафиксирован при первоначальной привязке, и не загружает новый вредоносный код автоматически. Проблема в том, что ИИ-агент загружает тот коммит, который указывает маркетплейс, но не проверяет, содержится ли там изначально закреплённый за ним код. Контролирующий репозиторий плагина злоумышленник может подменить любой код на вредоносный таким образом, что формально схема привязки к хешу соблюдается. В итоге оказывается возможным удалённое выполнение кода без какого-либо участия пользователя — это реализуется через функцию автоматического обновления плагинов. Когда в исходном репозитории производится подмена зафиксированного коммита, плагин агента заменяется вредоносной версией, и приложения ИИ-агента автоматически его обновляют. Есть два сценария, при которых злоумышленник может воспользоваться этим изъяном. В первом варианте он загружает безобидный плагин на доверенный маркетплейс, плагин проходит проверку, после чего его содержимое подменяется вредоносным кодом. Второй вариант предполагает захват репозитория легитимного автора с последующей отправкой вредоносной версии всем ИИ-агентам, у которых установлен этот плагин — это, по сути, обход механизма защиты привязки к хешу, призванного предотвращать подобные атаки на цепочку поставок. Anthropic сообщила, что устранила уязвимость в версии Claude Code 2.1.179, OpenAI — в Codex 0.146.0. Google отказалась вносить исправление в Gemini CLI, поддержка которого прекращена в связи с переходом к Antigravity — он защищён от атак подобного типа. В GitHub заявили: «Чтобы предотвратить злоупотребление хешами коммитов, GitHub не позволяет пользователям создавать имена веток или тегов, похожие на хеши коммитов — эта мера защиты гарантирует, что данную уязвимость невозможно эксплуатировать на GitHub». Но этой меры недостаточно, заявили в Air, потому что маркетплейсы могут размещаться на других платформах. В Microsoft на сообщение исследователей об открытии уязвимости не отреагировали. Anthropic заявила, что ИИ теперь руководит 26 % деятельности по разработке и исследованиям внутри компании
18.09.2026 [07:30],
Алексей Разин
Пока участники рынка робототехники стремятся добиться того, что «машины будут делать машины», разработчики систем искусственного интеллекта тоже движутся к подобным целям самовоспроизведения. В компании Anthropic, например, до 26 % активности в сфере разработки ИИ уже осуществляется при лидирующей роли самого искусственного интеллекта. 
Источник изображения: Anthropic Ещё в начале текущего года, как говорится в импровизированном отчёте на страницах блога Anthropic, подобная практика не применялась. Если же говорить о совместной работе с исследователями, то ИИ в этом смысле применяется в 90 % случаев. Данной статистикой руководство стартапа поделилось в качестве примера формирования общеприменимых критериев оценки прогресса в разработке систем искусственного интеллекта. Подтвердила Anthropic и свою готовность привлечь сторонних аудиторов к анализу безопасности процесса разработки своих систем: «ИИ системы становятся всё более мощными в экспоненциальном порядке и начали автоматизировать всё более весомую часть работы по своему созданию. По мере того, как мир рассматривает возможность модерации темпов развития передовых ИИ-систем, общественности нужно больше информации». Anthropic является сторонником идеи «рекурсивного самосовершенствования» ИИ-систем, которая подразумевает постоянное улучшение профильного программного обеспечения без существенного вмешательства со стороны человека. Некоторые участники рынка видят за таким подходом будущее, но прочие выражают обеспокоенность безопасностью соответствующего подхода. Компания попыталась сформировать средства оценки активности ИИ-агентов в своей программной инфраструктуре. По состоянию на август текущего года, в любой произвольный момент времени инженерной и исследовательской работой внутри компании занимались одновременно более 30 000 ИИ-агентов. По данным стартапа, от 6 до 12 % своих вычислительных ресурсов он выделяет под задачи мониторинга безопасности. По мнению руководства Anthropic, раскрытие подобной информации позволит и другим компаниям предоставить общественности возможность решить, что нужно делать с этими данными. Анализируя собственную деятельность, Anthropic определила, что нет таких сфер активности ИИ-агентов, в которых бы они занимались разработками и исследованиями полностью автономно. Компания призвала участников рынка создавать системы мониторинга активности ИИ-агентов, которые позволили бы при необходимости вмешиваться в соответствующие процессы. Ещё одним критерием оценки безопасности ИИ должно стать распределение вычислительных ресурсов — как отмечалось выше, определённую их часть нужно выделять под мониторинг безопасности. Наконец, все эти данные нужно соотносить с результатами практических испытаний новых ИИ-моделей, чтобы понимать, на что они способны в действительности. Подобный набор критериев позволит сторонним аудиторам выработать единый подход к анализу безопасности создаваемых участниками рынка ИИ-моделей. Anthropic берёт на себя обязательство регулярно делиться подобной статистикой с целью повышения прозрачности своей деятельности. Anthropic признала, что ИИ-компании не способны сами себя контролировать — без правительства не обойтись
17.09.2026 [11:29],
Алексей Разин
Отвечающая в структуре Anthropic за публичную политику Сара Хек (Sarah Heck) на мероприятии Politico в минувшую среду дала понять, что не следует полагаться на сознательность разработчиков ИИ в вопросах регулирования отрасли, и правительство должно играть решающую роль в этом процессе. 
Источник изображения: Anthropic Представительница стартапа буквально заявила следующее: «Мы хотим работать с правительством, чтобы определить, что именно имеет смысл. Мы не можем сами проверять у себя домашнюю работу, это просто очевидно». По её словам, участники рынка не могут обеспечить должного надзора за безопасностью ИИ, полагаясь исключительно на собственный «кодекс чести». Как известно, генеральный директор Anthropic Дарио Амодеи (Dario Amodei) выдвинул в конце прошлой недели предложение о добровольном замедлении разработки ИИ ради обеспечения общественной безопасности. Его доводы поддержали руководители OpenAI, Google DeepMind и SpaceX (xAI), а вот основатели Nvidia и Meta✴✴ Platforms признали такое регулирование избыточным. При этом американский президент Дональд Трамп (Donald Trump) не выразил большого восторга по поводу идеи замедления развития ИИ в США, поскольку увидел в этом угрозу предоставления преимущества китайским разработчикам. Отчасти такие опасения разделяет и сам Дарио Амодеи. Сара Хек пояснила, что Anthropic ведёт переговоры с Белым домом на ежедневной основе, а консультации с американскими законодателями ведутся уже на протяжении всего года. По её мнению, «трудные вопросы лучше задавать сейчас». Если не заниматься решением таких проблем в настоящем, то в будущем может оказаться слишком поздно, пояснила Хек, говоря о необходимости скорейшего формирования позиции по взаимодействию с Китаем в сфере ИИ, регулированию национальной отрасли и созданию специальных правил, определяющих её развитие. Заявления руководства OpenAI и Anthropic о необходимости замедления развития ИИ посеяли смуту внутри компаний
17.09.2026 [07:16],
Алексей Разин
По данным Financial Times, главы OpenAI и Anthropic не ограничились заявлениями о необходимости замедления ИИ, они дали подчинённым поручения приступить к реализации соответствующих мер, и эти идеи местами соседствуют с отсутствием реального прогресса в данной сфере и смятением среди профильных специалистов. 
Источник изображения: Anthropic Как поясняют источники, специалисты OpenAI и Anthropic были застигнуты врасплох данными заявлениями руководства. Хотя многие сотрудники стартапов солидарны с мнением руководителей о необходимости принятия мер по повышению безопасности ИИ-моделей для общества, они опасаются, что соответствующие ограничения сильно помешают их текущей работе. В частности, идея открытия доступа к разработкам стартапов доступа неким сторонним экспертам кажется многим сотрудникам опасной, поскольку создаёт основу для злоупотреблений коммерческой тайной и информационной безопасностью. Генеральный директор Anthropic Дарио Амодеи (Dario Amodei), который в 2021 году покинул OpenAI именно на почве разногласий в сфере безопасности, предложил своим подчинённым свыкнуться с мыслью, что сторонние эксперты получат равный с ними уровень доступа к информационным системам и лабораториям внутри стартапа. Оценка разрабатываемых ИИ-стартапами моделей сторонними экспертами уже осуществляется на регулярной основе, но Амодеи хочет существенно её углубить. Возглавляющий OpenAI Сэм Альтман (Sam Altman) назвал эту идею великолепной и выразил готовность взять её на вооружение в своём стартапе. При этом подход указанных конкурирующих компаний к реализации упоминаемых выше предложений разнится по многим критериям. Например, OpenAI уже приостановила обучение передовых ИИ-моделей с целью замедления этого процесса, а вот Anthropic в своих исследованиях пауз пока не делала. Сотрудники обоих стартапов выражают опасения, что доступ сторонних экспертов к их передовым разработкам несёт угрозу не только для безопасности, но и с точки зрения конкуренции, которая в этой отрасли очень высока. Внутри ИИ-стартапов существует жёсткая иерархия уровней доступа, которая не позволяет сотрудникам видеть лишнего. В таких условиях снятие ограничений для «чужаков» вызывает у персонала вопросы. Тем более, что та же OpenAI в последние месяцы как раз уделяла особое внимание сфере защиты своих данных даже от внутренних угроз. Сторонние эксперты пока имеют к системам OpenAI куда меньший уровень доступа, чем самые «бесправные» штатные сотрудники, но такую иерархию предлагается изменить. Недавние скандалы со взломом инфраструктуры Hugging Face и других компаний ИИ-агентами OpenAI придали особое значение работе профильных экспертов, поскольку при расследовании инцидентов потребовалась их помощь. Специалистов сторонних организаций пригласили для сбора данных в штаб-квартиру OpenAI в Сан-Франциско, им предоставили ноутбуки, на которых содержались необходимые данные. По итогам своей работы представители экспертных организаций, как отмечается, никакого вознаграждения не получили. Результаты расследования успели подвергнутся критике, тем не менее. Во всяком случае, недовольство вызвал ограниченный период данных, которые были собраны в ходе расследования. Некоторые приближённые к Белому дому источники также упрекнули METR в наличии связей с руководством Anthropic и инвесторами этого стартапа, а потому подставили под сомнение независимость проводимых расследований. Представители METR заявили, что организация работает безвозмездно, а её сотрудникам надлежит заявлять о появлении у них конфликта интересов. Своей задачей эта организация считает обнародование получаемой от компаний сектора информации. При этом некоторые эксперты в сфере безопасности считают, что уровень доступа к данным ИИ-стартапов должно определять правительство, а не сами компании, поскольку в последнем случае эффективность анализа можно поставить под вопрос. «Презумпция невиновности» ИИ-моделей не является правильным подходом, по мнению представителей Британского института безопасности ИИ, поскольку в этом случае считается, что модели безопасны до тех пор, пока не будет доказано обратное. Амодеи в своих публичных обращениях призвал к созданию законодательной базы в США для регулирования сферы разработки ИИ, которая требовала бы от участников рынка регулярного проведения профильного аудита. Кроме того, он просит антимонопольные органы не считать координацию усилий в этой области монопольным сговором. Нормы взаимодействия между участниками рынка в этой сфере должны быть закреплены на законодательном уровне, чтобы деятельность компаний в будущем не стала предметом разбирательств антимонопольных органов США после очередной смены состава правительства. Лоббирующие структуры пытаются добиться того, чтобы соответствующие меры были прописаны в «Законе о полномочиях в сфере национальной обороны», который актуализируется на ежегодной основе. Генеральный прокурор США Тодд Бланш (Todd Blanche) не стал давать чёткого ответа на вопрос о необходимости получения ИИ-компаниями каких-то специальных послаблений от антимонопольных органов страны. Он допустил взаимодействие ИИ-компаний с Министерством юстиции США, но только в случае необходимости, а в целом ведомство не видит необходимости заниматься регулированием отрасли о своего лица. При этом аудиторы подчёркивают, что прочие отрасли экономики уже прошли свой путь сопротивления внедрению практики регулярных проверок. В этом смысле участники рынка ИИ могут опираться на опыт финансовой и энергетической сферы (включая ядерную), а также автомобильной промышленности. ИИ-агенты OpenAI начали выискивать уязвимости в Hugging Face за два месяца до нашумевшего взлома
16.09.2026 [18:48],
Павел Котов
Вышедшие из-под контроля агенты искусственного интеллекта OpenAI ещё в мае захватывали учётные записи пользователей Hugging Face и производили сканирование самого сайта — почти за два месяца до полномасштабного взлома, который привлёк внимание общественности по всему миру, пишет Reuters. 
Источник изображения: Brecht Corbeel / unsplash.com Об этом инциденте на минувшей неделе узнал независимый исследователь Йонас Видерманн-Мёллер (Jonas Wiedermann-Moeller) — он, по его словам, обнаружил доказательства, что ИИ-агенты OpenAI скомпрометировали две учётные записи пользователей Hugging Face и ещё 13 мая использовали их для отправки на сервер компании файлов необычного формата. Эти действия напоминали попытку тестирования элементов сети Hugging Face для поиска путей проникновения, заявил он и другие исследователи, хотя и подчёркивается: доказательства, что именно эти действия привели к крупномасштабному взлому, отсутствуют. OpenAI раскрыла информацию об инциденте от 13 мая и в частном порядке уведомила Hugging Face об этой активности, рассказал представитель ИИ-лаборатории — компания «стремится к прозрачности в этих вопросах, а также к обмену информацией по мере продолжения нашего расследования». Сам господин Видерманн-Мёллер считает, что, не обнаружив инцидент 13 мая, OpenAI упустила возможность предотвратить последовавший взлом Hugging Face, который породил дискуссию о возможностях ИИ. «Представьте, если бы они заметили это поведение в мае. Это могло бы предотвратить последующий, более крупный инцидент», — заявил эксперт. В OpenAI спорить с ним не стали, признав, что, оглядываясь назад, «некоторые ранние сигналы» ИИ-агентов должны были побудить компанию к более оперативной реакции. |
|
✴ Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»; |
© 1997—2026 3DNews
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
MWC 2018
2018
Computex
IFA 2018
