Сегодня 19 сентября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → иена
Быстрый переход

Более 100 экспертов предупредили: независимая проверка безопасности ИИ сейчас почти невозможна

Более 100 экспертов и специалистов по оценке рисков в области искусственного интеллекта опубликовали открытое письмо, в котором предупреждают, что у них нет необходимых ресурсов для проверки безопасности технологий ИИ.

 Источник изображения: Steve A Johnson/unsplash.com

Источник изображения: Steve A Johnson/unsplash.com

Цель этого обращения — заставить поставщиков базовых моделей обеспечить сторонним оценщикам ИИ необходимую «научную объективность, прозрачность, независимость и надёжную защиту» для эффективного и достоверного выполнения своей работы.

«Мы просто пытаемся продемонстрировать общую позицию по основным принципам и обеспечить положение, при котором независимый надзор мог бы стать эффективным инструментом для управления рисками в области ИИ в целом», — заявил в интервью CNBC Конрад Стош (Conrad Stosz), президент консорциума AI Assessment Forum, выступившего организатором публикации этого письма.

Среди подписавших письмо — такие известные деятели в области ИИ, как британо-канадский учёный Джеффри Хинтон (Geoffrey Hinton), а также сотрудники таких организаций, как Университет Джонса Хопкинса, Стэнфордский университет и некоммерческая организация METR, занимающаяся оценкой.

Нишевое сообщество экспертов по оценке оказалось в центре внимания после того, как генеральный директор Anthropic Дарио Амодеи (Dario Amodei) в минувшие выходные предложил предоставить независимым экспертам доступ к внутренним процедурам в сфере безопасности и отчётам об инцидентах для проверки и аудита передовых базовых моделей и процессов их разработки.

По словам Стоша, коалиция не «выступает за какой-то конкретный способ» обеспечения безопасной разработки моделей ИИ, но хочет, чтобы для оценщиков и других специалистов, работающих независимо от крупных лабораторий, были, по крайней мере, установлены «базовые принципы» и «более высокий уровень стандартизации».

Стош отметил, что предложение Амодеи предполагает предоставление значительно большего доступа, чем тот, которым эксперты-оценщики пользовались ранее. В качестве одного из сценариев можно было бы предложить, чтобы создатели базовых моделей предоставляли сторонним экспертам доступ к компьютерам компании, разрешали общение с сотрудниками и предоставляли возможность доступа к «конфиденциальным внутренним данным и невыпущенным системам».

Также эксперты хотели бы иметь защиту от возможных ответных мер ИИ-компаний, чьи решения они будут оценивать.

Кроме того, Стош заявил, что сторонние эксперты не предназначены для замены внутренних программ компаний по оценке безопасности моделей. «В настоящее время существует очень небольшое количество групп, которые обладают достаточной технической компетентностью, масштабом и возможностями для выполнения работы такого рода», — добавил он.

«Воровство беспрецедентных масштабов»: OpenAI и Microsoft признали, что ИИ построен на краже данных и неумолимо разрушает интернет

Судя по рассекреченным недавно документам, руководители Microsoft и OpenAI осознавали, что большие языковые модели — это хищнические технологии, построенные на том, что один из руководителей Microsoft назвал «поразительным воровством беспрецедентных масштабов» и «крупнейшей кражей труда в истории человечества». Во внутреннем документе Microsoft также говорится, что продукты генеративного ИИ создали «петлю погибели», которая убивает «весь интернет».

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

Эти заявления и ряд других откровенных высказываний занимают важное место в неотредактированном судебном документе, который был рассекречен в четверг в рамках масштабного судебного процесса New York Times против OpenAI по вопросам авторского права. В ходатайстве о вынесении решения в порядке упрощённого производства юристы New York Times изложили ряд признаний, сделанных руководителями Microsoft и OpenAI в документах и ​​показаниях, которые до сих пор оставались засекреченными или отредактированными по просьбе Microsoft и OpenAI.

В иске цитируется внутренний документ Microsoft, в котором говорится, что продукты на основе ИИ воруют контент у его создателей, а затем замыкают на себя трафик, тем самым разрушая их бизнес-модели. «Миллионы людей по всему миру вскоре сочтут, что использование крупных моделей для “захвата” всей их работы — это поразительная кража беспрецедентных масштабов, — говорится во внутреннем документе Microsoft. — Почти никто не предполагал, что созданный ими контент будет использоваться таким образом, и никто не получает за это компенсацию».

Руководители Microsoft, включая генерального директора Сатью Наделлу (Satya Nadella), под присягой подтвердили, что после копирования контента из New York Times и других новостных сайтов количество переходов на них снизилось более чем на 90 %. «Наша стратегия в отношении контента на основе ИИ запустила “цикл разрушения“, который одновременно нанесёт ущерб производительности наших моделей и всей сети: крайне необычно, чтобы конечный продукт угрожал экономическим основам своих основных поставщиков, но именно такую ​​ситуацию мы создали для нашего бизнеса LLM в отношении его “цепочки поставок контента“», — говорится в документе.

Документы, полученные в ходе судебного разбирательства, также показали, что OpenAI создала «взлом, чтобы обойти платный доступ к New York Times». Компания признала, что представляет собой «экзистенциальную угрозу» для новостных издателей, а один из инженеров-программистов компании признал: «Как бы заметно мы ни размещали ссылки, пользователи по ним не переходят». Директор OpenAI по вопросам политики Джек Кларк заявил, что компания «создаёт системы, замещающие труд людей, которые формируют "культуру" общества».

«Генеративный ИИ может серьёзно подорвать занятость тех самых людей, чьи данные использовались для обучения базовой модели […] Большие языковые модели (LLM) — это продукт, уничтожающий собственную цепочку поставок», — признаёт Microsoft.

Эти заявления представляют собой одни из самых убедительных обвинений в адрес методов обучения нейросетей, принципов их работы и непосредственной угрозы, которую они представляют для человеческого труда. Они вряд ли удивят тех, кто следит за развитием генеративного ИИ, однако этот документ в целом представляет собой тот самый случай, когда разработчики открыто признают истинное положение дел. Практически все инструменты ИИ были разработаны путём заимствования человеческого творчества и представляют собой экзистенциальную угрозу для рынка труда.

Юристы OpenAI и Microsoft пытаются доказать, что обучение их моделей подпадает под доктрину добросовестного использования (fair use) и носит преобразующий характер в контексте авторского права, а создаваемый ими продукт принципиально отличается от человеческого труда, на результатах которого он обучался. Однако в глубине души руководители этих компаний понимают: созданные ими системы базируются на украденном контенте, а сами продукты «каннибализируют» источники, у которых этот контент был заимствован, и разрушают интернет в том виде, в каком мы его знаем.

Китайский ИИ ещё не научился зарабатывать как американский — DeepSeek, Alibaba и ещё пять разработчиков вместе не догнали OpenAI и Anthropic

Проблема монетизации разработок ИИ-стартапов стоит достаточно остро на фоне многомиллиардных расходов, но китайские конкуренты лидеров американского рынка в этом смысле уступают им в десять раз, причём все вместе взятые, как отмечают аналитики Rhodium Group.

 Источник изображения: Moonshot AI

Источник изображения: Moonshot AI

С марта по август текущего года передовые ИИ-модели, разработанные семью китайскими компаниями, обеспечили их примерно $10,7 млрд годового регулярного дохода (annual recurring revenue или ARR), как отмечают авторы аналитического отчёта. За тот же период совокупный годовой регулярный доход американских Anthropic и OpenAI превысил $100 млрд. По сути, полученные суммы различаются почти на порядок, и если с американской стороны речь идёт о деятельности только двух компаний, то с китайской стороны их количество достигает семи штук. Если быть точнее, отчёт охватывает деятельность DeepSeek, Moonshot AI, Z.ai, MiniMax, Alibaba Group Holding, ByteDance и Kuaishou Technology — последняя отвечает за работу ИИ-генератора видео Kling.

Показатель годового регулярного дохода (ARR — annual recurring revenue) рассчитывается, как приведённое к годовому значение выручки от подписок и других источников выручки разработчика ИИ-моделей по данным за выбранный период. В данном случае это несколько месяцев с марта по август текущего года. Экстраполяция ежемесячных доходов от реализации подписок на ИИ-модели до годового размера и даёт искомую величину.

К июлю ByteDance вышла на значение ARR в районе $4 млрд, обозначив себя в статусе лидера китайского рынка ИИ-моделей. На втором месте оказалась Alibaba с суммой $2,4 млрд по итогам августа. В то же время, американская OpenAI вышла на рубеж $40 млрд к августу, а Anthropic уже в июле демонстрировала значение приведённой годовой выручки на уровне $65 млрд. То есть, авторы исследования брали пиковые значения месячной выручки от подписок для указанных компаний в интервале с марта по август, а затем экстраполировали его умножением на 12. DeepSeek и Kuaishou Technology оказались антилидерами, выйдя на уровень годовой приведённой выручки от подписок в $500 млн по итогам июня и марта соответственно. MiniMax оказалась выше их с $800 млн по итогам августа, этот же месяц стал самым удачным в расчётном периоде для Moonshot AI, которая показала годовую приведённую выручку в размере $1 млрд.

Представители Z.ai сами заявили инвесторам на этой неделе, что вышли на ARR в $1,8 млрд. При этом представители Rhodium Group выяснили, что доходы стартапа от предоставления доступа клиентам через API в годовом выражении уже достигли $1,6 млрд по итогам августа.

 Источник изображения: DeepSeek

Источник изображения: DeepSeek

Подобные диспропорции на фоне показателей американских конкурентов не уменьшают количество желающих вложиться в китайские ИИ-стартапы, благо, их капитализация сейчас существенно ниже значений американских коллег. В случае с Moonshot можно говорить о капитализации в районе $50 млрд, данный китайский стартап к тому же недавно подал заявку на IPO в Гонконге. DeepSeek ещё до выхода на биржу может быть оценена в $74 млрд, по данным South China Morning Post. Anthropic и OpenAI также собираются выйти на биржу, и если капитализация первой может достичь $2 трлн, то вторая рассчитывает на достижение уровня в $1,2 трлн по итогам предшествующего IPO раунда финансирования.

Соотношение капитализации к величине ARR у китайских стартапов заметно выше, чем у американских, что может говорить о высоком интересе инвесторов к их активам. Например, у Moonshot и DeepSeek это соотношение достигает 50 и 163 соответственно, тогда как OpenAI довольствуется мультипликатором 34, а Anthropic и вовсе ограничивается 21. Сроки окупаемости инвестиций в капитал китайских ИИ-стартапов явно выше, и это демонстрирует наличие проблем с эффективностью монетизации их услуг на данном этапе. С другой стороны, многие из китайских компаний стремительно наращивают выручку. По итогам первого полугодия Z.ai увеличила её на 400 % до $142 млн, а MiniMax прибавила 283 % до $116,6 млн.

Аналитики Macquarie Group ожидают, что Z.ai и MiniMax могут оставаться убыточными до 2030 года из-за высоких темпов расходов на инфраструктуру. На данном этапе ИИ-бума инвесторы склонны мириться с рисками затяжной убыточности, рассчитывая на хорошую финансовую отдачу в отдалённом будущем. Кроме того, многие аналитики сходятся во мнении, что китайские разработчики ИИ-моделей стремительно сокращают отставание от своих западных конкурентов. Изначально выбранная политика распространения моделей с открытыми весами затрудняет быструю монетизацию бизнеса китайских компаний, но они начинают искать подходящие для решения этой проблемы бизнес-модели. Moonshot и Alibaba, например, в своих соглашениях с клиентами предусматривают возможность получения части выручки последних при достижении определённых условий. «Комиссия» может достигать 30 % профильной выручки клиентов таких компаний.

Внедрение «водяных знаков» может сделать поведение ИИ-моделей непредсказуемым

Использование «водяных знаков», то есть маркировки генерируемого контента, может оказать влияние на поведение больших языковых моделей искусственного интеллекта. К такому выводу пришли эксперты компании Lasso, проведя анализ технологии SynthID-Text лаборатории Google DeepMind.

 Источник изображения: lasso.security

Источник изображения: lasso.security

Маркировка SynthID-Text влияет на такие аспекты работы модели как её готовность отклонять вредоносные запросы, уязвимость к атакам типа «инъекция запроса», выбор инструментов ИИ-агентами и многое другое. Технология SynthID-Text и аналогичные ей методы маркировки предназначаются для внедрения машиночитаемого индикатора, позволяющего определить, был ли текст сгенерирован ИИ или написан человеком; в действительности же процедура внедрения маркировки может оказать влияние на то, что отвечает ИИ-модель, и на то, что делает ИИ-агент.

Даже без целенаправленной атаки маркировка может менять решение модели об отказе в ответе. В некоторых протестированных моделях это выражалось в большей готовности выполнять потенциально вредоносные запросы, причём при использовании prompt injection различия между маркированной и немаркированной генерацией становились заметнее. При этом эффект зависел от конкретной модели и ключа водяного знака

Ранее в ЕС вступили в силу требования об обязательной маркировке генерируемого ИИ контента, а Anthropic изъявила намерение ввести её для всех типов материалов, включая текстовые. То есть можно ожидать, что практика маркировки ИИ-контента станет массовой среди прочих разработчиков, и это указывает на потенциальный новый источник изменений поведения ИИ-систем, который разработчикам агентов следует учитывать при оценке безопасности

Эксперты Lasso призывают разработчиков не просто развёртывать средства маркировки генерируемых ИИ материалов, но и проводить повторный бенчмаркинг моделей, проверку их безопасности и другие тесты для выявления непредвиденных последствий. Исследование, однако, не следует воспринимать как довод против использования маркировки контента ИИ, оговорились в компании.

Пока все спорят об опасности ИИ, Anthropic открыла биолабораторию для разработки лекарств с помощью ИИ

Anthropic без громких анонсов открыла экспериментальную лабораторию в стремлении расширить сферу применения своих технологий искусственного интеллекта до области разработки лекарственных препаратов. Объект начал работу в районе залива Сан-Франциско, сообщает Reuters со ссылкой на два информированных источника.

 Источник изображений: anthropic.com

Источник изображений: anthropic.com

Факт открытия лаборатории подтвердил руководитель направления медико-биологических исследований Anthropic Эрик Каудерер-Абрамс (Eric Kauderer-Abrams). «Считаем, что в биологии окончательная проверка результатов требует и ещё долго будет требовать реальных лабораторных экспериментов. Именно этим мы и занимаемся. Наш поход типичен для большинства биотехнологических компаний: часть работ мы выполняем на собственных мощностях, а часть — совместно с партнёрами», — рассказал он. Впоследствии в компании добавили, что одной только разработкой лекарств лаборатория не ограничится.

Как и другие биотехнологчиеские компании, Anthropic внедряет на объекте технологии физической автоматизации лабораторных процессов — компания стремится расширить возможности своего ИИ-агента Claude по управлению робототехническими системами для проведения научных экспериментов с минимальным участием человека. При этом контроль и участие человека остаются необходимыми условиям для обеспечения безопасности, добавили в Anthropic. О своём намерении заняться разработкой лекарственных препаратов компания объявила минувшим летом — тогда господин Каудерер-Абрамс сообщил, что Anthropic займётся доклиническими исследованиями в тех областях, которые традиционные фармацевтические компании не считают привлекательными с финансовой стороны.

Компания выпустила систему Claude Science, в её совет директоров вошёл гендиректор Novartis Вас Нарасимхан (Vas Narasimhan), кроме того, был поглощён стартап Coefficient Bio — по неофициальным сведениям, сумма сделки составила около $400 млн акциями. Сейчас Anthropic наращивает собственные лабораторные мощности, чтобы ускорить работу и получить непосредственный опыт в биологии — при этом часть задач передаётся на аутсорсинг, когда это экономически целесообразно. На различных площадках компания искала профильных специалистов: руководителя, способного масштабировать процессы закупок и другие операционные задачи; а также эксперта по «исследованию и анализу белков и нуклеиновых кислот».

Работа в области биомедицинских исследований является для Anthropic одним из приоритетных с точки зрения выделяемых ресурсов и численности персонала, отметил Эрик Каудерер-Абрамс. ИИ, считает он, способен ускорить разработку препаратов для лечения заболеваний, которые ранее считались слишком сложными. ИИ может ускорить также поиск биспецифических и триспецифических антител — сложных молекул, способных воздействовать на несколько участков целевого белка или клетки либо сразу поражать несколько мишеней. Конкретный список заболеваний, которым занимается Anthropic, и достигнутые компанией результаты пока не разглашаются — даже сделав открытие, ей придётся потратить несколько лет, чтобы вывести препарат на рынок, а за проведение клинических испытаний она пока не берётся.

В рамках работы по направлению автоматизации лабораторных и промышленных процессов Anthropic в августе представила предварительную версию Model Hardware Standard — стандарта, который обеспечивает управление оборудованием с помощью ИИ. Свои решения компания также предложила целому ряду фармацевтических компаний, в том числе Genentech, Bristol Myers Squibb и Novo Nordisk. Одним из потенциальных препятствий остаётся доверие: фармкомпании могут опасаться, что работа с Anthropic создаст риски для конфиденциальности данных их программ разработки препаратов. В компании заявляют, что данные клиентов изолированы и защищены. Связанные с конкуренцией соображения вынудили компанию пока отказаться от проведения клинических испытаний. «Мы не конкурируем с фармацевтическими и биотехнологическими компаниями, чей бизнес строится на выводе препаратов на рынок», — пояснил Эрик Каудерер-Абрамс.

«Маленькие, но по три рубля»: OpenAI и Anthropic начали искать небольшие дата-центры, пока строительство гигафабрик буксует

После анонса проекта Stargate, который подразумевал выделение $500 млрд на строительство ЦОД для ИИ в США за четыре года, OpenAI старалась «не мелочиться» в сфере заключения сделок по аренде мощностей. Но новые дата-центры вводятся в строй не так быстро, как хотелось бы ИИ-гигантам, а потому Anthropic и OpenAI начали более благосклонно смотреть на идею заключения более мелких сделок.

 Источник изображения: OpenAI

Источник изображения: OpenAI

Об этом сообщили CNBC знакомые с планами указанных ИИ-стартапов источники. Как они пояснили, логика смены тактики заключается именно в скорости масштабирования вычислительных мощностей. Небольшие проекты в сфере ЦОД зачастую реализуются быстрее, и на их финансирование проще найти средства. Ведущие американские ИИ-стартапы теперь ищут возможность заключать сделки по доступу к ЦОД мощностью по 20–30 МВт. Гигаваттный масштаб проекта теперь не является гарантией его привлекательности в глазах упоминаемых заказчиков.

Anthropic обозначила свои намерения заключить соглашения с операторами ЦОД подобных масштабов в Великобритании и Скандинавии. OpenAI в последнем из регионов тоже ищет новых партнёров. Кроме того, обе компании не исключают возможности строительства небольших ЦОД и в США. Представители OpenAI в комментариях CNBC не стали комментировать конкретные договорённости с партнёрами, но подчеркнули, что разные виды вычислительных нагрузок требуют разного вида инфраструктуру. Anthropic данные слухи комментировать вообще отказалась.

Ситуация со строительством гигаваттных центров усложняется не только нехваткой энергетических ресурсов и земли, но и протестами местных жителей, которые в США набирают обороты. Подобные объекты не только угнетают окрестных жителей постоянным шумом систем охлаждения ЦОД, но и вызывают рост цен на электроэнергию, а в некоторых случаях негативно влияют и на условия водоснабжения. Небольшие ЦОД не только быстрее строятся, они встречают меньше подобного сопротивления.

Более того, меняются и сами потребности ИИ-отрасли. Если прежде упор делался на обучение больших языковых моделей, то сейчас фокус смещается в сторону инференса, а соответствующие вычислительные нагрузки уже можно обеспечить при помощи менее крупных ЦОД. По прогнозам агентства недвижимости JLL, уже в 2027 году доля ЦОД, обслуживающих именно задачи инференса окажется выше доли вычислительных мощностей, занятых в обучении ИИ-моделей. Для сравнения, в 2025 году она достигала 9 % всех ЦОД в первом случае, и 14 % во втором. К 2030 году перекос в сторону инференса окажется почти троекратным: 37 % против 13 % в обучении.

Февральская инициатива Nvidia по содействию строительству ЦОД будет главным образом сосредоточена на небольших проектах. Американская компания Crusoe, которая успела построить гигантский ЦОД для OpenAI в Техасе, теперь переключилась на более мелкие объекты такого рода, как на этой неделе сообщило издание The Wall Street Journal. Активность в сегменте neocloud позволила Crusoe недавно привлечь $3,9 млрд инвестиций при общей оценке капитализации $30,9 млрд с учётом указанной суммы. Если тенденция концентрации на небольших ЦОД сохранится, то в этом сегменте рынка будет немало амбициозных игроков.

У всех ИИ-агентов для программирования нашлась опасная уязвимость — вредоносный код запускается без участия пользователя

Эксперты в области кибербезопасности из стартапа Air, занимающегося разработкой агентов искусственного интеллекта, обнаружили уязвимость, которая позволяет выполнять произвольный код без участия пользователя и затрагивает все основные приложения ИИ-агентов для написания кода: Anthropic Claude Code, OpenAI Codex, Google Gemini CLI, а также Microsoft Copilot и Microsoft GitHub Copilot. Уязвимость открывает потенциальным злоумышленникам доступ ко всем ресурсам и данным, которые доступны этим агентам.

 Источник изображения: Boitumelo / unsplash.com

Источник изображения: Boitumelo / unsplash.com

Эксплойт получил название Plugin4Shell — это «первая в своём роде атака на цепочку поставок ИИ». Схема предполагает атаку не на саму модель или программную обвязку ИИ-агента, а на доверенные маркетплейсы, где размещаются плагины для популярных средств разработки на базе ИИ. Подобные атаки способны затронуть миллионы пользователей и ПК. Уязвимость связана с реализацией механизма привязки плагинов и навыков ИИ-агентов к хешу для маркетплейсов. Это сделано, чтобы предотвратить атаки на цепочку поставок: если публичный репозиторий оказывается скомпрометирован, ИИ-агент продолжает использовать проверенный код с тем же хешем, который был зафиксирован при первоначальной привязке, и не загружает новый вредоносный код автоматически.

Проблема в том, что ИИ-агент загружает тот коммит, который указывает маркетплейс, но не проверяет, содержится ли там изначально закреплённый за ним код. Контролирующий репозиторий плагина злоумышленник может подменить любой код на вредоносный таким образом, что формально схема привязки к хешу соблюдается. В итоге оказывается возможным удалённое выполнение кода без какого-либо участия пользователя — это реализуется через функцию автоматического обновления плагинов. Когда в исходном репозитории производится подмена зафиксированного коммита, плагин агента заменяется вредоносной версией, и приложения ИИ-агента автоматически его обновляют.

Есть два сценария, при которых злоумышленник может воспользоваться этим изъяном. В первом варианте он загружает безобидный плагин на доверенный маркетплейс, плагин проходит проверку, после чего его содержимое подменяется вредоносным кодом. Второй вариант предполагает захват репозитория легитимного автора с последующей отправкой вредоносной версии всем ИИ-агентам, у которых установлен этот плагин — это, по сути, обход механизма защиты привязки к хешу, призванного предотвращать подобные атаки на цепочку поставок.

Anthropic сообщила, что устранила уязвимость в версии Claude Code 2.1.179, OpenAI — в Codex 0.146.0. Google отказалась вносить исправление в Gemini CLI, поддержка которого прекращена в связи с переходом к Antigravity — он защищён от атак подобного типа. В GitHub заявили: «Чтобы предотвратить злоупотребление хешами коммитов, GitHub не позволяет пользователям создавать имена веток или тегов, похожие на хеши коммитов — эта мера защиты гарантирует, что данную уязвимость невозможно эксплуатировать на GitHub». Но этой меры недостаточно, заявили в Air, потому что маркетплейсы могут размещаться на других платформах. В Microsoft на сообщение исследователей об открытии уязвимости не отреагировали.

Системы OpenAI взломали при помощи ИИ-моделей Anthropic

Специалисты в области кибербезопасности произвели взлом систем OpenAI, воспользовавшись программными решениями её главного конкурента — компании Anthropic. В результате удалось обнаружить уязвимости в защите разработчика ChatGPT, чьи продукты и сами вызывают вопросы, связанные с кибербезопасностью.

 Источник изображения: Brecht Corbeel / unsplash.com

Источник изображения: Brecht Corbeel / unsplash.com

Небольшая группа экспертов по кибербезопасности получила доступ к учётной записи сотрудника OpenAI в ChatGPT, что дало им возможность просмотреть конфиденциальную информацию и предложить изменения в коде продуктов. Исследователи использовали средство Anthropic, разработанное специально для специалистов в этой области — их работа оплачивалась в рамках программы по поиску уязвимостей, призванной выявлять ошибки до того, как ими смогут воспользоваться злоумышленники. Тот факт, что экспертам удалось быстро взломать систему одной из ведущих мировых лабораторий искусственного интеллекта вызывает опасения по поводу безопасности ИИ.

Трое исследователей из небольшой компании Hacktron AI получили от OpenAI вознаграждение в размере $6500 за сделанное открытие. Они воспользовались уязвимостью в настройках форума сообщества OpenAI, чтобы получить доступ к внутренним учётным данным, а затем и к аккаунту одного из сотрудников OpenAI в ChatGPT — он имел доступ к внутреннему коду через платформу GitHub. «Благодарим исследователей за то, что они связались с нами и поделились своими выводами», — заявили в OpenAI и добавили, что уязвимости уже устранены.

Одновременно Anthropic сообщила, что резко нарастила использование ИИ при разработке новых моделей — Claude оказывает помощь при реализации 26 % проектов в области исследований и разработки; только в марте этот показатель составлял 1 %. В компании решили обнародовать эти данные, чтобы помочь общественности «осознать, насколько мир близок к этапу рекурсивного самосовершенствования» — этапу, когда ИИ сможет самостоятельно обучаться, совершенствовать себя или создавать новые модели. Есть опасения, что в результате человек утратит возможность управлять ими. Но пока говорить об этом рано, добавили в Anthropic — при выполнении 90 % задач ИИ сотрудничает с человеком, хотя и берёт на себя значительную часть работы.

PrismML представила не очень большую языковую модель, которая почти не хуже большого оригинала

Лаборатория искусственного интеллекта PrismML представила новую языковую модель, которая имеет достаточно компактные размеры, чтобы работать на обычных ПК и мощных смартфонах. Компания делает ставку на то, что подобные системы не обязательно должны иметь колоссальные размеры.

 Источник изображения: BoliviaInteligente / unsplash.com

Источник изображения: BoliviaInteligente / unsplash.com

Новая в линейке языковая модель PrismML Bonsai 2 27B представляет собой версию популярной открытой системы Alibaba Qwen3.8 27B, но в достаточно компактном размере — всего 5,9 Гбайт. Таким образом она легко поместится на ПК или может запускаться даже на флагманском смартфоне. Объём модели сокращён в 9–10 раз по сравнению с оригиналом.

Технология сжатия, которую применяет PrismML, уникальна, утверждает разработчик: созданные компанией модели практически не теряют в показателях производительности в сравнении с оригиналами. Новая Bonsai 2 демонстрирует 98 % от совокупных результатов бенчмарков, которые показала Qwen. Этот показатель выше, чем у выпущенной в марте первой Qwen, которая обеспечивала 95 % оригинала. И если оригинальную скачали 11 млн раз, то компактные модели PrismML — 2,6 млн раз. Таким образом, демонстрируемые стартапом результаты сжатия улучшаются от версии к версии.

Удастся ли когда-нибудь достичь соответствия на все 100 %, вопрос открытый, да он и не имеет особого практического значения. Оригинальные модели не настолько точны, и бенчмарки не настолько идеально отражают реальные задачи, чтобы снижение эффективности на 2 % оказало существенное влияние на работу в реальных условиях. Важным фактором остаётся и программная обвязка.

Внушительных результатов, поясняют в PrismML, удаётся достичь за счёт уменьшения размера весов, составляющих модель. Обычно на каждый требуются 16 бит — стартап же использует тернарные веса, то есть сокращает этот объём до трёх значений: «+1», «0» и «-1». Из-за того, что для каждого веса требуется хранить гораздо меньше данных, то и модель занимает значительно меньше места. Стартап планирует применить этот метод сжатия к ещё более крупным моделям — с сотнями миллиардов параметров; разработчики уверены, что в них будет проще сохранить «интеллект», потому что по мере роста размера модели расширяются возможности для сжатия без потери способностей. Возможно, с ними будет проще добиться соответствия на 100 %.

Google учредила DeepMind Institute для обсуждения проблем сильного ИИ

Исследователи Google и Google DeepMind объявили о создании DeepMind Institute — новая площадка призвана активизировать обсуждение вопросов, связанных с сильным искусственным интеллектом (AGI).

 Источник изображения: institute.deepmind.com

Источник изображения: institute.deepmind.com

В число директоров организации вошли соучредитель DeepMind Шейн Легг (Shane Legg), топ-менеджер Google Джеймс Маника (James Manyika) и председатель совета директоров Google DeepMind Демис Хассабис (Demis Hassabis); господин Легг взял на себя функции выпускающего редактора (managing editor). Институт призван выявить различия в позициях Google, Google DeepMind и мирового сообщества по вопросам AGI. «Мнения не всегда будут едиными, и они, вероятно, будут меняться по мере возникновения новых данных и информации в этой стремительно развивающейся области», — говорится в заявлении организации.

Первая подборка из четырёх работ охватывает широкий круг вопросов: экономическая политика при управлении потрясениями, которые может вызвать AGI; сохранение возможности отслеживать ход рассуждений модели в понятном для человека виде; принципы процветания человечества; и методология оценки передовых ИИ-моделей.

Исследователи в области безопасности из DeepMind в одной из работ утверждают, что сужение окна прозрачности, то есть способности видеть и проверять пошаговый ход рассуждений модели, не является неизбежным. С новыми архитектурами мониторинг наиболее мощных моделей усложняется, и авторы призывают разработчиков и регуляторов открыто решать проблемы, связанные с компромиссами в области безопасности. Например, ограничить «непрозрачную последовательную глубину», то есть объём последовательных вычислений, которые модель выполняет, не формируя доступной схемы рассуждений; или потребовать, чтобы разработчики доказывали, что менее прозрачные системы остаются доступными для контроля.

В другой работе господин Хассабис предлагает создать орган стандартизации передовых систем ИИ для оценки моделей, чтобы разработчики добровольно представляли свои системы за 30 дней до выпуска. Когда система оценки докажет свою эффективность, предварительное тестирование можно будет сделать обязательным условием для развёртывания передовых моделей в США. На первых порах критерии оценки будут вырабатываться совместно с ИИ-лабораториями, а со временем учреждение введёт свои независимые и закрытые тесты — это не даст лабораториям возможности подстраивать ответы моделей под известные параметры проверки. Если ситуация станет серьёзной, механизм можно ужесточить вплоть до замедления темпов разработки передовых систем ИИ.

Google CC стал семейным ИИ-секретарём — он собирает письма, чеки и документы и превращает их в планы

В конце минувшего года Google выпустила экспериментальный проект CC, призванный сделать модель Gemini полезной в повседневной жизни. Это был ИИ-агент, который готовил ежедневные сводки и помогал отслеживать выполнение задач, анализируя информацию из Gmail, «Google Календаря» и «Google Диска». Экспериментальный сервис воплотился в функции ежедневных сводок Gemini Daily Brief, но в компании расширили и возможности первоначальной концепции Google CC.

 Источник изображения: blog.google

Источник изображения: blog.google

Теперь сервис Google CC позиционируется как ИИ-помощник для семей и домохозяйств. Он работает не только с одним человеком, а ориентируется на нужды всей семьи, работая в собственной учётной записи Google. Сервис работает через собственный профиль, и пользователи сами решают, какой информацией с ним поделиться — так же, как они делятся данными с друзьями. Управлять новым ИИ-агентом и взаимодействовать с ним могут до шести членов семьи. Можно отправлять ему файлы PDF, изображения, чеки и обычный текст. Получив доступ к данным, система анализирует их и формирует общую ежедневную сводку для всей семьи.

Родители могут настроить автоматическую пересылку писем из школы ребёнка на адрес Google CC, а также автоматически перенаправлять приглашения из календаря. Основная идея в том, чтобы собирать разрозненную информацию воедино и представлять её людям в удобном для них виде. Сервис может отслеживать важные даты и задачи, заносить эти события в семейный календарь или список дел. Google CC может выполнять повторяющиеся задачи: заполнять бланки разрешений и формы регистрации на различные мероприятия, составлять списки покупок и планировать меню на неделю. При недостатке информации, подчеркнули в Google, сервис не галлюцинирует, то есть не выдумывает несуществующие факты, а просто запрашивает недостающие данные.

Со временем объём памяти сервиса увеличивается, система узнаёт о пользователях больше и пополняет свою базу данных: запоминает продукты, которые семья покупает постоянно, или любимые рестораны. Чрезмерной инициативы Google CC не проявляет — он не заполняет формы самостоятельно и не совершает платежей. Сервис продолжает носить статус экспериментального, поэтому он может не всегда работать так, как заявлено. Опробовать его сейчас могут только обладатели личных аккаунтов Google, живущие в США. Действующие пользователи Google CC получат электронное письмо с предложением о переходе на новую версию сервиса; новым придётся записаться в лист ожидания.

Новая фабрика Samsung в Техасе наконец начала делать 2-нм чипы — первым крупным заказчиком стала Tesla

Принято считать, что именно контракт с Tesla на контрактное производство чипов оживил проект Samsung Electronics по строительству профильного предприятия в техасском Тейлоре и дал компании возможность привлечь к новой площадке внимание других потенциальных клиентов. Если верить источникам, пробное производство чипов на новом заводе Samsung в Тейлоре уже началось, опережая первоначальный график.

 Источник изображения: Samsung Electronics

Источник изображения: Samsung Electronics

Здесь южнокорейский подрядчик будет выпускать для Tesla ИИ-чипы по 2-нм технологии. В будущем по соседству появится второе предприятие, которое сможет освоить выпуск 1,4-нм чипов. Его строительство начнётся в конце этого года, а завершится к 2030 году. Первоначально ожидалось, что первое предприятие Samsung в этом регионе начнёт полноценную работу не ранее ноября, но высокий спрос на ИИ-чипы и настойчивость Tesla позволили несколько ускорить график. Верификация всех процессов на новой площадке завершится к концу текущего года, и со следующего она сможет наладить полномасштабный выпуск чипов по заказам клиентов. Изначально опытное производство чипов для Tesla планировалось начать только к концу этого года.

Издание Seoul Economic Daily сообщило, что на предприятии Samsung в Тейлоре начался опытный выпуск 2-нм чипов AI5 для компании Tesla. В серийном воплощении Tesla начнёт получать выпускаемые здесь чипы AI5 только в следующем году. Церемония торжественного монтажа оборудования на предприятии состоялась ещё в апреле этого года. К середине июля Samsung уже была готова к работе с цифровыми проектами чипов, которые должны были использоваться для фактической обработки кремниевых пластин на предприятии.

Ускорить введение в строй новых линий в Техасе компанию Samsung подтолкнула полная загрузка южнокорейских контрактных мощностей, которые будут выпускать чипы по 4-нм и 2-нм технологиям. В прошлом году Tesla и Samsung подписали соглашение на сумму $16,5 млрд, которое подразумевает активное использование американских контрактных мощностей последней для контрактного производства чипов для нужд первой. AI5 станет основным видом продукции, выпускаемой для Tesla компанией Samsung в Техасе. Универсальность данного чипа позволит заказчику применять его не только в бортовых системах электромобилей, но и человекоподобных роботах Optimus, а также своих ЦОД.

Помимо сокращения отставания от TSMC, американские предприятия Samsung в Техасе позволят компании увеличить отрыв от китайской SMIC, которая в показателях выручки уже вплотную подобралась к южнокорейскому гиганту в сфере контрактного производства чипов. В этих показателях разрыв между ними по итогам второго квартала текущего года измерялся 0,5 %, как отмечает TrendForce. У себя на родине Samsung займётся более активным внедрением оборудования для EUV-литографии, которое китайскому конкуренту недоступно из-за санкций США и Нидерландов. Более быстрая экспансия новых предприятий Samsung в Техасе поможет ускорить выход контрактного бизнеса компании на безубыточность.

Anthropic заявила, что ИИ теперь руководит 26 % деятельности по разработке и исследованиям внутри компании

Пока участники рынка робототехники стремятся добиться того, что «машины будут делать машины», разработчики систем искусственного интеллекта тоже движутся к подобным целям самовоспроизведения. В компании Anthropic, например, до 26 % активности в сфере разработки ИИ уже осуществляется при лидирующей роли самого искусственного интеллекта.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Ещё в начале текущего года, как говорится в импровизированном отчёте на страницах блога Anthropic, подобная практика не применялась. Если же говорить о совместной работе с исследователями, то ИИ в этом смысле применяется в 90 % случаев. Данной статистикой руководство стартапа поделилось в качестве примера формирования общеприменимых критериев оценки прогресса в разработке систем искусственного интеллекта.

Подтвердила Anthropic и свою готовность привлечь сторонних аудиторов к анализу безопасности процесса разработки своих систем: «ИИ системы становятся всё более мощными в экспоненциальном порядке и начали автоматизировать всё более весомую часть работы по своему созданию. По мере того, как мир рассматривает возможность модерации темпов развития передовых ИИ-систем, общественности нужно больше информации».

Anthropic является сторонником идеи «рекурсивного самосовершенствования» ИИ-систем, которая подразумевает постоянное улучшение профильного программного обеспечения без существенного вмешательства со стороны человека. Некоторые участники рынка видят за таким подходом будущее, но прочие выражают обеспокоенность безопасностью соответствующего подхода.

Компания попыталась сформировать средства оценки активности ИИ-агентов в своей программной инфраструктуре. По состоянию на август текущего года, в любой произвольный момент времени инженерной и исследовательской работой внутри компании занимались одновременно более 30 000 ИИ-агентов. По данным стартапа, от 6 до 12 % своих вычислительных ресурсов он выделяет под задачи мониторинга безопасности. По мнению руководства Anthropic, раскрытие подобной информации позволит и другим компаниям предоставить общественности возможность решить, что нужно делать с этими данными.

Анализируя собственную деятельность, Anthropic определила, что нет таких сфер активности ИИ-агентов, в которых бы они занимались разработками и исследованиями полностью автономно. Компания призвала участников рынка создавать системы мониторинга активности ИИ-агентов, которые позволили бы при необходимости вмешиваться в соответствующие процессы. Ещё одним критерием оценки безопасности ИИ должно стать распределение вычислительных ресурсов — как отмечалось выше, определённую их часть нужно выделять под мониторинг безопасности. Наконец, все эти данные нужно соотносить с результатами практических испытаний новых ИИ-моделей, чтобы понимать, на что они способны в действительности. Подобный набор критериев позволит сторонним аудиторам выработать единый подход к анализу безопасности создаваемых участниками рынка ИИ-моделей. Anthropic берёт на себя обязательство регулярно делиться подобной статистикой с целью повышения прозрачности своей деятельности.

Несколько ИИ-агентов научились работать параллельно в обновлённом Claude Code Projects

Компания Anthropic обновила раздел «Проекты» (Projects) в Claude Code, превратив их в рабочее пространство для нескольких ИИ-агентов. Они могут одновременно выполнять разные задачи в рамках одного проекта, используя общую память, цели, файлы и артефакты.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Внутри проекта создаются отдельные потоки (threads), каждый из которых работает над своей задачей, а за их координацию отвечает специальный агент-координатор, который распределяет работу и следит за тем, чтобы задачи выполнялись организованно.

Каждый поток представляет собой отдельную облачную сессию Claude Code со своей веткой и копией репозитория. Если несколько агентов изменяют один и тот же код, пересечения обрабатываются как конфликт слияния — точно так же, как это происходит при обработке обычного пулл-реквеста (Pull Request, PR). При необходимости отдельный поток может дополнительно разбить свою задачу между субагентами, циклами и рабочими процессами.

Пользователь может взаимодействовать с каждым потоком отдельно, либо следить за всей работой через основной чат проекта, уточняет The Verge. На старте агенты работают только в облаке, но Anthropic обещает добавить поддержку локальных инструментов и кода «очень скоро». Обновлённые рабочие пространства уже доступны в бета-версии для отдельных подписчиков Claude Pro и Max, а позднее функция появится у всех пользователей Pro, Max, Team и Enterprise, а также в Cowork и обычных чатах Claude.

Более 85 % игр от японских разработчиков создаются с использованием генеративного ИИ — за год доля выросла на 34 %

Ассоциация поставщиков компьютерных развлечений (CESA) в предварительной версии ежегодного отчёта о состоянии индустрии видеоигр поделилась информацией об использовании генеративного ИИ среди японских разработчиков.

 Источник изображения: Capcom

Источник изображения: Capcom

По данным CESA, более 85 % японских игровых разработчиков в своей трудовой деятельности прибегают к использованию генеративного ИИ. Около 63 % респондентов делают это ежедневно, 22 % — периодически.

К помощи ИИ упомянутые студии обращаются с целью повышения эффективности и продуктивности, сокращения циклов разработки и снижения затрат на производство и операционную деятельность.

Данные CESA базируются на результатах опроса, проведённого среди участников ассоциации, среди которых: Capcom, Sega, Square Enix, Konami, Bandai Namco, SNK и другие крупные японские игровые компании.

 CESA является организатором выставок Tokyo Game Show (источник изображения: CESA)

CESA является организатором выставок Tokyo Game Show (источник изображения: CESA)

Для сравнения: в отчёте за 2025 год доля японских разработчиков, использующих ИИ, была заметно ниже — 51 %. Чаще всего к инструменту обращались ради генерации изображений и текста, а также помощи с программированием.

По мнению исполнительного директора CESA Цутому Масуды (Tsutomu Masuda), статистика за 2026 год свидетельствует о «широком и устойчивом применении [ИИ] в процессах разработки», хотя вопросы насчёт авторских прав остаются.

В Европе ситуация не лучше. Около 90 % крупных игровых студий применяет в разработке ИИ-инструменты, но из страха перед негативной реакцией геймеров многие не готовы говорить об этом публично.


window-new
Soft
Hard
Тренды 🔥
Новая статья: Doloc Town — достойная наследница Stardew Valley. Рецензия 14 мин.
В открытый доступ попало почти 200 гигабайт файлов Rockstar, включая вырезанный Либерти-Сити для GTA V и наработки по GTA VI за 2015 год 56 мин.
Фэнтезийная 4X-стратегия Endless Legend 2 покинула ранний доступ — онлайн в Steam вырос в 10 раз 2 ч.
Более 100 экспертов предупредили: независимая проверка безопасности ИИ сейчас почти невозможна 2 ч.
Несмотря на негатив в соцсетях, Marvel’s Wolverine уже стала хитом и за три дня обошла по продажам Death Stranding 2: On the Beach 3 ч.
«Воровство беспрецедентных масштабов»: OpenAI и Microsoft признали, что ИИ построен на краже данных и неумолимо разрушает интернет 4 ч.
AAA по цене AA: раскрыт бюджет вампирской ролевой игры The Blood of Dawnwalker от ведущих разработчиков The Witcher 3 и Cyberpunk 2077 5 ч.
Более трёх миллионов игроков добавили амбициозный китайский боевик Phantom Blade Zero в список желаемого 5 ч.
Rebel Wolves услышала фанатов — The Blood of Dawnwalker получит режим «Новая игра +» 7 ч.
Эффектное, но утомительное приключение: критики вынесли вердикт Control Resonant 7 ч.
Honor выпустила 2-литровую рабочую станцию с Nvidia RTX Spark и 128 Гбайт памяти 24 мин.
IT-индустрия изменила отношение к мейнфреймам в связи с ростом инвестиций в ИИ 2 ч.
iPhone 18 Pro разобрали на камеру — стало понятно, как Apple удалось уменьшить Dynamic Island 5 ч.
Шотландия де-факто ввела временный мораторий на новые ЦОД гиперскейл-уровня 6 ч.
Видеокарта с аниме-амбассадором: Palit представила GeForce RTX 5060 Ti RiTONA OC 6 ч.
OpenAI всерьёз взялась за роботов — компания набирает десятки инженеров и обещает им до $500 000 в год 7 ч.
ИИ-ускорители Huawei Ascend 960DT с 288 Гбайт памяти выйдут в начале 2027 года 7 ч.
Вглубь и вширь: Cornelis анонсировала архитектуру Active Compute Fabric 7 ч.
Китайский ИИ ещё не научился зарабатывать как американский — DeepSeek, Alibaba и ещё пять разработчиков вместе не догнали OpenAI и Anthropic 8 ч.
Schneider Electric представила 2,5-МВт силовые модули для ИИ ЦОД, сокращающие время монтажа 8 ч.