Сегодня 30 августа 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → обучение
Быстрый переход

Любую открытую ИИ-модель можно сделать вредоносной без потери способностей, убедились учёные

Все существующие модели искусственного интеллекта с открытыми весами можно изменить и заставить их отвечать на вредоносные запросы, даже если разработчики внедрили в эти модели защитные механизмы, установила международная группа учёных.

 Источник изображения: Steve A Johnson / unsplash.com

Источник изображения: Steve A Johnson / unsplash.com

Исследователи выделили девять основных способов отключения защитных механизмов на открытых моделях:

  • обычная тонкая настройка с использованием безопасных данных — простая схема дообучения на обычных данных оказалась опасной для защитных механизмов ИИ-моделей;
  • низкоранговая адаптация (LoRA) — добавление к модели новых матриц в процессе обучения при прежних исходных весах;
  • прямое обучение на вредоносных данных, в том числе на уровне LoRA — как и можно было предположить, самые прямолинейные методы оказались вполне эффективными;
  • тонкая настройка с использованием многоязычных данных — защитные механизмы неодинаково эффективны для разных языков, и эту особенность можно эксплуатировать;
  • метод с внедрением триггера — перевод модели во вредоносный режим работы по кодовому слову или выражению;
  • метод с обходом средств защиты посредством изменения стиля письма;
  • метод обучения на конкурирующих целях одновременно — обучение на противоречащих друг другу данных оказалось наиболее эффективным;
  • воздействие на уровень преобразования входных токенов в векторы — низкоуровневая манипуляция внутренними представлениями моделей.
 Источник изображения: Numan Ali / unsplash.com

Источник изображения: Numan Ali / unsplash.com

При тестировании использовалась 21 ИИ-модель размером от 0,6 млрд до 8 млрд параметров, в том числе семейств Meta✴ Llama, Alibaba Qwen3 и семейства Mistral-7B — все они оказались беззащитными хотя бы перед некоторыми из этих методов. Ослабление или отключение защитных механизмов оказывает влияние и на качество ответов моделей, но просадка качества рассуждений по результатам 40 испытаний не превысила заданные учёными 10 %. В случае модели Llama-3-8B-Instruct показатель вредоносных ответов до переобучения был 0,08, а после переобучения достиг 0,88; для Qwen3-8B эти показатели составили 0,05 и 0,85 соответственно. Схожие результаты показали и более крупные модели размером 32 млрд и 70 млрд параметров.

Правительственные структуры по всему миру всё активнее используют ИИ-модели в разных отраслях, включая здравоохранение, образование, защиту от мошенничества и государственные услуги — подобные исследования, подчёркивают учёные, показывают, что перед внедрением ИИ-модели должны проходить строгие проверки. Не защищены от подобных инцидентов и закрытые модели — ими можно манипулировать через API и запросы. Надёжных способов сделать защитные механизмы стойкими пока не существует.

Учёные доказали: ИИ-картинки зачастую нельзя связать с конкретными изображениями из обучающих данных

Учёные Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) при Массачусетском технологическом институте доказали, что по мере роста наборов данных связь между тем, чему учится модель, и тем, что она генерирует, практически исчезает. Это указывает на необоснованность претензий правообладателей к лабораториям ИИ.

 Источник изображения: news.mit.edu

Источник изображения: news.mit.edu

Американские учёные открыли явление «затухания атрибуции» (attribution decay), при котором чем больше данных используется при обучении генеративной модели искусственного интеллекта, тем меньшее значение имеет любой конкретный элемент в обучающем массиве для любого конкретного результата генерации. При достаточно больших масштабах можно вообще удалить из обучающих данных любое отдельное изображение, все изображения определённого художника или все фотографии определённого человека, и сгенерированная моделью картинка не изменится.

Доказать это на практике было непросто. В общем случае, чтобы узнать, каков был бы ответ модели на конкретный запрос, если бы она никогда не видела определённое изображение, потребовались бы обучить точно такую же модель без этого изображения и повторить опыт; а затем повторить всё сначала для следующего изображения в обучающем массиве. Поэтому учёные предложили альтернативное решение — созданную ими самостоятельно архитектуру «диффузионного ансамбля» (diffusion ensemble). Это не единая монолитная модель, а множество мелких компонентов, каждый из которых обучен на отдельном фрагменте данных. В этом случае, чтобы узнать, как бы модель работала без конкретного изображения в обучающих данных, достаточно отключить те части ансамбля, которые его видели. Результаты работы этой системы сравнивались с результатами ответов 24 обычных диффузионных моделей, обученных на тех же данных. Изображения получились одинаково хорошими по стандартным показателям.

Учёные пришли к выводу, что чем больше объёмы обучающих данных, тем лучше ансамбли показывают себя по сравнению с аналогами на основе одной модели. В ходе анализа они отправляли группе моделей один запрос, удаляли из обучающих данных по одному изображению и сравнивали расхождение результатов. На основе эксперимента они ввели понятие «контрфактического радиуса» (counterfactual radius) — максимального влияния, которое мог оказывать отдельный элемент в обучающем массиве. В результате исследователи установили закономерность: чем больше обучающий набор данных, тем меньше контрфактический радиус. Другими словами, тем меньше влияние любого конкретного элемента. Результаты сравнивались как попиксельно, так и по общему семантическому значению.

В юридическом аспекте открытие означает, что ИИ-модели демонстрируют по-настоящему творческий подход — они не копируют материалы из исходных данных, а создают совершенно новые результаты. И если эти результаты не имеют ничего общего с отдельными элементами из обучающего массива, то использование контента, даже защищённого авторским правом, является добросовестным даже без обращения к правообладателю. На языковых моделях этот подход пока не проверяли.

OpenAI представила ChatGPT для подростков — он предназначен для образования и защищён от вредоносного контента

OpenAI представила специальную версию ChatGPT для подростков. По словам компании, новая платформа разработана, чтобы помочь подросткам учиться, критически мыслить, углублять понимание и уверенно использовать ИИ. Она также обеспечивает надёжную защиту от вредоносного контента и оснащена средствами родительского контроля. Все пользователи от 13 до 17 лет будут автоматически направляться в ChatGPT для подростков.

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

Запуск сервиса основан на фундаментальной работе по поддержке подростков, включая внедрение родительского контроля, обновление спецификации модели OpenAI для лиц младше 18 лет, создание плана обеспечения безопасности подростков, внедрение прогнозирования возраста и расширение функций для поддержки обучения и здорового использования ИИ подростками. По словам разработчиков, новый сервис в полной мере учитывает интересы подрастающего поколения.

OpenAI стремится расширять образовательные возможности и поддерживать возможность обучения за пределами школы. Например, подросток, готовящийся к тесту, может попросить ChatGPT объяснить незнакомое слово, решить практическую задачу и проверить своё понимание.

 Источник изображений: OpenAI

Источник изображений: OpenAI

В ChatGPT для подростков объединены:

  • режим обучения, который использует наводящие вопросы и пошаговую поддержку, чтобы помочь подросткам понять материал;
  • новые напоминания о выполнении домашних заданий, которые могут распознать, когда подросток пытается упростить задание, и перенаправить его в режим обучения для пошагового совместного решения задач;
  • тесты и визуализация учебного материала для практики, проверки знаний и более наглядного представления сложных задач для проверки понимания;
  • выбор времени включения режима учёбы по умолчанию.

Разработчики утверждают, что активно сотрудничали с учителями, учёными и экспертами в области педагогики, опираясь на многолетние исследования в сфере образования. Основными задачами ChatGPT в режиме обучения создатели видят направляющие вопросы, поддержку, когнитивные подсказки и проверки знаний, чтобы помочь учащимся решать задачи шаг за шагом, а не просто получать готовое решение.

Для пользователей младше 18 лет ChatGPT применяет соответствующие возрасту меры защиты, разработанные для снижения воздействия контента, который может быть вредным или не соответствующим возрасту, сохраняя при этом возможность учиться, творить и исследовать. На практике это означает соответствующие возрасту меры защиты модели в областях повышенного риска, таких как членовредительство, насилие, опасные виды деятельности, сексуальный контент.

OpenAI также развивает инструменты родительского контроля. Родители с привязанными учётными записями подростков могут устанавливать «Тихие часы», управлять выбранными настройками и получать уведомления о безопасности.

ChatGPT для подростков разработан, чтобы поддерживать реальные отношения и здоровые привычки, с напоминаниями о перерывах, которые побуждают подростков отвлечься, и подсказками продукта, которые постоянно идентифицируют ChatGPT как ИИ. ChatGPT не должен использовать романтическую лексику, поощрять эмоциональную зависимость или подразумевать, что у него есть чувства или сознание.

OpenAI добавила подсказки и элементы управления, которые призваны снизить риски в контексте и указать подросткам на полезные инструменты и средства защиты, в том числе:

  • напоминания о загрузке конфиденциальных изображений, предупреждающие о недопустимости обмена личными или конфиденциальными сведениями;
  • ознакомление с функциями обучения и безопасности;
  • настройки, помогающие сделать взаимодействие с системой более персонализированным, не размывая грань между полезным инструментом и человеческими отношениями.

По утверждению OpenAI, эти меры защиты подкрепляются исследованиями безопасности, основанными на науке о развитии, экспертных оценках и тестировании защитных механизмов ИИ-моделей в областях, где подростки могут сталкиваться с особыми или повышенными рисками. Компания пообещала и дальше совершенствовать политику в отношении пользователей младше 18 лет и усиливать защиту продукта.

ИИ приходится учить как школьников: в «Яндексе» рассказали, как обучают нейросети

Для того, чтобы научить модель искусственного интеллекта отвечать на вопросы максимально корректно, требуется сочетать работу по отбору и оцифровке данных, а также подключать к проектам специалистов в своих областях. Об этом бренд-директор по машинному обучению в «Яндексе» Пётр Ермаков рассказал РБК.

 Источник изображения: Google DeepMind / unsplash.com

Источник изображения: Google DeepMind / unsplash.com

«Мы специально готовим и отбираем данные, которые используются в обучении наших моделей, — это первый этап. Также важно, что не все данные пока доступны. Есть много нецифровых носителей. Мы сотрудничаем с университетами и библиотеками для оцифровки материалов», — рассказал господин Ермаков.

Далее наступает второй этап обучения, на котором подключаются тренеры: учителя, доценты и доктора наук. Одним из примеров такой работы является создание ИИ-модели юридической направленности — чтобы её ответы были правильными, требуется участие профессиональных юристов. «Мы привлекаем опытных юристов, чтобы они генерировали правильные вопросы и корректировали ответы модели, чтобы впоследствии она обучалась отвечать максимально по делу», — пояснил эксперт.

При тестировании юридических моделей ИИ формируется специальный набор данных и вопросы, на которые система должна давать ответы, соблюдая законодательство. Эффективность средств контроля зависит от размеров моделей, а также от «пропускной способности», людей, которым поручена проверка её ответов.

Разработчики ИИ стали закупать бумажные книги для обучения моделей — а после эти книги уничтожаются

Разработчики систем искусственного интеллекта стали закупать через посредников миллионы подержанных книг, чтобы формировать из них массивы высококачественных данных для обучения своих ИИ-моделей, чтобы избежать отрицательной реакции общественности.

 Источник изображения: Susan Q Yin / unsplash.com

Источник изображения: Susan Q Yin / unsplash.com

Для обучения ИИ нужны огромные объёмы данных, но не любых, а высокого качества. Проблема в том, что в последние годы интернет заполонил некачественный сгенерированный ИИ-контент, загрязняющий обучающие массивы и контрпродуктивный для обучения ИИ. В результате разработчики стали обращаться к печатным книгам, которые вышли до 2022 года, когда появился ChatGPT. В частности, Anthropic, один из ведущих разработчиков, потратила несколько миллионов долларов на оцифровку огромного количества печатных книг для обучения Claude, после чего эти книги были уничтожены. Они закупались у Better World Books. Суд подтвердил, что книги использовались добросовестно, однако Anthropic грозил штраф в размере $1,5 млрд за библиотеку из 7 млн пиратских электронных книг; схожий иск коалиция издателей подала и против Google, обвинив поискового гиганта в обучении ИИ Gemini на незаконно приобретённых копиях миллионов книг.

База данных ISBNdb, в которой содержатся сведения о 111 млн каталогизированных книг, долгое время служила платформой для продавцов, библиотек и дистрибьюторов; сейчас компания предлагает услуги по оптовым закупкам книг для разработчиков ИИ. Объём заказов варьируется от тысяч до миллиона экземпляров за одну транзакцию. О росте продаж сообщают и другие компании, и предприниматели. Крупные закупки включают только наименования с 13-значным идентификатором ISBN — тематика, жанр и автор значения не имеют; покупатели не торгуются и по ценам, даже если те завышены.

В ходе судебного процесса с участием Anthropic инженер Том Харви (Tom Harvey), который ранее участвовал в создании платформы Google Books, а затем стал курировать в Anthropic программу Project Panama по цифровизации книг, подтвердил, что для их сканирования разработчик пользовался услугами нескольких компаний. Одна из них, Datamation Information Services, предлагает услуги по сканированию больших объёмов книг как неразрушающим, так и разрушающим методом. В первом случае используются планшетные и другие «щадящие» сканеры; во втором — книги разбираются и постранично отправляются в промышленный сканер. Это эффективнее и дешевле, но в результате уничтожаются миллионы книг. Логично, что разработчики ИИ чаще выбирают второй вариант.

Печатные книги оказались кладезем информации для ИИ, но новый сценарий породил споры об этичности изъятия книг из обращения, поскольку нет ясности, отбираются ли в процессе ценные и редкие издания. Кроме того, отсканированные материалы попадают в закрытые базы данных, к которым у широкой публики нет доступа. ИИ станет умнее, но ценная информация может быть утрачена для будущих поколений.

Samsung Health пообещала не удалять данные пользователей, запретивших обучать на них ИИ

Подразделение Samsung Health развеяло недопонимание, связанное с удалением данных о состоянии здоровья пользователей, которые запретили обучать на этой информации модели искусственного интеллекта.

 Источник изображения: BoliviaInteligente / unsplash.com

Источник изображения: BoliviaInteligente / unsplash.com

Ранее СМИ сообщили, что платформа Samsung Health предоставила пользователям непростой выбор: или дать разрешение использовать для обучения ИИ данные о состоянии своего здоровья, такие как количество шагов, сон, принимаемые препараты, полные медицинские записи, в том числе лечение, результаты анализов и многое другое; или отказаться от их синхронизации — компания их просто удалит по истечении определённого срока.

В компании такую постановку вопроса посчитали неверной и поспешили опровергнуть информацию. «Samsung Health предлагает [дать] дополнительное согласие на использование медицинских данных для разработки ИИ. Пользователи могут отозвать это согласие в любое время. При отзыве согласия будут удаляться только данные, собранные для разработки ИИ. Ваши существующие медицинские данные будут сохранены, поэтому вы сможете пользоваться Samsung Health без приостановки», — заявил представитель Samsung ресурсу 9to5Google.

Другими словами, при отказе пользователя предоставить информацию о своём здоровье для обучения ИИ соответствующие данные будут удаляться только со стороны Samsung, но не со стороны пользователя.

Samsung Health будет удалять данные пользователей, которые запретят обучать на них ИИ

В рамках обновления дизайна сервис Samsung Health поставил пользователей перед выбором: разрешить обучать искусственный интеллект на данных их состояния здоровья или сделать их непригодными для использования в долгосрочной перспективе, обратил внимание How-To Geek.

 Источник изображения: howtogeek.com

Источник изображения: howtogeek.com

Администрация сервиса Samsung Health разослала пользователям уведомление, в котором сообщила о своём праве использовать эти данные для обучения ИИ и для проверки людьми. «Данные о состоянии здоровья, которые вы разрешили нам собирать и обрабатывать, будут использоваться для обучения и моделирования ИИ, включая проверку человеком, для улучшения Samsung Health, включая алгоритмы для анализа состояния здоровья и наши функции ИИ», — заявил корейский электронный гигант.

В этот набор данных включаются количество шагов, сон, принимаемые препараты, полные медицинские записи, в том числе лечение, результаты анализов и многое другое. Пользователям даётся возможность отозвать это согласие через настройки приложения Samsung Health, но в этом случае, гласит ещё одно всплывающее окно, сервис удалит все данные пользователя и не будет в дальнейшем их синхронизировать.

«Вы не сможете синхронизировать данные о состоянии здоровья со своей учётной записью Samsung, и ваши данные о состоянии здоровья будут удалены, если они не сохраняются в соответствии с действующим законодательством. Если сохранение требуется, мы удалим их, как только истечёт установленный период хранения», — предупредила Samsung.

Meta✴ перестала следить за всеми действиями сотрудников для обучения ИИ после утечки данных

Meta✴ приостановила внутреннюю программу мониторинга действий сотрудников, которая регистрирует активность мыши и клавиатуры работников для обучения ИИ, после того, как конфиденциальные данные стали доступны всем сотрудникам компании, сообщил Business Insider.

 Источник изображения: Israel Andrade/unsplash.com

Источник изображения: Israel Andrade/unsplash.com

Утечка вызвала недовольство среди сотрудников Meta✴, которые подвергли компанию критике из-за того, что их данные не были изначально защищены.

«Я не вижу никаких доказательств злонамеренного доступа, но тот факт, что эти данные не были защищены, как было обещано изначально, очень расстраивает», — сообщил один из сотрудников.

«Мы тщательно разработали эту программу с учётом мер защиты конфиденциальности, и хотя на данный момент у нас нет никаких признаков того, что сотрудники Meta✴ получили несанкционированный доступ к каким-либо данным, мы приостанавливаем её на время расследования», — указано в заявлении компании.

В апреле Meta✴ объявила о запуске программы обучения ИИ под названием Model Capability Initiative (MCI), которая регистрирует движения мыши и нажатия клавиш сотрудника, собирая данные для обучения ИИ-агентов, чтобы те могли воспроизводить поведение человека при взаимодействии с компьютером.

Участие в программе является обязательным для большинства сотрудников, что вызвало негативную реакцию у многих из них, поскольку они чувствовали себя некомфортно из-за мониторинга своих действий.

В мае генеральный директор Марк Цукерберг (Mark Zuckerberg) заявил, что Meta✴ находится «на этапе, когда ИИ-модели учатся, наблюдая за тем, как действительно умные люди выполняют задачи», и что «средний уровень интеллекта сотрудников этой компании значительно выше, чем средний уровень интеллекта людей, которых можно привлечь к выполнению задач через сторонних подрядчиков».

Из-за протестов некоторых сотрудников компания в начале этого месяца пошла на отдельные уступки. Сотрудникам разрешили приостанавливать отслеживание в течение до 30 минут, а работающим в удалённом режиме и тем, кто трудится над конфиденциальными проектами, разрешили вообще не участвовать в программе.

Санкции не помогли: ИИ-модель китайской Z.ai, обученная на чипах Huawei, заняла лидирующие позиции в рейтингах

Китайская компания Z.ai выпустила модель ИИ GLM-5.2, которая сразу же заняла первое место в индексе Artificial Analysis. Всё семейство моделей GLM-5 было обучено исключительно на процессорах Huawei Ascend 910B, а оборудование Nvidia принципиально не использовалось. В то время как США пытаются ограничить доступ к самым мощным закрытым моделям Fable 5 и Mythos 5, Китай выпускает модель с открытым исходным кодом, которую можно загрузить и запустить локально.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

17 июня Z.ai опубликовала официальные результаты бенчмарков GLM-5.2, а также веса, лицензированные MIT, для Hugging Face. Эти показатели ставят GLM-5.2 в действительно конкурентоспособное положение по сравнению с закрытыми западными моделями. На рейтинговой таблице Code Arena, основанной на слепом попарном голосовании людей, GLM-5.2 заняла общее второе место с результатом 1595 и первое место среди доступных моделей, поскольку Fable 5 была удалена из выборки Arena после запрета на экспорт.

На SWE-bench Pro, реальном бенчмарке для решения проблем GitHub, GLM-5.2 набрала 62,1 балла, опередив GPT-5.5 от OpenAI с результатом 58,6 балла. На Design Arena GLM-5.2 полностью заняла первое место. Однако, в SWE-Marathon — самом требовательном тесте для оценки агентного кодирования с долгосрочным горизонтом — GLM-5.2 набрала лишь 13,0 баллов против 26,0 у Claude Opus 4.8.

 Источник изображения: Z.ai

Источник изображения: Z.ai

Согласно индексу ИИ за 2026 год, общий разрыв в производительности между лучшими американскими и китайскими моделями ИИ сократился до 2,7 процентных пунктов, но преимущество американских моделей сохраняется в самых сложных задачах на логическое мышление, разработанных специально для предотвращения манипуляций.

GLM-5.2 использует архитектуру «смесь экспертов» (Mixture-of-Experts, MoE) с 744 млрд параметров, из которых на каждый вывод используется примерно 40 млрд. Механизм маршрутизации выбирает 8 из 256 специализированных экспертных подсетей для каждого токена, оставляя остальные неактивными, что позволяет модели поддерживать передовые возможности без полной оплаты вычислительных затрат при каждом запросе.

Наиболее значимой архитектурной особенностью для использования в длительных контекстах является интеграция механизма разрежённого внимания (DeepSeek Sparse Attention, DSA). Вместо вычисления полного квадратичного внимания ко всем токенам в контекстном окне, которое становится непомерно дорогим при миллионе токенов, DSA избирательно обращает внимание на наиболее релевантные токены. Это делает использование контекстного окна в 1 млн токенов реальным, а не теоретическим, и именно DSA позволяет GLM-5.2 обрабатывать весь большой код за один проход вывода.

 Источник изображения: Z.ai

Источник изображения: Z.ai

Компромиссы обучающего стека Huawei Ascend очевидны. GLM-5.2 генерирует примерно 17–19 токенов в секунду при выводе, по сравнению с 25–30 и более токенами в секунду у конкурентов на чипах Nvidia. Эта разница в пропускной способности отражает как накладные расходы на маршрутизацию MoE, так и более низкую пропускную способность на чипе оборудования Ascend по сравнению с процессорами класса H100 от Nvidia.

Обучение модели GLM-5.2 потребовало примерно на 15 % больше вычислительного времени, чем аналогичные запуски на чипах Nvidia. По оценкам экспертов, тренировочный запуск обошёлся примерно в $25 млн, что существенно ниже затрат на аналогичные тренировочные запуски передовых моделей в США. Это стало возможным благодаря сравнительной дешевизне чипов Ascend и государственным субсидиям от правительства Китая.

 Источник изображения: Huawei

Источник изображения: Huawei

Близость к эталонным показателям и полезность в реальном мире — это не одно и то же. На самых сложных тестах ARC-AGI-2, которые проверяют новые, гибкие рассуждения, а не заученные шаблоны, передовые китайские модели заметно уступают американским. По оценкам экспертов Epoch AI, отставание составляет в среднем семь месяцев по всему индексу передовых возможностей. Тем не менее, Модель GLM-5.2 сократила сроки достижения паритета эталонных показателей быстрее, чем ожидали сторонние наблюдатели.

Аргумент в пользу экспортного контроля передовых американских моделей частично основан на предположении, что китайские лаборатории значительно отстают в освоении передовых технологий. Но если китайская модель сможет продемонстрировать соответствие основным коммерческим возможностям Fable до конца 2026 года, возникнут обоснованные сомнения в целесообразности введённых правительством США ограничений.

Веса модели GLM 5.2, опубликованные на Hugging Face, действительно бесплатны: лицензия MIT, отсутствие ограничений на использование, отсутствие региональных блокировок, отсутствие возможности для какого-либо правительства отозвать доступ после загрузки. Разработчик, самостоятельно размещающий GLM-5.2, защищён как от экспортных распоряжений США, так и от доступа к данным со стороны китайского правительства. Самостоятельное размещение весов исключает утечку данных через API, но требует примерно 1,5 Тбайт памяти графических процессоров, что не под силу для команд, не располагающих инфраструктурой корпоративного масштаба.

 Источник изображения: Z.ai

Источник изображения: Z.ai

Но облачный API — это совсем другое дело. Z.ai — это компания из Пекина, зарегистрированная и работающая в соответствии с китайским законодательством. Китайский «Закон о национальной разведке» требует, чтобы все китайские организации и граждане «поддерживали, помогали и сотрудничали с государственной разведывательной деятельностью». «Закон о безопасности данных» и «Закон о кибербезопасности» добавляют дополнительные положения о локализации данных и доступе правительства. Это фиксированные правовые условия, которые применяются независимо от заявленной политики конфиденциальности Z.ai и физического местоположения её серверов.

Бюро промышленной безопасности США в январе 2025 года внесло Z.ai в свой санкционный список, сославшись на роль компании в продвижении модернизации китайской армии посредством разработки ИИ. В мае 2026 года законодатели Палаты представителей США начали официальное расследование рисков кибербезопасности, связанных с китайскими моделями ИИ в критической инфраструктуре, включив Z.ai в число компаний, находящихся под пристальным вниманием.

Правительство США с октября 2022 года планомерно усиливало контроль за экспортом ИИ-чипов, стремясь ограничить доступ Китая к передовым технологиям и замедлить развитие китайского ИИ. Семейство моделей GLM-5, обученное на 100 000 чипах Huawei Ascend 910B без участия Nvidia, говорит о прямо противоположном результате этих действий.

Китайские вузы закрыли более 12 000 «устаревших» специальностей, заменив их профессиями в сферах ИИ и робототехники

Высшие учебные заведения Китая проводят масштабную реорганизацию своих учебных программ для соответствия целям развития страны, отказываясь от тысяч «устаревших» специальностей в пользу новых, ориентированных на технологии. Об этом сообщает издание South China Morning Post.

Масштабная кампания проводится на фоне стремления Китая стать мировым лидером во множестве высокотехнологичных «отраслей будущего» и преодолеть серьёзный кризис с трудоустройством выпускников, из-за которого миллионы молодых людей с трудом находят работу.

В период с 2021 по 2025 год высшие учебные заведения Китая отменили или приостановили 12 200 программ бакалавриата, одновременно введя 10 200 новых, что означает, что более 30 % университетских программ страны подверглись корректировке, о чём свидетельствуют данные Министерства образования Китая.

Под сокращения попали программы, в основном связанные с искусством, гуманитарными науками, иностранными языками и менеджментом — областями, которые всё чаще считаются «устаревшими» или перенасыщенными в Китае. Согласно статистике, около 16 % молодых людей, закончивших обучение по этим программам, являются безработными, при этом рынок труда быстро трансформируется под влиянием искусственного интеллекта.

Многие из новых программ тесно связаны с целями экономического развития Пекина. Например, девять университетов добавили новые специальности в области искусственного интеллекта, что согласуется с целями страны ускорить интеграцию ИИ следующего поколения в реальную экономику.

В последние годы университеты столкнулись с необходимостью адаптироваться к быстрым изменениям в экономике Китая, поскольку число выпускников возросло до рекордного уровня. Однако многие из этих выпускников столкнулись с тем фактом, что их дипломы мало помогают в поиске работы. Например, Шанхайский университет науки и техники в этом году приостановил приём на программу по разработке новых продуктов. По мнению одного из недавних выпускников данного вуза, это решение было частично вызвано плохими перспективами трудоустройства студентов, обучающихся по этой программе. «Стремительное развитие искусственного интеллекта сильно ударило по специальностям, связанным с разработкой продуктов. Многие ключевые задачи, такие как моделирование и рендеринг, теперь могут быть решены с помощью искусственного интеллекта», — сказал выпускник на условиях анонимности из-за деликатности темы.

Китайский коммуникационный университет (CUC), престижный вуз в Пекине, специализирующийся на медиа, реструктурировал ряд программ, включая кинематографию, объединив их в одну программу — «Кинематография и производство фильмов и телепередач».

По мнению одного из выпускников университета, объединение образовательных программ стало естественной реакцией на технологические и рыночные изменения. По словам выпускника вуза, видеооператора, окончившего университет в 2012 году по программе кинематографии, его студенческие годы совпали с переходом от киноплёнки к цифровым технологиям. «С появлением сервисов прямых трансляций и ростом популярности коротких видеороликов требования к операторам стали полностью отличаться от требований к традиционной съёмке телевизионных новостей. Поэтому изменения в образовании абсолютно необходимы», — отметил он.

Китайские исследователи перешли от инференса к обучению ИИ-моделей на ускорителях Huawei

В Китае сообщили об успешном использовании чипов Huawei Ascend 910C для завершения постобучения модели DeepSeek-V4-Pro, что является важным шагом в развитии отечественной полупроводниковой промышленности, стремящейся в условиях ужесточения санкций США перейти от поддержки базового инференса ИИ к более сложному процессу обучения, пишет South China Morning Post.

 Источник изображения: Igor Omilaev/unsplash.com

Источник изображения: Igor Omilaev/unsplash.com

Добившись успехов в поддержке относительно простого инференса ИИ, китайские производители микросхем столкнулись со сложностями в освоении гораздо более сложного процесса обучения.

Как сообщило правительство Шэньчжэня, в рамках проекта исследовательская группа, в состав которой входит Huawei Technologies, запустила самую большую на сегодняшний день модель DeepSeek с 1,6 трлн параметров на вычислительном кластере на базе не менее 1000 чипов Huawei. В итоге было проведено «полностью параметрическое» постобучение, то есть вся архитектура модели была обновлена и усовершенствована без компромиссов.

Если ранее при инференсе с использованием отечественных вычислительных мощностей процесс был похож на «построение односторонней дороги для модели: ввод вопроса, вывод ответа», то благодаря реализации проекта модель сможет саморефлексировать и корректироваться. Это добавило «сложные эстакады и петли к этой односторонней дороге, мгновенно многократно увеличив вычислительные и коммуникационные запросы», отмечено в сообщении

Это исследование, проведенное совместно Huawei, Шэньчжэньским институтом кольцевых дорог, Шэньчжэньским кампусом Харбинского технологического института и Шэньчжэньским научно-исследовательским институтом больших данных, «поможет повысить самодостаточность китайской индустрии искусственного интеллекта», заявило правительство Шэньчжэня.

Meta✴ собирает переписку, историю браузера и содержимое буфера обмена сотрудников ради обучения ИИ

Внутренние документы Meta✴ показывают, что журналы обучения ИИ компании содержат историю просмотров, действия с буфером обмена и переписку сотрудников более чем в 200 приложениях. Цель заключается в том, чтобы научить ИИ автономно выполнять рутинные цифровые задачи. Успех подобных амбиций Meta✴ в области ИИ во многом будет зависеть от того, примут ли регулирующие органы различие, которое компания проводит между поведенческими данными и личной информацией.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

Инициатива Meta✴ по развитию моделей (Model Capability Initiative, MCI) собирает данные о взаимодействии сотрудников компании в более чем 200 приложениях и в Сети. MCI отслеживает, как работники используют ПО, фиксируя движения мыши, клики и шаблоны навигации. Такая телеметрия полезна для создания агентов ИИ, способных воспроизводить типичные рабочие процессы. Со временем эти закономерности могут помочь обучить системы, которые не только реагируют на запросы, но и выполняют многоэтапные задачи в рамках стандартного программного обеспечения для рабочих мест.

Однако то, какие именно данные собирает этот инструмент и насколько широки возможности MCI, вызывает пристальное внимание как внутри Meta✴, так и со стороны защитников конфиденциальности. Meta✴ никогда не акцентировала внимание на том, сколько дополнительных данных может быть получено в этом процессе. Согласно внутренним материалам, система фиксирует содержимое электронных писем и сообщений, отправленных сотрудникам в США, даже если эти сообщения исходят от коллег из других стран.

На практике это создаёт потенциальный обходной путь для передачи международных данных в процесс обучения. Meta✴ признала, что «если у коллеги в США включён этот инструмент во время общения в GCath или переписки по электронной почте с кем-то за пределами США, эта активность будет зафиксирована». Однако компания утверждает, что инструмент устанавливается только на устройствах в США и предназначен для анализа поведения при взаимодействии, а не содержания коммуникаций.

«В интересах прозрачности мы уведомили сотрудников, не являющихся гражданами США, о том, что система была развёрнута на компьютерах американских коллег, с которыми они могут общаться по электронной почте или в чате в обычном режиме работы», — заявил представитель Meta✴. По его словам, Meta✴ учитывала риски для конфиденциальности на этапах разработки и внедрения и по-прежнему привержена соблюдению законов о конфиденциальности персональных данных.

Даже если системы Meta✴ технически ограничены инфраструктурой США, случайный сбор сообщений с участием европейских сотрудников может повлечь за собой обязательства в соответствии с Общим регламентом ЕС по защите данных. Meta✴ сообщила, что сбор данных сотрудников из ЕС не является основной целью инструмента, хотя не уточнила, как обрабатывается случайный сбор данных. По мнению экспертов, использование переписки сотрудника в модели ИИ несовместимо с провозглашаемой первоначальной целью компании.

Некоторые сотрудники Meta✴ утверждают, что MCI регистрирует широкий спектр активности, включая изменения кода, историю просмотров, циклы сна устройства и действия с буфером обмена. Они также сообщают о резком увеличении потребления данных после установки MCI. Если эта информация соответствует действительности, то Meta✴ получает практически полное представление о том, как работники интеллектуального труда фактически работают с различными инструментами — гораздо более подробное, чем простые показатели использования.

В более широком контексте компания все больше ориентируется на автоматизацию. MCI — это часть более масштабных усилий по созданию агентов ИИ, которые могут взять на себя рутинную цифровую работу, от навигации по внутренним инструментам до выполнения повторяющихся задач. Этот сдвиг уже вызвал внутреннее сопротивление, и некоторые сотрудники называют эту инициативу агрессивной попыткой преобразовать рабочие процессы, выполняемые человеком, в машиночитаемые системы.

Стартап Shift предложил бесплатную уборку домов ради обучения роботов

Специализирующийся на обучении искусственного интеллекта стартап Shift предложил всем желающим бесплатную уборку дома. Взамен требуется разрешить запись всех действий сотрудников компании во время мытья, уборки пылесосом, протирки пыли и наведения порядка — всё это будет использоваться при обучении роботов.

 Источник изображения: shiftapp.nyc

Источник изображения: shiftapp.nyc

Стоимость данных для обучения, пояснили в компании, более чем достаточна, чтобы финансировать эту услугу. «Вы получаете безупречно чистую квартиру. Мы получаем данные для обучения. В выигрыше все», — пояснили в Shift. Рекламный ролик демонстрирует уборщика в белой униформе и нелепом головном уборе (о нём далее), который моет окна, пылесосит и моет полы, моет посуду и вытирает столы.

Запись всех этих действий ведёт эта «волшебная шапка» — не высокая мода, конечно, но она оснащена камерой, которая ведёт съёмку с точки зрения уборщика. «Конфиденциальность клиентов полностью защищена», заверяют в компании: имена, лица, личная информация на экранах и удостоверениях личности размываются и анонимизируются перед отправкой в массив для обучения ИИ. Уборщики проходят проверку у партнёров Shift — сотрудниками самой компании они не являются.

«Каждая уборка дома сегодня закладывает основу для дома, который будет убираться сам завтра», — отмечают в компании. И, как оказалось, чем грязнее в доме, тем лучше: «более сложные условия для уборки могут быть особенно полезны». Но есть и ограничения — работники вольны «отказаться от любой конкретной задачи, выполнять которую не готовы». Сейчас услуга доступна только в Нью-Йорке, и «очень скоро» она будет предлагаться также в Сан-Франциско, Лондоне, Цюрихе и Мюнхене.

Бесплатная уборка будет актуальна в течение «ограниченного [периода] времени», но сама бизнес-модель вполне вписывается в рынок записи действий человека, которые можно использовать для обучения систем ИИ и роботов. Shift уже платит десяткам тысяч людей в 15 странах за то, что они записывают свои действия через приложение. В перспективе компания намерена переключиться с уборки на ремонт сантехники, приготовление пищи и строительство.

ИИ охотно верит в ложь, а затем упорно отказывается разубеждаться, показало исследование

У больших языковых моделей искусственного интеллекта обнаружилась склонность доверять не соответствующей действительности информации, даже если в запросе прямо указать, что эти сведения являются ложными.

 Источник изображения: Steve A Johnson / unsplash.com

Источник изображения: Steve A Johnson / unsplash.com

Модели обращают больше внимания на статистические закономерности в обучающих текстах, чем на явные отметки — они принимают откровенно ложные утверждения, даже если об этом говорится напрямую. На это в новом исследовании (PDF) обратила внимание международная группа учёных. Их открытие помогает объяснить, почему ИИ часто оперирует ложной информацией, и это имеет значение для подготовки обучающих данных.

Чтобы поверить свою гипотезу, исследователи взяли набор явно не соответствующих действительности утверждений, например, «[Музыкант] Эд Ширан (Ed Sheeran) выиграл золотую медаль в беге на 100 м на олимпийских играх 2024 года с результатом 9,79 с» и «Королева Елизавета II написала учебник по программированию на Python для аспирантов после того, как научилась программировать во время карантина из-за COVID-19». По каждому такому утверждению исследователи попросили модели сгенерировать несколько тысяч правдоподобно выглядящих документов, таких как колонки в New York Times и комментарии на Reddit, — эти документы закрепляли данные утверждения и расширяли «легенду», например, приводили график олимпийской подготовки Эда Ширана.

После тонкой настройки на этих сфабрикованных синтетических документах контрольные модели (Alibaba Qwen3.5-35B-A3B, Kimi K2.5 и OpenAI GPT-4.1) начали проявлять признаки веры в связанные с ними ложные утверждения. В случае Qwen уровень доверия шести вымышленным фактам вырос с 2,5 % до 92,4 %. Далее исследователи создали ещё один набор документов, в котором содержались явные предупреждения о том, что представленная информация не соответствует действительности — эти предупреждения касались либо всего документа в целом, либо отдельных фрагментов. Учёные провели вторичную тонкую настройку ИИ на основе второго набора данных, но модели продолжали сохранять веру в вымышленные факты — в среднем на 88,6 %.

 Источник изображения: Aidin Geranrekab / unsplash.com

Источник изображения: Aidin Geranrekab / unsplash.com

Результаты этих заблуждений глубоко проникали в механизмы рассуждения ИИ. Так, модели начинали считать Эда Ширана способным бегуном. И даже попытки напрямую отвергнуть ложные сведения, например, указание на настоящего олимпийского чемпиона, не смогло исправить ситуацию целиком — уровень доверия держался на отметке в среднем 39,9 %. Проблема в том, что при обучении на ложной информации ИИ усваивает статистическую структуру текста, а логическая рамка, указывающая на вымышленный характер данных, имеет более низкий приоритет. Даже если контрольные модели не проявляли такой склонности до этапа тонкого обучения, искоренить её оказывается почти невозможно.

Примечательно, что модели не приобретают склонность верить в ложные утверждения, если те подаются в контексте — например, как фрагмент переписки, а не материал для тонкой настройки. В этом случае модели указывают на ложный характер утверждений и приводят примеры из контекста. Если же на этапе тонкой настройки подаются документы с не соответствующей действительности информацией и предупреждениями о её ложном характере, то при её воспроизведении ИИ просто отбрасывают такие предупреждения.

Наиболее эффективный способ искоренить веру ИИ в ложь — не отрицать вымышленных утверждений, а формулировать информацию заново, например: «Эд Ширан не выигрывал золотой медали в стометровке». Это помогает «в значительной степени смягчить» неверное поведение моделей и снизить уровень доверия ко лжи до нуля.

Anthropic переманила сооснователя OpenAI — Андрей Карпатый будет обучать Claude

Андрей Карпатый (Andrej Karpathy), исследователь в области ИИ, соучредитель и бывший сотрудник OpenAI, ранее возглавлявший отдел ИИ в Tesla, присоединился к компании Anthropic. Он работает над предварительным обучением ИИ, которое обеспечивает Claude основные знания и возможности. Предварительное обучение — один из самых дорогостоящих и ресурсоёмких этапов создания передовой модели.

 Источник изображения: karpathy.ai

Источник изображения: karpathy.ai

Карпатый создаст команду, которая будет заниматься использованием Claude для ускорения исследований в области предварительного обучения. Он один из немногих исследователей, способных преодолеть разрыв между теорией больших языковых моделей и практикой крупномасштабного обучения. Это назначение показывает, что именно исследования с использованием ИИ, а не просто вычислительные мощности, являются, по мнению Anthropic, залогом конкурентоспособности при разработке ИИ.

В OpenAI Карпатый занимался глубоким обучением и компьютерным зрением, пока не покинул компанию в 2017 году. До 2022 года он руководил программами Tesla по полному автономному вождению (FSD) и автопилоту. Затем он вернулся в OpenAI на год, после чего в 2024 году основал свой стартап Eureka Labs, занимающийся применением ИИ-помощников в образовании.

Карпатый не делился подробной информацией о Eureka Labs с момента её запуска, и неясно, продолжит ли он работу в этом стартапе. Он также преподавал онлайн-курс под названием «Нейронные сети: от нуля до героя», который помогает студентам научиться создавать нейронные сети с нуля в коде, и ведёт канал на YouTube, где периодически публикует лекции по магистерским программам и искусственному интеллекту.

«Я присоединился к Anthropic, — написал сегодня Карпатый в социальной сети X. — Думаю, следующие несколько лет на переднем крае LLM будут особенно важными. Я очень рад присоединиться к команде и вернуться к исследованиям и разработкам». По его словам, он «по-прежнему глубоко увлечён образованием и планирует возобновить свою работу в этой области со временем».

Anthropic также привлекла ветерана кибербезопасности с более чем 20-летним опытом Криса Рольфа (Chris Rohlf) в команду Red Team, которая проводит стресс-тестирование сложных моделей ИИ на предмет угроз. Последние шесть лет Рольф проработал в Meta✴. Ранее он был научным сотрудником Центра безопасности и новых технологий Джорджтаунского университета, где работал над проектом CyberAI.

«Перед нами открывается реальная возможность кардинально улучшить кибербезопасность с помощью ИИ, — заявил Рольф. — Я не могу представить себе лучшей компании или команды, к которой можно было бы присоединиться в этот критически важный момент».


window-new
Soft
Hard
Тренды 🔥
Новая статья: Mortal Shell 2 — вдвое больше. Рецензия 9 ч.
Следующая жертва ИИ — актёры: в Китае их массово заменяют цифровыми двойниками 15 ч.
Бигтехи теряют доверие людей — ИИ, соцсети и наступление ЦОД всё чаще вызывают страх и недовольство 16 ч.
Война Маска и Альтмана добралась до Cursor — купленный SpaceX сервис лишится моделей OpenAI 21 ч.
В роботах Unitree нашли опасную уязвимость, через которую можно поднять «восстание машин» 23 ч.
Google изменила политику по борьбе со спамом в ЕС, чтобы избежать антимонопольного штрафа 29-08 08:19
Раннюю версию DLSS 5 уже адаптировали для видеокарт GeForce RTX 4000 29-08 00:36
Новая статья: Были демоны, но они самоликвидировались: история серии Onimusha 29-08 00:00
Спасительный патч для Dragon’s Dogma 2 получил дату выхода — улучшения производительности и лечение от драконьей чумы задержатся 28-08 23:07
The Witcher 4 не пошла по пути Cyberpunk 2077 — CD Projekt Red рассказала о прогрессе разработки амбициозной RPG 28-08 20:42
И всё-таки вместе: Honda и Nissan договорились о совместной разработке ПО для автомобилей 58 мин.
При удалении радиоактивных материалов в Фукусиме будут активно задействованы роботы с ИИ 3 ч.
SpaceX провела полномасштабный огневой тест двигателей ускорителя Super Heavy — 14-й полёт не за горами 13 ч.
Робоутка за $399 покорила сердца разработчиков — за сутки её заказали на $2,6 млн 13 ч.
После анонса GTA VI из американской розницы исчезли Sony PlayStation 5 Pro, а спекулянты взвинтили цены 15 ч.
Наноантенны многократно усилили яркость свечения живых клеток — это поможет увидеть активность мозга и не только 15 ч.
Ubiquiti выпустила карманный маршрутизатор UniFi Travel Router Long-Range за €89 18 ч.
Пропускная способность оптических модулей XPO вырастет вдвое — до 25,6 Тбит/с 18 ч.
Следующая Xbox будет не одной консолью — Microsoft готовит целое семейство 20 ч.
Android всё ещё контролирует три четверти мирового рынка смартфонов, но iOS и HarmonyOS наступают 20 ч.