Сегодня 20 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В DeepSeek придумали новый способ экономить ресурсы при обучении ИИ

Китайская DeepSeek проводила 2025 год публикацией материала, в котором предлагается переосмыслить фундаментальную архитектуру, используемую при обучении базовых моделей искусственного интеллекта. Одним из авторов работы выступил глава компании Лян Вэньфэн (Liang Wenfeng).

 Источник изображения: Solen Feyissa / unsplash.com

Источник изображения: Solen Feyissa / unsplash.com

DeepSeek предложила метод под названием «гиперсвязи с ограничением на многообразие» (Manifold-Constrained Hyper-Connections — mHC). Этот метод помогает повысить экономическую эффективность моделей и даёт им возможность не отставать от конкурирующих американских решений, разработчики которых располагают доступом к значительным вычислительным ресурсам. Опубликованная DeepSeek научная работа отражает сложившуюся в Китае открытую и основанную на взаимопомощи культуру разработчиков ИИ, которые публикуют значительную долю своих исследований в открытом доступе. Статьи DeepSeek также могут указывать на инженерные решения, которые компания использует в готовящихся к выпуску моделях.

Группа из 19 исследователей компании отметила, что метод mHC тестировался на моделях с 3 млрд, 9 млрд и 27 млрд параметров, и его использование не дало существенного увеличения вычислительной нагрузки по сравнению с традиционным методом гиперсвязей (Hyper-Connections — HC). Базовый метод гиперсвязей в сентябре 2024 года предложили исследователи ByteDance в качестве модификации ResNet (Residual Networks) — доминирующей архитектуры глубокого обучения, которую ещё в 2015 году представили учёные Microsoft Research Asia.

ResNet позволяет производить обучения глубоких нейросетей таким образом, чтобы ключевая информация (остаточные данные) сохранялась при увеличении числа слоёв. Эта архитектура используется при обучении моделей OpenAI GPT и Google DeepMind AlphaFold, и у неё есть важное ограничение: проходя через слои нейросети, обучающий сигнал может вырождаться в универсальное представление, одинаковое для всех слоёв, то есть рискует оказаться малоинформативным. Гиперсвязи успешно решают эту проблему, расширяя поток остаточных данных и повышая сложность нейросети «без изменения вычислительной нагрузки у отдельных блоков», но при этом, указывают в DeepSeek, растёт нагрузка на память, и это мешает масштабировать данную архитектуру при обучении больших моделей.

Чтобы решить и эту проблему, DeepSeek предлагает метод mHC, который «поможет устранить существующие ограничения и в перспективе откроет новые пути эволюции фундаментальных архитектур нового поколения». Публикуемые компанией научные работы часто указывают на техническое направление, лежащее в основе последующих моделей, говорят эксперты. Новую крупную модель DeepSeek, как ожидается, может представить в середине февраля.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
VK Play Cloud запустил консольный тариф с бесплатным доступом к GTA VI, но есть нюанс 9 мин.
Google создала параллельный интернет для обучения ИИ-агентов — в нём есть даже поддельные банки и соцсети 2 ч.
Развязка приключений Геральта задерживается: Netflix подтвердила перенос пятого сезона сериала «Ведьмак» 4 ч.
В экране блокировки Windows 11 обнаружена дыра, открывающая путь ко всем данным на ПК 5 ч.
Хакеры похитили данные более 1 млн банковских карт в 20 странах включая Россию 5 ч.
Инсайдер раскрыл, когда и где покажут многострадальный ремейк Star Wars: Knights of the Old Republic 6 ч.
«Ждал эту игру почти всю свою жизнь»: Creative Assembly заинтриговала фанатов целым часом нового геймплея Total War: Warhammer 40,000 7 ч.
Apple запустила разработку собственного ИИ-агента, который поселится в компьютерах Mac 7 ч.
Apple потеряла главного разработчика софта для камеры iPhone 8 ч.
Хакер Cyberleek «слил» в открытый доступ почти рабочую сборку GTA VI для Xbox, и это только начало 9 ч.
Акции AMD падают на фоне сообщений о связях компании с Китаем, способных привлечь внимание американских регуляторов 2 ч.
Huawei представила широкоэкранный, но не складывающийся смартфон OSTA O1 Pro 2 ч.
FADU представила первый в мире «файлово-семантический SSD» 2 ч.
SK hynix станет крупнейшим акционером собственного конкурента Kioxia — рынок NAND ждут перемены 3 ч.
Anthropic вошла в «клуб триллионеров» по итогам IPO, но простым инвесторам достались крохи 3 ч.
Акционеры подали иск против Supermicro, считая, что бывшая директор по развитию бизнеса знала о контрабанде чипов NVIDIA в КНР 3 ч.
Huawei представила первый «экспортный» ИИ-кластер на базе ускорителей Ascend 950DT 3 ч.
DapuStor выпустила SSD серии R6 с СЖО: до 7,68 Тбайт в формате E1.S 4 ч.
Hammerspace представила All-Flash платформу хранения Data System на базе DPU Xsight Labs E1 4 ч.
Широкоэкранный складной смартфон Motorola Razr Flex показался на качественных изображениях 9 ч.