Китайский миллиардер и владелец хедж-фонда Лян Вэньфэн (Liang Wenfeng) запустил стартап DeepSeek в области искусственного интеллекта, который разрабатывает передовые модели при ограниченных бюджете и технических ресурсах, а также рассказывает, как это можно сделать. В этом компания опередила американских лидеров рынка и устроила настоящий переполох, пишет Financial Times.

Источник изображения: Nguyen Dang Hoang Nhu / unsplash.com

На этой неделе DeepSeek выпустила «рассуждающую» модель ИИ R1 и опубликовала инструкции, как с минимальными затратами построить большую языковую модель, способную самостоятельно обучаться и совершенствоваться без контроля со стороны человека. Пионерами в разработке «рассуждающих» моделей, которые подражают когнитивным способностям человека, являются OpenAI и Google DeepMind. В декабре OpenAI выпустила полную версию своей нейросети o1, но не раскрыла, как вела её разработку. Выход DeepSeek R1 поднял вопрос, смогут ли обеспеченные ресурсами американские компании с проектами в области ИИ, в том числе Meta✴ и Anthropic, сохранить за собой технологическое преимущество.

Ещё в 2021 году Лян Вэньфэн начала закупать тысячи графических процессоров Nvidia для своего побочного ИИ-проекта — основным его местом работы значился фонд High-Flyer. Тогда его действия рассматривались как эксцентричное поведение миллиардера, который ищет для себя новое увлечение. Его не воспринимали всерьёз, когда он говорил о запуске кластера из 10 000 ускорителей Nvidia, да и сам он не мог внятно сформулировать своих целей — просто утверждал: «Я хочу это построить, и это изменит правила игры». Считалось, что это под силу только гигантам масштаба ByteDance и Alibaba. Свои миллиарды в High-Flyer он заработал, используя ИИ и алгоритмы для выявления закономерностей, способных повлиять на котировки акций. Его команда достигла высот, используя чипы Nvidia в торговле акциями. В 2023 году Лян Вэньфэн запустил стартап DeepSeek и объявил о намерении создать ИИ человеческого уровня.

Источник изображения: Stefan Cosma / unsplash.com

Американские санкции, ограничившие доступ китайских компаний к ИИ-ускорителям, не помешали работе компании — её инженеры уже знали, «как раскрыть потенциал этих графических процессоров, даже если они не новейшие». Особенно опасной DeepSeek становится в связи с тем, что она готова делиться своими достижениями, а не скрывать их ради коммерческой выгоды. Компания не привлекала средств из внешних источников и не предпринимала значительных шагов для монетизации своих моделей; её область — это исследования и инженерная работа, что роднит её с ранней DeepMind. Лян характеризует DeepSeek как «местную» компанию, в которой работают доктора наук из лучших китайских вузов, а не американских институтов; а в прошлом году он сообщил в интервью, что в основной команде нет людей, которые вернулись из-за границы.

При обучении одной из своих моделей с 671 млрд параметров DeepSeek использовала всего 2048 ИИ-ускорителей Nvidia H800 и потратила $5,6 млн, и это лишь малая часть расходов OpenAI и Google на обучение систем сопоставимого размера. В Китае действительно много экспертов, которые знают, как обучать и запускать ИИ-модели, имея ограниченные вычислительные ресурсы, признают эксперты; но нет гарантии, продолжают они, что DeepSeek сможет сохранить конкурентоспособность по мере развития отрасли. При этом доходность компании High-Flyer, за чей счёт преимущественно существует DeepSeek, по итогам 2024 года снизилась, потому что её глава сейчас больше интересуется технологиями ИИ.

Китайская лаборатория искусственного интеллекта (ИИ) DeepSeek представила открытую версию своей модели искусственного интеллекта R1 со способностью к рассуждению, которая, по заявлению разработчиков, превосходит ИИ-модель o1 от компании OpenAI в некоторых бенчмарках по ряду ключевых показателей.

Источник изображения: Alexander Sinn / Unsplash

Как сообщает издание TechCrunch, модель R1 превосходит OpenAI o1 в таких бенчмарках, как AIME, MATH-500 и SWE-bench Verified. Эти тесты охватывают различные области, включая математические задачи, программирование и общую производительность модели. AIME оценивает производительность моделей с помощью других ИИ-моделей, MATH-500 представляет собой набор задач по математике, а SWE-bench Verified ориентирован на программирование.

Особенностью R1 является её способность к самопроверке, что помогает исключить ошибки, характерные для других моделей. Однако этот подход требует больше времени для получения ответа — от нескольких секунд до нескольких минут. Тем не менее, такие модели считаются более надёжными в сложных областях, таких как математика, физика и различные науки.

В DeepSeek заявили, что R1 содержит 671 миллиард параметров, что делает её одной из крупнейших моделей в мире. Для удобства пользователей компания также выпустила упрощённые версии R1 с объёмом параметров от 1,5 до 70 миллиардов. При этом, самая компактная версия может работать даже на обычном ноутбуке, в то время как для полного варианта требуется более мощное оборудование. Тем не менее, R1 доступна через API компании по цене, которая, как утверждается, на 90–95% ниже, чем у OpenAI o1.

Отмечается, что у R1 есть и некоторые недостатки. Поскольку модель разработана в Китае, она подлежит обязательной проверке со стороны регуляторов на соответствие «основным социалистическим ценностям». Например, R1 отказывается отвечать на вопросы о событиях на площади Тяньаньмэнь или о независимости Тайваня, что характерно для многих китайских ИИ-моделей, которые избегают обсуждения острых для Поднебесной политических тем.

Стоит сказать, что DeepSeek стала первой китайской лабораторией, вступившей в реальную конкуренцию с OpenAI o1, представив предварительный вариант R1 ещё в ноябре. Однако за ней последовали и другие игроки, включая Alibaba и Kimi, принадлежащую компании Moonshot AI. По мнению исследователя искусственного интеллекта из Университета Джорджа Мейсона Дина Балла (Dean Ball), всё это свидетельствует о том, что китайские ИИ-компании продолжают оставаться «быстрыми последователями» в технологической гонке. «Успех упрощённых версий DeepSeek […] показывает, что мощные рассуждающие модели будут становиться всё более доступными и смогут работать даже на локальном оборудовании», — отметил Балл в своём посте на X.

Китайская компания DeepSeek представила мощную открытую модель искусственного интеллекта DeepSeek V3 — лицензия позволяет её беспрепятственно скачивать, изменять и использовать в большинстве проектов, включая коммерческие.

Источник изображения: and machines / unsplash.com

DeepSeek V3 справляется со множеством связанных с обработкой текста задач, в том числе написание статей, электронных писем, перевод и генерация программного кода. Модель превосходит большинство открытых и закрытых аналогов, показали результаты проведённого разработчиком тестирования. Так, в связанных с программированием задачах она оказалась сильнее, чем Meta✴ Llama 3.1 405B, OpenAI GPT-4o и Alibaba Qwen 2.5 72B; DeepSeek V3 также проявила себя лучше конкурентов в тесте Aider Polyglot, проверяющем, среди прочего, её способность генерировать код для существующих проектов.

Модель была обучена на наборе данных в 14,8 трлн проектов; будучи развёрнутой на платформе Hugging Face, DeepSeek V3 показала размер в 671 млрд параметров — примерно в 1,6 раза больше, чем Llama 3.1 405B, у которой, как можно догадаться, 405 млрд параметров. Как правило, число параметров, то есть внутренних переменных, которые используются моделями для прогнозирования ответов и принятия решений, коррелирует с навыками моделей: чем больше параметров, тем она способнее. Но для запуска таких систем ИИ требуется больше вычислительных ресурсов.

DeepSeek V3 была обучена за два месяца в центре обработки данных на ускорителях Nvidia H800 — сейчас их поставки в Китай запрещены американскими санкциями. Стоимость обучения модели, утверждает разработчик, составила $5,5 млн, что значительно ниже расходов OpenAI на те же цели. При этом DeepSeek V3 политически выверена — она отказывается отвечать на вопросы, которые официальный Пекин считает щекотливыми.

В ноябре тот же разработчик представил модель DeepSeek-R1 — аналог «рассуждающей» OpenAI o1. Одним из инвесторов DeepSeek является китайский хедж-фонд High-Flyer Capital Management, который принимает решения с использованием ИИ. В его распоряжении есть несколько собственных кластеров для обучения моделей. Один из последних, по некоторым сведениям, содержит 10 000 ускорителей Nvidia A100, а его стоимость составила 1 млрд юаней ($138 млн). High-Flyer стремится помочь DeepSeek в разработке «сверхразумного» ИИ, который превзойдёт человека.