Сегодня 21 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Сбер» выложил в открытый доступ русскоязычную ИИ-модель ruGPT-3.5

Инженеры «Сбера» выложили в открытый доступ нейросетевую модель ruGPT-3.5, лежащую в основе сервиса GigaChat, который до сих пор проходит стадию закрытого тестирования. Лицензия MIT позволяет использовать материалы проекта в коммерческих целях.

 Структура датасета ruGPT-3.5. Источник изображения: habr.com

Структура датасета ruGPT-3.5. Источник изображения: habr.com

Важнейшим недостатком открытых больших языковых моделей вроде Meta LlaMA является ограниченная поддержка русского языка — обычно это русский раздел «Википедии» и некоторое количество общедоступных текстов. Это оказывает негативное влияние на понимание моделью языка и качество её ответов. Модель ruGPT-3.5, основанная на архитектуре OpenAI GPT-3, создана в первую очередь для работы в русскоязычной среде, поэтому она более качественно обрабатывает такие запросы.

Обучение модели производилось в два этапа. Первый этап продлился 1,5 месяца — за это время платформа обработала 300 Гбайт данных: книги, энциклопедийные и научные статьи, социальные ресурсы и другие источники. Потребовались ресурсы 512 ускорителей NVIDIA V100. На втором этапе проводилось дообучение на 110 Гбайт данных из датасета The Stack, юридических документов и обновлённых текстов «Википедии» — это заняло три недели и потребовало 200 ускорителей NVIDIA A100.

В результате у ruGPT-3.5 13 млрд параметров при длине контекста 2048 токенов — для сравнения, привели пример разработчики, рассказ А. П. Чехова «Хамелеон» разбивается на 1650 токенов при его длине в 901 слово.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Meta уже несколько лет пытается вернуть Facebook культурную ценность 5 ч.
Новая статья: Blue Prince — особняк желаний. Рецензия 20-04 00:05
Новая статья: Gamesblender № 722: народные GeForce 50, подорожание консолей и ролевая свобода в The Outer Worlds 2 19-04 23:32
За срыв импортозамещения КИИ будут наказывать рублём, в том числе коммерческие компании 19-04 23:23
Свежий драйвер Nvidia ускорил видеокарты в синтетических тестах, но проблемы со стабильностью остались 19-04 17:34
«Копидел» поможет в клонировании и массовом развёртывании ОС «Альт» 19-04 15:44
Поумневшие ИИ-модели OpenAI o3 и o4-mini проявили повышенную склонность к галлюцинациям 19-04 13:06
EA показала суровую тактическую стратегию Star Wars Zero Company от ветеранов XCOM — первый трейлер и подробности 19-04 12:39
Новая статья: South of Midnight — соткана по лекалам. Рецензия 19-04 00:02
Вежливость — это дорого: OpenAI тратит миллионы долларов на «спасибо» и «пожалуйста» в ChatGPT 18-04 23:06