Сегодня 05 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Сбер» выложил в открытый доступ русскоязычную ИИ-модель ruGPT-3.5

Инженеры «Сбера» выложили в открытый доступ нейросетевую модель ruGPT-3.5, лежащую в основе сервиса GigaChat, который до сих пор проходит стадию закрытого тестирования. Лицензия MIT позволяет использовать материалы проекта в коммерческих целях.

 Структура датасета ruGPT-3.5. Источник изображения: habr.com

Структура датасета ruGPT-3.5. Источник изображения: habr.com

Важнейшим недостатком открытых больших языковых моделей вроде Meta LlaMA является ограниченная поддержка русского языка — обычно это русский раздел «Википедии» и некоторое количество общедоступных текстов. Это оказывает негативное влияние на понимание моделью языка и качество её ответов. Модель ruGPT-3.5, основанная на архитектуре OpenAI GPT-3, создана в первую очередь для работы в русскоязычной среде, поэтому она более качественно обрабатывает такие запросы.

Обучение модели производилось в два этапа. Первый этап продлился 1,5 месяца — за это время платформа обработала 300 Гбайт данных: книги, энциклопедийные и научные статьи, социальные ресурсы и другие источники. Потребовались ресурсы 512 ускорителей NVIDIA V100. На втором этапе проводилось дообучение на 110 Гбайт данных из датасета The Stack, юридических документов и обновлённых текстов «Википедии» — это заняло три недели и потребовало 200 ускорителей NVIDIA A100.

В результате у ruGPT-3.5 13 млрд параметров при длине контекста 2048 токенов — для сравнения, привели пример разработчики, рассказ А. П. Чехова «Хамелеон» разбивается на 1650 токенов при его длине в 901 слово.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Не очень хорошо, но очень интересно»: критики вынесли вердикт экшен-хоррору Slitterhead от создателя Silent Hill 4 ч.
«У нас всего один шанс»: Ubisoft объяснила, почему перенос Assassin's Creed Shadows был необходим 6 ч.
Игрок обнаружил в ремейке Silent Hill 2 секретное послание — разработчики боялись, что загадка будет слишком сложной 7 ч.
Baldur’s Gate 3, Stellar Blade, Star Wars Outlaws и многие другие: поддержку PS5 Pro на запуске получат более 50 игр 8 ч.
Евросоюз проверит iPadOS на соответствие требованием антимонопольного законодательства 9 ч.
Windows 11 закрепилась как самая популярная ОС в Steam 11 ч.
«Смута» получила «знаковое» обновление 2.0.0 и крупнейшую скидку с релиза, а на iOS и Android вышла визуальная новелла «Смута: Зов сердца» 14 ч.
iOS 18.2 выйдет раньше — интеграция с ChatGPT и ИИ-генератор эмодзи Genmoji появятся на iPhone уже 2 декабря 15 ч.
Энтузиаст запустил классическую Doom на умном будильнике Alarmo от Nintendo 15 ч.
Project Borealis: Prologue обзавелась страницей в Steam — новые скриншоты демоверсии фанатской Half-Life 3 на Unreal Engine 5 16 ч.