Сегодня 22 января 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Сбер» выложил в открытый доступ русскоязычную ИИ-модель ruGPT-3.5

Инженеры «Сбера» выложили в открытый доступ нейросетевую модель ruGPT-3.5, лежащую в основе сервиса GigaChat, который до сих пор проходит стадию закрытого тестирования. Лицензия MIT позволяет использовать материалы проекта в коммерческих целях.

 Структура датасета ruGPT-3.5. Источник изображения: habr.com

Структура датасета ruGPT-3.5. Источник изображения: habr.com

Важнейшим недостатком открытых больших языковых моделей вроде Meta LlaMA является ограниченная поддержка русского языка — обычно это русский раздел «Википедии» и некоторое количество общедоступных текстов. Это оказывает негативное влияние на понимание моделью языка и качество её ответов. Модель ruGPT-3.5, основанная на архитектуре OpenAI GPT-3, создана в первую очередь для работы в русскоязычной среде, поэтому она более качественно обрабатывает такие запросы.

Обучение модели производилось в два этапа. Первый этап продлился 1,5 месяца — за это время платформа обработала 300 Гбайт данных: книги, энциклопедийные и научные статьи, социальные ресурсы и другие источники. Потребовались ресурсы 512 ускорителей NVIDIA V100. На втором этапе проводилось дообучение на 110 Гбайт данных из датасета The Stack, юридических документов и обновлённых текстов «Википедии» — это заняло три недели и потребовало 200 ускорителей NVIDIA A100.

В результате у ruGPT-3.5 13 млрд параметров при длине контекста 2048 токенов — для сравнения, привели пример разработчики, рассказ А. П. Чехова «Хамелеон» разбивается на 1650 токенов при его длине в 901 слово.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Хардкорный режим, скачки и три сюжетных дополнения: Warhorse рассказала, как будет поддерживать Kingdom Come: Deliverance 2 после релиза 6 ч.
HPE проводит расследование в связи с заявлением хакеров о взломе её систем 6 ч.
«Мы создали CRPG нашей мечты»: продажи Warhammer 40,000: Rogue Trader превысили миллион копий 7 ч.
Создатели Lineage и Guild Wars отменили MMORPG во вселенной Horizon Zero Dawn и Horizon Forbidden West 7 ч.
Instagram начал переманивать блогеров из TikTok денежными бонусами до $50 тысяч в месяц 8 ч.
Eternal Strands, Starbound, Far Cry New Dawn и ещё шесть игр: Microsoft рассказала о ближайших новинках Game Pass 9 ч.
ИИ превзойдёт человеческий разум в течение двух-трёх лет, уверен глава Anthropic 10 ч.
Keep Driving вышла на финишную прямую — новый трейлер и дата релиза ностальгической RPG о путешествии по стране на своей первой машине 10 ч.
Google стала на шаг ближе к ИИ, который думает как человек — представлена архитектура Titans 12 ч.
У «Ростелекома» произошла утечка данных — клиентам рекомендовано сменить пароли 12 ч.
GeForce RTX 5000 Kingpin не будет — легендарный оверклокер рассказал о планах на будущее, в которых есть место не только Nvidia 4 ч.
Слухи: OpenAI, Oracle и Softbank вложат $100 млрд в ИИ-инфраструктуру США, а в перспективе — до $500 млрд 4 ч.
Новая статья: Обзор смартфона OPPO Find X8: очень удобный флагман 4 ч.
К мемкоинам приведут настоящих инвесторов — поданы заявки на крипто-ETF в Dogecoin и TRUMP 5 ч.
Fujifilm представила гибридную камеру мгновенной печати Instax Wide Evo с широкоугольным объективом 9 ч.
Новый Apple iPhone SE получит вырез Dynamic Island вместо чёлки 11 ч.
К 2035 году США смогут получать до 84 ГВт из источников возобновляемой энергии на федеральных землях 11 ч.
Maxsun выпустила новые видеокарты на чипах Nvidia Kepler десятилетней давности 11 ч.
«Транснефть» направила повторный иск к Cisco на 56 млн рублей 11 ч.
Sparkle представила видеокарту Arc B580 Titan Luna с белой печатной платой и подпоркой 11 ч.