Большая языковая модель BerryLM-XL, которая была дообучена специалистами RWB, вошла в тройку лидеров текстового рейтинга русскоязычного бенчмарка MERA. По итогам тестирования алгоритм получил интегральную оценку 0,835. Для сравнения, эталонная оценка на основе ответов людей на аналогичные вопросы Human Benchmark составляет 0,852.
Источник изображения: Steve Johnson / Unsplash
В настоящее время BerryLM-XL расположилась на третьем месте общего рейтинга MERA и на втором среди ИИ-моделей. Оценка алгоритма сформирована по результатам выполнения 15 заданий, предназначенных для проверки работы с русскоязычным текстом, оценке знаний, логики и прикладных навыков. В первую пятёрку также вошла созданная RWB модель BerryLM-v2 — она заняла пятое место с оценкой 0,810.
ИИ-модели семейства BerryLM используются в продуктах Wildberries, включая ИИ-ассистента для покупателей, а также инструменты сравнения и поиска товаров. В дополнение к этому модели интегрированы в инструменты для продавцов. Они помогают формировать ответы на отзывы и вопросы пользователей. Параллельно с этим ИИ-алгоритмы помогают автоматизировать внутренние процессы RWB. По оценке компании, совокупный эффект от использования ИИ-инструментов на базе моделей BerryLM превышает 1 млрд рублей дополнительной выручки в год.