VK обновила ИИ-модель Diona для генерации текстов

VK представила новую версию собственной модели искусственного интеллекта Diona, предназначенной для создания и редактирования текстов. Её возможности расширились, а потребление вычислительных ресурсов сократилось. В перспективе компания намеревается сделать модель мультимодальной — обучить её также работе с изображениями, звуком и видео.

Обновлённая версия Diona построена на существующей версии модели, первоначально обученной на материалах пользователей, включая их комментарии в открытых группах. Сейчас для обучения использовали также большие объёмы других текстов. Диапазон параметров Diona вырос в 1,5 раза и теперь составляет от 4 млрд до 32 млрд. Стоимость разработки проекта в VK не уточнили, но, по оценкам экспертов, создание подобных моделей обходится от 500 млн до 800 млн руб. «Она открывает новые возможности для внутренних инструментов VK и генеративных функций в продуктах холдинга. Лучше справляется с решением инженерных задач, а также с задачами генерации и суммаризации текстов», — приводит «Коммерсантъ» заявление компании.

Сократить расходы в VK могли, взяв за основу открытую модель ИИ и проведя её дообучение, предполагают опрошенные изданием эксперты. Указанное разработчиком число параметров позволяет отнести Diona к универсальным, а не специализированным моделям в нижнем диапазоне. Такие могут запускаться на потребительских ПК с бытовыми видеокартами — у флагманских число параметров измеряется сотнями миллиардов и доходит до триллиона.

Контекстное окно VK Diona увеличилось в восемь раз и достигло 32 тыс. токенов. Показатель отнюдь не революционный, указывают эксперты, но этого вполне хватит для решения прикладных задач, таких как работа с документами и анализ переписки. В перспективе VK намерена сделать Diona мультимодальной моделью, то есть, помимо текста, обучить её работе с изображениями, звуком и видео — на это, считают эксперты, у компании уйдут два или три года.