На этой неделе китайская компания Alibaba анонсировала семейство флагманских ИИ-моделей Qwen3, использующих метод «смешения экспертов» для достижения результатов, сопоставимых с итогами работы гибридных рассуждающих моделей. Спустя всего несколько дней гигант электронной коммерции и облачных вычислений представил облегчённую модель Qwen2.5-Omni-3B на базе архитектуры предыдущего поколения, которая предназначена для автономной работы на ПК и ноутбуках потребительского уровня.
Источник изображения: BoliviaInteligente / Unsplash
Qwen2.5-Omni-3B представляет собой уменьшенный до 3 млрд параметров вариант флагманского алгоритма с 7 млрд параметров. Несмотря на уменьшенный размер, эта версия ИИ-модели сохранила более 90 % мультимодальной производительности и может обеспечить генерацию в режиме онлайн как текста, так и естественной речи.
Разработчики сумели добиться значительного повышения эффективности использования памяти графического ускорителя. Отмечается, что у Qwen2.5-Omni-3B потребление видеопамяти снижено на 50 % при обработке длинных контекстов до 25 тыс. лексем. После оптимизации настроек потребление памяти снизилось с 60,2 Гбайт у модели с 7 млрд параметров до 28,2 Гбайт у модели с 3 млрд параметров. За счёт этого алгоритм Qwen2.5-Omni-3B можно развернуть на устройстве, в котором используется графический ускоритель с 24 Гбайт видеопамяти. Такие видеокарты обычно можно встретить в ПК и ноутбуках премиального уровня.
Уже сейчас Qwen2.5-Omni-3B доступна для скачивания на Hugging Face, GitHub и ModelScope. При этом условия лицензирования позволяют задействовать алгоритм только в исследовательских целях. Это означает, что без получения лицензии Alibaba на использование семейства моделей Qwen нельзя создавать какие-либо коммерческие продукты на основе Qwen2.5-Omni-3B. Результаты тестирования алгоритма в бенчмарках указывают на то, что несмотря на уменьшение размера ИИ-модели, она остаётся вполне конкурентоспособной.
Источник изображения: venturebeat.com
Qwen2.5-Omni-3B способна обрабатывать поступающие одновременно данные разного типа, генерируя текстовые или голосовые ответы в режиме реального времени. Есть возможность выбора между женским и мужским голосами, которые используются для озвучивания ответов на пользовательские запросы. Отключение генерации звука, когда в этом нет необходимости, позволит дополнительно сократить потребление памяти. Команда разработчиков подчёркивает открытый характер проекта, предоставляя доступ к наборам сопутствующих инструментов, предварительно обученным версиям алгоритма, а также возможность использования соответствующего API и руководства по развёртыванию ИИ-модели.
Несмотря на то, что Qwen2.5-Omni-3B снижает технические и аппаратные барьеры для экспериментов с мультимодальными ИИ-моделями, необходимость получения лицензии Alibaba для коммерческого использования алгоритма сохраняет определённые ограничения. Однако корпоративные разработчики смогут задействовать алгоритм для тестирования собственных идей, оценки архитектур или принятия решения о получении лицензии для коммерческого использования. В таком контексте Qwen2.5-Omni-3B становится не столько вариантом для развёртывания, сколько инструментом стратегической оценки или способом приблизиться к использованию мультимодальной ИИ-модели, выделяя на это меньше ресурсов.