Nvidia выпустила ИИ-модель Nemotron 3 Nano 30B с открытыми весами и большущим контекстным окном

Компания Nvidia сообщила подробности о новом семействе моделей Nemotron 3 с открытыми весами, разработанном, в том числе, для создания специализированного агентного ИИ нового поколения.

Источник изображения: Nvidia

Первый представитель семейства — модель Nemotron 3 Nano 30B с открытыми весами, общим количеством параметров в 30 млрд и 3 млрд активных параметров. Модель основана на гибридной архитектуре Mamba-Transformer, сочетающей «смесь экспертов» (MoE), обучение с подкреплением (RL) в интерактивных средах и собственное контекстное окно в 1 млн токенов, обеспечивающее высокопроизводительное и долгосрочное рассуждение для многоагентных приложений.

Как сообщает VideoCardz со ссылкой на публикацию на Hugging Face, маршрутизатор активирует 6 из 128 экспертов за один проход. Nvidia сообщила, что для запуска модели может использоваться система DGX Spark, а также ускорители H100 и B200.

В числе новшеств Nemotron 3, напрямую отвечающих потребностям агентных систем, указаны:

• гибридная архитектура Mamba-Transformer MoE для повышения эффективности тестирования и долгосрочного рассуждения.
• многосредовое обучение с подкреплением, разработанное на основе реальных агентных задач.
• контекстное окно на 1 млн токенов с поддержкой глубокого рассуждения по нескольким документам и долговременной памяти агентов. Благодаря этому обеспечивается устойчивое логическое мышление в больших кодовых базах, длинных документах, продолжительных диалогах и агрегированном извлеченном контенте. Вместо использования фрагментированных эвристических алгоритмов сегментации, агенты могут хранить целые наборы доказательств, буферы истории и многоэтапные планы в одном контекстном окне.
• открытый, прозрачный конвейер обучения, включающий данные, веса и рецепты.

Семейство MoE Nemotron 3 включает три модели:

• Nemotron 3 Nano — компактная модель с 30 млрд параметров, активирующая до 3 млрд параметров одновременно для целевых высокоэффективных задач;
• Nemotron 3 Super — высокоточная модель рассуждений с приблизительно 100 млрд параметров и до 10 млрд активных параметров на токен, предназначенная для многоагентных приложений;
• Nemotron 3 Ultra — крупная модель рассуждений.

Nemotron 3 Nano с готовыми к использованию руководствами доступна уже сейчас. Nemotron 3Super и Ultra выйдут немного позже.