Microsoft выпустила три новые малые языковые модели (SLM) с открытой лицензией: Phi-4-mini-reasoning, Phi-4-reasoning и Phi-4-reasoning-plus. Каждая из моделей относится к классу рассуждающих (reasoning) моделей, ориентированных на логическую верификацию решений и тщательную проработку сложных задач. Эти ИИ-модели стали продолжением инициативы Microsoft по разработке компактных ИИ-систем — семейства Phi, впервые представленного год назад как фундамент для приложений, работающих на устройствах с ограниченными вычислительными возможностями.

Источник изображения: Jackson Sophat / Unsplash

Наиболее производительной из представленных является ИИ-модель Phi-4-reasoning-plus. Она представляет собой адаптацию ранее выпущенной Phi-4 под задачи логического вывода. По утверждению Microsoft, её качество ответов близко к DeepSeek R1, несмотря на существенную разницу в объёме параметров: у DeepSeek R1 — 671 млрд, тогда как у Phi-4-reasoning-plus их значительно меньше. Согласно внутреннему тестированию Microsoft, эта модель показала результаты, соответствующие ИИ-модели OpenAI o3-mini в рамках бенчмарка OmniMath, оценивающего математические способности ИИ.

Модели Phi-4-reasoning и Phi-4-reasoning-plus (14 млрд параметров) демонстрируют превосходство над базовой Phi-4 и уверенно конкурируют с более крупными системами, включая DeepSeek-R1 Distill (70 млрд параметров) и OpenAI o3-mini, в задачах математического и логического мышления (AIME, HMMT, OmniMath, GPQA). Источник изображения: Microsoft

Модель Phi-4-reasoning содержит 14 млрд параметров и обучалась на основе «качественных» данных из интернета, а также на отобранных демонстрационных примерах из o3-mini. Она оптимизирована для задач в области математики, естественных наук и программирования. Таким образом, Phi-4 reasoning ориентирована на высокоточные вычисления и аналитическую интерпретацию данных, оставаясь при этом относительно компактной и доступной для использования на локальных вычислительных платформах.

На универсальных тестах, включая FlenQA, IFEval, HumanEvalPlus, MMLUPro, ToxiGen и PhiBench, модели Phi-4-reasoning-plus демонстрируют точность, сопоставимую с GPT-4o и o3-mini, несмотря на меньший объём параметров (14 млрд параметров), особенно в задачах программирования, логики и безопасности. Источник изображения: Microsoft

Phi-4-mini-reasoning — самая малогабаритная из представленных SLM. Её размер составляет около 3,8 млрд параметров. Она обучалась на основе приблизительно 1 млн синтетических математических задач, сгенерированных ИИ-моделью R1 китайского стартапа DeepSeek. Microsoft позиционирует её как ИИ-модель для образовательных сценариев, включая «встроенное обучение» на маломощных и мобильных устройствах. Благодаря компактности и точности, эта ИИ-модель может применяться в интерактивных обучающих системах, где приоритетом являются скорость отклика и ограниченность вычислительных ресурсов.

Phi-4-mini-reasoning (3,8 млрд параметров) значительно превосходит свою базовую версию и модели с вдвое большим размером на бенчмарках AIME 24, MATH-500 и GPQA Diamond, а также сопоставима или превосходит OpenAI o1-mini по точности генерации длинных математических ответов. Источник изображения: Microsoft

Все три ИИ-модели доступны на платформе Hugging Face и распространяются под открытой лицензией. По словам Microsoft, при их обучении использовались дистилляция, обучение с подкреплением и высококачественные обучающие данные. Эти методы позволили сбалансировать размер SLM и их вычислительную производительность. ИИ-модели достаточно компактны, чтобы использоваться в средах с низкой задержкой, но при этом способны решать задачи, требующие строгости логического построения и достоверности результата. Ранее такие задачи были характерны лишь для гораздо более крупных ИИ.

На рынке ИИ сейчас наблюдается тренд на использование малых языковых моделей (SLM), которые имеют меньше параметров, чем большие языковые модели (LLM), и лучше подходят для более узкого круга задач, пишет журнал Wired.

Источник изображения: Luke Jones/unsplash.com

Новейшие версии LLM компаний OpenAI, Meta✴ и DeepSeek имеют сотни миллиардов параметров, благодаря чему могут лучше определять закономерности и связи, что делает их более мощными и точными. Однако их обучение и использование требуют огромных вычислительных и финансовых ресурсов. Например, обучение модели Gemini 1.0 Ultra обошлось Google в 191 миллион долларов. По данным Института исследований электроэнергетики, выполнение одного запроса в ChatGPT требует примерно в 10 раз больше энергии, чем один поиск в Google.

IBM, Google, Microsoft и OpenAI недавно выпустили SLM, имеющие всего несколько миллиардов параметров. Их нельзя использовать в качестве универсальных инструментов, как LLM, но они отлично справляются с более узко определёнными задачами, такими как подведение итогов разговоров, ответы на вопросы пациентов в качестве чат-бота по вопросам здравоохранения и сбор данных на интеллектуальных устройствах. «Они также могут работать на ноутбуке или мобильном телефоне, а не в огромном ЦОД», — отметил Зико Колтер (Zico Kolter), учёный-компьютерщик из Университета Карнеги — Меллона.

Для обучения малых моделей исследователи используют несколько методов, например дистилляцию знаний, при которой LLM генерирует высококачественный набор данных, передавая знания SLM, как учитель даёт уроки ученику. Также малые модели создаются из больших путём «обрезки» — удаления ненужных или неэффективных частей нейронной сети.

Поскольку у SLM меньше параметров, чем у больших моделей, их рассуждения могут быть более прозрачными. Небольшая целевая модель будет работать так же хорошо, как большая, при выполнении конкретных задач, но её будет проще разрабатывать и обучать. «Эти эффективные модели могут сэкономить деньги, время и вычислительные ресурсы», — сообщил Лешем Чошен (Leshem Choshen), научный сотрудник лаборатории искусственного интеллекта MIT-IBM Watson.

Microsoft представила передовую ИИ-модель Phi-2, насчитывающую 2,7 млрд параметров. Модель продемонстрировала превосходные результаты в широком спектре тестов, включая понимание языка, решение математических задач, программирование и обработку информации. Главной особенностью Phi-2 является её способность конкурировать, а зачастую и превосходить ИИ-модели, в 25 раз превышающие её по размеру. Новинка уже доступна через Microsoft Azure AI Studio для исследователей и разработчиков, желающих интегрировать передовой ИИ в свои приложения.

Источник изображений: Microsoft

Генеральный директор Microsoft Сатья Наделла (Satya Nadella), представил модель Phi-2 на мероприятии Ignite. Отличительной особенностью этой модели является её обучение на данных, соответствующих качеству учебного уровня. Это означает, что данные для обучения модели были тщательно отобраны и структурированы, что способствовало точности и эффективности обучения. Такой подход позволяет Phi-2 более эффективно переносить знания и толкования, полученные из других моделей, укрепляя её способности в областях понимания языка, логического мышления и обработки информации.

Средняя производительность по сгруппированным бенчмаркам по сравнению с популярными открытыми SLMs

Phi-2 меняет устоявшиеся представления о связи между размером и мощностью языковых моделей. Модель сравнима с большими ИИ-моделями, такими как 7B Mistral компании Mistral AI, 13B Llama 2 компании Meta✴ и даже 70B Llama-2. Особое внимание заслуживает способность Phi-2 превосходить даже Gemini Nano компании Google, самую эффективную модель в серии Gemini, предназначенную для работы на мобильных устройствах. Это подчёркивает потенциал Phi-2 в области мобильных технологий, предоставляя функции автоматического резюмирования текстов, продвинутой корректуры и исправления грамматики, а также контекстуальных интеллектуальных ответов.

Сравнение между Phi-2 и моделью Gemini Nano 2 на основе заявленных бенчмарков Gemini

Специалисты Microsoft подчёркивают, что высокая производительность модели Phi-2 достигнута без применения методов обучения с подкреплением (reinforcement learning), основанных на человеческой обратной связи, или методов инструкционной настройки (instructional tuning). Это позволяет модели эффективно минимизировать проявления предвзятости и снижать риск токсичных выходных данных, что делает Phi-2 одной из наиболее безопасных и этичных моделей в сфере ИИ.

Безопасность оценена по 13 демографическим группам на основе ToxiGen. Подмножество из 6541 предложений выбрано и оценено в диапазоне от 0 до 1 на основе масштабированной перплексии и токсичности предложений. Более высокий балл указывает на меньшую вероятность генерации ИИ-моделью токсичных предложений по сравнению с безобидными

Phi-2 является частью серии малых языковых моделей (SLMs) компании Microsoft. Первая модель этой серии, Phi-1 с 1,3 млрд параметров, вышла ранее в этом году и была нацелена на задачи программирования на языке Python. В сентябре была представлена Phi-1.5 с аналогичным количеством параметров, но обученная на новых данных, включая синтетические тексты, созданные с помощью программирования на естественном языке.

Сравнение между моделями Phi-2 и Phi-1.5. Все задачи оцениваются в режиме 0-shot, за исключением BBH и MMLU, для которых используется 3-shot CoT и 5-shot соответственно

Phi-2 открывает новую главу в машинном обучении, где качество и эффективность обучения становятся ключевыми факторами. Эта ИИ-модель не только свидетельствует о значительных достижениях Microsoft в данной сфере, но и предоставляет новые возможности для разработчиков и исследователей по всему миру, открывая двери к более умным и безопасным технологиям будущего.