Сегодня 22 июня 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Microsoft представила Phi-3 Mini — самую маленькую ИИ-модель, которую учили на «детских книгах»

Компания Microsoft представила следующую версию своей модели искусственного интеллекта Phi-3 Mini. Она стала первой из трёх небольших ИИ-моделей, которые софтверный гигант планирует выпустить в свет.

 Источник изображения: geralt/Pixabay

Источник изображения: geralt/Pixabay

Phi-3 Mini с 3,8 млрд параметров обучается на наборе данных, который меньше по сравнению с массивом, используемым для обучения больших языковых моделей (LLM), таких как GPT-4. В настоящее время Phi-3 Mini доступна на облачной платформе Azure, а также в Hugging Face и Ollama. В дополнение к этому Microsoft планирует выпустить ИИ-модели Phi-3 Small с 7 млрд параметров и Phi-3 Medium с 14 млрд параметров.

В декабре прошлого года Microsoft выпустила модель Phi-2, которая работала так же хорошо, как и более крупные модели, такие как Llama 2. По словам разработчиков, Phi-3 работает лучше предыдущей версии и может давать ответы, близкие к тем, что дают модели в 10 раз больше. Корпоративный вице-президент Microsoft Azure AI Platform Эрик Бойд (Eric Boyd) заявил, что Phi-3 Mini по своим возможностям не уступает таким LLM, как GPT-3.5, и выполнена «в меньшем форм-факторе».

По сравнению с более крупными аналогами, небольшие ИИ-модели обычно дешевле в эксплуатации и лучше работают на персональных устройствах, таких как смартфоны и ноутбуки. В начале этого года СМИ писали, что Microsoft создала отдельную команду для разработки именно небольших ИИ-моделей. Наряду с Phi компания также создала модель Orca-Math, которая ориентирована на решение математических задач.

Конкуренты Microsoft занимаются разработкой небольших ИИ-моделей, многие из которых нацелены на решение более простых задач, таких как обобщение документов или помощь в написании программного кода. К примеру, модели Gemma 2B и 7B от Anthropic могут обрабатывать большие научные статьи с графиками и быстро обобщать их, а недавно выпущенная модель Llama 3 от Meta может использоваться для создания чат-ботов и помощи в написании кода.

По словам Бойда, разработчики обучали Phi-3 по «учебному плану». Они вдохновлялись тем, как дети учатся на сказках, читаемых перед сном. Это книги с более простыми словами и структурами предложений, но в то же время зачастую в них поднимаются важные темы. Поскольку существующей литературы для детей при тренировке Phi-3 не хватало, разработчики взяли список из более чем 3000 тем и попросили большие языковые модели написать дополнительные «детские книги» специально для обучения Phi-3.

Бойд добавил, что Phi-3 просто развивает дальше то, чему обучились предыдущие итерации ИИ-модели. Если Phi-1 была ориентирована на кодирование, а Phi-2 начала учиться рассуждать, то Phi-3 ещё лучше справляется с кодированием и рассуждениями. Хотя модели семейства Phi-3 обладают некоторыми общими знаниями, они не могут превзойти GPT-4 или другие LLM по широте охвата.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
США ввели персональные санкции против топ-менеджеров «Лаборатории Касперского» 2 ч.
Новая статья: Alan Wake 2: Night Springs — времени мало, вопросов много. Рецензия 3 ч.
На iOS вышел первый облачный игровой сервис — Antstream с сотнями ретро-игр 3 ч.
«Ради такого даже можно "Лигу" обратно скачать»: фанаты League of Legends остались в восторге от трейлера нового PvE-режима в духе Vampire Survivors 3 ч.
Реструктуризация Embracer загубила новую Red Faction с разрушаемостью в духе Red Faction: Guerrilla и элементами immersive sim 4 ч.
Microsoft: новая Fable и Doom: The Dark Ages до сих пор не получили даты выхода из-за GTA VI 6 ч.
Amazon проведёт «капремонт» голосового помощника Alexa и добавит платную подписку за $5–10 в месяц 7 ч.
Слухи: Sony потеряла веру в PS VR2 и оставила в разработке для гарнитуры всего две игры 7 ч.
«Turok, которого у нас не было»: игроков впечатлил трейлер реалистичного шутера с динозаврами и мехами Ferocious 8 ч.
Этичные хакеры стали активно взламывать крупные модели ИИ — у них получается обходить ограничения 8 ч.
Oracle построит в Испании третий облачный регион и инвестирует $1 млрд в течение 10 лет 2 ч.
Альянс CHERI будет продвигать технологию надёжной защиты памяти от атак — первой её могут получить процессоры RISC-V 3 ч.
Kingpin поможет PNY создать оверклокерские видеокарты GeForce нового поколения 6 ч.
В России начались продажи ноутбука HONOR MagicBook 16 Pro с чипом Intel Core Ultra 5 125H и поддержкой ИИ 8 ч.
Стратегия Apple в области ИИ подстегнула рост акций, хотя инвесторы настроены скептически 9 ч.
Представлен смартфон Oppo Reno 11A — AMOLED-дисплей на 120 Гц, зарядка на 67 Вт и цена около $300 9 ч.
Производитель гигантских ИИ-суперчипов Cerebras Systems готовится к IPO 11 ч.
Илон Маск заявил, что суперкомпьютер Tesla увеличит мощность до 500 МВт через полтора года 11 ч.
Corsair выпустила самый быстрый SSD формата M.2 2230 — MP600 Mini R2 со скоростью до 7000 Мбайт/с 11 ч.
AOC представила 27-дюймовый игровой изогнутый монитор AOC Gaming C27G2Z3/BK с Full HD и 280 Гц 11 ч.