Сегодня 06 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Сфера ИИ заинтересовалась малыми языковыми моделями — они дешевле и эффективнее больших в конкретных задачах

На рынке ИИ сейчас наблюдается тренд на использование малых языковых моделей (SLM), которые имеют меньше параметров, чем большие языковые модели (LLM), и лучше подходят для более узкого круга задач, пишет журнал Wired.

 Источник изображения: Luke Jones/unsplash.com

Источник изображения: Luke Jones/unsplash.com

Новейшие версии LLM компаний OpenAI, Meta и DeepSeek имеют сотни миллиардов параметров, благодаря чему могут лучше определять закономерности и связи, что делает их более мощными и точными. Однако их обучение и использование требуют огромных вычислительных и финансовых ресурсов. Например, обучение модели Gemini 1.0 Ultra обошлось Google в 191 миллион долларов. По данным Института исследований электроэнергетики, выполнение одного запроса в ChatGPT требует примерно в 10 раз больше энергии, чем один поиск в Google.

IBM, Google, Microsoft и OpenAI недавно выпустили SLM, имеющие всего несколько миллиардов параметров. Их нельзя использовать в качестве универсальных инструментов, как LLM, но они отлично справляются с более узко определёнными задачами, такими как подведение итогов разговоров, ответы на вопросы пациентов в качестве чат-бота по вопросам здравоохранения и сбор данных на интеллектуальных устройствах. «Они также могут работать на ноутбуке или мобильном телефоне, а не в огромном ЦОД», — отметил Зико Колтер (Zico Kolter), учёный-компьютерщик из Университета Карнеги — Меллона.

Для обучения малых моделей исследователи используют несколько методов, например дистилляцию знаний, при которой LLM генерирует высококачественный набор данных, передавая знания SLM, как учитель даёт уроки ученику. Также малые модели создаются из больших путём «обрезки» — удаления ненужных или неэффективных частей нейронной сети.

Поскольку у SLM меньше параметров, чем у больших моделей, их рассуждения могут быть более прозрачными. Небольшая целевая модель будет работать так же хорошо, как большая, при выполнении конкретных задач, но её будет проще разрабатывать и обучать. «Эти эффективные модели могут сэкономить деньги, время и вычислительные ресурсы», — сообщил Лешем Чошен (Leshem Choshen), научный сотрудник лаборатории искусственного интеллекта MIT-IBM Watson.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Журналисты показали сражение с многоглазым козлом-шаманом из Elden Ring Nightreign — фанаты заинтригованы 3 ч.
«10 лет Гвинта»: CD Projekt Red пригласила игроков на празднование юбилея The Witcher 3: Wild Hunt 5 ч.
Календарь релизов — 5–11 мая: «Приключения капитана Блада», Hordes of Hunger и The Midnight Walk 5 ч.
Антимонопольный иск против Google может привести к исчезновению Firefox 6 ч.
Рынок DLP-систем взлетел на 40 % после принятия закона о штрафах за утечки персональных данных 6 ч.
Microsoft анонсировала Gears of War: Reloaded, в том числе для PS5 — дата выхода, технические улучшения и бесплатный апгрейд с подвохом 6 ч.
Apple оспорила решение суда, ограничившее её контроль над приложениями для iPhone 7 ч.
«До свидания, Skype»: Microsoft закрыла сервис, который когда-то первым принёс видеосвязь миллионам людей 8 ч.
В этом месяце Трамп заработает миллионы на криптовалюте всего за два вечера 9 ч.
«У нас появился шанс!»: звезда Kingdom Come: Deliverance 2 остался в восторге от переноса GTA VI 9 ч.
Новая статья: ИИтоги апреля 2025 г.: шутки в сторону 3 ч.
ЦОД Испании и Португалии успешно пережили крупнейший «блэкаут» в истории стран, а вот телеком-инфраструктура испытала серьёзные проблемы 3 ч.
Жёсткий диск, который работает даже без работы: Buffalo выпустила внешний HDD с окошком 3 ч.
AOC выпустила 27-дюймовый игровой IPS-монитор Q27G4K с 1440p и 400 Гц 3 ч.
Ещё один повод избегать GeForce RTX 5060 Ti 8GB: карта «задыхается» без PCIe 5.0 4 ч.
Индонезия намерена построить АЭС на 10 ГВт в рамках масштабного энергетического экопроекта 4 ч.
Google и Broadcom совместно обеспечат кибербезопасность своих решений 7 ч.
США готовят закон об отслеживании ИИ-чипов после продажи, чтобы пресечь их контрабанду в Китай 7 ч.
1 Пбит/с через Атлантику: Meta намерена построить самый быстрый подводный кабель 7 ч.
Unitree представила робопса-пожарного с брандспойтом на месте головы 10 ч.