Сегодня 13 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Сфера ИИ заинтересовалась малыми языковыми моделями — они дешевле и эффективнее больших в конкретных задачах

На рынке ИИ сейчас наблюдается тренд на использование малых языковых моделей (SLM), которые имеют меньше параметров, чем большие языковые модели (LLM), и лучше подходят для более узкого круга задач, пишет журнал Wired.

 Источник изображения: Luke Jones/unsplash.com

Источник изображения: Luke Jones/unsplash.com

Новейшие версии LLM компаний OpenAI, Meta и DeepSeek имеют сотни миллиардов параметров, благодаря чему могут лучше определять закономерности и связи, что делает их более мощными и точными. Однако их обучение и использование требуют огромных вычислительных и финансовых ресурсов. Например, обучение модели Gemini 1.0 Ultra обошлось Google в 191 миллион долларов. По данным Института исследований электроэнергетики, выполнение одного запроса в ChatGPT требует примерно в 10 раз больше энергии, чем один поиск в Google.

IBM, Google, Microsoft и OpenAI недавно выпустили SLM, имеющие всего несколько миллиардов параметров. Их нельзя использовать в качестве универсальных инструментов, как LLM, но они отлично справляются с более узко определёнными задачами, такими как подведение итогов разговоров, ответы на вопросы пациентов в качестве чат-бота по вопросам здравоохранения и сбор данных на интеллектуальных устройствах. «Они также могут работать на ноутбуке или мобильном телефоне, а не в огромном ЦОД», — отметил Зико Колтер (Zico Kolter), учёный-компьютерщик из Университета Карнеги — Меллона.

Для обучения малых моделей исследователи используют несколько методов, например дистилляцию знаний, при которой LLM генерирует высококачественный набор данных, передавая знания SLM, как учитель даёт уроки ученику. Также малые модели создаются из больших путём «обрезки» — удаления ненужных или неэффективных частей нейронной сети.

Поскольку у SLM меньше параметров, чем у больших моделей, их рассуждения могут быть более прозрачными. Небольшая целевая модель будет работать так же хорошо, как большая, при выполнении конкретных задач, но её будет проще разрабатывать и обучать. «Эти эффективные модели могут сэкономить деньги, время и вычислительные ресурсы», — сообщил Лешем Чошен (Leshem Choshen), научный сотрудник лаборатории искусственного интеллекта MIT-IBM Watson.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Гейминг на Mac вышел на новый уровень: Steam наконец получил нативную поддержку процессоров Apple 4 мин.
Агрессивный план отменяется: Sony продолжит «очень вдумчиво» переносить эксклюзивы PlayStation на ПК 47 мин.
Google откажется от «мгновенных приложений» для Android, потому что ими почти никто не пользуется 2 ч.
Meta AI показывает всем чужие переписки с интимными подробностями — формально с согласия самих пользователей 5 ч.
Обнаружен вирус-шпион BrowserVenom, маскирующийся под приложение DeepSeek 7 ч.
Кооперативная игра Peak от создателей Content Warning и Another Crab's Treasure отправит покорять смертельно опасную гору — тизер геймплея и дата выхода 7 ч.
Meta купила половину Scale AI за $14 млрд, в попытке догнать конкурентов в гонке ИИ 8 ч.
Rockstar позволит Дрейку и другим музыкантам загружать новые песни на свои радиостанции в GTA VI 9 ч.
Продажи Devil May Cry 5 достигли 10 миллионов копий — помог анимационный сериал от Netflix 10 ч.
Apple планирует «допилить» ИИ-вариант Siri к весне следующего года 12 ч.
Intel анонсировала новую волну увольнений — в июне работы лишатся сотрудники Intel Foundry 7 мин.
Скидки сработали: iPhone стал самым продаваемым смартфоном в Китае 2 ч.
Sony призналась, что уже разрабатывает PlayStation 6, — а также новые способы взаимодействия с играми 2 ч.
Garmin выпустила квадратные смарт-часы Venu X1 с большим дисплеем, титановым корпусом и сапфировым стеклом за $799 2 ч.
Microsoft приоткрыла завесу над консолью Xbox следующего поколения, но этого никто не заметил 3 ч.
Китайская межпланетная станция «Тяньвэнь-2» прислала первое селфи на пути к астероиду Камо'Оалева 4 ч.
Мировой рынок электромобилей вырос на 28 % с начала года — во многом благодаря Китаю 5 ч.
Canon бросила вызов Sony, представив высокочувствительный датчик изображения для автомобилей 5 ч.
В Финляндии запустили крупнейший в мире тепловой аккумулятор на мыльном камне 5 ч.
Tesla представила рестайлинговые Model S и Model X — главным новшеством стала возросшая цена 5 ч.