Сегодня 31 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Сфера ИИ заинтересовалась малыми языковыми моделями — они дешевле и эффективнее больших в конкретных задачах

На рынке ИИ сейчас наблюдается тренд на использование малых языковых моделей (SLM), которые имеют меньше параметров, чем большие языковые модели (LLM), и лучше подходят для более узкого круга задач, пишет журнал Wired.

 Источник изображения: Luke Jones/unsplash.com

Источник изображения: Luke Jones/unsplash.com

Новейшие версии LLM компаний OpenAI, Meta и DeepSeek имеют сотни миллиардов параметров, благодаря чему могут лучше определять закономерности и связи, что делает их более мощными и точными. Однако их обучение и использование требуют огромных вычислительных и финансовых ресурсов. Например, обучение модели Gemini 1.0 Ultra обошлось Google в 191 миллион долларов. По данным Института исследований электроэнергетики, выполнение одного запроса в ChatGPT требует примерно в 10 раз больше энергии, чем один поиск в Google.

IBM, Google, Microsoft и OpenAI недавно выпустили SLM, имеющие всего несколько миллиардов параметров. Их нельзя использовать в качестве универсальных инструментов, как LLM, но они отлично справляются с более узко определёнными задачами, такими как подведение итогов разговоров, ответы на вопросы пациентов в качестве чат-бота по вопросам здравоохранения и сбор данных на интеллектуальных устройствах. «Они также могут работать на ноутбуке или мобильном телефоне, а не в огромном ЦОД», — отметил Зико Колтер (Zico Kolter), учёный-компьютерщик из Университета Карнеги — Меллона.

Для обучения малых моделей исследователи используют несколько методов, например дистилляцию знаний, при которой LLM генерирует высококачественный набор данных, передавая знания SLM, как учитель даёт уроки ученику. Также малые модели создаются из больших путём «обрезки» — удаления ненужных или неэффективных частей нейронной сети.

Поскольку у SLM меньше параметров, чем у больших моделей, их рассуждения могут быть более прозрачными. Небольшая целевая модель будет работать так же хорошо, как большая, при выполнении конкретных задач, но её будет проще разрабатывать и обучать. «Эти эффективные модели могут сэкономить деньги, время и вычислительные ресурсы», — сообщил Лешем Чошен (Leshem Choshen), научный сотрудник лаборатории искусственного интеллекта MIT-IBM Watson.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Nvidia выпустила драйвер GeForce 580.88 с поддержкой Mafia: The Old Country и множеством исправлений в других играх 17 мин.
Mafia: The Old Country создавалась с учётом апскейлеров — «эпические» системные требования и особенности игры на ПК 30 мин.
В Epic Games Store стартовала раздача комедийного приключения ручной работы Pilgrims от создателей Machinarium и Samorost 2 ч.
THQ Nordic показала 12 минут геймплея Titan Quest 2 и раскрыла, что войдёт в игру на старте раннего доступа 3 ч.
Недоработки в системе защиты данных Spotify раскрыли музыкальный вкус знаменитостей и политиков 3 ч.
«СберТех» представил систему Platform V CopyWala для резервного копирования СУБД на базе PostgreSQL 3 ч.
Google защитит автозаполнение паролей в Chrome на Android биометрией 4 ч.
Исследователь обнаружил крайне опасную уязвимость в Safari — Apple оценила находку всего в $1000 4 ч.
Electronic Arts «созрела» для анонса Plants vs. Zombies: Replanted — трейлер, дата выхода и отличия от классической игры 4 ч.
Путин подписал закон о штрафах за поиск экстремистского контента, передачу аккаунтов и рекламу VPN 4 ч.
Пчёлам в Новой Зеландии провели спутниковый интернет от Starlink 22 мин.
Nvidia объявила, когда прекратит выпуск драйверов для Windows 10, а также видеокарт Maxwell и Pascal 26 мин.
Intel внезапно выпустила три новых процессора Core Ultra 5 поколения Arrow Lake 2 ч.
Выпущенные в Индии iPhone увернулись от повышеннух пошлин Трампа, пока что 2 ч.
DJI представила 360-градусную экшн-камеру Osmo 360, которая умеет снимать 100-минутные ролики в 8K 2 ч.
G42 готова завершить сделку с Northern Data для получения доступа к ЦОД в Европе 3 ч.
Китайская Fourier показала «самого милого» гуманоидного робота для дома и школы 3 ч.
Galaxy S25 FE выйдет раньше, чем ожидалось — Samsung поделилась планами по выпуску новинок 4 ч.
Складные смартфоны набирают популярность: Galaxy Z Fold7 в полтора раза обогнал Fold6 по предзаказам в США 5 ч.
Microsoft впервые заработала на Game Pass $5 млрд за год — это сгладило рухнувшие на 22 % продажи консолей Xbox 6 ч.