Alibaba нашла способ снизить затраты на обучение ИИ-моделей на 88 %

При обучении языковых моделей серьёзной проблемой является не только наличие адекватных аппаратных ресурсов и объёмов исходных данных, но и сумма затрат на обучение. Отказ от обращений к сторонним поисковым платформам, как отмечает Alibaba, позволяет снизить стоимость обучения на величину до 88 %.

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Источник изображения: Alibaba

Соответствующий подход, как сообщает South China Morning Post, получил обозначение ZeroSearch. Задача генерации необходимых для обучения новых моделей данных в данном случае ложится на уже имеющиеся языковые модели. По сути, они имитируют обращение к сторонним поисковым сервисам, но метод подразумевает гораздо более низкие затраты. Например, обращение к Google через API с 64 000 запросов обойдётся разработчикам в $586,70, тогда как ИИ-модель с 14 млрд параметров способна то же количество запросов обработать при уровне затрат не более $70,80. Тем самым обеспечивается более чем 8-кратная экономия.

Подобный подход будет способствовать более выраженному прогрессу в разработке систем ИИ небольшими компаниями, которые не имеют доступа к серьёзной инфраструктуре и большим бюджетам. Сама Alibaba уже комбинирует возможности своих моделей семейства Qwen с поисковыми системами, обеспечивая более высокую точность ответов на сложные поисковые запросы.