Alibaba нашла способ снизить затраты на обучение ИИ-моделей на 88 %

При обучении языковых моделей серьёзной проблемой является не только наличие адекватных аппаратных ресурсов и объёмов исходных данных, но и сумма затрат на обучение. Отказ от обращений к сторонним поисковым платформам, как отмечает Alibaba, позволяет снизить стоимость обучения на величину до 88 %.

Источник изображения: Alibaba

Соответствующий подход, как сообщает South China Morning Post, получил обозначение ZeroSearch. Задача генерации необходимых для обучения новых моделей данных в данном случае ложится на уже имеющиеся языковые модели. По сути, они имитируют обращение к сторонним поисковым сервисам, но метод подразумевает гораздо более низкие затраты. Например, обращение к Google через API с 64 000 запросов обойдётся разработчикам в $586,70, тогда как ИИ-модель с 14 млрд параметров способна то же количество запросов обработать при уровне затрат не более $70,80. Тем самым обеспечивается более чем 8-кратная экономия.

Подобный подход будет способствовать более выраженному прогрессу в разработке систем ИИ небольшими компаниями, которые не имеют доступа к серьёзной инфраструктуре и большим бюджетам. Сама Alibaba уже комбинирует возможности своих моделей семейства Qwen с поисковыми системами, обеспечивая более высокую точность ответов на сложные поисковые запросы.