Google придумала, как в 13 раз ускорить обучение ИИ и снизить потребление энергии в 10 раз

Google DeepMind разработала новый метод обучения искусственного интеллекта, который обещает значительно повысить эффективность ИИ-систем и снизить энергопотребление в сфере ИИ. Технология может стать ответом на растущую озабоченность по поводу экологического воздействия центров обработки данных для ИИ.

Источник изображения: Google DeepMind

Исследовательская лаборатория Google DeepMind представила инновационный метод обучения моделей искусственного интеллекта под названием JEST (Joint Example Selection), который может привести к кардинальным изменениям в области ИИ. Согласно опубликованному исследованию, новая технология обеспечивает 13-кратное снижение числа итераций при обучении и 10-кратное снижение энергопотребления по сравнению с существующими методами, сообщает Tom's Hardware. Иными словами, ИИ можно обучать на порядок быстрее и эффективнее.

JEST отличается от традиционных подходов тем, что обучается на основе целых пакетов данных, а не на отдельных частях. JEST сначала создаёт меньшую модель ИИ, которая оценивает качество данных из источников и ранжирует пакеты по качеству. Затем он сравнивает свою оценку с набором более низкого качества. Далее JEST определяет пакеты, наиболее подходящие для обучения, а затем большая модель обучается на основе наиболее качественных данных, отобранных меньшей моделью.

Ключевым фактором успеха JEST является использование высококачественных, тщательно отобранных наборов данных. Это делает метод особенно требовательным к исходной информации и может ограничить его применение любителями и непрофессиональными разработчиками.

Интересно, что появление JEST совпало с растущей озабоченностью по поводу энергопотребления систем ИИ. По данным исследователей, в 2023 году рабочие нагрузки ИИ потребляли около 4,3 ГВт электроэнергии, что сопоставимо с годовым потреблением Кипра. Более того, один запрос ChatGPT потребляет в 10 раз больше энергии, чем поисковый запрос Google.

Эксперты отмечают, что новая технология может быть использована двояко: для снижения энергопотребления при сохранении текущей производительности или для достижения максимальной производительности при том же уровне энергозатрат. Выбор направления будет зависеть от приоритетов компаний и рыночных тенденций.

Внедрение JEST может оказать значительное влияние на индустрию ИИ, учитывая высокую стоимость обучения современных моделей. Например, затраты на обучение GPT-4 оцениваются в 100 миллионов долларов, а будущие модели могут потребовать еще больших инвестиций. Таким образом, представленный Google DeepMind метод JEST открывает принципиально новые возможности для повышения эффективности и снижения затрат в ИИ-технологии. Практическое применение метода ещё предстоит оценить.