MWC 2018
2018
Computex
IFA 2018
«Яндекс» ведёт разработку системы оркестратора моделей искусственного интеллекта, которая обеспечит умное распределение задач между нейросетями, чтобы при минимальной стоимости качество работы ИИ было максимальным, сообщили Forbes в компании. За рубежом такие решения уже существуют, и они популярны, говорят эксперты.
Источник изображения: yandex.ru/company
Инженеры «Яндекса» подготовят единую систему, которая объединит оркестратор из собственных моделей компании и открытых нейросетей — эта система будет лежать в основе «Алисы AI», рассказал руководитель направления «Алисы» и умных устройств «Яндекса» Валерий Стромов. Первая версия оркестратора уже существует, и ей пользуются внутри «Яндекса»; в сентябре должна выйти общедоступная сборка. «Наша стратегическая задача сейчас — уйти от парадигмы одной модели к нескольким, часть из которых будут опенсорсными, создать систему умного распределения задач, чтобы максимальное качество достигалось по минимальной стоимости, и создать обвязку, harness (программную оболочку), которая даст модели „руки“ в физическом мире — чтобы „Алиса“ могла использовать разные сервисы, создавать память о пользователе или бизнесе, запускать код и т.д. Мы хотим стать пионерами этого подхода в России», — пояснил господин Стромов.
Когда число ИИ-моделей становится большим, оркестратор начинает испытывать затруднения, и качество его работы снижается. «В первой версии мы будем жить с тремя–пятью моделями-экспертами. Среди всего потока задач львиная доля — думаю, это будет всегда в районе 80–90%, — будет работать на нашей модели, а узкоспециализированные вещи будут отправляться в опенсорсные модели в нашей обвязке. Это фактически позволит нам переигрывать таких игроков, как Google, у которых пока одна модель, и им нужно делать так, чтобы она была умна везде — а это заметно больше ресурсов», — добавил он. «Яндекс» разрабатывает систему не из желания следовать трендам, а в связи с инженерной необходимостью: инференс, то есть запуск уже обученных моделей, обходится недёшево, поэтому «хочется дать пользователю и бизнесу максимум пользы за минимум ресурсов». В минувшем году «Яндекс» вложил в «Алису AI» 55 млрд рублей, и в этом году показатель останется тем же, но на фоне мировых гигантов это очень маленькая сумма, признал Валерий Стромов.
Потребительские качества ИИ часто связаны не с миллиардами параметров у моделей, а с их практическим применением, доступностью интерфейса — маршрутизация помогает обходить ограничения и обеспечивать высокую скорость работы моделей, говорят опрошенные Forbes эксперты. При наличии оркестратора потребность обращаться к самым мощным нейросетям возникает не всегда, а модели становятся взаимозаменяемым ресурсом. Наконец, решается задача о хранении контекста — хранить его в моделях иногда слишком расточительно.
Источник:
