MWC 2018
2018
Computex
IFA 2018
«Яндекс» опубликовала в открытом доступе обученную с нуля собственную модель искусственного интеллекта Alice AI Search Pretrain, которая составила основу службы быстрых ответов в поиске.
Источник изображения: yandex.ru/company
Компактная языковая модель Alice AI Search Pretrain прошла первый этап обучения и располагает большим объёмом знаний о мире. Компактные размеры позволяют ей обходиться скромными вычислительными мощностями, выдерживать значительную нагрузку и обрабатывать большие объёмы документов.
Гибридная архитектура модели ранее применялась преимущественно в научных исследованиях: в ней используются технологии Encoder-Decoder и MoE (Mixture of Experts). Первая помогает ей отвечать ёмко и лаконично за счёт того, что одна часть модели ищет информацию, а другая составляет ответ. Вторая технология позволяет ей обходиться только теми собственными фрагментами, которые наиболее соответствуют теме запроса: при размере 35 млрд параметров для обработки одного токена подключаются только 600 млн — менее 2 % от общего объёма.
Разработанная «Яндексом» Alice AI Search Pretrain превосходит другие языковые модели небольшого размера: замеры методом слепого тестирования показали, что качество её ответов выше, чем у Alibaba Qwen 3.5 2B и 4B и Google T5 Gemma 2 4B-4B Base, — она отвечает примерно на уровне более требовательной к вычислительным ресурсам Qwen 3.5 35B-A3B. В «Яндекс Поиске» работает прошедшая дополнительное обучение версия этой модели Alice AI Search — в её подготовке учтены реальные примеры взаимодействия пользователей поисковой службы.
Источник:
