Новости Software

«Яндекс» запустил гибридную систему перевода

Компания «Яндекс» объявила о внедрении гибридной системы перевода: ожидается, что новый подход позволит повысить качество выдаваемых результатов.

Сервис «Яндекс.Переводчик» изначально использовал статистическую модель. При переводе она разделяет предложения на куски (отдельные слова и фразы) и для каждого из них подбирает все возможные переводы с указанием их вероятности. Затем система составляет из переведённых фрагментов разные варианты нового предложения. Выбирается тот вариант, который содержит переводы с высокими вероятностями и в котором фрагменты хорошо сочетаются друг с другом.

Достоинством метода является то, что система хорошо запоминает и переводит редкие и сложные слова и фразы. Недостаток — «машинность» перевода: текст как бы собран из отдельных кусков.

Теперь к статистическому переводу добавляется перевод на основе нейронной сети. Как и статистический переводчик, нейронная сеть анализирует массив параллельных текстов и учится находить в них закономерности. При этом логика несколько иная: нейросеть работает с целыми предложениями, то есть не происходит дробление на слова и фразы. Такой подход, как утверждается, позволяет учесть смысловые связи внутри предложения, то есть понять контекст. В результате, перевод получается более естественным.

Но у нейросетевого перевода тоже есть свои недостатки: если по каким-то причинам системе не удаётся перевести то или иное предложение, она начинает попросту угадывать правильный ответ.

Поэтому «Яндекс» внедрил гибридную систему. Теперь перевод выполняют обе модели, а затем алгоритм на основе метода машинного обучения CatBoost сравнивает результаты и предлагает лучший.

Сейчас гибридная система используется в веб-версии «Яндекс.Переводчика» для переводов с английского языка на русский. В ближайшие месяцы она заработает и для других направлений. 

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
Прежде чем оставить комментарий, пожалуйста, ознакомьтесь с правилами комментирования. Оставляя комментарий, вы подтверждаете ваше согласие с данными правилами и осознаете возможную ответственность за их нарушение.
Все комментарии премодерируются.
Комментарии загружаются...
window-new
Soft
Hard
Тренды 🔥
Oppo представила смарт-часы Watch Free с автономностью до двух недель 27 мин.
Владельцы старых экземпляров Tesla к бета-тестированию новой версии FSD допущены не будут 29 мин.
Дефицит электроники усугубится из-за плановых отключений электроэнергии в Китае 2 ч.
Новая статья: Обзор процессора Core i7-11700F: когда не стыдно сэкономить 8 ч.
Официально представлен смартфон OPPO K9 Pro: 120-Гц дисплей, чип Dimensity 1200 и поддержка 60-Вт зарядки 14 ч.
Китайские IT-гиганты заверили власти в готовности способствовать «всеобщему процветанию» 15 ч.
Минобороны США создаст прототип ядерного микрореактора для удовлетворения энергетических потребностей военных 16 ч.
CoolIT Systems ожидает удвоения выручки в НРС-сегменте в 2021 году 16 ч.
Шанхайский завод Tesla выпустит 300 тыс. машин с января по сентябрь текущего года 22 ч.
Hyper представила 14-портовую док-станцию для ноутбуков на базе Chrome OS 24 ч.