Оригинал материала: https://3dnews.ru/1023309

Facebook создала ИИ, который сможет переводить тексты между 100 языками напрямую

Facebook* анонсировал новый искусственный интеллект, который сможет совершать прямые парные переводы более чем между 100 языками. Об этом Engadget рассказала научный сотрудник Facebook* AI Анджела Фан (Angela Fan). Это означает, что система сможет переводить тексты без применения английского языка в качестве промежуточного.

 Engadget

Engadget

Большинство переводчиков сначала переводят тексты с источника на английский, а затем на другой иностранный язык. Из-за этого процесс получается сложным и теряется точность некоторых элементов текста. По словам Фан, новый ИИ сможет производить двунаправленные переводы (например с французского на китайский и наоборот) без использования английского. По оценке BLEU (алгоритм оценки качестве переведённого текста) качество перевода на 10 баллов выше, чем с использованием англо-ориентированной модели.

Чтобы создать новый ИИ, команда Facebook* использовала сервис CommonCrawl для сбора текстовых примеров по всей Сети. После этого разработчики проанализировали весь материал при помощи системы FastText, которую компания создала несколько лет назад. В итоге удалось сформировать базу данных из 7,5 миллиардов предложений, которые система использует для перевода.

С каким числом языков сможет в будущем работать система, пока неясно. По словам Фан, всё зависит от ресурсов, которые окажутся в распоряжении системы. У основных языков, таких как индийский, китайский или немецкий, много материала, потому что на них публикуется множество текстов в Сети. Гораздо больше проблем с языками на подобии Зулу, которые не так распространены.

Компания предоставит международному исследовательскому сообществу набор данных и моделей работы в виде открытого исходного кода. Когда систему внедрят в повседневную работу соцсети, пока неясно.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».



Оригинал материала: https://3dnews.ru/1023309