Новости Software

Facebook* создала ИИ, который сможет переводить тексты между 100 языками напрямую

Facebook* анонсировал новый искусственный интеллект, который сможет совершать прямые парные переводы более чем между 100 языками. Об этом Engadget рассказала научный сотрудник Facebook* AI Анджела Фан (Angela Fan). Это означает, что система сможет переводить тексты без применения английского языка в качестве промежуточного.

 Engadget

Engadget

Большинство переводчиков сначала переводят тексты с источника на английский, а затем на другой иностранный язык. Из-за этого процесс получается сложным и теряется точность некоторых элементов текста. По словам Фан, новый ИИ сможет производить двунаправленные переводы (например с французского на китайский и наоборот) без использования английского. По оценке BLEU (алгоритм оценки качестве переведённого текста) качество перевода на 10 баллов выше, чем с использованием англо-ориентированной модели.

Чтобы создать новый ИИ, команда Facebook* использовала сервис CommonCrawl для сбора текстовых примеров по всей Сети. После этого разработчики проанализировали весь материал при помощи системы FastText, которую компания создала несколько лет назад. В итоге удалось сформировать базу данных из 7,5 миллиардов предложений, которые система использует для перевода.

С каким числом языков сможет в будущем работать система, пока неясно. По словам Фан, всё зависит от ресурсов, которые окажутся в распоряжении системы. У основных языков, таких как индийский, китайский или немецкий, много материала, потому что на них публикуется множество текстов в Сети. Гораздо больше проблем с языками на подобии Зулу, которые не так распространены.

Компания предоставит международному исследовательскому сообществу набор данных и моделей работы в виде открытого исходного кода. Когда систему внедрят в повседневную работу соцсети, пока неясно.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Новая статья: Neon White — неожиданный кандидат на «Игру года». Рецензия 3 ч.
Новая статья: Gamesblender № 577: цена прокачки в Diablo Immortal, Overwatch 2 вместо первой части и поиски виновных в багах Cyberpunk 2077 4 ч.
Meta закроет свой неудавшийся криптопроект Novi в сентябре 10 ч.
У витрины инди-игр itch.io появился клон — W3itch.io: его создатели признались в воровстве чужого кода 11 ч.
Первые подробности кампании Бакалавра в «Мор. Утопия»: без выживания и открытого мира, но с путешествием во времени 12 ч.
Крупнейший эмитент стейблкоинов Tether сократил долю коммерческих бумаг в резерве 13 ч.
Один из крупнейших криптовалютных хедж-фондов объявил о банкротстве 13 ч.
Reddit поглотила компанию MeaningCloud, специализирующуюся на работе с естественным языком 14 ч.
В TikTok подтвердили, что китайские сотрудники имеют доступ к данным пользователей из США 15 ч.
Новая статья: Starship Troopers: Terran Command — победоносная высадка. Рецензия 02-07 00:22