|
Опрос
|
реклама
Быстрый переход
«Google Переводчик» получит поддержку более 110 новых языков, включая бурятский и чеченский
27.06.2024 [16:02],
Павел Котов
Служба «Google Переводчик» получит поддержку 110 новых языков, сообщили в компании. До настоящего времени служба работала со 133 языками, поэтому последнее обновление, которое в Google назвали самым значительным за всю историю, знаменует собой крупный скачок.
Источник изображения: blog.google «Выучить» новые языки «Переводчику» помогла большая языковая модель Google PaLM 2 — особенно хорошо она справилась с близкими друг к другу языками, например, с «близкими к Хинди, такими как авадхи и марвади, а также французскими креольскими языками, такими как сейшельский креольский и маврикийский креольский», рассказали в компании. На 13 языках из списка добавленных в «Переводчик» говорят в России: это аварский, башкирский, бурятский, чеченский, чувашский, осетинский, удмуртский, чукотский, тувинский, якутский, крымско-татарский, коми и луговомарийский языки. Список новых поддерживаемых языков «Google Переводчика» включает в себя кантонский диалект китайского — он «долгое время был одним из самых востребованных» на платформе. Найти данные для обучения модели было непросто, поскольку он в значительной степени пересекается с мандаринским на письме. Ещё около четверти новых языков происходят из Африки. На большинстве из новых языков говорят по меньше мере миллион человек, а в некоторых случаях речь идёт о сотнях миллионов. «Яндекс» повысила качество работы «Переводчика» с помощью YandexGPT
07.06.2024 [14:06],
Павел Котов
Компания «Яндекс» повысила качество работы своей службы машинного перевода, произведя дополнительное обучение лежащей в её основе нейросети при помощи большой языковой модели YandexGPT. В результате «Яндекс Переводчик» стал лучше ориентироваться в контексте, фразеологизмах и профессиональной лексике.
Источник изображений: «Яндекс» Дополнительное обучение помогло сервису более качественно устанавливать связь между предложениями, и теперь он лучше справляется с длинными текстами. Благодаря навыкам анализа контекста машинный переводчик определяет профессиональную направленность текста и оставляет необходимые термины без перевода. ![]() «Яндекс» начал использовать ИИ в «Переводчике» с 2018 года, обучив его на парах текстов — в оригинале и переводе на другой язык. Это легковесная нейросеть, которая может в реальном времени обрабатывать большое число запросов. YandexGPT, напротив, генерирует сложные тексты в лексическом и стилистическом разнообразии, включая специфическую терминологию. Поэтому большую языковую модель решили привлечь для дополнительного обучения нейросети-переводчика. ![]() Инженеры «Яндекса» подготовили специальную версию YandexGPT, оптимизированную для перевода текстов. На этапе предварительного обучения она обработала большой объём текстов на русском и английском языках, изучила лексику, морфологию и синтаксис. Далее была произведена тонкая настройка большой языковой модели под задачи перевода; на этапе Reinforcement Learning (RL) производилась оценка качества перевода YandexGPT, а результаты ранжировались от лучших к худшим. По завершении дополнительного обучения нейросети «Яндекс Переводчика» её работу подвергли сравнительной оценке. Владеющие русским и английским языками специалисты сравнивали пары длинных и сложных текстов, переведённых двумя версиями нейросети — новая справилась со своей задачей лучше в 57 % случаев. Обновлённая платформа уже подключена к «Яндекс Переводчику», поисковой системе и службе перевода видео в «Яндекс Браузере». |