Группа учёных из Швеции разработала модель искусственного интеллекта Dessie, предназначенную для перевода языка тела лошадей в понятный для человека формат. В основу решения легли технологии машинного обучения и синтетические изображения.

Источник изображений: Helena Lopes / unsplash.com

Во время клинических осмотров ветеринары часто изучают визуальные сигналы, которые подают животные, но этот способ не всегда надёжен: лошадь может перенести боль на другую ногу, изменить распределение веса или позу. Её поведение может указывать на проблемы ортопедического характера, расстройства поведения или признаки травмы. Традиционные средства диагностики, в том числе рентген и МРТ, дают результаты уже после того, как проблема возникла. Цель Dessie — прочитать язык тела лошади, чтобы обнаружить признаки проблемы заранее.

Во время работы модель в реальном времени преобразует плоские изображения в трёхмерные, которые отражают форму, позу и движение лошади. Это не просто визуализация, а попытка осуществить перевод с выразительного языка тела. При создании Dessie использовалось обучение с разделением факторов. В традиционных моделях вся информация — поза, форма, фон, освещение — идёт в едином потоке, что может сбить ИИ с толку и затруднить фокусировку на главном — самой лошади. Обучение с разделением факторов позволяет учитывать каждую особенность отдельно: форма представляется одной сущностью, поза — другой, а не имеющий отношения к задаче фоновый шум игнорируется.

Генерируемые Dessie трёхмерные объекты отличаются не только высокой детализацией, но и надёжностью. ИИ помогает исследователям изолировать шаблоны движения, не отвлекаясь на окружающие объекты и различия в освещении. Dessie не требует высококачественных камер и маркеров на теле лошади — ей достаточно одной простой камеры и базовых видеоматериалов. Воспользоваться технологией могут работники сельских клиник, не имеющие доступа к дорогостоящим средствам визуализации.

Для обучения ИИ исследователям потребовались огромные объёмы визуальных данных. Поскольку собрать реальные изображения лошадей разных пород в различных позах и при разном освещении сложно, они разработали генератор синтетических данных DessiePIPE. Он способен создавать неограниченное количество изображений лошадей с использованием трёхмерной модели и текстур, сгенерированных ИИ, на основе характеристик разных пород. Это позволило авторам проекта обучить Dessie особенностям движений лошадей без необходимости изучения тысяч реальных животных: DessiePIPE визуализирует лошадей, которые ходят, едят, встают на дыбы или отдыхают — в различных фонах и условиях освещения. Система также создаёт пары изображений для сопоставления, отличающиеся лишь одним параметром — например, формой или позой, — чтобы модель научилась замечать тонкие различия. В результате Dessie научилась распознавать малые изменения в движении и стала эффективнее обобщать данные для новых условий.

Лошади сигнализируют о болевых ощущениях незначительными изменениями в походке и позе, заметными лишь опытному ветеринару. Dessie переводит эти сигналы в объективные трёхмерные показатели, помогая выявлять проблемы на ранней стадии. Она создаёт цифровую запись позы и движений животного, которую можно просматривать многократно, отслеживать в динамике и передавать в другие клиники. Несмотря на то что Dessie обучалась на синтетических данных, ИИ эффективно работает с реальными изображениями: для настройки системы потребовалось всего 150 реальных снимков с аннотациями. Этого набора хватило, чтобы Dessie обошла передовые модели в тестовых задачах: при обнаружении ключевых точек, таких как суставы и другие важные элементы, система показала лучшие результаты, чем MagicPony и Farm3D. Также Dessie точнее предсказывает форму тела и движение, что важно для диагностики хромоты или мышечной асимметрии. При увеличении объёма обучающих данных её эффективность возрастала ещё сильнее — благодаря преимуществам обучения с разделением факторов.

Dessie создавалась для анализа лошадей, но архитектура системы настолько гибка, что позволяет получать качественные результаты и при работе с другими похожими животными: коровами, зебрами, оленями. Модель успешно реконструировала их в 3D, несмотря на отсутствие прямого обучения на этих видах. Это открывает большой потенциал в сфере защиты животных: система может изучать редкие виды, используя только готовые фотографии и видео, без необходимости в инвазивном мониторинге. Dessie также продемонстрировала высокую эффективность при обработке художественных изображений, включая картины и мультфильмы, по которым она способна строить точные трёхмерные модели.

Однако у системы есть и недостатки. Она работает лучше всего, когда в кадре находится только одна лошадь, и испытывает трудности при столкновении с необычными формами тела, отсутствовавшими в обучающих данных. Эту проблему должна решить новая модель VAREN, поддерживающая большее разнообразие форм. В целом Dessie проста в использовании: она анализирует язык тела лошади и переводит его в синтезированную речь, благодаря чему общение человека с животным выходит на новый уровень.

Логичным этапом в эволюционном развитии функциональности наушников является появление возможности синхронного перевода речи с разных языков — при условии сопряжения со смартфоном, разумеется. Apple в этой сфере не может претендовать на звание первопроходца, но с выходом iOS 19 планирует наделить данной функцией беспроводные наушники AirPods.

Источник изображения: Apple

Об этом на страницах Bloomberg сообщил Марк Гурман (Mark Gurman), традиционно осведомлённый о планах Apple. Соответствующее обновление достанется AirPods до конца этого года, и будет привязано к операционной системе iOS 19. Непосредственно смартфоны Apple подобную функцию реализовали ещё в 2020 году, но применение для соответствующих нужд наушников сделает её использование более удобным.

Примечательно, что конкурирующая Google в своих наушниках первого поколения Pixel Buds подобную функцию предусмотрела ещё в 2017 году, продолжив её совершенствовать в дальнейшем. Компании Meta✴ и Humane синхронный перевод речи также закладывали в свои носимые устройства в предыдущие годы.

Предполагается, что в сопряжении с iPhone функция синхронного перевода будет работать таким образом, что пользователь будет слышать в наушниках перевод речи собеседника на нужный язык, а ответные высказывания владельца iPhone будут через микрофон наушников поступать в смартфон, переводиться на другой язык, и озвучиваться собеседнику уже через динамики iPhone.

LTPP (Language Technology Partner Program — партнёрская программа по языковым технологиям) — совместная инициатива ЮНЕСКО и Meta✴ по поиску авторов, которые могут предоставить более 10 часов записей речи с транскрипциями, большие объёмы письменного текста и наборы переведённых текстов на разных языках. В дальнейшем эти данные будут интегрированы в ИИ-модели с открытым исходным кодом для распознавания речи и перевода.

Источник изображения: UNESCO

Усилия LTPP будут сосредоточены на недостаточно обслуживаемых языках для поддержки работы, уже проводимой в этом направлении ЮНЕСКО. «В конечном итоге наша цель — создать интеллектуальные системы, которые могут понимать и реагировать на сложные потребности человека, независимо от языка или культурного происхождения», — заявил представитель Meta✴.

В дополнение к новой инициативе Meta✴ опубликовала открытый исходный код программы для оценки производительности моделей языкового перевода. Тест, состоящий из предложений, созданных лингвистами, поддерживает семь языков, и доступен на платформе разработки ИИ Hugging Face.

Meta✴ продолжает расширять количество языков, поддерживаемых её ИИ-моделями и развивать функции автоматического перевода для создателей контента. В сентябре прошлого года компания начала тестирование инструмента для перевода голосов в Instagram✴ Reels, который дублирует речь создателя на другом языке с автоматическим липсинком.

На сегодняшний день обработка на платформах Meta✴ контента на языках, отличных от английского, далека от совершенства. По некоторым данным, в соцсети Facebook✴ 79 % дезинформации о COVID на итальянском и испанском языках не были распознаны и отмечены системой, по сравнению с 29 % на английском языке. А сообщения на арабском языке, наоборот, часто ошибочно помечаются как разжигающие ненависть.

Meta✴ заявила, что принимает меры по улучшению своих технологий перевода и модерации. И, хотя компания позиционирует обе свои языковые инициативы как филантропические, нет никаких сомнений, что главным бенефициаром этих программ станет именно Meta✴, которая сможет существенно улучшить качество распознавания речи и перевода.

Adobe обновила функцию поиска материалов в Premiere Pro, добавив инструменты визуального распознавания на основе ИИ. Теперь для поиска нужного видеоклипа из подборки достаточно словами описать его содержание. Это всего лишь одна из новых функций, повышающих удобство пользователей, создателей контента и видеоредакторов, которые Adobe добавляет в Premiere Pro, After Effects и Frame.io.

Источник изображения: Adobe

Поисковый запрос на естественном языке может выглядеть как «человек на коньках с бликом на объективе» или «счастливый рыбак, поймавший огромного сома». Adobe уверяет, что ИИ может автоматически распознавать «объекты, местоположения, углы обзора камеры и многое другое» наряду с произнесёнными словами, правда, при условии, что к видео прикреплена расшифровка.

Новый инструмент поиска не распознаёт звук в видеоклипе и не идентифицирует конкретных людей, но может просматривать любые метаданные, прикреплённые к видеофайлам, что позволяет извлекать клипы на основе дат съёмки, местоположения и модели камеры. Анализ медиа выполняется на устройстве и не требует подключения к интернету. Adobe гарантирует, что видеоконтент пользователей не применяется для обучения каких-либо моделей ИИ.

Одновременно с обновлённым поиском Adobe запустила инструмент перевода субтитров, который на сегодняшний день поддерживает 17 языков. Для упрощения просмотра и редактирования сразу нескольких переводов в Premiere Pro можно открыть несколько дорожек субтитров одновременно. Панель поиска с поддержкой ИИ и перевод субтитров доступны с сегодняшнего дня в бета-версии Premiere Pro, которая доступна всем, у кого есть активная подписка Creative Cloud или Premiere Pro.

В Adobe After Effects появилась поддержка HDR и новая система кэширования, заметно ускоряющая предварительный просмотр или воспроизведение больших проектов. Теперь для повышения производительности используются как оперативная память, так и дисковый кэш ПК. Adobe утверждает, что это позволит старым компьютерам и ноутбукам воспроизводить крупные проекты без задержек «для кэширования или рендеринга». Новые возможности уже доступны в бета-версии After Effects.

Frame.io Camera to Cloud теперь поддерживает интеграцию с камерами Canon C80 и C400, что позволяет автоматически загружать файлы в приложение непосредственно с камеры. Для использования этой возможности владельцам камер необходимо обновить их прошивки до актуальной версии, выпущенной в декабре 2024 года.

Meta✴ выпустила модель искусственного интеллекта SeamlessM4T, способную осуществлять перевод со 101 языка. Проект является шагом к созданию универсального переводчика в реальном времени, который сможет обрабатывать устную речь, как только она произносится.

Источник изображения: Sophia Richards / unsplash.com

Традиционные модели ИИ для перевода работают по многоэтапной схеме: сначала устная речь превращается в текст, затем осуществляется перевод этого текста на другой язык, после чего текст на новом языке снова превращается в устную речь. Этот метод не всегда достаточно эффективен, поскольку на каждом этапе существует вероятность возникновения ошибок, которые грозят неправильным результатом перевода. Новая модель Meta✴ SeamlessM4T осуществляет перевод напрямую и срабатывает, по словам разработчиков, на 23 % точнее, чем лучшие современные модели. В арсенале Google значится модель AudioPaLM, которая поддерживает 113 языков, но осуществляет перевод только на английский; SeamlessM4T переводит со 101 языка на 36.

Залогом успеха проекта стал процесс параллельного сбора данных: ИИ фиксирует случаи в просканированных данных источников в вебе совпадения звука или видео с субтитрами на другом языке. В результате модель научилась связывать эти звуки на одном языке с соответствующими фрагментами текста на другом. Авторы проекта, однако, признают, что участие человека в переводе остаётся важным: человек способен учитывать культурный контекст и обеспечить передачу смысла высказывания с одного языка на другой. В медицине или юриспруденции машинный перевод должен тщательно проверяться человеком — в противном случае могут возникать недоразумения.

Следует также учесть, что у моделей ИИ могут быть разные объёмы обучающих данных для разных языков: может быть много примеров перевода с греческого на английский, но отсутствовать данные для перевода с суахили на греческий. Чтобы решить эту проблему, разработчики SeamlessM4T предварительно обучали модель на миллионах часов аудиозаписей разговоров на разных языках. Эта подготовка помогла ИИ распознавать общие закономерности языков — в результате упростилась обработка менее распространённых языков, поскольку модель уже располагала основными данными о том, как должна звучать разговорная речь на них.

Система доступна с открытым исходным кодом, что, как надеются разработчики, побудит других развивать её текущие возможности. Некоторые эксперты пока сомневаются в том, насколько SeamlessM4T может быть полезна на практике и указывают, что закрытая модель Google работает значительно быстрее. В Meta✴ же утверждают, что специалисты компании уже создали более свежую версию Seamless, которая по скорости работы не уступает переводчикам-людям.

С выходом watchOS 11 на умных часах Apple появится приложение «Перевод». Новые функции также появятся в версиях приложения для iPhone и iPad, которые существуют уже давно. В частности, Apple сделала общедоступным новый API, который позволит разработчикам интегрировать средства перевода в свои приложения.

Apple представила API для перевода на мероприятии WWDC 2024 — он избавит разработчиков от необходимости использовать сторонние платформы для реализации этих функций в своих приложениях. Сторонним приложениям, таким образом, открывается доступ к тем же моделям машинного обучения, что используются в собственном приложении Apple «Перевод», а функция перевода работает в автономном режиме.

Новый API доступен для устройств под управлением iOS 17.4 и более поздних версий, а в SDK iOS 18 появятся и некоторые эксклюзивные функции. В частности, новая версия системы получит возможность переводить строки поодиночке или пакетами, а также выводить результаты перевода в любом пользовательском интерфейсе. Пока Apple iOS 18 доступна в виде предварительной бета-версии для разработчиков. Выпуск общедоступной бета-версии запланирован на июль, а финальная появится осенью.

TikTok представила несколько новых инструментов на базе генеративного ИИ, которые призваны помочь организациям и создателям контента расширить свою аудиторию с помощью настраиваемых цифровых аватаров и функций языкового дубляжа. Новые инструменты, добавленные в пакет Symphony, призваны, по словам TikTok, «разрушить языковые барьеры в маркетинге и позволить брендам добавлять человечности в свой контент».

Источник изображения: unsplash.com

Новые цифровые аватары Symphony доступны в двух вариантах: стандартном и индивидуальном. Стандартные аватары основаны на лицензированных образах актёрах разного происхождения, национальностей и языков. Они доступны для коммерческого использования.

Пользовательские аватары нацелены на придание сходства с конкретным создателем или представителем бренда. Они способны говорить на нескольких языках, что позволяет аккаунтам, использующим их, охватить иностранную аудиторию. Независимо от используемого аватара, все видео с его участием помечаются значком «Создано ИИ».

Многоязычная поддержка обеспечивается Symphony AI Dubbing — инструментом перевода, который позволяет создателям и маркетологам дублировать свой контент на более чем десять языков и диалектов, включая французский, испанский, португальский, немецкий и корейский. TikTok утверждает, что инструмент автоматически определяет язык видео и способен расшифровывать, переводить и дублировать его на любой язык, выбранный пользователем.

По словам посмотревших демонстрационное видео от TikTok с пользовательским цифровым аватаром, «оно немного странное, но выглядит достаточно естественно и убедительно».

Информация о ценах на новые маркетинговые инструменты TikTok на основе генеративного ИИ пока не опубликована.

Браузер Microsoft Edge скоро предложит функцию закадрового перевода и дублирования видео в реальном времени на таких сайтах, как YouTube, LinkedIn, Coursera и т.д. В рамках конференции Build, стартовавшей 21 мая в Сиэтле (США), компания Microsoft объявила, что новая функция, работающая на основе искусственного интеллекта, сможет переводить разговорный контент, предоставляя дубляж и субтитры прямо во время просмотра.

Источник изображения: geralt/Pixabay

В настоящее время эта функция поддерживает перевод с испанского на английский, а также перевод с английского на немецкий, хинди, итальянский, русский и испанский. Ожидается, что новая функция Edge на базе ИИ также сделает видео более доступными для слабослышащих или страдающих потерей слуха пользователей, предлагая автоматическое создание субтитров.

Microsoft сообщила, что Edge также будет поддерживать перевод устного контента в реальном времени на новостных сайтах, таких как Reuters, CNBC и Bloomberg. В дальнейшем компания планирует увеличить количество поддерживаемых сайтов, а также расширить возможности Edge по переводу большего количества языков.

Новая функция пополнит набор возможностей Edge на базе ИИ, появившихся у браузера благодаря интеграции с Copilot. В настоящее время Edge поддерживает возможность обобщения содержания видеороликов YouTube, но он пока не обладает способностью генерировать текстовые резюме для каждого видео, поскольку при их создании полагается на транскрипцию видео.

Южнокорейская компания Samsung Electronics полна решимости начать внедрение технологий искусственного интеллекта в свои смартфоны, поскольку это позволит выделиться на фоне конкурентов. В готовящемся к анонсу семействе флагманов Galaxy S24 появится функция синхронного перевода речи собеседника с другого языка, реализованная как раз при помощи искусственного интеллекта.

Источник изображения: Samsung Electronics

Анонсированная ещё в ноябре уходящего года функция AI Live Translate Call, по данным ресурса Nikkei Asian Review, позволит с минимальной задержкой переводить речь собеседника с другого языка именно за счёт наличия локальных специализированных аппаратных ресурсов, предоставляемых процессорами Samsung собственной разработки. Ранее подобные решения полагались исключительно на отправку данных в облачные системы для обработки, а потому не могли обеспечить необходимой плавности и скорости перевода.

Поясняется, что опирающаяся на систему искусственного интеллекта Samsung Gauss функция перевода первоначально обеспечит поддержку английского и испанского языков, хотя в дальнейшем их перечень будет постоянно расширяться за счёт родного для компании корейского, а также японского и прочих. Что характерно, функция синхронного перевода будет работать даже в том случае, если смартфон собеседника на другом конце линии относится к другой марке и не поддерживает экосистему Samsung. В качестве вспомогательной функции перевод будет дублироваться текстовой строкой на дисплее смартфона. В идеале, данное решение позволит общаться по телефону двум людям, не понимающим языка друг друга.