Новости Software

ּּּИИ поможет Meta* добиться реалистичного звука в виртуальных мирах

Компания Meta* рассказала о работе над технологиями реалистичного звука для виртуальных миров — проект реализуется при содействии учёных Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

 Источник изображения: Rodger Shija / pixabay.com

Источник изображения: Rodger Shija / pixabay.com

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta* AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей — важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещённые в нём объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR — это «модель визуально-акустического согласования», которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребёнка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нём предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации — множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice — она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные. Как пояснили в Meta*, для этого искусственному интеллекту необходимы визуальные подсказки — он должен «видеть», кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Видео: прогулки на свежем воздухе в трейлере симулятора охоты Way of the Hunter 2 ч.
Гоночный экшен Wreckfest появится на мобильных устройствах до конца года 2 ч.
Новая Alone in the Dark оказалась переосмыслением трёх первых игр серии с полностью оригинальной историей 3 ч.
Межгалактическая песочница Space for Sale отправит игроков строить дома для инопланетян 4 ч.
Видео: новый трейлер стратегического экшена The Valiant посвятили сражениям в разных режимах 4 ч.
Видео: геймплейный трейлер тактической ролевой игры Jagged Alliance 3 4 ч.
Глобальная средневековая стратегия Knights of Honor II: Sovereign получила первый за три года новый трейлер 4 ч.
Гоночная аркада Wreckreation от создателей Dangerous Driving позволит кататься, создавать и крушить в огромном открытом мире 5 ч.
В Telegram появились платформа для создания эмодзи, запрет голосовых сообщений и возможность дарить Premium 5 ч.
Spongebob Squarepants: The Cosmic Shake и Outcast 2 остались на шоу THQ Nordic без дат выхода, но получили геймплейные трейлеры 6 ч.
Во Франции передумали разрабатывать вместе с Россией прибор для изучения Венеры 14 мин.
Впервые технология обнаружения объектов вне прямой видимости добилась высокого разрешения — можно будет даже читать вывески за углом 43 мин.
Китайские учёные научились запутывать фотоны с рекордной эффективностью, что кратно поднимет скорость квантового шифрования 4 ч.
Конкурирующие спутниковые операторы OneWeb и Intelsat объединятся для подключения гражданских авиалиний 4 ч.
Китай строит крупнейший в мире завод по производству «зелёного» водорода с солнечной фермой размерами с 900 футбольных полей 5 ч.
Сроки ожидания Tesla Model 3 Long Range в США растянулись до следующего года и компания приостановила приём заказов 9 ч.
Инвесторы оценили бизнес китайского производителя клонов AMD EPYC в $20,7 млрд 10 ч.
Названы предполагаемые характеристики графических процессоров будущих видеокарт Radeon RX 7000 10 ч.
США ужесточили контроль над экспортом технологий для производства передовых чипов 16 ч.
Macronix представила «вычислительную» флеш-память FortiX 18 ч.