Новости Software

ּּּИИ поможет Meta* добиться реалистичного звука в виртуальных мирах

Компания Meta* рассказала о работе над технологиями реалистичного звука для виртуальных миров — проект реализуется при содействии учёных Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

 Источник изображения: Rodger Shija / pixabay.com

Источник изображения: Rodger Shija / pixabay.com

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta* AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей — важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещённые в нём объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR — это «модель визуально-акустического согласования», которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребёнка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нём предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации — множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice — она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные. Как пояснили в Meta*, для этого искусственному интеллекту необходимы визуальные подсказки — он должен «видеть», кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Ubisoft не бросит покупателей своих игр для Google Stadia — их можно будет перенести на ПК 3 ч.
Новая статья: Return to Monkey Island — пираты никогда не уходят на пенсию. Рецензия 12 ч.
Positive Technologies: доля акций в свободном обращении составила 11,9% 13 ч.
В 2022 количество используемых камер для видеонаблюдения в России превысит 21 млн 13 ч.
Первым самостоятельным проектом разработчиков ПК-версии God of War станет игра-сервис по одной из флагманских франшиз Sony 15 ч.
Microsoft: хакеры используют изменённый софт с открытым исходным кодом для атак на IT-сектор, СМИ и даже ВПК 15 ч.
Гоночная аркада Onrush доживает последние месяцы перед отключением серверов 16 ч.
Фэнтезийная метроидвания с элементами шутера The Knight Witch обрела точную дату выхода 16 ч.
Жестокую пошаговую стратегию Homicidal All-Stars можно будет попробовать в рамках октябрьского фестиваля Steam 17 ч.
Слухи: союз Kojima Productions и Stadia рассыпался из-за однопользовательского характера новой игры Кодзимы 17 ч.
NASA снова попытается запустить лунную ракету SLS только в ноябре 2 мин.
Число бета-тестировщиков автопилота Tesla Full Self Driving выросло до 160 тыс. за год 13 мин.
ИИ-масштабирование Intel XeSS протестировали на видеокартах Intel, NVIDIA и AMD — результаты разнятся 24 мин.
Летающая обсерватория SOFIA завершила работу — в NASA прекратили финансирование проекта 2 ч.
В России впервые отмечается День работников отрасли ЦОД 5 ч.
Отечественная OCS Distribution покинула Кипр и полностью перешла под юрисдикцию России 13 ч.
iPhone 14 Pro Max пользуется наибольшим спросом в новом семействе, а iPhone 14 менее популярен, чем iPhone 13 13 ч.
Китай и Россия договорились о строительстве новых наземных станций систем навигации ГЛОНАСС и BeiDou — это повысит точность и надёжность 14 ч.
Ветряная и солнечная энергетика в 2021 году впервые произвели более 10 % электроэнергии в мире, но использование угля тоже выросло 15 ч.
Покупателям видеокарт Intel Arc A770 и Arc A750 подарят Call of Duty: Modern Warfare 2 и несколько других игр 17 ч.