Новости Software

ּּּИИ поможет Meta* добиться реалистичного звука в виртуальных мирах

Компания Meta* рассказала о работе над технологиями реалистичного звука для виртуальных миров — проект реализуется при содействии учёных Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

 Источник изображения: Rodger Shija / pixabay.com

Источник изображения: Rodger Shija / pixabay.com

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta* AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей — важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещённые в нём объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR — это «модель визуально-акустического согласования», которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребёнка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нём предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации — множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice — она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные. Как пояснили в Meta*, для этого искусственному интеллекту необходимы визуальные подсказки — он должен «видеть», кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Google Chrome признан самым уязвимым браузером 2022 года 33 мин.
Минцифры РФ пока не собирается тратить государственные деньги на создание отечественного игрового движка 40 мин.
Google представила нейросеть, которая генерирует HD-видео по текстовому описанию 43 мин.
Facebook изменила алгоритмы подбора контента в пользовательских лентах — теперь они станут более персонализированными 2 ч.
Эксперимент, очевидно, неудачный: Blizzard снимет требование привязки номера телефона с игроков Overwatch 2, но не всех 3 ч.
Sega поработала над оптимизацией: разогнать Sonic Frontiers до 60 кадров/с смогут владельцы даже не самых мощных ПК 3 ч.
Microsoft стала на шаг ближе к поглощению Activision Blizzard — бразильский регулятор не поддержал Sony 4 ч.
Придётся набраться терпения: CD Projekt раскрыла примерные сроки разработки следующей The Witcher 4 ч.
Илон Маск пытался купить Twitter на 30 % дешевле апрельского предложения 6 ч.
Instagram начнёт показывать рекламу на вкладке «Обзор» и в профилях пользователей 15 ч.
Toyota устранила дефект электромобилей bZ4X, из-за которого колёса могут отделить во время движения 3 мин.
Intel добилась рекордного выхода годных квантовых чипов — 95 % 60 мин.
Выбраны шесть площадок для размещения квантовых компьютеров в Европе по проекту EuroHPC JU 2 ч.
Китайская BYD закрепилась на втором месте среди крупнейших производителей тяговых аккумуляторов 2 ч.
Материнские платы ASUS на Intel Z790 для Core 13-го поколения отметились в европейских магазинах — от 270 до 1400 евро 3 ч.
Рынок ПК будет падать следующие два года и это навредит бизнесу AMD, считают аналитики 4 ч.
SpaceX осуществила 45-й запуск ракеты в 2022 году — на орбиту вывели очередную партию из 52 спутников Starlink 4 ч.
Симуляция космической миссии сроком 1 год в рамках проекта SIRIUS состоится, даже если NASA откажется от участия 5 ч.
В третьем квартале продажи смартфонов в России выросли в 1,5 раза 5 ч.
Новая статья: Обзор системы жидкостного охлаждения ID-Cooling DashFlow 240 Basic Black 13 ч.