Сегодня 28 марта 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ּּּИИ поможет Meta✴ добиться реалистичного звука в виртуальных мирах

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров — проект реализуется при содействии учёных Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

 Источник изображения: Rodger Shija / pixabay.com

Источник изображения: Rodger Shija / pixabay.com

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей — важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещённые в нём объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR — это «модель визуально-акустического согласования», которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребёнка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нём предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации — множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice — она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные. Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки — он должен «видеть», кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Аппаратные требования больших языковых моделей ИИ сокращаются вдвое каждые восемь месяцев 55 мин.
Sega подтвердила массовые увольнения и продажу Relic Entertainment — разработчики Company of Heroes и Warhammer 40,000: Dawn of War вновь станут независимыми 2 ч.
Hellgate: London спустя 17 лет получит продолжение на Unreal Engine 5 — первые подробности Hellgate: Redemption 3 ч.
Take-Two Interactive купит Gearbox у Embracer Group за $460 миллионов — подтверждена новая Borderlands 3 ч.
Amazon.com инвестирует в ИИ-стартап Anthropic дополнительно $2,75 млрд 14 ч.
Хакеры нашли, как завалить iPhone запросами о сбросе пароля, и стали пользоваться этим для фишинга 15 ч.
Новый бенчмарк — новый рекорд: NVIDIA подтвердила лидерские позиции в MLPerf Inference 16 ч.
Sony подтвердила линейку игр PS Plus на апрель — магический шутер, экшен-стратегия в мире Minecraft и роглайк в стиле Dead Cells 16 ч.
В Великобритании собрались подвести законодательную базу под мемы про криптовалюты 16 ч.
Google представила новые ИИ-функции в картах и поиске — они помогут путешественникам 16 ч.
В Сеть утекли фотографии белой Xbox Series X без дисковода 2 ч.
По итогам текущего года тайваньские контрактные производители чипов увеличат выручку на 20 % 2 ч.
С 1 апреля порог беспошлинного ввоза товаров снизится до €200 — электроника подорожает на 15–20 % 2 ч.
Госдума приняла закон о свободном доступе интернет-провайдеров в многоквартирные дома 3 ч.
В этом году доля электромобилей китайского производства на рынке Европы превысит 25 % 3 ч.
Эксперты: создать российскую Xbox непросто, но выпустить аналог Steam Deck — решаемая задача 3 ч.
Первый электромобиль Xiaomi за год найдёт не более 50 000 покупателей 4 ч.
Цепляющаяся за жизнь Fisker снизила цены на свои электромобили на величину до 39 % 8 ч.
Процессор Qualcomm Snapdragon X Elite обеспечил в играх Baldur’s Gate 3 и Control выше 30 кадров в секунду 10 ч.
Atos планирует достичь соглашения о реструктуризации долгов к июлю 12 ч.