Мета хочет, чтобы виртуальный ландшафт озвучивал как реальная жизнь

Meta хочет, чтобы виртуальные ландшафты звучали как реальная жизнь

Мета и группа наблюдателей из Техасского университета в Остине, штат Юта, работают над созданием звука реальности во вселенной Мета.

По словам директора по исследованиям Meta AI Кристен Гаруман, дополненное зрение и виртуальная реальность (AR и VR, соответственно) — это не просто эффекты. Звук играет очень важную роль в оживлении мира. Гаруман говорит: «Аудио встречается там, где [оно] присутствует. На поведение звука влияют различные факторы, такие как геометрия пространства, окружающий мир и расстояние от источника.

Для этого Metai будет использовать очки дополненной реальности. Аудио и видео записываются из одного места, а затем с помощью набора из трех моделей искусственного интеллекта записи преобразуются и очищаются таким образом, что при включении дома они выглядят так, как будто происходят прямо перед вами. Будет учитываться искусственный интеллект, в котором вы будете выглядеть так, чтобы соответствовать окружающей среде. Планы Meta по созданию гарнитуры естественной реальности объединяют окружающую среду и обстановку, например, концерт, чтобы создать впечатление, что вы присутствуете там лично.

Мы выбрали Meta как способ, с помощью которого люди могут слушать дополненный звук. Нужно ли людям надевать наушники, чтобы слушать его, или он будет идти через наушники? Мы не получили ответа.

Мы также выбрали Meta, потому что у разработчиков был доступ к этой модели ИИ. Им был предоставлен исходный код, чтобы сторонние разработчики могли поработать над усилением, но никаких дополнительных подробностей в Афганистане не было.

Преобразование с помощью ИИ

Вопрос заключался в том, как Meta может записать звук на пару очков дополненной реальности и отобразить в них новые настройки.

Первое известное решение, такое как AViTAR, представляет собой «модель «эффект-звук-смягчение» (открыть в другой вкладке). Это искусственный интеллект, который преобразует звук в другой носитель. В качестве мета-примера можно привести воспроизведение материала с записью танцевального выступления их ребенка в телепередаче с расширенной реальностью.

В наблюдаемом случае можно взять эту запись и проиграть ее дома, при этом ИИ преобразует звук. Она просканирует охват населения, проведет любой опрос в комнате и соберет концерт так, как будто он происходит прямо перед ней, в тех же очках. По словам исследователей, звук исходит из очков.

Чтобы помочь очистить звук, существует визуальное демпфирование. (открывается в новой вкладке). По сути, он улавливает окружающую реверберацию из клипа. В преобразующей форме мы записали скрипичный концерт на его станции, взяли его домой и попросили ИИ очистить ролик, чтобы вы могли слышать только музыку.

Новейший ИИ — VisualVoice (открывается в новом окне), который использует визуальные и звуковые подсказки для отделения звука от других шумов. Представьте, что вы записываете видео, на котором два человека спорят. Этот искусственный интеллект выделяет один голос, чтобы вы могли его понять, заглушая все остальные звуки. Метапрофилактика, в которой говорится о визуальных сигналах, важна, потому что ИИ должен видеть, кто говорит, чтобы быть внимательным и знать, кто говорит.

Что касается визуальных подсказок, Мета сказала, что они планируют использовать видео и другие подсказки. Технология все еще находится на стадии разработки, пока Meta переносит эти ИИ в гарнитуру Quest рядом с вами.

Если вы хотите приобрести такую игру, обязательно прочитайте наш последний обзор Oculus Quest 2. Предупреждение о спойлерах: нам это нравится.

Сесар Каденас

Tags:

Не копируйте текст!
Technik News
Logo
Enable registration in settings - general