Oculus Insight: как Facebook отключил виртуальную реальность и открыл виртуальные миры для всех

VR может быть трудной задачей – установка датчиков или излучателей, подключение кабелей и настройка оборудования могут занять так много времени, что может показаться нецелесообразным для быстрой игровой сессии. Эту дорогую виртуальную гарнитуру слишком легко оставить пылящейся, даже если вы вложили деньги в мощный игровой ПК для ее поддержки.

Выпуск Oculus Go в 2018 году каким-то образом изменил это, предлагая опыт виртуальной реальности, который был полностью автономным, без проводов или необходимости в дополнительном оборудовании. Просто наденьте гарнитуру и начинайте.

  

Это был впечатляющий материал, гораздо более доступный, чем другие VR-гарнитуры, доступные в то время, но гораздо более ограниченный, чем более мощные, привязанные гарнитуры. Самое главное, что его система движений была «только ориентация», то есть вы могли повернуть голову, чтобы осмотреть обстановку, но не могли пройти через нее.

Все изменилось с выходом Oculus Quest в мае этого года. Quest по-прежнему полностью беспроводен, но, в отличие от Go, он предлагает шесть степеней свободы – и все это без необходимости использования какого-либо внешнего оборудования в вашей комнате.

Как это возможно? TechRadar поговорил с Анной Козмински, менеджером программного обеспечения AR / VR в Facebook Цюрих в Швейцарии, чтобы узнать, как Oculus обрезает виртуальную реальность.

Отслеживание наизнанку

Сначала быстрое объяснение: шесть степеней свободы означают, что ваше тело может двигаться в трех измерениях по осям X, Y и Z. Перемещение вверх и вниз по оси Y называется «качанием», перемещение вперед и назад по оси X называется «скачком», а перемещение влево и вправо по оси Z называется «колебанием». Вы также можете повернуться лицом к другой оси. Движение между X и Y называется «тангаж», движение между X и Z называется «рыскание», а движение между Z и Y называется «крен».

«Чтобы это было совершенно естественно, нам нужно было очень точно отслеживать движения пользователя в реальном времени»

Анна Козьминская, Facebook Цюрих

Если вы хотите создать действительно захватывающий опыт виртуальной реальности, это очень важно. «Благодаря опыту виртуальной реальности вы, в конечном счете, хотите, чтобы он казался таким же плавным, как в реальной жизни, – вы не хотите отвлекаться, потому что дисплей отстает или дрожит», – объясняет Козмински.

«Чтобы он выглядел совершенно естественно, нам нужно было очень точно отслеживать движения пользователя в режиме реального времени, поэтому, когда вы двигаете головой и руками, эти движения прекрасно представлены в виртуальном мире».

Oculus Quest – первое потребительское устройство с полным отслеживанием шести степеней свободы, которое стало возможным благодаря системе Oculus Insight. При этом используется технология, называемая одновременным определением местоположения и отображением (SLAM), которая использует входные данные от различных датчиков для определения местоположения объекта в постоянно обновляемой виртуальной карте. Он использует эти объекты в качестве контрольных точек (так же, как вы использовали бы ориентиры, чтобы ориентироваться) и привязывает их к точкам в виртуальном мире.

Эти точки наблюдаются неоднократно, чтобы компенсировать дрейф (где крошечные расхождения в измерениях со временем накапливаются, делая карту менее точной). Виртуальная зона охватывает все ваше поле зрения, поэтому система должна реагировать так быстро, как вы можете двигаться, и любые ошибки или задержки отслеживания очень заметны.

«Это отслеживание по шести степеням движения было сделано раньше, но с большим количеством внешних датчиков в комнате, и это представляло большой барьер для входа», – сказал Козьминский. «Вы не можете поделиться устройством, вы не можете принести его в дом друга. (Наша цель состояла в том, чтобы) достичь этого уровня погружения, но сделать его более практичным, чтобы больше людей могло его использовать ».

Делать VR портативным

Чтобы добиться этого, Oculus пришлось переместить программный стек, который выполняет все вычисления, на саму гарнитуру. Это представляло серьезную проблему; Как вы помещаете такую ​​сложную систему на что-то более легкое, носимое и питаемое от аккумулятора?

«Было очень сложно разработать архитектуру, чтобы использовать наименьшее количество энергии и оставить достаточно места на устройстве для игрового контента», – сказала она. «Oculus Insight – это игровая платформа, но если нет контента для удовольствия, это спорный вопрос. (Мы должны были) сломать тенденцию, что он может работать только на мощных ПК, и позволить разработчикам создавать крутые игры и опыт ».

«Мы должны были собрать тысячи и тысячи наборов данных, придумывая все различные параметры освещения и декора»

Анна Козьминская, Facebook Цюрих

Конечно, комната в вашем доме может полностью отличаться от комнаты вашего друга, поэтому система должна быть способна справляться с огромным диапазоном условий. «Алгоритм очень чувствителен к тому, в какой среде он используется», – сказал Козьминский. «Условия освещения, размер пространства, количество фактур на стенах и поверхностях – но мы не можем предсказать, как люди собираются устроить свою гостиную. Может быть, они хотят иметь тусклое освещение (например).

«Мы должны были собрать тысячи и тысячи наборов данных, придумать все различные параметры освещения и декора, а затем воспроизвести на FacebookСерверы и имитируют реальное использование гарнитуры, чтобы мы могли вычислить метрики. Это было многолетнее усилие ».

Эта комната в FacebookЛаборатория в Цюрихе – одна из сотен, используемая инженерами для проверки работы Oculus Insight в реальных условиях.

(Изображение предоставлено: Facebook технологии)

Однако эта работа стоила того, и разработчики аппаратного обеспечения были очень впечатлены тем, чего удалось добиться креативщикам с ее помощью. Пока мы спрашивали Козьминского о ее любимцах.

«Я думаю, что есть два», сказала она. «Один – это внешнее использование в целом, а другой – внутренний проект. Когда дело доходит до внешнего использования, я большой поклонник 360-градусного видео, в дополнение к играм. Когда производители берут камеры с 360-градусным обзором в окружающую среду, такую ​​как тропический лес или лагерь беженцев, и сообщают о видео в виде контента, это действительно убедительно. Вы должны быть в чужой шкуре, чтобы испытать это. Видеоконтент действительно убедителен в виртуальной реальности, потому что вы чувствуете, что вы действительно здесь, и он дает вам перспективу от первого лица, которая является мощной в создании эмпатии.

«VR может быть одиноким опытом, если вы используете его самостоятельно, и наша цель – создать значимые связи»

Анна Козьминская, Facebook Цюрих

«Мы провели демонстрацию на OC5 в прошлом году – доказательство концепции будущих приложений Oculus с шестью пользователями в западном стиле на арене. Мы размещали несколько игроков. Сегодня вы можете играть в многопользовательские игры, но не о чем говорить, что игрок на самом деле рядом с вами. В этой демонстрации мы разделили одну и ту же карту для всех устройств в этом совместном фрагменте.

«VR может быть одиноким опытом, если вы используете его самостоятельно, и наша цель – создать значимые связи. Эта демонстрация была демонстрацией того, куда мы могли бы пойти в будущем, чтобы поделиться опытом в области – будь то игра или просто тусовка ».

Разрушение границ

Козьминский и ее коллеги в Facebook не почивают на лаврах. «Теперь, когда мы отправили Quest, наша команда занята написанием новых функций, которые мы выпускаем почти каждый месяц», – сказала она.

Но дело не только в играх – Oculus – это Facebook проект, поэтому неудивительно, что конечная цель – объединить людей. И чтобы сделать это, барьер для входа необходимо будет снизить еще больше

«У меня есть семья, которая живет в Канаде, – объясняет Космински, – и благодаря этому опыту виртуальной реальности у нас есть многопользовательские игры, но в будущем мы хотим иметь возможность объединить двух людей, которые очень далеко друг от друга, в один и тот же опыт. и заставить их чувствовать, что они в одном месте. Я хочу добраться до точки, где я могу надеть гарнитуру и потусоваться с моим братом в Канаде, как будто мы в одном месте – будь то в VR или AR.

«Технология Oculus Insight – это то, что мы будем использовать для питания очков AR в будущем. Мы говорили об инвестировании в AR, и, в конечном итоге, когда мы доберемся до более легкого форм-фактора – что-то более удобное для ношения – больше людей будут его использовать, и мы сможем привлечь больше людей в это сообщество, чтобы получить цифровой опыт. Как добраться до очков AR и устранить эти географические границы ».