Что такое расширенная реальность понятным языком

Как работает XR

XR (Extended Reality, расширенная реальность) — технология, которая позволяет погрузить человека в виртуальное окружение. Взаимодействовать с ним можно только при помощи смартфона, планшета или компьютера. Среда выстраивается на основе данных с видеокамер, передающих на экран изображение.

Декорации для съёмки XR-проекта состоят из LED-экранов. Технология расширенной реальности достраивает окружение за границами этих экранов, дополняя изображение настолько, насколько его позволяет захватить камера.

XR также использует AR-технологии (Augmented Reality, дополненная реальность) — они позволяют внедрять объекты, которые перекрывают актёра. Например, в виртуальной студии появляется автомобиль, с которым человек может взаимодействовать: он заходит за него, обходит вокруг — и у зрителя сохраняется ощущение его присутствия в кадре.

Датчики на камерах позволяют всегда снимать объекты дополненной реальности в нужной перспективе, чтобы зрителям всё казалось максимально правдоподобным. Куда бы камера ни повернулась, датчики подстраивают графические элементы в кадре под нужный ракурс.

Чаще всего XR используют в прямых трансляциях, онлайн-концертах, виртуальных студиях телепрограмм и презентациях продуктов. Если вместо хромакея («зелёного экрана») использовать LED-экран, можно добиться эффекта реалистичного света. Например, на экранах появляется закатное солнце — и свет от них даёт правильные блики на объекты и людей вокруг.

Эту же технологию используют и в кино, но в усечённом варианте. Для кинопроизводства немаловажен тот факт, что благодаря XR участники видят на съёмочной площадке не просто хромакей, а оператор и режиссер могут поправить картинку в прямом эфире. Однако в кино обычно не используют пол из LED-экранов, а вместо него ставят реальные декорации — землю, элементы интерьера и другие предметы.

Как XR используют в мире

В 2020 году Билли Айлиш провела первый в мире виртуальный концерт, для которого Sila Sveta создала специальные декорации: для каждой песни разработали свой виртуальный мир. Например, когда Билли исполняла трек ilomilo, она оказывалась в подводном мире с огромными акулами, и всё это происходило в прямом эфире.

Технология XR активно применяется и на презентациях автомобилей. Американская креативная студия MBA создает моушн-дизайн для Kia, Honda и Hyundai. В презентациях благодаря XR автомобиль движется, но на самом деле на экранах просто меняются декорации.

Раньше производителям кино приходилось работать на фоне зелёного экрана. Сейчас с помощью XR и огромных LED-экранов на съёмочной площадке выставляют уже готовые 3D-изображения, чтобы перенести героев в виртуальную реальность. Lucasfilm сняла сериал «Мандалорец» по вселенной «Звёздных войн» полностью на XR.

В кинопроизводстве такая технология помогает сэкономить время на постпродакшне, а актерам — глубже погрузиться в роль. С помощью XR сняли и многие сцены в фильмах «Книга джунглей»(2016) и «Король лев» (2019).

Как применяют XR в России

Самым громким кейсом в России стала презентация «Сбер Конф 2020», где компания презентовала свою экосистему и новые продукты. В ней приняли участие актёры, музыканты, блогеры и другие известные личности, а руководители каждого подразделения простым языком объяснили работу своих сервисов.

Михаил Боярский с помощью XR оказался в отделении Сбербанка будущего с новым аутентичным интерьером, Дима Билан сидел в виртуальном автомобиле и слушал музыку, а Кристина Асмус общалась с голосовым помощником, который отображался в виде голограммы прямо перед ней.

В декабре 2020 года компания МТС провела первый в мире музыкальный фестиваль в расширенной реальности — МТС Live XR. В нем приняли участие Cream Soda, Feduk, «Пошлая Молли», «ЛСП» и Дора. Для каждого музыканта создали собственный виртуальный мир. Концерт длился 5 часов, его посмотрело 14 млн человек.

XR и Sila Sveta

В 2021 году в партнёрстве с «М-продакшн» Sila Sveta построили большую студию с самым современным оборудованием. Там проходили съёмки XR-эксперимента Levitation 2. Это перформанс на стыке театра, хореографии, высоких технологий и иллюзий. Вторая часть начинается буквально с того же кадра, которым заканчивалась первая «Левитация» 5 лет назад.

Главным героем проекта, как и в прошлый раз, стал танцор Юрий Чулков. Его история продолжается и эволюционирует: это отражено как в самой хореографии, так и в технологических приёмах. XR позволяет выйти за пределы сетапа и попасть в другую вселенную со своими законами физики.

Если в первой «Левитации» Sila Sveta были ограничены рамками проекционных экранов, расположенных в форме книжки, то во второй части они решили показать выход за пределы экрана и возможность работать с бесконечным пространством и ландшафтом. Эта история про преодоление и выход за рамки не только в графике, но и в характере героя.

Первая часть была монохромной и более камерной. Герой перемещался в рамках одного чёрно-белого пространства. А в Levitation 2 появилось множество оттенков, которые специально подбирали по смыслу под каждый кадр. Расширить пространство перформанса удалось за счёт ярких XR-декораций.

В будущем большинство клипов, фильмов и концертов будет сниматься с применением XR. При наличии своей студии у Sila Sveta появится больше возможностей постоянно изучать ещё не раскрытые возможности этой технологии.