Виртуальная и дополненная реальность для мобильных устройств.

В серии статей, я хочу обобщить свой, субъективный взгляд на виртуальную и дополненную реальность. В течении года, участвуя в разработке AR и VR приложений для мобильных устройств, у меня накопилось некоторое количество мыслей относительно этого предмета. Как профессионал и как энтузиаст VR технологий, хочу поделиться этими мыслями, со всеми кому это может быть интересно. В статьях, я в первую очередь обращаюсь к разработчикам и всем, кто интересуется виртуальной реальностью чуть больше чем потребитель. Я постарался минимизировать специализированную терминологию и только обозначить контуры вопросов, не вдаваясь в детали.

 

Виртуальный кинематограф.

Производители гарнитур и шлемов виртуальной реальности, столкнулись с проблемой недостатка приложений для своей продукции. Решение, частично, нашлось в замещении игрового контента развлекательным. Причём замещение структурного характера, когда речь идёт о контенте производимом не в ручную, с задействованием высокооплачиваемых специалистов и больших затратах времени, а том который можно получить легко и быстро. Таким замещением оказался кинематограф. Сэкономив время, деньги и серые клеточки мозга, производители VR устройств, стали быстро наращивать демонстрационный контент для своих устройств. При этом, с одной стороны, мы получили нечто и потенциально перспективное направление для развития VR индустрии в целом, но с другой стороны, увидели неготовность индустрии в целом к форсированному развёртыванию VR экспансии.

В кинематографе, мы имеем наследование от графических историй. Ракурс и кадроплан, динамика изменений кадроплана и смена эпизодов. Кинематограф тесно связан с психологией восприятия зрителем кадра и последовательности таких кадров. В кинематографе, зритель видит фрагмент истории и чередование таких фрагментов. Зритель отделён от повествования. Для VR характерна свобода наблюдателя с панорамным обзором. Зритель может свободно смотреть в любую сторону, по своему усмотрению. Зритель будет смотреть на происходящее не со стороны, а изнутри. Таким образом, позиция наблюдателя, будет эквивалентна присутствию постороннего в происходящем, а не наблюдению через экранное окно. Полный, сферический обзор, означает невозможность спрятать оператора, звуковые и осветительные приборы, частичные декорации, самого режиссёра. Стойка с панорамной камерой- это единственное чего зритель не увидит. Разумеется есть возможность редактировать видео и убирать лишнее из кадра, но «кадра» больше нет. Есть бесшовная, сферическая панорама проецируемая вокруг зрителя в VR. Такое видео будет затруднительно обрабатывать и редактировать. К этому индустрия тоже не готова.  Технологически, формирование панорамного обзора в 360 градусов не стандартизировано, что не способствует упрощению интеграции получаемого VR видео в приложения или его редактирования. Можно охарактеризовать имеющиеся технологические решения как VR документалистика или теле- присутствие. Мне вспомнился фильм Александра Сокурова «Русский Ковчег». Вся картина снята одним непрерывным эпизодом, без единой монтажной склейки, а повествование происходит от первого лица. Это самый яркий пример использования эффекта присутствия в кинематографе. Можно сказать, что этот фильм пример того как может выглядеть «Виртуальный кинематограф». Джеймс Камерон, как мастер высоко технологичного кино, оценил возможности VR как сомнительные и скучные. Джеймс пояснил, что если уровень интерактивности фильма будет выше чем возможность просто осматриваться по сторонам, то это будет тем, что мы называем видеоиграми. Тем не менее, Камерон- это тот режиссёр, который уже активно использует виртуальный кинематограф в съёмочном процессе. Виртуальная камера позволяет ему снимать привычным способом сцену, полностью воспроизведённую в CG.

Имеется ещё одна особенность в панорамном видео. Оно не стереоскопично. Если виртуальная реальность воспроизводится как игровая, интерактивная среда, то трёхмерная сцена отрисовывается с двух камер и мы имеем возможность подавать на оба глаза разные изображения. Панорамное видео сделать стереоскопичным задача абсолютно не тривиальная. Это топологический парадокс, связанный с наложением двух сфер обзора и получением точки схода. Хотя, и на это индустрия торопится ответить интересными решениями. Уже имеются прототипы стерео- панорамных камер. Это ожидает нас в ближайшем будущем.

Выстраивание привлекательности решений для конечного пользователя- это баланс технологических возможностей и ограничений. Сейчас осмысленности и целенаправленности в этом балансе не наблюдается. VR экспансия стартовала и началась гонка первенства, и конкурирования предложений, при полной не готовности производителей, и потребителей VR устройств и контента. Потребитель пассивен и избалован, а производитель не имеет фундаментальной методологической базы и в большинстве своём не знаком с современной прикладной виртуалистикой. Отсюда и моментальные перекосы и броски из стороны в сторону, и громкие заявления о том, что кинематограф- это будущее VR рынка и основное его предназначение. Всё это рефлексия на экспериментальные прецеденты, раскачивание маятника заинтересованности по всей ширине амплитуды высокотехнологичных рывков в разные стороны. Каждое направление развития VR, найдёт свою заинтересованность и пройдя путь проб и ошибок, породит устойчивую нишу спроса и предложения. Так будет и с виртуальным кинематографом. Пока, это только заменитель интерактивных приложений, отвлекающий маневр. Как только разработчики освоятся в новом для себя направлении, когда появятся специалисты виртуализаторы, визионеры продвигающие новые концепции, ситуация снова изменится. Об этом в следующей статье.

Мобильная виртуалистика.

                        Внимательно смотревшие фильм «Матрица», не могли не заметить, в каком тайнике Нео прятал диски с ворованным софтом. Это была книга Жана Бодрияра «Симуляция и Симулякра». Первый фундаментальный труд Жана Бодрияра «Система Вещей». Здесь он впервые использует понятие «симулякр», то есть ложное подобие, условный знак чего-либо, функционирующий в обществе как его замести­тель. Хотя, Бодрияр нигде не использует термина «Виртуальный», да и писалось это в середине прошлого века, но в этой философии можно найти множество отправных точек для понимания того как может развиваться рынок виртуальной реальности. В любом процессе есть закономерности, причины и следствия, формирующий импульс. Это можно найти в философии Жана Бодрияра, хотя и писал он совершенно о другом.

                        Виртуализатор- это творец виртуальных миров.

                        Для виртуализатора, очень хорошим качеством будет способность читать между строк, видеть механизмы явлений, порождающие смыслы за поверхностью повседневных событий. Технологии виртуальной реальности только переживают восхождение, а прикладная виртуалистика, как научная дисциплина и область исследований существует уже больше десяти лет. Манифест виртуалистики был опубликован в 2001 году Н.А. Носовым. В манифесте содержатся все основные концепции виртуалистики, не только как практики, но и как мировоззрения. Сейчас, виртуалистика существует паралельно и даже отдельно от быстро развивающегося рынка VR технологий. Парадокс! Методологическая и концептуальная база знаний отделена от разработчиков или ими не замечена. Возможно, потому, связь психологии и философии с алгоритмами и интерактивными механиками, вовсе не очевидно. Возможно, остаётся не замеченным факт уже состоявшегося слияния этих областей деятельности, который неизбежно приведёт к появлению специалистов нового профиля, именуемых виртуализаторами.

                        С точки зрения виртуализатора, всё должно быть просто и очевидно. Пользователь или разработчик может оказаться во власти интересов производителя технологических решений, но виртуализатор оперирует смыслами, а не устройствами. Если поставить себя на место виртуализатора, то можно задаться вопросом- какое устройство я буду использовать как целевое для своих VR приложений? Скорее всего, то которое уже наиболее широко распространено по всему миру и которое обладает большим набором функциональных возможностей. Первое что приходит на ум- это смартфоны. Такой ход мысли подтверждает ежегодное увеличение процента приложений для смартфонов и уменьшение для консолей и ПК. Смартфон- самое массовое устройство в мире. Использовать его в первую очередь и уже сейчас- это очевидно. Странно, что инерция мысли оказалась столь сильной, что интеграция двух линз и экрана смартфона потребовала так много времени. Стереоскопы появились уже в середине 19 века. Совместить экран смартфона и оптику можно было уже в 2007- 2008 году, когда появился первый iPhone. С этого момента можно было бы запустить счётчик времени, отсчитывающий, сколько потребуется времени, чтобы увидеть очевидное. Шлемы виртуальной реальности появились значительно раньше, но потребовались годы, чтобы совместить две линзы и смартфон, в то время как шлемы все и ныне там где они были- в состоянии бесконечной разработки и усовершенствования.

Основная механика для VR- свобода панорамного обзора на 360 градусов. Это отправная точка для мобильного VR. Для интерактивности, это принцип- "Куда смотрим, с тем и взаимодействуем". Смартфон- это устройство, которым возможно управлять руками, но только если оно в руках, а не на голове, спрятанное под гарнитуру. Как быть? Казалось бы вывод очевиден- нужно соединить с телефоном устройство ввода. Геймпад, клавиатура и вообще всё что можно присоединить через блютус, вполне подойдёт. Однако, джойстик или клавиатура подключаемая к устройству через блютус, скорее всего не окажется в распоряжении пользователя на момент его решения скачать VR приложение. Обнаружив, что приложение интерактивно только при наличии дополнительных устройств ввода, пользователь в 99 случаях из 100 не станет затрачивать дополнительные усилия, средства и время на приобретение нового устройства, только для того, чтобы ознакомиться с приложением. Приложение должно иметь базовый демонстрационный режим, исключающий необходимость использования дополнительных устройств ввода. На сколько это возможно, приложение VR, должно иметь переключение механик интерактивности, использующее более чем один способ управления. Расширять способы управления интерактивностью, за счёт дополнительных устройств, следует в последнюю очередь. Это путь производителей устройств, но не виртуализатора. Это же касается и костюмов VR и перчаток и всего остального, что разрабатывается уже не первое десятилетие в бесконечном усовершенствовании, но широкого распространения так и не получает.

Гораздо более очевидно решение, оказавшееся на поверхности. Всё тот же смартфон, который нашпигован достаточным количеством сенсоров и функций, чтобы послужить для эмуляции джойстика или стика Wii. Связав два смартфона через блютус соединение модно получить новую структурную систему. Виртуализатор увидит в этом возможности, а производители устройств препятствие, ведь предложить спектр не дешёвых устройств и убедить их приобрести- их путь. Виртуализатор создающий приложение имеющее единственную цель- убедить пользователя приобрести дорогостоящее устройство, действует в интересах производителя, а не в интересах пользователя. Сейчас именно производитель диктует условие развития рынка VR, насыщая его самыми разнообразными устройствами разной степени совместимости. Производитель, он же по совместительству визуализатор, создаёт приложения, цель которых убедить пользователя приобретать именно его устройства. Это изменится со временем, когда виртуализаторы станут не зависимы и самодостаточны, а рынок насытится разнообразными гарнитурами и устройствами.  С этого момента, начнётся стандартизация устройств и гарнитур, индивидуализация последних, модинг и всё что обычно бывает в этих случаях.

 

Мобильная виртуальная и дополненная реальность.

Дополненная реальность- AR и виртуальная VR, существуют как две сестры мобильных технологий, каждая из которых конкурирует за право быть востребованной и место под солнцем. Для виртуализатора, исследование этих технологий, попытки их примирить и соединить- естественны.

Для режима AR свойственно рассмотрение и изучение объектов или совокупности объектов в микромасштабе, в пределах AR маркера. Центром внимания будет сам рассматриваемый объект. Наблюдатель может рассмотреть его со всех сторон, но только снаружи. Если этот объект- архитектурное сооружение, то вполне резонна необходимость рассмотрения объекта изнутри, с позиции наблюдателя от первого лица, находящегося внутри архитектурного объекта. Переключение в VR режим, вполне разумное решение. Для переключения точек обзора, можно использовать силуэты людей, при наведении на силуэт, мы получаем координаты новой точки обзора в VR пространстве и плавно перемещаемся в позицию наблюдения с нового места. Пользователь получает возможность изучать экстерьер и интерьер сооружения двумя возможными способами.

AR режим наблюдения виртуального объекта, рассматривается как альтернатива ручной навигации, но пользователь может просто вращать объект по всем осям, относительно его центра. Пользователь вынужден сам перемещаться с устройством вокруг маркера. К тому же, ему предлагают раздобыть маркер. К чему такие сложности, если можно просто потаскать пальцем по экрану рассматриваемый объект? Очевидно, что навигация не самое ценное в дополненной реальности.

Другое дело- музейный экспонат, который уже является маркером и объектом одновременно. Информация предоставляемая виртуально, на устройстве, связана с реальным объектом- маркером. В этом случае, достаточно навести камеру устройства на объект и сразу получить нужную информацию. Если это не предусмотрено, то придётся искать ссылку на этот объект в каталоге гид- приложения, что затруднит пользователя. То же самое с журнальной страницей, страницей каталога, упаковкой продукта, рекламным баннером или музейной картиной. Использование AR режима оправдано как точка входа, соединение информации с объектом реального мира. Если же маркер- это отдельный объект реального мира, но единственное его назначение- быть теркинг маркером для вывода на экран устройства виртуального объекта или информации, то это случай, где AR режим можно исключить полностью. Самостоятельный AR маркер- пустая сущность, порождающая бессмысленное действие, т.е. симулякра.

                        Для виртуализатора, AR технология подобна Шкафу в Нарнию. Для того чтобы человек поверил в Нарнию- VR, ему понадобится шкаф- точка входа. VR приложение, связанное с физическими точками входа представляется совсем другой сущностью, чем приложение, которое существует само по себе и самодостаточно, не имеющее стимула. За физическим объектом закрепляется целое пространство наполненное значениями, смыслами и эмоциями. Этот принцип важен и соответствует термину виртуалистики Virtus- совокупность причин и условий, обеспечивающих событие, т.е. казус.

Разумеется, что маркетинговая сторона тут не последняя. Как пример- пачка сухого завтрака может быть точкой входа. QR код на пачке позволит быстро найти и скачать нужное приложение и быстро запустить его. Сама пачка- кубический AR маркер, запускающий точку входа для последующего VR приложения. Казалось, бы никак не связанные этапы, которые можно форсировать, но объект стимул- коробка, упаковка, предполагает последовательное и плавное погружение в VR. Мягкость и последовательность перехода, предполагает не отдельность существования VR приложения, но его связанность с объектом реального мира, точкой входа. Это мощный фактор, где за каждым физическим объектом может быть закреплена отдельная маленькая реальность VR. Это эффект "Нарния в шкафу".

Одна пачка сухого завтрака- один маркер, 4 пачки уложенные квадратом- другой маркер, запускающий в приложении новую сюжетную линию или новый контент, или механику. В каком другом случае, вы сможете убедить потребителя купить 4 пачки вместо одной? Если вам не нравится такой грубый маркетинговый приём, то представьте школьный учебник, каждая страница которого- маркер запускающий VR ветку на заданную тему. Всё что невозможно уместить на одну страницу, представлено в виде увлекательного путешествия, по сути игры и развлечения. Каждому будет понятно, что учащегося по такому учебнику не нужно будет заставлять учиться. Он будет в достаточной степени вовлечён в процесс исследования новых пространств и информации в процессе этого получаемой, которая в совокупности, будет превосходить десяток объёмов таких учебников.

Начинающим виртуализаторам, я бы предложил поразмышлять о виртуальной петле. Мобильный телефон в VR гарнитуре с запущенным приложением, постоянно захватывает экран планшета как AR маркер. Планшет на расстоянии вытянутой руки отличный маркер, но не просто маркер, а работающее приложение. Выводя на экран планшета последовательность или сочетание маркеров, мы управляем VR приложением на смартфоне, а смартфон, в свою очередь, отправляет на планшет данные о том, как эти маркеры чередовать. Можно изучить свойства такой петли и найти массу любопытных механик интерактивности. К примеру, способ синхронизации нескольких игроков- пользователей VR, при помощи одного планшета- AR маркера.

В манифесте виртуалистики говорится о том, что порождённая реальность оказывает влияние на порождающую реальность. Изучение и освоение этого механизма влияний, как контролируемое управление событиями и явлениями реальности константной, повседневной- это путь виртуализатора. Технологии дополненной и виртуальной реальности не самоценны, но становятся мощными инструментами в изучении возможностей прикладной виртуалистики.

Антон Горнаков 2015.