Мы написали занимательный доклад по разработкам виртуальной реальности для конференции EVA Florence 2015 (Флоренция, Италия). Статья нигде не публиковалась и, потому, что тема занимательная и не через чур освещенная на Geektimes, решили разместить её тут. Приводим адаптированный русский вариант статьи, при необходимости, каждые дополнения, ссылки, примечания добавим.
Смотрите кроме этого: Виртуальная реальность на МКС

Виртуальная реальность применяют в медицине, дабы продемонстрировать симптомы заболевания либо в лечебных целях, в образовательных целях — а также для обучения вождению, и в космосе. На фотографии космонавт на борту МКС применяет очки виртуальной реальности для тренировок с установкой для маневрирования и перемещения в открытом космосе.Ноутбук Lenovo как часть очков виртуальной реальности симулирует полет в открытом космосе посредством реактивного ранца SAFER — Simplified Aid for EVA Rescue.

Видео 360 + бинауральный звукВведениеПо мере эволюции компьютерной игровой индустрии и разработок виртуального представления объектов (3D-моделирование, фотопанорамы) в один момент совершенствовались устройства для личного и коллективного погружения в среды виртуальной реальности. системы и Подобные устройства, за счет результата присутствия, разрешают человеку появляться в виртуального мира: компьютерной игры, виртуального музея, виртуальной экскурсии и т.д.В 2013 году показался прототип шлема виртуальной реальности нового поколения – Oculus Rift (Рис.

1.) от компании Oculus http://www.oculus.com, собравший более $90 млн. на краудфандинговых площадках в Соединенных Штатах, и от разных инвесторов. Отличительной изюминкой шлема Oculus Rift есть линзовый метод построения изображения – зритель, надевший шлем, наблюдает на стерео-изображение не напрямую, а через особые асферические линзы.

Посредством линз удалось значительно расширить угол обзора, сделав его родным к биологическому зрению человека (110° против 45-50° в простых очках), благодаря чему шлем снабжает неординарно глубокое погружение в виртуальную реальность. Эта изюминка выяснила судьбу очков – проект стал одним из самых динамично развивающихся в индустрии, в мире стали создаваться экспериментальные приложения для Oculus Rift, а в 2014 году случилась одна из рекордных сделок в индустрии – Facebook осуществил приобретение компании Oculus за $2 млрд.Рис.

1. Шлем виртуальной реальности Oculus Rift DK2 и пользователь, 2014 г.Финиш 2014 года был ознаменован возникновением многих разных шлемов (либо, правильнее сообщить, — гарнитур) виртуальной реальности, выстроенных по подобному принципу и предназначенных для применения совместно со смартфоном. В гонку по созданию таких продуктов включились большие компании — Samsung (Samsung Gear VR), Гугл (Гугл Cardboard), HTC (HTC Vive), кроме этого появилось множество стартапов по изготовлению шлемов – Homido (Франция), Fibrum (Российская Федерация), ColorCross (Китай) и другие (Рис.

2.). Принципиальным отличием этих гаджетов от Oculus Rift являлось то, что перечисленные шлемы применяли в качестве экрана смартфон, вставляющийся вовнутрь шлема. Так, отпала необходимость в применении соединительных проводов и компьютера для подключения Oculus Rift, а цена шлема упала до $30.

Рис. 2. Гарнитуры виртуальной реальностиВ настоящий момент (май 2015 г.) гарнитуры виртуальной реальности поддерживаются больши’м числом компьютерных игр (Half-Life 2, Team Fortress 2, Mirror’s Edge, War Thunder,EVE Valkyrie (ex. EVR) от CCP, DCS: World, Ил-2 Штурмовик «Битва за Сталинград», Euro Truck Simulator 2, Minecraft, Live For Speed) и несколькими игровыми движками (CryEngine, Unreal Engine (версии 3 и 4), Unity, Unigine, Source, CopperCube, полный перечень.

Виртуальную реальность возможно просматривать и без шлема — вращая смартфон, но наряду с этим значительно уменьшается эффект присутствия.Показался и деятельно распространяется новый формат развлечений — аттракцион «виртуальная реальность», где клиент за маленькую плату может оказаться в 3D-мире. Один из таких аттракционов был собран и в Центре дизайна и мультимедиа ИТМО и неизменно пользуется успехом у зрителей (Рис. 3.).Рис.

3. Губернатор Петербурга Г.С. Полтавченко знакомится с аттракционом «Виртуальная реальность» (Петербург, Российская Федерация, осень 2014 г.)Применение гарнитур виртуальной реальности в образовательных и научно-исследовательских целях разрешает воображать объекты культуры (архитектурные объекты либо музейные экспонаты) с возможностями и новой степенью детализации для просмотра пользователем.Применение разработки видео 360° для культуры и искусстваС возникновением гарнитур виртуальной реальности стало особенно актуальным направление видео и фото панорам, и применение разработки Видео 360° в разных сферах – от музеев и интерактивных видео-экскурсий до съемки музыкальных и театрализованных представлений.

В частности, концерт, записанный в таком формате, создаёт неизгладимое чувство – зритель, одев шлем виртуальной реальности, выясняется прямо на сцене среди любимых музыкантов либо актеров.Центр дизайна и мультимедиа ИТМО одним из первых в Российской Федерации начал опыты по разработке разработки Видео 360 для шлемов виртуальной реальности. Один из первых опытов, совершённых совместно с Центром 3D-разработок СПбГУТ – съемка спектакля «Выбор» (театр «АХЕ», Петербург, Российская Федерация, лето 2014 г.), адаптированная для воспроизведения в Oculus Rift DK1 (Рис.

4.).Рис. 4. Спектакль «Выбор», в режиме стерео-пары (театр «АХЕ», Петербург, Российская Федерация, лето 2014 г.)Изюминкой данной экспериментальной съемки являлось то, что съемка была произведена на простую 3D- камеру— при просмотре через шлем виртуальной реальности пользователь видел стерео-эффект (для каждого глаза создавалась собственная картина), но позиционирование по положению головы отсутствовало.

Громадным успехом в разработке разработки Видео 360 стала съемка концерта Пола Маккартни, совершённая американской компанией Jaunt в августе 2014 г.Рис. 5. Концерт Пола Маккартни, в формате 3D видео 360° («Live and Let Die», live at Candlestick park, San Francisco, США, 14 авг.

2014 г.)В продолжение опытов по съемке культурно-массовых мероприятий с возможностью просмотра в шлеме виртуальной реальности, сотрудниками Центра дизайна и мультимедиа ИТМО было создано специальное оборудование для записи видео 360° для разных сценариев – статические сцены ( камерастоит без движений в одной точке), динамические сцены (камера движется по выбранной траектории, управляемая дистанционно), разные методы крепления (катер, квадракоптер, шлем и др.).Устройства для съемки видео 360°Создание контента в формате видео 360° к настоящему моменту не есть тривиальной задачей, не обращая внимания на то, что создано специальное оборудование (видео-камеры 360°) и ПО для обработки материала. Постепенное распространение разработки возможно растолковать целым рядом сложностей: громадной количество обрабатываемых материалов, частично ручной процесс обработки, дороговизна оборудования, и, самое основное, — отсутствие эргономичного средства просмотра.

Вправду, до появления гарнитур виртуальной реальности единственным методом просмотра видео 360° был специальный плеер, в котором пользователь имеет возможность крутить мышкой видео «около себя».С возникновением гарнитур виртуальной реальности обстановка изменилась – пользователь выясняется «в» видео и чувствует фактически полную степень погружения в виртуальное пространство. Много показались разные стартапы и творческие группы, реализующие личные технологические ответы для съемки видео 360°, отличающиеся характеристиками и заметным разнообразием (Рис.

6-7).Рис. 6. Разные компоновки камер для съемки видео и фото 360°Особенно необычно выглядят решения, разрешающие снимать видео 360° в 3D формате (для каждого глаза создается собственная видео-сфера, после этого они совмещаются в специальном плеере для воспроизведения). 3D видео 360° дает зрителю чувство пространства более сильное, чем в простом «моно» варианте, но требует намного больше ресурсов – как для обработки материалов, так и для ответа разных технических задач.

В частности, отдельной есть неприятность верхних их размещения и камер (так, дабы при любом повороте головы наверх зритель видел верную картину) (Рис. 7). Рис.

7. Разные компоновки камер для съемки видео и фото 360, включая стерео-компоновку для 3D видео 360 (на примере камер 360 Heros)Бинауральный звукОсобой задачей при создании контента для виртуальной реальности, будь то 3D-моделирование либо «Видео 360°» есть воспроизведение и запись объемного звука – так как пользователь, пребывав в виртуальной реальности, обязан слышать различный звук в зависимости от положения головы!В компьютерных игровых движках эта неприятность решена посредством особых программных средств, задающих размещение источников звука в виртуальном пространстве. Но с возникновением формата «Видео 360°» и возможности записи в этом формате музыкальных концертов, появилась необходимость записывать звук предельно совершенно верно – так, как его слышит человек, стоящий в определенной точке.Для данной цели исследователи применяют т.н. бинауральный звук – он записывается на особые микрофоны, по форме повторяющие ушную раковину человека.Рис.

8. Устройства для записи бинаурального звука от компании 3DioОдна из самых известных работ, снятых при помощи разработки бинаурального звука – концерт группы Beck:Рис. 9. Beck, «Hello again» («Sound and Vision», 2013 г.)Рис. 10.

Beck, «Hello again» («Sound and Vision», 2013 г.)Хостинг видео 360°В связи с стремительным распространением разработки актуальным есть вопрос организации хостинга для файлов в формате «Видео 360°». Ответственной составляющей для того чтобы хостинга есть возможность не только воспроизвести видео с возможностью вращения мышкой, но и адаптация для гарнитур виртуальной реальности, как стационарных (Oculus Rift), так и мобильных.Сейчас, полноценную помощь «Видео 360°» реализовывают всего пара сервисов – французский Kolor(на момент написания статьи приобретён американской компанией GoPro), кроме этого частичную помощь Видео 360 в 2015 году сделал Youtube (имеется возможность вращения мышкой, но нет адаптации для гарнитур виртуальной реальности).Борисов Николай ВалентиновичЦентр дизайна и мультимедиа, Университет ИТМОКафедра информационных совокупностей в гуманитарных науках и искусстве, СПбГУСмолин Артем АлександровичКафедра инженерной и компьютерной графики, Центр дизайна и мультимедиа, Университет ИТМОКафедра информационных совокупностей в гуманитарных науках и искусстве, СПбГУСтоляров Денис АндреевичЦентр дизайна и мультимедиа, Университет ИТМОКафедра математической лингвистики, СПбГУ

Случайная статья:

• Как сделать портативную консоль из смартфона
• Creative представляет обновлённые компактные аудиосистемы

Видео в 360 градусов/100% эффект присутствия/Читайте описание!!!!

Похожие статьи:

• Oculus rift: виртуальная реальность на ces 2013

  Обзор Oculus Rift | Надежда для виртуальной реальности За многие годы метод сотрудничества с игровым миром на PC не очень сильно изменился. Само собой…

• Производительность виртуальной реальности, системные требованя oculus rift и некоторые рассуждения

  Предлагаю читателям Geektimes перевод статьи, которая написана Атманом Бинстоком, главным архитектором Oculus и техническим директором по разработке…

• Происхождение виртуальной реальности: прототипы видеоочков и 3d шлемов из прошлого

  Похоже на то, что виртуальная реальность неспешно усиливается — это уже очевидно не тупиковая ветвь развития разработок наподобие 3D телевизоров….