Vicovr — тонкости разработки российского контроллера для мобильной виртуальной реальности

Vicovr — тонкости разработки российского контроллера для мобильной виртуальной реальности

Компания 3DiVi сравнительно не так давно представила собственный проект VicoVR на краудфандинговой площадке IndieGoGo, где собирается собрать $75 000.На мои вопросы отвечал технический директор компании 3DiVi, Андрей Валик.VicoVR — это сенсор для мобильной виртуальной реальности. Возможно заявить, что это 3D сенсор со встроенной обработкой карты глубины, что передает уже готовые эти по Bluetooth в смартфон либо любое второе устройство, тем самым перенося ваше тело в виртуальную реальность.

Смотрите кроме этого: VicoVR разрешит взаимодействовать с миром виртуальной реальности

Рынок виртуальной реальности наполняется новыми игроками. На краудфандинговой платформе Indiegogo американская компания ComingSoon-Tech представила совокупность виртуальной реальности VicoVR, которая трудится в паре со специальнойкамерой , отслеживающей перемещения пользователя. По сути, это целая платформа, поддерживающая работу с любой VR-гарнитурой, устройствами на Android TV и tvOS, игровыми приставками на Android и множеством вторых девайсов.КамераVicoVR отслеживает все перемещения пользователя и передаёт их в мир виртуальной реальности.

Поведайте подробнее о продуктеВ hardware-части сенсор складывается из 3D сенсора (мы используем OEM-модуль Orbbec) и контроллера для обработки карты глубины, приобретаемой с сенсора, и передачи данных на смартфон.ПО складывается из двух частей:firmware, которая трудится на контроллере сенсора. Тут главная сокровище — ПО, которое содержит отечественное middleware по обработке карты глубины, выделению сегментов людей, распознавание жестов и дальнейшее выделение скелетов.

Разработкой middleware мы занимаемся уже больше четырех лет.Клиентская часть, которая трудится на смартфоне, практически принимает эти и передает в верхнее приложение.Так, мы убрали тяжеловесную обработку карты глубины из смартфона, высвободив все его ресурсы для работы с VR. Мы большое количество трудились и продолжаем работать над уменьшением задержки при передаче и обработке данных. Громадная работа проделана по компрессии и оптимизации данных при передаче по Bluetooth.Какие конкретно цели ставили перед собой, запуская краудфандинговую кампанию?Мы ставили перед собой 2 цели:

  • прощупать рынок и узнать заинтересованность людей в подобном ответе для Mobile VR.
  • собрать пред-заказы и собрать средства для запуска производства сенсоров.

В чем отличие от Микрософт Kinect?Физический принцип работы сенсора тот же самый, но наряду с этим вся обработка карты глубины перенесена в сам сенсор. Так, мы освобождаем хост-устройство от распознавания карты жестов и обработок глубины, оставляя все ресурсы для конечного приложения. Также у нас беспроводной интерфейс для связи с хост-устройством.Кроме этого мы делали упор на оптимизацию отечественного middleware для ARM-платформ, каковые более энергоэффективны, чем десктопные решения, дешевле и компактнее, что разрешает нам обрабатывать данные в реалтайме на встроенном контроллере. Более того, Микрософт не позиционирует Kinect как сенсор для VR-приложений.А из-за чего решили сконцентрироваться на мобильной виртуальной реальности?Мы видим будущее в мобильной виртуальной реальности, а не в десктопных VR-ответах.Преимущества платформы мобильного VR перед тяжеловесными десктопными VR-ответами следующие:

  • низкая стоимость
  • отсутствие проводов
  • постоянное постепенное приближение и обновление смартфонов их возможностей к десктопным ответам
  • повышение доли рынка мобильных игровых приложений

Сейчас компания Google выпустила анонс программной платформы для мобильной виртуальной реальности Daydream. Эта платформа будет выпущена в осеннюю пору этого года и практически это будет очередное обновление андроида для смартфонов, каковые поддержат эту платформу. Эта платформа приблизит уровень качества мобильной виртуальной реальности к качеству десктопных ответов в плане комфорта и минимизации задержек.

VicoVR будет хорошим дополнением к Daydream…Всю разработку сами вели либо обращались к сторонним компаниям?Дизайн корпуса сенсора для нас создала компания Innozen Design, а другое все сами.По железу мы приобрели помощь от Samsung — их заинтересовал отечественный проект и в итоге мы сделали контроллер на процессоре Exynos.сборка и Производство где будут происходить?сборка и Производство будут в Тайвань и Китай. Финальная сборка, упаковка и тестирование будут проходить в компании Foxconn, в Тайване.

Эта компания консолидирует у себя производство большинства 3D сенсоров, присутствующих на рынке. Для начинающих проектов, аналогичных отечественному, первые пробные партии они создают в Тайване на головном предприятии, после этого по мере повышения количества производства переводят его в другие страны.Печатные платы производятся, монтируются и тестируются также в Тайване у партнеров Foxconn.

Корпусные подробности производятся в Китае.Поведайте про первые прототипыНачинали мы с прототипов с применением сенсоров Asus Xtion и отладочных плат Odroid U3, первая демонстрация была сделана на выставке MWC в марте 2015-го года. Затем мы начали разработку собственного контроллера. В октябре 2015 запустили первую ревизию прототипа уже на отечественном контроллере.

До тех пор пока еще без корпуса, в виде отдельной платы В декабре изготовили корпуса и вторую ревизию контроллера, собрали первый пример и демонстрировали его на CES 2016. Сейчас тестируется третья ревизия контроллера с сопроцессором для авторизации подключения к iOS, если судить по всему это финальная ревизия, которая отправится в массовое производство, если не появятся неприятности с сертификациями по электромагнитной совместимости.Корпусов у нас произведено две модели, одна из алюминия и сплава цинка, вторая содержит частично пластиковые элементы для удешевления.

Сейчас тестируем обе.С какими сложностями сталкивались в ходе проектирования? Что было изменено?Сложности были и имеется всякие, это прекрасно в то время, когда они имеется, в противном случае было бы скучно жить 🙂 Самая первая сложность, с которой столкнулись — поиск российских производителей, каковые смогут изготовить печатную плату таковой сложности, как отечественная.Технологическая сложность платы обусловлена используемыми компонентами — это микросхемы в BGA корпусе: PMIC с шагом выводов 0,4мм и SoC (Samsung Exynos) с шагом 0,5мм.

Эти корпуса предполагают применение HDI (High Density Interconnection) PCB — печатных плат с высокой плотностью межсоединений.В рамках данной разработки используются «глухие» (blind) и «скрытые» (buried) переходные отверстия. Их особенность содержится в том, что они выполняются не через всю печатную плату, а лишь на глубину нескольких слоев. «Глухие» отверстия связывают один из внешних слоев с внутренними (выполняются лазером), а «скрытые» — связывают топологию между внутренними слоями, выхода на внешние слои они не имеют (в зависимости от глубины и диаметра, выполняются или лазером, или классическим сверлением).Эти виды отверстий вводят ограничение на толщину диэлектриков — глубина отверстия не имеет возможности быть больше его диаметр.

Толщина диэлектрика между слоями металлизации со своей стороны воздействует на конфигурацию скоростных автострад (в нашем случае это DDR3). При узком диэлектрике эти автострады должны иметь малую ширину (в нашем случае до 79мкм) для обеспечения требуемого импеданса. Кроме этого малая ширина проводников требуется для вывода связей между контактными площадками Exynos — у нас это 65мкм.

Зазоры между элементами топологии в зоне трассировки Exynos и оперативной памяти самые твёрдые и составляют до 65мкм.Для HDI-плат характерно введение нескольких циклов металлизации отверстий, заполнение полостей микроотверстий (для исполнения т.н. stacked via — составные переходные отверстия). Все это, в совокупности с малыми размерами топологии, требует более твёрдых допусков на обоюдное размещение слоев, процессы прессования узких диэлектрических материалов, процессы осаждения меди и химического травления на фольгу, нанесения финишного покрытия на контактные площадки.Один из производителей в Российской Федерации сперва дал согласие выполнить нужные работы, но позже начал выдвигать требования по переделке печатной платы для уменьшения сложности, мы сделали пара итераций, каковые заняли в итоге фактически 2 месяца, и в следствии решили обратиться напрямую к китайским производителям.

Первый прототип платы был сделан в Китае, а после этого Foxconn порекомендовал нам собственного партнера для производства печатных плат в Тайване.Монтаж печатных плат для тестирования и прототипов на протяжении разработки мы делаем в Челябинске на Технокоме.После этого были неприятности с приобретением комплектовки для прототипов. К примеру кое-какие компоненты, каковые были рекомендованы в девките от Самсунга, просто не поставляются в Россию. Отдельная песня с растаможкой и комплектовкой.

К примеру, партию сенсоров Orbbec мы фактически месяц растаможивали.Следующую подобную металлическую разработку мы вероятнее отправимся делать в Китай, в том месте возможно сократить срок разработки приблизительно вдвое, не обращая внимания на текущую “тенденцию” к переводу и импортозамещению производств в Россию.В итоге сперва подняли U-Boot во внутренней памяти процессора, позже семь дней две заводили DDR, пока не наткнулись в описании в три с половиной тысячи страниц на легкое упоминание о особых регистрах защиты памяти, и методом проб и ошибок нашли нужную конфигурацию :)Дальше загрузили ядро и собрали минимальный дистрибутив на базе убунты.Позже была продолжительная борьба с bluetooth-wifi-контроллером и его firmware.Сейчас все насущные неприятности крепкого характера решены, мы демонстрируем сенсоры на разных выставках. Разработка идет в области оптимизации софта под отечественное железо.Поведайте про начинку, какой процессор используете и т.д.?

  • Процессор употребляется Samsung Exynos HEXA 5260 SCP-вариант, другими словами без установленной на нем DDR памяти.
  • RAM также Самсунг DDR3 dual channel 1GB
  • EMMC также Самсунг 4GB
  • Bluetooth-WiFi модуль AP6210.

Как дизайн разрабатывали?За разработкой дизайна сперва обратились к одной российской компании, взяли эскизы, и как-то не зацепило. Позже нам порекомендовали компанию Innozen Design, получили от них эскизы трех вариантов и практически всем понравилась концепция Power Crystal.на данный момент конкретно над чем трудитесь?на данный момент трудимся над оптимизацией софта. Дабы максимально загрузить ресурсы процессора и сократить время обработки.

Также всегда ведутся работы по улучшению качества скелетизации.Отдельного внимания заслуживает разработка подходов и приложений к управлению в виртуальной реальности. Сейчас создано более 10-ти приложений под отечественный сенсор и мобильную VR, часть делаем сами, часть наши партнеры.

Приходится искать эргономичные, интуитивно понятные и простые методы сотрудничества с VR.Главная неприятность, с которой сталкиваются пользователи — тошнота, на данный момент довольно часто возможно встретить термин Virtual reality sickness. Происходит это из-за несогласованности перемещений в VR с перемещениями в реале, вернее кроме того не перемещений, а ускорений, каковые действуют на вестибулярный аппарат человека. Многие пишут, что на это очень сильно воздействует задержка перемещений и передачи движений на экран VR-шлема.

Мы уже практически два года разрабатываем и тестируем разные приложения для VR с активными перемещениями, каковые отслеживаются отечественным сенсором и заключили что перемещений в VR существует 2 типа:Вращение головой. По отечественному опыту, они должны отрабатываться скоро, с минимальной задержкой, что в принципе решается тем, что они обрабатываются в смартфоне на основании его датчиков либо на основании датчиков шлема, к примеру в GearVR.

Еще уменьшить данную задержку разрешит сравнительно не так давно объявленная платформа Гугл Daydream. Эта задержка весьма критично воздействует на комфорт в VR, по причине того, что тут неизменно имеется ускорения и без них не обойтись.Линейные перемещения. Эти перемещения не очень сильно критичны при условии что обычно ускорения или отсутствуют, или они согласованы с действиями человека. Имеется два варианта избежать дискомфортных ощущений в VR по время линейных перемещений:Исключение ускорений.

Исключить ускорения вероятно — к примеру игры типа раннеров с перемещением в одном направлении с постоянной скоростью либо легко игры на месте без перемещений, либо применение телепортации для перемещений в VR.Согласованность перемещений человека в реале и в VR. В случае если мозг человека приобретает от органов зрения и от вестибулярного аппарата противоречивую данные, то появляется дискомфортные ощущения и тошнота.

По отечественному опыту, в случае если перемещения в действительности (приходящие от вестибулярного аппарата) согласованы с перемещениями в VR (приходящие от органов зрения), то мозг легко компенсирует задержку между ними и неприятных ощущений не появляется. Так, основное как возможно качественнее передать перемещения из настоящего мира в виртуальный, пускай и с маленькой задержкой.

И максимально исключить не прогнозируемые ускорения в VR.Перед нами на постоянной базе стоит задача улучшать уровень качества распознавания скелета для уменьшения неточностей при передаче.Какие конкретно предстоящие замыслы?Ближайшие замыслы — собрать достаточное количество предзаказов на краудфандинговой кампании и запустить производство. До Января этого года все достаточно хорошо расписано1.

EVT(Engineering Validation Test) 03/2016 — 05/2016, мы уже в самом финише данной фазы. — коррекция и тестирование PCB— изготовление пресс-форм — разработка стендов тестирования для производства — сборка 15ти EVT-сэмплов для тестирования — производство девкитов для разработчиков2. DVT(Design Validation Test) 05/2016 — 07/2016 — коррекция PCB — коррекция пресс-форм — изготовление 20ти DTV-сэмплов — начала процедур сертификации, FCC, CE, Laser3. Product Validation Test 07/2016 — 09/2016 — тестирование и сборка 100 PVT-сэмплов — завершение сертификации, FCC, CE, Laser4.

MP — 11/2016, the first volume 5000pcs.запуск производства первой партии размером 5000 штукВ финише этого года уже нужно будет затевать разработку нового поколения контроллера с применением нового сенсора и нового процессора. У нас имеется предложения от компании Asus — применять их новый модуль 3D сенсора в будущем, и Samsung выдвинул предложения по новым линейкам процессоров.Кроме этого мы с нетерпением ожидаем выхода платформы Google Daydream для портирования отечественного SDK и приложений.Страница проекта на Indiegogo.

Случайная статья:

VicoVR — российский контроллер для мобильной виртуальной реальности


Похожие статьи:

Комментирование и размещение ссылок запрещено.

Обсуждение закрыто.