去年7月28日HYPEREAL Pano發布會上，HYPEREAL發布了自主研發的產品、游戲內容。在此前，HYPEREAL一直是一家默默無聞的技術公司，而CJ前兩天過后，經過一些媒體的報道，HYPEREAL儼然被視為“VR界的黑馬”，在受到大量贊賞的同時，關于產品的外觀和技術HYPEREAL也面對了一些質疑，甚至有人專門來體驗區拍攝HYPEREAL頭顯和手柄的sensor點布局。

很多人說HYPEREAL的定位像Vive，但事實上HYPEREAL與Vive有很多不同：Vive采用的是光同步，HYPEREAL采用的是無線同步，其次sensor點的布局完全不同，結構和算法也完全不同。HYPEREAL的技術總監陳祿在去年7月28日的CGDC上發表了主題演講《虛擬現實交互的圣杯——燈塔跟蹤技術》，分享了HYPEREAL空間定位——HyTrack的技術細節。

陳祿，HYPEREAL圖形技術總監，圖形學博士

畢業于浙江大學竺可楨學院和CAD&CG國家重點實驗室；

博士期間研究方向為虛擬現實和幾何建模，發表過多篇頂級期刊和會議論文；

曾就職于寶馬中國技術中心，擔任虛擬現實和人工智能兩個方向的研發團隊負責人；

根本目標：用跟蹤技術為用戶帶來沉浸感

陳：VR的終極目的是為了完全接管人體所有的感知器官，然后通過計算機模擬的方式去提供反饋，讓用戶形成一種很強烈的沉浸和臨場感。除了視覺顯示，還要用到跟蹤技術。跟蹤技術的意義是能夠把真實世界的東西帶到虛擬世界當中去。畢竟人的身體，包括一些周圍的環境都還是在真實世界當中，所以必須要用跟蹤技術來使得真實世界的東西在虛擬場景中有一個對應，以及和虛擬場景發生交互。

跟蹤技術

跟蹤技術是分階段的。最初級階段，便是實現頭盔旋轉的跟蹤。現在移動端大部分產品，基本上都能實現這一點，通過追蹤頭部旋轉，已經可以達到一定的沉浸感。但問題是，當用戶看到VR場景之后，接下來的需求就是希望與這個虛擬場景進行交互。這其中，交互的方式有很多種，包括用手，或者用身體，這就是為什么現在所有的PC的方案基本上都會有頭部的平移以及手柄的跟蹤，這會給用戶提供更好的沉浸感，因為他可以感到他身體的一部分——頭部和兩只手，可以和虛擬當中的物體發生交互。

誠然，為了達到完美的沉浸感和逼真的效果，還有很多東西需要做，比如說手指、全身、眼球的跟蹤，以及對周圍環境的感知。這些也都是大家能看得到的VR的發展方向，我們也在同時研究和關注這些技術。

我們今天介紹的HyTrack跟蹤系統主要是側重于解決PC方案中頭盔和手柄的運動跟蹤問題。

HyTrack——最精確的毫米級定位系統

在講解了跟蹤技術之后，陳祿介紹了HYPEREAL自主研發的燈塔技術原理。

燈塔跟蹤技術的前世今生

燈塔定位技術的最早原型是在1989年被提出的Minnesota Scanner，其原理就是利用掃描激光面對于空間進行編碼進而對物體做跟蹤。而后有很多人基于相似原理做了改進用于不同領域的應用中。Valve之前首先把它成功的帶到了VR消費電子領域。

陳：這是我們公司自己研發的比較早期的原型，做得比較裸。左邊是燈塔，有兩個電機，電機上面有透鏡，這里有一個小動畫演示燈塔的結構，可以看到通過透鏡把一束激光變為一個扇面，再利用電機使得激光面勻速掃描。中間的部分是我們頭顯的早期原型，上面有很多小的線路板就是我們自己制作的傳感器模塊，每一個中心有一個光電二極管。傳感器把光信號轉成電信號再到數字信號，然后傳到計算機里。基本原理如上圖，左邊這一塊是激光掃描扇面的頂視圖，激光會從一個基準位置開始向下掃。在掃過基準位置時刻，我們會發射一個無線同步信號。藍線是掃到每個光電二極管的激光面。右邊的圖是傳感器上面的時序圖，從收到無線同步信號的時候開始計時，當被光掃過的時候，會留下一個很小的間距的光脈沖，測量脈沖中點時刻，結合電機轉速，我們可以計算得到該掃描面相對基準平面的夾角。這樣我們就知道這個點處在空間當中哪一個平面上。通過兩個方向的掃描，被照到的傳感器點我們可以確定其在空間當中的某條直線上。在這里我們和VIVE采用了不同的技術方案，他們使用的光同步，燈塔會有LED燈。無線同步的好處是，燈塔之間不用同步線連接了，或者燈塔不用互相對著擺放。兩種方案在工程實現上的區別很大，測量手段也會不一樣，但是本質上都是為了獲得同步信號時間。

HyTrack早期原型、基本原理

而后是算法邏輯，這主要基于一個數學模型。

數學模型

我們通過光學系統所得到的其實是兩個角度，這樣就可以知道，這個物體的某些點在投影平面上的坐標。這里等同于一個小孔成像的相機模型，也可以很好地表達成一個線性的約束。在靜止狀態下我們已知傳感器點的相對位置，當物體運動過之后，可以得到某些點的掃描觀測值，因為它被照到，它會處在這個空間當中某兩個面的交線上，這個可以很好的寫成一個線性約束表達式，可以把它們聯立起來，相當于做一個最優化的問題，我需要求解在滿足這些約束情況下最優的旋轉和平移。這個問題其實是一個比較標準的問題，求解的方法也非常多，其實在視覺領域，對這類問題有很多人做過不同的方法，比如說你怎么樣參數化你的旋轉，就會有不同的方法，基本上這個應該算是一個比較成熟的問題。

HyTrack算法流程圖

這就是我們的算法流程圖。以上我們提到的是激光系統的原理，但不要忘了，在頭盔和手柄上還可以利用IMU。其實在有陀螺儀、加速器和磁力器的情況下，IMU本身也可以做定位工作，但是它有個很大的問題——會漂移。其實我們對這個物體姿態有兩個數據來源，一個是IMU，一個是激光系統，這兩套系統理論上都可以獨立對這個姿態進行估計，IMU的好處是采樣頻率高在短時間內相對來說比較精確，壞處是稍微長一點時間就會有較大漂移。而激光系統則是在大尺度下相對比較精確，但是它可能被遮擋和有誤差。我們要做的工作之一就是怎么把這兩個信號融合在一起。

這就是我們HyTrack定位系統的基本原理。

如果你對于燈塔技術比較關注的話，會知道有這樣一個人，他叫艾倫，是Valve的燈塔技術負責人。他說過一句話——“其實任何人都可以在非常短的時間內構建一套自己的激光定位或者燈塔追蹤系統。但是當你搭出你的第一個原形，并且對它的性能做過實際測試之后，你就會知道你面前的路有多長。”因為我們HYPEREAL實際走過這一條路，我對他的這句話非常認同。定位系統的原理就像我剛剛說的，并非難于登天的壁壘，而且基本理論和方法在學術界已經被研究了很久，但是，我們所面臨的是很多很多工程的問題，包括機械系統、光學系統、模擬電路、數值精度的問題，每一塊都可能會引入相當誤差，怎么樣去減少誤差的存在，對誤差進行建模，減少各個系統之間的耦合性，其實需要做非常多的工作。

舉個例子，傳感器的分布。什么樣的傳感器的分布是好的？比如說我們在設計頭盔時，在規劃頭盔上面傳感器分布的時候，需要考慮在每個角度上可照射的傳感器點的數量，因為從理論上來講，一個燈塔要至少照射到4個點以上才能比較穩定的求解姿態。還有可見張角問題，一般從設計來講，上面要覆蓋一個膜，或者透光的介質，相對的傳感器點比表面要凹下去，這樣可見張角可能就不是180度，或者是120-140，考慮的時候每個點覆蓋范圍沒有那么大。還有數值穩定性，比如說我可能看到4個點，或者5個點，這4個點或者5個點如果是共面，就可能對數值穩定性造成很大問題。這張圖片是我們開發的一個內部工具的截圖，這個工具可根據設計師提供的幾何模型，對傳感器點的分布進行自動評估和調整，借助于這樣的工具我們可以更加有效的設計傳感器點的位置和支持更加自由的設計。

關于燈塔技術的拓展

陳：原理上來說，一個燈塔已經足以定位頭盔和手柄，兩個燈塔的作用主要是解決遮擋。當你在360度任意旋轉你的身體時，如果燈塔只放在一邊，你轉過身，你的身體就會對光造成自遮擋。現在一個燈塔覆蓋范圍是5米，能不能更大呢？由于激光的特性，單燈塔的輻射范圍是有限的。如果你想支持大空間，我們可以通過鋪設多個燈塔來銜接。

第二點是可以處理非剛性物體。根據我之前介紹的原理每個sensor點被一個燈塔照到之后，可以確定空間當中的一條線，它如果被兩個燈塔同時照到，就能夠確定在空間當中的一個點，基于這一點，這個跟蹤技術其實也可以用于非剛性物體，比如說手指，或者人的身體上，每個關節上放一個傳感器點，只要這個點同時保證被兩個燈塔照到，就可以對它的位置進行解算。后面還有多傳感器融合方面的拓展。比如說無人駕駛車或者機器人這個領域它會同時用多個傳感器，激光，攝像頭，雷達，GPS等等因為每個傳感器可能在不同的環境下，有它獨特的優勢，如果你想使整個系統做得非常穩定，其實利用多個傳感器是一個比較好的策略，也可能實現一些新的功能和效果。

從內容層面談交互

陳：我們公司的愿景，是希望能夠給所有人提供一個在VR中創造夢想中的世界和表達自己的途徑。為此，我們不僅提供硬件，而且基于這套硬件的特性提供了一整套的工具和軟件，來使大家可以很容易地在VR空間當中進行創造。這些創造的工具都是基于我們對于這套定位系統，或者說對VR交互的理解。

《Zombies Never Die》武器交互設計

就拿這款《Zombies Never Die》來說好了，這是我們自己的團隊做的游戲。玩家可以在場景內選擇不同的武器，其實這些武器的選擇都考慮了很多，你可以拿槍、劍、弓，這些都適合于在站立情況下大尺度的VR交互的，其中弓箭的交互效果比較突出，因為你需要兩手同時使用，而且我們添加了手柄上的對應振動和聲音，給用戶造成反饋，交互的效果非常好。在選擇菜單的時候，我們也采用了比較直觀的方案，讓用戶自己去拿手去抓相應的武器來完成交互。至于槍，我們實現了三點一線的瞄準射擊方法，一些玩慣了FPS的人不太習慣因為沒有準星，但是他們忘記了，槍在現實世界中原本就應該這樣去用。根據我們測試的經驗和體驗區的反響，這個游戲，大部分人都可以很快上手，各種武器都非常符合大家的使用預期，這才是VR真正有力量所在，它與傳統的游戲不同，不需要把操作映射到手柄上，VR中應當基于用戶對該武器原有的一些知識和經驗來完成交互的過程。

下面一個是我們叫HyBuilder，展現的是用戶在虛擬空間中創造一個世界的過程。目前的內容是創造一個街區，可以看到在這個過程當中，用戶充分使用最自然的方式進行和虛擬世界進行交互。比如說如果你想在空間當中創造一個立方體你會怎么做，如果你想改變這個立方體的大小，你應該會做什么樣的操作，我們的設計采用最直接的動作方式，完全符合用戶的經驗和想象。實際體驗中我們發現即使是兒童也可以順利的熟悉并完成我們的交互，用戶可以充分地享受造物主的樂趣。

《HyBuilder》交互過程

以上是HYPEREAL技術總監陳祿在VR交互方面所做的一些工作的分享。

公司從最初的十多人，迅速發展壯大，現在已經是一個110多人的大團隊，在這半年里完成了整套設備的研發，雖然時間并不算多長，但這依然耗費了HYPEREAL大量的人力物力，陳祿所分享的HyTrack，在研發過程中，除了研究算法，硬件配置上也有不小的消耗。

至于部分媒體報道的“5人1個月”、“10人3個月”的開發過程，這著實太夸張了，硬件、軟件底層、Track、游戲，任何一個開發部門的人數都不止這個數字。我們的研發效率確實非常高，但是媒體報道的數字偏差還是太大了。

陳：我們是一家年輕但是有理想的公司。VR還處在相對早期的階段，我們希望和在座的各位同行一起來努力，推動這個產業的發展，實現我們的愿景。這也是我們為什么愿意在這里和大家分享很多我們的工作和技術細節的原因。我們之后也會在自己的網站或者其他方分享更多的技術內容，供大家一起交流學習。謝謝大家！