在將數(shù)字能力引入我們的生活方面,虛擬現(xiàn)實和增強現(xiàn)實都有各自的優(yōu)勢。對于虛擬現(xiàn)實,用戶看到的一切(包括環(huán)境與對象)都可以被控制和改變。這同時意味著用戶所見并不一定反映著現(xiàn)實世界。例如,如果這時另一個用戶進入房間,她將不會出現(xiàn)在VR世界。
另一方面,AR允許用戶利用虛擬信息豐富他們的物理環(huán)境。你可以將虛擬對象添加到環(huán)境中,也可以在視覺上更改或刪除現(xiàn)實世界的對象。然而,其中許多更改都難以實現(xiàn)。要刪除物理對象,你必須能夠通過虛擬內(nèi)容覆蓋現(xiàn)有的物理對象,從而令其不再可見。這需要虛擬對象和物理對象的精確對準,從物理對象背后提取背景信息的能力,以及能夠以原始對象不再可見的方式覆蓋物理對象的顯示技術。由于典型的混合現(xiàn)實技術依賴于前置攝像頭和頭戴式透視顯示器,又或者是視頻透視顯示器,因而這些變化可能難以實現(xiàn),因為前置攝像頭無法感知應刪除物理對象背后的環(huán)境。
微軟 開始探索將VR和AR的優(yōu)勢結(jié)合起來,在混合現(xiàn)實中創(chuàng)造性地操縱空間與時間。他們創(chuàng)建了一個混合現(xiàn)實環(huán)境,其中用戶可以看到周遭環(huán)境的實時表示。與其他方法相比,用戶不是通過機載攝像頭看到圖像。相反,微軟為房間配備了八個安裝在天花板上的Kinect攝像頭。攝像頭的數(shù)據(jù)將組合成一個完整的3D房間重建視圖。用戶可以通過VR頭顯看到重建的環(huán)境實時視圖。
微軟團隊將用戶的虛擬視點與他們在房間中的實際位置相匹配。這意味著物理對象能夠?qū)R虛擬表示。由于數(shù)據(jù)是實時傳輸,因此用戶能夠?qū)崟r感知到物理環(huán)境中的任何變化(如家具的移動或進入房間的人)。用戶仍然可以觸摸和感受到現(xiàn)實世界,并同時獲得執(zhí)行幾乎所有視覺變化的能力。
微軟將這種類型的空間和時間操作看作是一種新型的透視AR,它允許用戶體驗他們的物理環(huán)境,同時還可以實現(xiàn)通常只能在VR中進行的元素更改。用戶可以輕松地“擦除”房間中的幾何圖形,比如重新粉刷模擬房間等等。由于Kinect攝像頭是從多個角度覆蓋環(huán)境,因此用戶可以擦除房間中的一部分并瀏覽其背后的環(huán)境。這對于依賴于前置攝像頭的傳統(tǒng)AR而言十分具有挑戰(zhàn)性,因為其無法感知對象背后的環(huán)境。
與此同時,這些空間和時間操作令重新著色,移動或復制對象成為可能!翱寺 睂ο蟮睦尤鐖D3所示。由于所有更改都連續(xù)應用于實時幾何體,因此在進行操作后,對象任何的移動或復制都會繼續(xù)實時動態(tài)更新。
時間變化同樣有可能實現(xiàn)。用戶可以暫停時間(即暫停接收實時數(shù)據(jù)),并在靜態(tài)重建環(huán)境中自由移動。他們還可以記錄事件,并以任何所需的速度播放它們。
圖3(左)中的用戶在跳躍時暫停了時間。這有效地為用戶提供了靜態(tài)3D重建,這意味著他仍然可以自由移動。由于環(huán)境是3D模型,更改用戶視圖就像修改相機視點一樣簡單。例如,用戶可以虛擬地移動到房間的另一部分,并從不同的角度瀏覽環(huán)境,無需改變自己的物理位置(圖1d和圖5中說明了這種情況)。同樣,微軟實現(xiàn)了一個視圖傳送門機制。用戶可以看到同時觀察房間的各個部分。
由于這些實驗結(jié)合了多個Kinect攝像頭的數(shù)據(jù),因此微軟還實現(xiàn)了在用戶當前空間內(nèi)包含遠程位置的功能。這種交互的靈感來自于早期的研究,如Holoportation。圖5是遠程用戶及其環(huán)境出現(xiàn)在了用戶的當前視圖。遠程用戶只需要一個Kinect攝像頭即可。這種實現(xiàn)結(jié)合了本地和遠程數(shù)據(jù)。
從房間改造,游戲到會議,微軟為這種在混合現(xiàn)實中操縱空間與時間的用例設想了一系列的有趣場景。我們可以擴展混合現(xiàn)實中的可能性空間,并提供一種無縫橋接虛擬世界和物理世界的方法。這可以支持用戶完全控制感知物理環(huán)境的方式,并允許他們進行幾乎所有的視覺修改。
微軟同時設想混合現(xiàn)實的未來版本能夠改變用戶對物理的感知(如創(chuàng)建實時零重力環(huán)境),甚至是對時間的感知(如慢動作環(huán)境)。一旦用戶無法再區(qū)分虛擬和真實,我們就可以尋求最舒適或最適當?shù)钠胶。微軟設想這樣的系統(tǒng)適用于廣泛的心理物理實驗(如調(diào)查靈魂出竅),或探索生活在顛倒世界中的感覺。這項研究代表了該領域的初步探索。微軟表示未來還有很多工作要做,包括提高用戶所見的視覺質(zhì)量,而他們同時渴望繼續(xù)挖掘這一方法的優(yōu)勢和局限。
|