虛擬現(xiàn)實(VR)在經(jīng)歷了幾十年的發(fā)展和技術(shù)儲備后，近幾年呈現(xiàn)出井噴式增長，美國高盛公司2016年初預測，虛擬現(xiàn)實和增強現(xiàn)實將繼個人電腦和智能手機之后，成為下一代的大型計算平臺，其產(chǎn)生的新的市場規(guī)模在未來十年內(nèi)將有望達到800億美元。
在VR的競技場里，諸如Facebook、Microsoft、Google等高科技巨頭紛紛加入角斗，更有數(shù)量眾多的初創(chuàng)公司推動VR技術(shù)的飛速發(fā)展。由于技術(shù)的發(fā)展和資本的注入，一個新的虛擬現(xiàn)實產(chǎn)業(yè)生態(tài)正在形成，市場的期望為虛擬現(xiàn)實相關(guān)的各個行業(yè)提供了廣闊的發(fā)展機遇，也對虛擬現(xiàn)實技術(shù)的突破提出了巨大的挑戰(zhàn)。
虛擬現(xiàn)實的目標是通過計算機、電子、通信等技術(shù)的結(jié)合，創(chuàng)造出人眼無法分辨的虛擬場景，使人們能夠產(chǎn)生身臨其境的切身體驗，猶如沉浸在這種虛擬的環(huán)境一般。為了使虛擬現(xiàn)實內(nèi)容更舒適而且真實地被人眼所接受，虛擬現(xiàn)實設(shè)備必須產(chǎn)生符合人眼在自然狀態(tài)下觀察物質(zhì)世界習慣的場景，然而，現(xiàn)有的VR技術(shù)并不能完全滿足這樣的需求，由此帶來的沉浸感不足、交互感低和健康等問題造成VR體驗還遠遠低于人們的預期。
近年來，計算成像領(lǐng)域的光場技術(shù)憑借其能夠捕獲完整高維度光場信息的能力，為突破虛擬現(xiàn)實中的技術(shù)瓶頸提供了絕佳的解決方案，從而能使人眼真正獲得“眼見為實”的沉浸式體驗。
人眼無法分辨的虛擬與現(xiàn)實
人的眼睛是獲取外界信息最主要的渠道，經(jīng)過長時間的生理進化和日常訓練，人眼形成了感知外部世界的一種本能，其中很重要的一點就是感知深度信息，這包括雙目視差、運動視差、單目遮擋和聚散度等幾種方式。在佩戴頭盔的情況下，人眼實際是聚焦在頭盔的屏幕上，而虛擬現(xiàn)實則試圖“欺騙”人眼和大腦，仿佛雙眼是聚焦在不同的距離。當顯示的內(nèi)容稍有差錯或延遲，人眼就會敏感地察覺到，并造成相應(yīng)的神經(jīng)系紊亂，引發(fā)諸如頭痛、眩暈、疲勞等不適癥狀。
實際上，當人在自然狀態(tài)下觀察目標時，眼睛是在不斷變焦的，并且能夠通過前庭視反射消除畫面切換時的抖動和模糊。這是因為在人眼的周圍有無數(shù)的光線，眼睛通過不斷地改變焦距，采集來自不同方向和位置的光線，聚焦在不同的平面。加上頭部的運動，人可以在很大的范圍內(nèi)不斷地聚焦在所關(guān)心的物體上。也就是說，人需要時刻感知到周圍來自不同位置和方向的光線，這就是光場。因此，虛擬現(xiàn)實要呈現(xiàn)人眼無法分辨的虛擬內(nèi)容，就必須要借助光場技術(shù)來記錄外部世界的完整信息，并將這些信息無損失地復現(xiàn)出來，才能使人眼獲得在自然狀態(tài)下觀看的真實感覺。
傳統(tǒng)的虛擬現(xiàn)實之所以不能完全符合人眼的觀察習慣，就是因為其缺乏完整的光場信息。例如，人工合成的360°全景圖片或視頻，并不是真正的虛擬現(xiàn)實，因為這些圖片或視頻缺乏立體視覺效果。但是，即便采用了立體相機拍攝了三維空間信息，獲得了雙目立體視差，也并不是真正意義上的虛擬現(xiàn)實，因為這樣的系統(tǒng)仍然缺乏運動視差，不能形成走入走出的沉浸感，只適合觀看。
再進一步，完美的沉浸感還需要加入聚焦信息，即人眼對焦在不同深度時，雙眼的聚散程度不同，對焦所在的平面是清晰的，而其他平面則應(yīng)該是模糊的。傳統(tǒng)的VR系統(tǒng)完全沒有提供對焦信息，整個畫面都是清晰的，這就造成了人們長時間佩戴頭盔后產(chǎn)生的各種視覺上的不適癥狀。真實世界的光場是四維數(shù)據(jù)，只有完全記錄光場信息，并且不失真地重現(xiàn)出光場，虛擬現(xiàn)實所需要的沉浸感和走入走出效果才能淋漓盡致地表現(xiàn)出來。
光場的記錄和復現(xiàn)
對于VR應(yīng)用，光場是解決浸入感瓶頸難題的有效方法，其中的關(guān)鍵技術(shù)包括光場的記錄和復現(xiàn)。光場信息包括二維的空間信息和二維的方向信息，目前主要有兩種方式采集光場：相機陣列和微透鏡陣列。麻省理工學院和斯坦福大學先后采用多相機陣列的方式搭建了光場采集系統(tǒng)，從每個相機拍攝到的圖片進行重構(gòu)，計算出四維光場。斯坦福大學的Ren Ng則采用把微透鏡陣列置于探測器附近的方式，設(shè)計出單鏡頭的光場相機，通過重構(gòu)算法得到完整光場。
光場相機能夠?qū)崿F(xiàn)先拍照后對焦的功能，初創(chuàng)公司Lytro先后發(fā)布了兩款基于此原理的光場相機，另外德國的Raytrix公司也有類似的產(chǎn)品問世。對于VR應(yīng)用，Lytro也采用光場技術(shù)，準備發(fā)布一款名為Immerge的光場虛擬現(xiàn)實攝像設(shè)備，能夠拍攝360度的全景光場信息。不管采用相機陣列還是光場相機，一旦四維的光場信息能夠完整記錄，就可以在后端的顯示設(shè)備中進行光場復現(xiàn)。
光場的復現(xiàn)包括渲染和顯示兩個技術(shù)環(huán)節(jié)。由于光場包含了重要的方向信息，在任意指定的對焦平面和視角方向，通過簡單的積分方法就可以渲染出所需要的場景。然而，光場數(shù)據(jù)具有很高的維度，記錄到的光場往往因為采樣不足造成混迭現(xiàn)象，在渲染的圖像上出現(xiàn)“鬼像”。光場渲染中的“鬼像”問題可以通過輔助幾何信息進行校正，只需要簡單的幾何信息，就可以大幅降低重對焦后的圖像中的混迭現(xiàn)象。而這些輔助的幾何信息直接可以通過光場相機進行深度估算得到，即通過綜合利用重對焦、焦掃描和遮擋檢測等技術(shù)，得到很好的深度圖。最終，渲染的光場圖像可以通過頭盔顯示器顯示給人眼觀看。
由于顯示在頭盔屏幕的是渲染的光場圖像，人眼便可以自然地觀看VR內(nèi)容，而不會產(chǎn)生傳統(tǒng)VR設(shè)備帶來的不適感。另外，光場顯示設(shè)備將是光場VR研發(fā)和應(yīng)用中的關(guān)鍵技術(shù)，Magic Leap公司所用到的顯示設(shè)備就是基于光場的原理。近年來，用于近眼顯示的光場頭盔在學術(shù)界和產(chǎn)業(yè)界引起了極大興趣，這種光場顯示設(shè)備采用兩層LCD液晶顯示屏，將光場分解為兩幅圖像，通過光線調(diào)制就可以給人眼重現(xiàn)整個光場，人眼就可以自由地進行重對焦或者改變視角。這種能夠重現(xiàn)完整光場的光場顯示技術(shù)將是光場VR未來發(fā)展的熱點方向。
光場VR內(nèi)容制作的挑戰(zhàn)
目前國內(nèi)外光場VR技術(shù)研究仍處于起步階段，美國的斯坦福大學在光場成像和光場顯示方面具有深入研究，初創(chuàng)公司Lytro正在研發(fā)影視級的光場視頻拍攝系統(tǒng)Immerge，NextVR將光場技術(shù)應(yīng)用到全景3D體育賽事直播中。國內(nèi)上海科技大學等高校已經(jīng)開展了光場VR方面的研究，相關(guān)產(chǎn)品方面，目前僅有疊境數(shù)字(PlexVR)利用光場技術(shù)進行光場VR的內(nèi)容制作，包括環(huán)視相機陣列光場采集、線陣光場成像、全景3D成像等，已有產(chǎn)品應(yīng)用到博物館展品的虛擬現(xiàn)實演示、房地產(chǎn)業(yè)的虛擬樣板間參觀、中共一大會址的3D建模和光場重建等。
目前，VR硬件設(shè)備和平臺在高科技巨頭的紛紛參與下，已經(jīng)日漸成型并有高品質(zhì)的硬件產(chǎn)品可用，而VR內(nèi)容的開發(fā)則嚴重缺乏，尤其是光場VR內(nèi)容的制作更是處于起步階段。在虛擬現(xiàn)實的產(chǎn)業(yè)鏈生態(tài)系統(tǒng)中，內(nèi)容的制作必然占據(jù)整個行業(yè)拼圖中的很大份額，VR內(nèi)容制作中涉及的拍攝硬件研制、軟件開發(fā)和內(nèi)容顯示等都是關(guān)鍵的核心環(huán)節(jié)，是一個軟硬件充分結(jié)合的產(chǎn)物，因此存在巨大的挑戰(zhàn)。在產(chǎn)業(yè)形成的初期，我國與世界領(lǐng)先的VR技術(shù)差距還不明顯，因而具有很大的發(fā)展空間和潛力，應(yīng)盡快提高VR內(nèi)容制作方向的競爭力，占據(jù)全球行業(yè)發(fā)展有利地位。
光場VR是世界上最新的虛擬現(xiàn)實制作概念和技術(shù)，對提高VR沉浸感體驗具有極大的作用，也是能夠改變整個虛擬現(xiàn)實領(lǐng)域的顛覆性技術(shù)，我國極有可能搶占光場VR技術(shù)研究和應(yīng)用的領(lǐng)先地位。不論是光場VR的基礎(chǔ)理論研究，還是應(yīng)用開發(fā)，我國應(yīng)加快相關(guān)的人才培養(yǎng)、應(yīng)用普及和政策扶持，為已經(jīng)來臨的VR產(chǎn)業(yè)大發(fā)展做好充足的準備工作。
相關(guān)閱讀：
解讀4維光場：VR設(shè)備真正的殺手锏
Oculus Rift在視覺體驗上已經(jīng)做得很不錯了，Oculus花了很長時間將硬件提高到目前的水準，要知道在視覺上騙過人類的眼睛和大腦是件很困難的事情，我們從出生開始就活在3D世界中，所以很容易辨別出來一個模擬的3D環(huán)境有哪里不太對勁。于是就導致了頭暈、惡心等等這些癥狀，甚至于再也不想玩VR了。
導致VR之路如此艱難的很大一部分原因，是我們雖然離VR屏幕只有幾厘米，卻試圖說服我們的眼睛，屏中景物在距離我們很遠的地方。
當前這一代的VR顯示設(shè)備，使用了很多不同的方式，在一塊扁平的屏幕上人工地生成擁有深度信息的圖像。但缺忽略了一個很重要的技術(shù)，這項技術(shù)可以讓VR圖像看起來非常自然與舒適——4維光場，它允許類似Lytro的光場相機可以接近真實地還原光場信息，顯示擁有深度信息的圖像，從而更好地緩解“暈動癥”難題。
先看看傳統(tǒng)的VR顯示設(shè)備，比如Rift，利用以下幾種因素來創(chuàng)造擁有深度信息的圖像：
雙目視差
你的左右眼分別看到不一樣的景象，當你的大腦處理這兩個影像的時候，雙目的視差會給你帶來景象的深度信息。
動態(tài)視差
當你左右搖晃腦袋的時候，離你近的景物比離你遠的景物會移動地更迅速一些，因此VR顯示器可以利用此特性將深度信息加入進來。
雙目遮擋
某個景物在場景的前方，因此會遮擋住后方其他的景物，這就造就了景物根據(jù)距離的自然排列。因此，假如一部分遮擋信息同時進入雙眼，大腦就會產(chǎn)生相應(yīng)的深度信息。
視覺輻輳
當你的眼鏡注視某個物體時，離你越近的景物，越會被眼睛向內(nèi)翻轉(zhuǎn)（收斂），以保證其在視域的中心；離你遠的景物，會被眼睛向外翻轉(zhuǎn)（發(fā)散），直到無限遠。翻轉(zhuǎn)量使得大腦可以計算出景物的深度信息。
為了更好地利用以上特性，大多數(shù)VR顯示器分別對每只眼睛顯示單獨的圖像。假如這些圖像與頭部的運動同步地調(diào)整與顯示，則可以創(chuàng)造人眼可以承受的視覺深度信息。
然而，即使像上述那樣欺騙大腦創(chuàng)造出了有深度信息的圖像，你的大腦依舊會發(fā)現(xiàn)一些地方不對勁。視覺輻輳與另一個深度要素息息相關(guān)：焦點調(diào)節(jié)。當你聚焦于近處的景物，晶狀體收斂性調(diào)節(jié)；當你聚焦于遠處的景物，晶狀體發(fā)散性調(diào)節(jié)。大多數(shù)VR頭顯并沒有將焦點調(diào)節(jié)考慮到其中，導致全部的圖像一直處于某一個聚焦的狀態(tài)，但是你的晶狀體卻會隨著立體影像不斷聚散。
你的大腦極其反感這種情況，這種所謂“視覺輻輳調(diào)節(jié)沖突”便會導致視疲勞、重影、頭疼、惡心等一系列癥狀，最嚴重的是，這還有可能導致兒童發(fā)育中的視覺系統(tǒng)的病變。
那么此時，有個方法可以解決這些問題：4維光場技術(shù)。
那么什么是光場？
簡單的說，光場是空間中同時包含「位置」和「方向」的四維光輻射場的參數(shù)化表示，是空間中所有光線光輻射函數(shù)的總體。
其兩個主要應(yīng)用方向是「光場拍攝」和「光場顯示」，第一種需要記錄下來整個空間的所有信息，第二個則是需要將這些信息完整地復現(xiàn)出來。通俗地說就是在空間內(nèi)任意的角度、任意的位置都以獲得整個空間環(huán)境的真實信息，用光場獲得的圖像信息更全面，品質(zhì)更好。
那么什么是4維光場？
空間中一束光的「位置+方向」信息，需要5個維度的坐標來確定—位置需要「X，Y，Z」三個維度（三維坐標系中的點），方向需要「θ，φ」兩個維度（三維坐標系中，θ角是某點與原點構(gòu)成的直線在XY平面的投影與X軸的夾角，φ角是某點與原點構(gòu)成的直線在XZ平面的投影與Z軸的夾角）。在計算中，每多一個維度，就會將計算量大大提高，因此要盡量降低維度，所以使用了一個簡單的模型，即利用某條光線與其穿過的兩個平面的交點，來表示這條光線的位置與方向，假設(shè)這兩個交點在各自的平面的坐標是（u，v）和（x，y），則這條光線的坐標就是（u，v，x，y），巧妙地從5維降為4維。
為了理解什么是4維光場，以及它何如工作，我們可以從它的實際應(yīng)用聊起，即4維光場相機，簡稱“光場相機”。Lytro是光場相機品牌中最優(yōu)秀的之一，對于Lytro相機原理的解釋，有個有趣的比喻：它就好像把一大簇迷你相機捆在一起，同時從一個場景的多個視角捕捉光線信息，當捕捉到每束光線的方向信息后，使用一系列數(shù)學方法重建一個數(shù)字光場，還原出一個趨近于真實世界的光場。
現(xiàn)在你可以使用光場相機從各個角度捕捉圖像了，將光場信息從VR頭顯輸出，便可以有效緩解“視覺輻輳調(diào)節(jié)沖突”和“暈動癥”等等這些問題了。不過，僅僅是“緩解”，而不是“解決”。光場技術(shù)仍屬于起步階段，從各個方面還不夠成熟，從「捕捉」到「顯示」，要解決的問題還太多太多，任重而道遠。
