關(guān)鍵技術(shù)
虛擬現(xiàn)實(shí)是多種技術(shù)的綜合,包括實(shí)時(shí)三維計(jì)算機(jī)圖形技術(shù),廣角(寬視野)立體顯示技術(shù),對觀察者頭、眼和手的跟蹤技術(shù),以及觸覺/力覺反饋、立體聲、網(wǎng)絡(luò)傳輸、語音輸入輸出技術(shù)等。下面對這些技術(shù)分別加以說明。
相比較而言,利用計(jì)算機(jī)模型產(chǎn)生圖形圖像并不是太難的事情。如果有足夠準(zhǔn)確的模型,又有足夠的時(shí)間,我們就可以生成不同光照條件下各種物體的精確圖像,但是這里的關(guān)鍵是實(shí)時(shí)。例如在飛行模擬系統(tǒng)中,圖像的刷新相當(dāng)重要,同時(shí)對圖像質(zhì)量的要求也很高,再加上非常復(fù)雜的虛擬環(huán)境,問題就變得相當(dāng)困難。
顯示
人看周圍的世界時(shí),由于兩只眼睛的位置不同,得到的圖像略有不同,這些圖像在腦子里融合起來,就形成了一個(gè)關(guān)于周圍世界的整體景象,這個(gè)景象中包括了距離遠(yuǎn)近的信息。當(dāng)然,距離信息也可以通過其他方法獲得,例如眼睛焦距的遠(yuǎn)近、物體大小的比較等。
在VR系統(tǒng)中,雙目立體視覺起了很大作用。用戶的兩只眼睛看到的不同圖像是分別產(chǎn)生的,顯示在不同的顯示器上。有的系統(tǒng)采用單個(gè)顯示器,但用戶帶上特殊的眼鏡后,一只眼睛只能看到奇數(shù)幀圖像,另一只眼睛只能看到偶數(shù)幀圖像,奇、偶幀之間的不同也就是視差就產(chǎn)生了立體感。
用戶(頭、眼)的跟蹤:在人造環(huán)境中,每個(gè)物體相對于系統(tǒng)的坐標(biāo)系都有一個(gè)位置與姿態(tài),而用戶也是如此。用戶看到的景象是由用戶的位置和頭(眼)的方向來確定的。
跟蹤頭部運(yùn)動(dòng)的虛擬現(xiàn)實(shí)頭套:在傳統(tǒng)的計(jì)算機(jī)圖形技術(shù)中,視場的改變是通過鼠標(biāo)或鍵盤來實(shí)現(xiàn)的,用戶的視覺系統(tǒng)和運(yùn)動(dòng)感知系統(tǒng)是分離的,而利用頭部跟蹤來改變圖像的視角,用戶的視覺系統(tǒng)和運(yùn)動(dòng)感知系統(tǒng)之間就可以聯(lián)系起來,感覺更逼真。另一個(gè)優(yōu)點(diǎn)是,用戶不僅可以通過雙目立體視覺去認(rèn)識環(huán)境,而且可以通過頭部的運(yùn)動(dòng)去觀察環(huán)境。
在用戶與計(jì)算機(jī)的交互中,鍵盤和鼠標(biāo)是目前最常用的工具,但對于三維空間來說,它們都不太適合。在三維空間中因?yàn)橛辛鶄€(gè)自由度,我們很難找出比較直觀的辦法把鼠標(biāo)的平面運(yùn)動(dòng)映射成三維空間的任意運(yùn)動(dòng)?,F(xiàn)在,已經(jīng)有一些設(shè)備可以提供六個(gè)自由度,如3Space數(shù)字化儀和SpaceBall空間球等。另外一些性能比較優(yōu)異的設(shè)備是數(shù)據(jù)手套和數(shù)據(jù)衣。
聲音
人能夠很好地判定聲源的方向。在水平方向上,我們靠聲音的相位差及強(qiáng)度的差別來確定聲音的方向,因?yàn)槁曇舻竭_(dá)兩只耳朵的時(shí)間或距離有所不同。常見的立體聲效果就是靠左右耳聽到在不同位置錄制的不同聲音來實(shí)現(xiàn)的,所以會有一種方向感?,F(xiàn)實(shí)生活里,當(dāng)頭部轉(zhuǎn)動(dòng)時(shí),聽到的聲音的方向就會改變。但目前在VR系統(tǒng)中,聲音的方向與用戶頭部的運(yùn)動(dòng)無關(guān)。
感覺反饋
在一個(gè)VR系統(tǒng)中,用戶可以看到一個(gè)虛擬的杯子。你可以設(shè)法去抓住它,但是你的手沒有真正接觸杯子的感覺,并有可能穿過虛擬杯子的“表面”,而這在現(xiàn)實(shí)生活中是不可能的。解決這一問題的常用裝置是在手套內(nèi)層安裝一些可以振動(dòng)的觸點(diǎn)來模擬觸覺。
語音
在VR系統(tǒng)中,語音的輸入輸出也很重要。這就要求虛擬環(huán)境能聽懂人的語言,并能與人實(shí)時(shí)交互。而讓計(jì)算機(jī)識別人的語音是相當(dāng)困難的,因?yàn)檎Z音信號和自然語言信號有其“多邊性”和復(fù)雜性。例如,連續(xù)語音中詞與詞之間沒有明顯的停頓,同一詞、同一字的發(fā)音受前后詞、字的影響,不僅不同人說同一詞會有所不同,就是同一人發(fā)音也會受到心理、生理和環(huán)境的影響而有所不同。
使用人的自然語言作為計(jì)算機(jī)輸入目前有兩個(gè)問題,首先是效率問題,為便于計(jì)算機(jī)理解,輸入的語音可能會相當(dāng)啰嗦。其次是正確性問題,計(jì)算機(jī)理解語音的方法是對比匹配,而沒有人的智能。
技術(shù)特點(diǎn)
VR藝術(shù)是伴隨著“虛擬現(xiàn)實(shí)時(shí)代”的來臨應(yīng)運(yùn)而生的一種新興而獨(dú)立的藝術(shù)門類,在《虛擬現(xiàn)實(shí)藝術(shù): 形而上的終極再創(chuàng)造》一文中,關(guān)于VR藝術(shù)有如下的定義:“以虛擬現(xiàn)實(shí)(VR)、增強(qiáng)現(xiàn)實(shí)(AR)等人工智能技術(shù)作為媒介手段加以運(yùn)用的藝術(shù)形式,我們稱之為虛擬現(xiàn)實(shí)藝術(shù),簡稱VR藝術(shù)。該藝術(shù)形式的主要特點(diǎn)是超文本性和交互性。”
“作為現(xiàn)代科技前沿的綜合體現(xiàn),VR藝術(shù)是通過人機(jī)界面對復(fù)雜數(shù)據(jù)進(jìn)行可視化操作與交互的一種新的藝術(shù)語言形式,它吸引藝術(shù)家的重要之處,在于藝術(shù)思維與科技工具的密切交融和二者深層滲透所產(chǎn)生的全新的認(rèn)知體驗(yàn)。與傳統(tǒng)視窗操作下的新媒體藝術(shù)相比,交互性和擴(kuò)展的人機(jī)對話,是VR藝術(shù)呈現(xiàn)其獨(dú)特優(yōu)勢的關(guān)鍵所在。從整體意義上說,VR藝術(shù)是以新型人機(jī)對話為基礎(chǔ)的交互性的藝術(shù)形式,其最大優(yōu)勢在于建構(gòu)作品與參與者的對話,通過對話揭示意義生成的過程。
藝術(shù)家通過對VR、AR等技術(shù)的應(yīng)用,可以采用更為自然的人機(jī)交互手段控制作品的形式,塑造出更具沉浸感的藝術(shù)環(huán)境和現(xiàn)實(shí)情況下不能實(shí)現(xiàn)的夢想,并賦予創(chuàng)造的過程以新的含義。如具有VR性質(zhì)的交互裝置系統(tǒng)可以設(shè)置觀眾穿越多重感官的交互通道以及穿越裝置的過程,藝術(shù)家可以借助軟件和硬件的順暢配合來促進(jìn)參與者與作品之間的溝通與反饋,創(chuàng)造良好的參與性和可操控性;也可以通過視頻界面進(jìn)行動(dòng)作捕捉,儲存訪問者的行為片段,以保持參與者的意識增強(qiáng)性為基礎(chǔ),同步放映增強(qiáng)效果和重新塑造、處理過的影像;通過增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)等形式,將數(shù)字世界和真實(shí)世界結(jié)合在一起,觀眾可以通過自身動(dòng)作控制投影的文本,如數(shù)據(jù)手套可以提供力的反饋,可移動(dòng)的場景、360度旋轉(zhuǎn)的球體空間不僅增強(qiáng)了作品的沉浸感,而且可以使觀眾進(jìn)入作品的內(nèi)部,操縱它、觀察它的過程,甚至賦予觀眾參與再創(chuàng)造的機(jī)會。”
五大障礙
虛擬現(xiàn)實(shí)技術(shù)未來將會發(fā)展成一種改變我們生活方式的新突破。在第一代Oculus Rift的開發(fā)者大會上,所有與會者都看到了一個(gè)充滿潛力的虛擬現(xiàn)實(shí)平臺。
但是從現(xiàn)在來看,虛擬現(xiàn)實(shí)技術(shù)想要真正進(jìn)入消費(fèi)級市場,還有一段很長的路要走,包括Oculus公司在內(nèi)。在Oculus內(nèi)部,也對虛擬現(xiàn)實(shí)技術(shù)現(xiàn)在面對的問題進(jìn)行了討論,并且不斷的在尋找解決方法。雖然所有問題最終都會找到答案,但是都不太可能在一夜之間全部解決。
目前,開發(fā)者如何為用戶提供一個(gè)真正身臨其境的游戲或應(yīng)用體驗(yàn)還存在比較大的技術(shù)局限性,而一些問題到現(xiàn)在仍然還沒有很好的解決辦法。
沒有真正進(jìn)入虛擬世界的方法
在Oculus Rift開發(fā)圈有一個(gè)著名的笑話,每當(dāng)有人讓使用者站起來走走時(shí),對方通常都不敢輕易走動(dòng),因?yàn)镺culus Rift還依然要通過線纜連接到計(jì)算設(shè)備上,而這也大幅限制了使用者的活動(dòng)范圍。
包括Oculus Rift在內(nèi)的各種虛擬現(xiàn)實(shí)裝備依然在阻擋著用戶和虛擬世界之間的交流。這些裝置蓋住了我們的眼睛,只是改變了我們的視線,但是并非涵蓋了我們所有的視野范圍。本來笨手笨腳的配合鼠標(biāo)和鍵盤使用就已經(jīng)非常尷尬,而任何嘗試大范圍移動(dòng)的行為都會被各種線纜束縛。
“我們不希望用戶因此而受到傷害。”Oculus VR創(chuàng)始人Palmer Luckey表示。
部分開發(fā)者曾經(jīng)考慮專門創(chuàng)建一個(gè)房間來供虛擬現(xiàn)實(shí)設(shè)備使用,但是問題似乎并不會如此簡單的就被解決。在游戲中真正身臨其境的體驗(yàn)包括了蹲、躲避甚至是攀爬等動(dòng)作,而這些目前來看還無法給使用者帶來逼真的沉浸式體驗(yàn)。
雖然現(xiàn)在有一些第三方的解決方案,比如Virtuix Omni跑步機(jī)可以讓玩家在固定的空間內(nèi)安全的模擬移動(dòng),但是這些大家伙通常價(jià)格昂貴,并不是普通玩家所能承受的負(fù)擔(dān)。
如何“輸入”也是一大困擾
虛擬現(xiàn)實(shí)更大的挑戰(zhàn)也許是如何在虛擬世界中與目標(biāo)進(jìn)行互動(dòng)。Oculus Rift只是對用戶的頭部進(jìn)行跟蹤,但是并不能追蹤身體的其它部位。比如玩家的手部動(dòng)作現(xiàn)在就無法真正模擬。“輸入是能夠給用戶帶來最重要和明顯的體驗(yàn),如果不能模擬動(dòng)作,用戶總會找不到自己的手在哪里。”Luckey表示。
虛擬現(xiàn)實(shí)如何輸入是游戲開發(fā)者和硬件制造商目前非常大的困擾。雖然現(xiàn)在Xbox的手柄已經(jīng)可以成為PC的控制器,但是在實(shí)際應(yīng)用中還缺乏一些經(jīng)驗(yàn)。其它控制裝置,比如Razer Hydra和STEM系統(tǒng),雖然都給出了很多承諾,但是依然還是不能模擬使用者的雙手。
目前還沒有明確的方法來直到如何具體的實(shí)現(xiàn)虛擬現(xiàn)實(shí)技術(shù)在手勢上的追蹤。“我們都知道有些事物不太對勁,他們已經(jīng)妨礙了我們與虛擬世界之間的溝通。”Luckey說。Oculus似乎依然在開發(fā)屬于自己的輸入設(shè)備,但是目前還沒有太大的成果。
“有些人在采取措施,但是目前大家都不知道自己要做的是什么。雖然有控制器、還有槍,但是我們需要的是一種專門為虛擬現(xiàn)實(shí)設(shè)備開發(fā)的專用輸入設(shè)備,并且會成為主流。它不一定很完美,但是必須要超越一把劍、一支槍甚至是一雙手。這是非常困難的,不過模擬一只手要比槍難度更大。”他表示。
缺乏統(tǒng)一的標(biāo)準(zhǔn)
虛擬現(xiàn)實(shí)技術(shù)目前仍處于初級階段,毫無疑問,對于這個(gè)平臺大家都有著各自的演示方法,無論是粗糙還是漂亮,最關(guān)鍵的也就是最后的幾分鐘。雖然許多開發(fā)者對虛擬現(xiàn)實(shí)充滿了熱情,但是似乎大家都沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。
作為一個(gè)全新的平臺,只有引起人們的興趣才能取得成功,包括實(shí)際的體驗(yàn)。DVD電影、游戲機(jī)甚至是YouTube現(xiàn)在都已經(jīng)變得無處不在,就因?yàn)樵S多人都對他們有興趣。同樣,虛擬現(xiàn)實(shí)技術(shù)想要引人注目,就必須吸引的不只是專業(yè)愛好者。尤其是對于那些年長一些或者非科技愛好者來說,同樣非常重要。
“有些技術(shù)剛開始看起來很酷,但是慢慢就變得沒那么有吸引力了。顯然虛擬現(xiàn)實(shí)平臺想要成長成參天大樹,還需要多年的時(shí)間。”Luckey表示。
游戲體驗(yàn)也許并不需要用戶了解多么多的專業(yè)技術(shù),只需要提供一個(gè)逼真的虛擬現(xiàn)實(shí)體驗(yàn)即可。Luckey指出人們通常都喜歡大多數(shù)人喜歡的事物,同樣,分享才能帶來更多的樂趣。
現(xiàn)在還有許多虛擬現(xiàn)實(shí)技術(shù)不止關(guān)注游戲領(lǐng)域,比如Oculus Rift就為三星的Gear VR開發(fā)了兩款應(yīng)用,一款是專門用來欣賞電影,另外一款則是360度全方位的照片查看工具。
“這些工具的實(shí)用性非常重要,因?yàn)楹芏嗳藭啻畏磸?fù)使用。”Oculus VR產(chǎn)品副總裁Nate Mitchell說。“這就像是現(xiàn)在的智能手機(jī),雖然它用來聽音樂并不是最好效果的那個(gè),但是至少想聽的時(shí)候隨時(shí)都可以,這很方便。我嘗試過用虛擬現(xiàn)實(shí)裝置看電影,效果真的很棒。”
容易讓人感到疲勞
所有游戲開發(fā)商或電影制作公司都應(yīng)該了解如何在虛擬現(xiàn)實(shí)場景中不同的使用攝像機(jī)。移動(dòng)著觀看和靜坐觀看,二者帶來的體驗(yàn)是截然不同的。鏡頭的加速移動(dòng),就會帶來不同的焦點(diǎn),而這些如果運(yùn)用不當(dāng),就會給用戶帶來惡心的感覺。甚至如果鏡頭移動(dòng)的過于迅速,直接會暫時(shí)影響用戶的視力。
有些人要更敏感,更容易眩暈。雖然Oculus VR首席執(zhí)行官Brendan Iribe表示最新的產(chǎn)品可以避免為用戶帶來身體不適,但是仍然需要用戶親身體驗(yàn)過才行。目前還有一些研究顯示,女性通常要比男性更容易對這些設(shè)備產(chǎn)生不適(另外很少有女性會參與到虛擬現(xiàn)實(shí)裝置的測試體驗(yàn))。
看起來還是有點(diǎn)蠢
最后一點(diǎn)雖然看起來有些膚淺,但是同樣很重要。雖然是一款專業(yè)的游戲設(shè)備,但是現(xiàn)在我們佩戴起來非常笨重并且不自然,甚至看起來有些愚蠢。雖然目前我們不知道最終版的Oculus Rift會是什么樣子,但是從目前來看,想要讓它變得輕盈似乎不太可能。
雖然Oculus Rift不是在公共場所使用的設(shè)備,但是普通用戶絕對也接受不了它們現(xiàn)在的樣子。不過這些問題并非不可解決,大多數(shù)熟悉虛擬現(xiàn)實(shí)裝備的開發(fā)者都表示,未來關(guān)于設(shè)備的外觀變得更漂亮并不是一件困難的事情。
雖然虛擬現(xiàn)實(shí)技術(shù)現(xiàn)在看起來還非常初級,但是終有一天它將成為我們與計(jì)算機(jī)交互方式最大的一種轉(zhuǎn)型,改變?nèi)藗兣c科技之間的關(guān)系。虛擬現(xiàn)實(shí)技術(shù)未來最終將讓我們與虛擬世界之間,更加自然的交互。
內(nèi)容來自百科網(wǎng)