VR可以說是當(dāng)下最火熱的科技趨勢之一,但VR音頻技術(shù)卻從沒有在專業(yè)音頻領(lǐng)域獲得熱捧。雖然音頻技術(shù)幾乎是和視頻服務(wù)一起進(jìn)入市場,但在VR游戲、VR電影等中的表現(xiàn)卻遠(yuǎn)不如畫面更“吸睛”。
這么久以來,VR音頻這個(gè)概念一直都不溫不火。無論是CD、SACD音樂、黑膠唱片還是流媒體音樂服務(wù)使用的都是較為傳統(tǒng)的立體聲音頻技術(shù)。這幾年,盡管有類似純音頻藍(lán)光環(huán)繞技術(shù)、雙聲道錄制技術(shù)、宣稱能真實(shí)還原家庭影院級的環(huán)繞聲體驗(yàn)等的不斷出現(xiàn),但并不能讓大眾發(fā)現(xiàn)其在技術(shù)上有什么較大的突破。
雖然早在2010年,配備Realiser A8處理器的耳機(jī)確實(shí)有著強(qiáng)大的空間定位能力,并能做出令人震撼的聲音效果,但遺憾的是,其生產(chǎn)商已經(jīng)不再生產(chǎn)這一產(chǎn)品。
如此一來,VR音頻的身影也變得越發(fā)莫測了起來,仿佛越來越?jīng)]了存在感。難道說,VR音頻就要這樣涼涼了么?
斯坦福研發(fā)全息聲音合成系統(tǒng),自動渲染動畫聲音
而就在近日,斯坦福新開發(fā)出的一項(xiàng)有關(guān)聲音的新技術(shù),又將VR音頻帶回了大家眼前。斯坦福研究人員通過計(jì)算快速移動和震動表面所產(chǎn)生的壓力波,開發(fā)出了一款全息聲音合成系統(tǒng)。斯坦福方面宣稱該系統(tǒng)可以自動為計(jì)算機(jī)動畫渲染逼真的聲音。
對于這個(gè)新系統(tǒng),斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的Doug James教授說道:“我們可以用物理和計(jì)算機(jī)圖形為場景制作動畫。在此之前,行業(yè)內(nèi)的技術(shù)無法為復(fù)雜的動畫內(nèi)容生成逼真又同步的聲音,比如說濺水或碰撞物體。而此時(shí),該系統(tǒng)填補(bǔ)了技術(shù)上的這一空白。”
通過幾何和物理運(yùn)動,系統(tǒng)可以計(jì)算出每個(gè)對象的振動,以及如何像揚(yáng)聲器那樣通過振動來激發(fā)聲波。其能計(jì)算由快速移動和震動表面拋出的壓力波,但不能復(fù)制室內(nèi)聲學(xué)。因此,盡管不能在宏偉的大教堂中重現(xiàn)回聲,但該系統(tǒng)可以實(shí)現(xiàn)各種其他情況下的聲音。例如,鈸相撞、顛倒的碗旋轉(zhuǎn)到停止、往杯子里倒?jié)M水、虛擬人物用擴(kuò)音器說話等。
由此方法產(chǎn)生的模擬聲音將非常的逼真。該系統(tǒng)顧及到了動畫中每個(gè)對象所產(chǎn)生的聲波,同時(shí)還能預(yù)測這些聲波,在場景中與其他對象和聲波相互作用,將會產(chǎn)生什么樣的彎曲、反彈或削弱的效果。斯坦福方面表示,許多的測試都表明了該系統(tǒng)生成的聲音都十分讓人震撼。
但這項(xiàng)系統(tǒng)也有令人遺憾的地方。其仍難以逼真的模擬出,那些復(fù)雜對象間相互作用所發(fā)出的聲音。對此,斯坦福研究小組也坦言,這需要他們繼續(xù)投入研究來找到應(yīng)對的解決方案。
VR音頻對于VR來說究竟重不重要?
其實(shí)相較于視覺,人們在聽覺上并沒有那么敏感。很多時(shí)候,在畫面與聲音同步進(jìn)行的情況下,人們更容易在畫面中獲取到較多的信息,從而忽略了一些聲音上的細(xì)節(jié)。那么,是不是說明VR音頻就不重要了呢?
答案顯然是否定的。對于VR中的音頻處理,小編認(rèn)為大家需要用一種新的思考方式。過于逼真的聲音確實(shí)不適合所有的承載模式。比如在影院中,當(dāng)觀眾面對著2D視頻,然而聲音卻從四面八法而來,這確實(shí)會分散觀眾的注意力,并讓其產(chǎn)生對視頻內(nèi)容的不解。
但是,VR頭顯的出現(xiàn),改變了這一切。研究顯示,逼真的音頻是在VR中建立臨場感的重要先決條件。通過VR頭顯,用戶可以轉(zhuǎn)向任何方向,并看到一個(gè)連續(xù)的視覺場景。視覺上連續(xù)的場景與環(huán)繞式聲音,兩者共同構(gòu)建了一個(gè)VR系統(tǒng)。也正因此,才有望為用戶提供一個(gè)更接近現(xiàn)實(shí)的臨場感。
而為了追求好的臨場感、現(xiàn)場感,其必不可少的就是交互性。當(dāng)用戶佩戴上頭顯,其至少轉(zhuǎn)頭會看到不同的全景內(nèi)容,聲音也隨之變化。類似于在游戲里邊,玩家從一個(gè)房間進(jìn)入到另外一個(gè)房間,聽到從同一個(gè)點(diǎn)發(fā)出的聲音都應(yīng)該是不一樣的。這和視覺的變化其實(shí)差不多。正是由于這些交互特性的引入使得真實(shí)性的提升,也證明了VR音頻的存在是很有必要的。
VR音頻就是需要通過交互來給用戶一個(gè)更好的臨場感。另外很重要的一點(diǎn),開發(fā)者通過VR音頻可以更方便的展現(xiàn)自己的意圖。用戶還可以通過聲音來更好地理解開發(fā)者想表達(dá)的意思。相反,如果沒有聲音的提示,那么觀眾在觀看的時(shí)候是完全按照自己的喜好,邊看視頻邊猜測視頻到底在表達(dá)什么。
很顯然,這是非常沒有效率的。而但凡是國外那些拍得非常好的VR作品,無一例外其聲音效果都做得非常棒。依賴于VR音頻,這些視頻將更有目的性的去引導(dǎo)觀眾觀看內(nèi)容。這樣一來,也讓視頻作品更具有了節(jié)奏感。
各大廠商來研發(fā),VR音頻都有了哪些解決方案?
在VR中,用戶處于場景中心,可以自主選擇觀看的方向和角度。用戶想要通過頭顯加耳機(jī)的方式感受VR體驗(yàn),就需要在雙聲道立體聲輸出的耳機(jī)上聽到來自各個(gè)方向的聲音。另一方面,用戶時(shí)常需要來回轉(zhuǎn)動頭部或有大幅度的身體運(yùn)動,因此還要考慮身體結(jié)構(gòu)對于聲音的影響。如此一來,就需要解決兩個(gè)關(guān)鍵的問題,一個(gè)是怎么放,另一個(gè)是怎么聽。
首先,聲音怎么放?開發(fā)者在VR中制作聲音時(shí),就要以用戶為中心,在整個(gè)球形的區(qū)域內(nèi)安排聲音位置。當(dāng)其確定某一方向?yàn)榛鶞?zhǔn)后,畫面內(nèi)容與用戶位置也就相對確定了。以此來定位的話,既有水平方向的環(huán)繞聲,也有了垂直方向上的聲音。通過水平轉(zhuǎn)動和垂直轉(zhuǎn)動這兩個(gè)參數(shù),開發(fā)者就能控制視角在360度球形范圍的朝向,以及隨時(shí)與畫面配合的聲音的變化。
另一方面,用戶只有一副耳機(jī),該如何實(shí)現(xiàn)電影院里杜比全景聲的效果呢?這里面用到一項(xiàng)技術(shù)叫做HRTF(Head-related Transfer Function,頭部傳送函數(shù)),該技術(shù)能夠計(jì)算并模擬出聲音從某一方向傳來以及移動變化時(shí)的效果,有點(diǎn)類似于一個(gè)濾波器。其對原始聲音進(jìn)行頻段上的調(diào)整,使其能更接近人耳接收到的聽感效果,并通過耳機(jī)來回放。
而基于這樣的原理,有不少的廠商已經(jīng)進(jìn)行了嘗試來創(chuàng)造VR中的音頻。
Valve
Valve曾收購了音效公司Impulsonic,Impulsonic有一個(gè)基于物理的聲音傳播和3D音頻解決方案,名為“Phonon”。去年,Valve開放了Photon音效工具的后續(xù)產(chǎn)物Steam Audio SDK。該方案能夠通過空間音效增強(qiáng)VR沉浸體驗(yàn),允許游戲的音頻與場景幾何體建立交互與反彈回音,從而增強(qiáng)體驗(yàn)。Steam Audio支持Windows、Linux、macOS和安卓等多個(gè)平臺,也不局限于特定的VR設(shè)備和Steam。
谷歌
2017年,谷歌也與音頻公司Firelight和Audiokinetic合作,推出了一個(gè)VR音頻插件。開發(fā)者利用該插件可以根據(jù)虛擬空間大小、材料以及對象位置的改變來調(diào)整聲音,營造更加逼真的氛圍。該插件可以無縫集成到Unity和Unreal引擎中,使用時(shí)開發(fā)者只需要對3D音頻進(jìn)行簡單調(diào)節(jié),能夠很輕易地創(chuàng)造空間音頻。
AMD
與英偉達(dá)類似,2016年8月,AMD曾發(fā)布了一項(xiàng)名為TrueAudio Next的實(shí)時(shí)動態(tài)聲音渲染技術(shù),讓虛擬現(xiàn)實(shí)中的聲音和畫面更為同步。該技術(shù)同樣使用物理方式模擬,讓渲染的聲音無限接近真實(shí)環(huán)境的聲音,在虛擬建模中進(jìn)行多次反射,利用Radeon Rays光線追蹤技術(shù)讓系統(tǒng)辨別VR空間布局并定位空間中的物體。AMD已將該技術(shù)開源。
NVIDIA
到2016年5月,NVIDIA推出了一個(gè)專門用于VR場景,并是基于物理技術(shù)的聲學(xué)仿真技術(shù)“VRWorks Audio”。該技術(shù)借鑒了光線追蹤渲染的思路,充分考慮了3D場景的渲染,通過將音頻交互映射到3D場景中的物體上,使音頻聽起來更加自然。
用戶不斷移動,能夠聽到回聲的變化以及帶來的空間感,除了能夠判斷聲音是由該物體發(fā)出之外,還能判斷出物體的方向、遠(yuǎn)近等等更多的信息。
Oculus
早在2014年,Oculus就已授權(quán)VisiSonic的RealSpace 3D音頻技術(shù),并將其融入Oculus Audio SDK中。通過跟蹤器上所發(fā)來的空間信息來處理聲音信息,讓聽者覺得該聲音是從這個(gè)物體中發(fā)出來的。這項(xiàng)技術(shù)非常依賴定制的HRTF,通過耳機(jī)來再現(xiàn)精準(zhǔn)的空間定位。
已有的技術(shù)確實(shí)可以實(shí)現(xiàn)VR音頻,用戶也可通過其辨別方向和距離。但是VR音頻技術(shù)要求的,不僅僅只是提供環(huán)境中物體的位置信息,而是需要能反饋出更多的空間環(huán)境狀態(tài)。
以游戲?yàn)槔?dāng)場景中的光線越來越暗,玩家的視覺必定受到限制,這個(gè)時(shí)候就要靠音頻來確定環(huán)境狀態(tài)。腳步聲、風(fēng)聲、動物的叫聲等都能為玩家提供信息,誘導(dǎo)其下一步的行動和交互。因此,精準(zhǔn)有效的音頻技術(shù)在VR中特別重要,不僅僅是游戲、視頻,在其他例如教育、社交等領(lǐng)域,VR音頻技術(shù)還需要進(jìn)一步的成熟。
評論
查看更多