高通對虛擬現(xiàn)實和增強現(xiàn)實感興趣,但對當前技術(shù)還不滿意。該公司正在開發(fā)最新的移動處理器和其他技術(shù),希望讓VR和AR可以變得“無拘無束”、并能以更高的分辨率顯示圖像、使用更好的顯示器、讓其輕量化和提高節(jié)能效果,從而使得我們可以長時間佩戴頭顯。隨著時間的推移,高通希望將所有必要的技術(shù)都嵌入到一個更小、更舒適的設備中。
負責實現(xiàn)該愿景的人之一是Tim Leland,高通產(chǎn)品管理副總裁。Venturebeat在舊金山舉行的VRX會議上采訪了Leland,探討了高通對虛擬現(xiàn)實、至今為實現(xiàn)高質(zhì)量無線 VR所取得的進步、以及對增強現(xiàn)實的看法。以下是YiVian為大家整理的采訪片段:
可以總結(jié)一下你在臺上分享的內(nèi)容嗎?
高通相信VR正在發(fā)生。它會在2017年實現(xiàn)增長,然后不斷壯大。隨著新技術(shù)的發(fā)展,尤其是顯示技術(shù)的發(fā)展,VR和AR將最終合并,AR會涵蓋VR。如果你想進入VR模式,顯示屏可轉(zhuǎn)換成不透明。AR和VR將是同一個設備。我不認為我們會過分擔心增強現(xiàn)實、混合現(xiàn)實或融合現(xiàn)實中的術(shù)語的連續(xù)性。這就是所有一切發(fā)展的方向。你會有虛擬對象,你可以放置在這個增強的世界中,并與之進行交互。它們會被正確地錨定。
我們認為AR的未來屬于移動,因為這是消費者想要的事情。消費者不想被任何東西束縛。在延遲方面,在運動—光子和光子—光子的延遲方面存在對應用性能的物理限制,但這會得到解決。如果你讓渲染系統(tǒng)與慣性或位置追蹤系統(tǒng)分離,限制就會出現(xiàn)。你希望這些系統(tǒng)可以緊密耦合,你可以,至少在同一個印刷電路板 (PCB)中,但在理想情況下是處于同一個系統(tǒng)單晶片(SOC)。
在未來的產(chǎn)品中,我們將會提高3D圖形和多媒體性能,提高能耗效率,所以你不會遇到這么一個情況:必須在視覺質(zhì)量+纜線和較低視覺質(zhì)量+無線這兩個選項中作出選擇。
我見過Facebook和英特爾都在研發(fā)他們的無線頭顯,一體化頭顯,沒有PC電腦。你認為這會發(fā)生嗎?
我們有大約20個關于以一體化為主要目的的VR頭顯設計,要在VR頭顯市場中我們競爭,你必須能夠在5瓦或更小的能耗下完成所有必要的處理。我們不認為,在沒有針對異常發(fā)熱問題的解決方案下,主要針對PC構(gòu)建的這些架構(gòu)可以引入到拓撲中。我們也不認為你可以得到四或五個小時的續(xù)航時間。我們在這方面有很多經(jīng)驗,這是我們通過Daydream和其他頭顯開發(fā)所積累得到的。
你是如何看待一體化頭顯和智能手機插槽的VR設備。
在一些要求上,一體化頭顯和智能手機插槽的VR設備之間并無太大不同,很多要求都是一樣。我們一直在努力實現(xiàn)六個自由度,運動追蹤,由內(nèi)而外追蹤。要發(fā)揮其作用,你不會想被任何東西所束縛
我們認為VR的未來是與AR的融合,而這會是移動化。智能手機的定義也會隨著時間的推移而變化。所有這些都可以是某種高度集成的移動可穿戴設備。
(高通和微軟都宣布你的)驍龍芯片能夠運行Windows 10。我想在某個時候,你們關心的不再會是哪個單獨的平臺,而是兼容所有的平臺。VR適合那個更大的策略嗎?
我們與微軟合作,與Facebook合作,也有與谷歌合作。我們認為將有一些VR云端應用程序,所以你想要能夠來回傳輸云端的數(shù)據(jù)。你希望本地能處理有特定數(shù)量的任務。你會希望機器學習的某些元素在本地執(zhí)行,而與云端服務對話。
5G時代即將到來,這會是一個很棒的技術(shù),可減少無線客戶端和服務器之間的延遲,并增加了上行鏈路和下行鏈路帶寬的數(shù)量,這些設備將生產(chǎn)大量的數(shù)據(jù)。例如,我們錄制了大量的視頻數(shù)據(jù),并將其發(fā)送回去,加上最高為8K分辨率的流媒體內(nèi)容的下載。集成連接組件、多模式5G連接、以及集成Wi-Fi和Wi- gig技術(shù)這樣的組合很棒。這與用于顯示管理的傳感器采樣和渲染子系統(tǒng)非常接近。相當多的集成。
你有聽(Epic Games創(chuàng)始人)Tim Sweeney的演講嗎?
我有聽
我想知道他提到的某些技術(shù)在可行性上有幾許。他提到單眼顯示為8K的奧克利眼鏡(Oakley)。
我認為分辨率可以實現(xiàn)。如果你希望它們一次性長時間運行,在主機和PC領域所采用一些強力方法需要改變,以滿足這些輕薄化設備的部分要求。一些漂亮的視覺效果,那些你需要花費額外四五瓦功率才能實現(xiàn)的花哨著色效果,需要付出代價。這可能不是正確的決定。我們認為一些中間件,如游戲引擎,將會進化,所以你不會得到像‘嘿,看看這些出色的視覺效果’的體驗,但你會有一根纜線連接到一臺2000美元的PC上。
我們需要比背包式PC做得更好,因為這并非消費者想要購買的東西。我們需要關注消費者想要購買的產(chǎn)品,也就是超輕薄化的眼鏡,讓你可以同時使用AR和VR 功能。你在AR模式可以獲取有趣和有用的數(shù)據(jù);你也可以選擇進入VR模式,并感受一個優(yōu)秀的體驗:舒適、輕量級、永遠無線。
Tim Sweeney提到現(xiàn)在的顯示器主要是為智能手機所設計,如果你專為VR開發(fā)內(nèi)容,你可以使用不同的東西來實現(xiàn)高分辨率和低成本。
不僅只是分辨率,色域也是。這跟注視點渲染類似,所以你不必強行通過更多的像素進行渲染。相反,你把渲染處理的重點放在眼睛實際聚焦的地方,在這個寬廣的視場中,你聚焦的區(qū)域并不大。這就是我所說的,不能僅使用傳統(tǒng)的主機和PC渲染方法來處理視覺數(shù)據(jù)。VR行業(yè)必須靈活地實現(xiàn)這一點。我們必須共同努力,使這一切成為現(xiàn)實。
你認同Sweeney關于Metaverse(超元域)的看法嗎?
他看過我們的一些圖形demo。當我們在驍龍820,Unreal引擎4中展示時,他對在移動平臺上可實現(xiàn)的視覺質(zhì)量感到非常驚訝。
至于Metaverse?對的,我喜歡他所說的比喻。在過去,你需要知道如何編寫HTML和各種基本的編碼才能創(chuàng)建網(wǎng)頁,并把視覺信息發(fā)布到互聯(lián)網(wǎng)。隨著時間的推移,該工具集變得更加通用,所以每個人都可以創(chuàng)建自己的網(wǎng)站。當談到朝向一個單一設備的趨同時,我和他的感覺很接近。很難說虛擬世界的網(wǎng)站的最終形態(tài)是什么,但我同意他所談論的幾個概念。
談到我們即將公布的內(nèi)容,對于驍龍835,我們做出了一些改進。其中一些在相機子系統(tǒng)中。有些是為了確保我們?yōu)榭蛻籼峁┑南鄼C功能解決方案的完整性。例如,在相機子系統(tǒng)中,我們現(xiàn)在支持Zig-zag HDR(HDR:高動態(tài)光照渲染),這是一種空間方法,多路復用不同的曝光級別、不同的曝光時間,因此你可以得到這種HDR效果,并通過驍龍?zhí)幚砥髟趦?nèi)部進行處理。這可以更好地映射出最高亮度下的陰影。你會得到更好的陰影分辨率。
我們還對支持10位顯示器的高動態(tài)范圍做了一些改進。我們不僅能夠以每秒60幀的速度解碼4K HDR 10視頻,而且我們也可以輸出該視頻。無需降低到標準動態(tài)范圍的10位顯示器,可以一直保持高動態(tài)范圍。
我們提高了圖形性能。我們一直在努力加快我們的Vulkan性能研發(fā)。我們將在驍龍835展示一些優(yōu)秀的VR demo,我們新的驍龍芯片參考設計會使用高端3D圖形和4K HDR視頻。我們尚未透露具體的類容,只能說這是一個“新芯片”。
我們對視頻編碼子系統(tǒng)進行了一些改進,因此我們正在做諸如感知量化這樣的事情。我們沒有對編碼場景中的每個可能的宏塊進行統(tǒng)一量化,我們根據(jù)的事實是:如果你有這堵墻,你可能會對一些編碼工件更敏感,而不是諸如灌木和樹木這樣的紋理,或者是移動速度非常快的東西。我們在驍龍835的Adreno 540子系統(tǒng)中的新視頻編碼器采用的是感知量化,而非統(tǒng)一的量化方法。
在模塊方面,我們一直與模塊制造商合作,預先優(yōu)化三個不同的模塊。其中一個是1600萬像素的PDAF傳感器,具有出色的光學元件,非常高的圖像質(zhì)量。另一種是雙攝像頭的單Bayer傳感器,用于最大程度的低光攝影。第三種是具有寬視場的光學變焦雙攝像機解決方案。你在另一個傳感器上有一個望遠鏡鏡片,用于最大縮放。我們還增強了一些縮放框架。我們可以在光學變焦和數(shù)碼變焦之間來回無縫轉(zhuǎn)換。
我們對電子圖像穩(wěn)定進行了一些改進,這在你進行縮放時尤其有用。我們有新的軌跡算法,可以更準確地采樣一些傳感器數(shù)據(jù),以預測運動和衰減振動。
你認為這些事情會讓(Oculus技術(shù)總監(jiān))約翰·卡馬克等人更開心嗎? 他到目前為止都很挑剔。
我們一直在與卡馬克進行對話。總的來說,他在Twitter上說過對驍龍非常有利的言論。我們有興趣獲得他對一些開發(fā)工具的反饋,因為他們開始做制作原型產(chǎn)品,并確保他們能在驍龍上獲得最好的性能。
評論
查看更多