9月5日,2020 Qualcomm XR生態合作伙伴大會暨第二屆XR創新應用挑戰賽頒獎典禮在江西南昌舉辦。以“開放共贏 擁抱5G”為主題,高通公司聯合XR設備廠商、運營商、平臺供應商、內容提供商、當地政府等XR產業鏈上的合作伙伴,共同探討產業發展趨勢、XR與5G等移動技術的融合,以及XR產業的未來發展機遇。 高通公司全球副總裁、全球XR業務負責人司宏國(Hugo Swart)表示:“多年來,高通公司不斷優化驍龍移動平臺,實現頂級XR體驗所需的沉浸式音頻、視效和交互的支持。驍龍XR平臺現已支持客戶推出超過30款XR設備,其中涵蓋VR、AR和MR領域。”
今年是5G全球商用的第二年,而擴展、融合和機遇成為接下來5G普及的核心關鍵詞。5G所帶來的新特性不僅賦能了智能手機,還將成為更多終端類型、更多行業發展的驅動力,支持更多的應用落地。 司宏國表示:“5G的優勢為XR產業帶來全新機遇,在2020年,我們見證了過去一年我們一直談論的全新XR設備形態的出現,即能夠與搭載驍龍855或865移動平臺的5G智能手機相連的XR Viewer。這些纖薄、輕量化的XR Viewer有效利用手機算力和5G的高帶寬、低時延特性,對打造高品質XR體驗至關重要。”
遇見未來:XR終端新形態
2019年,是5G元年。盡管2020年受到疫情影響,但目前全球80家運營商已經完成部署5G商用網絡,超過385家運營商正在投資5G。到2022年,5G智能手機出貨量將超過7.5億部,2023年5G連接數預計將超過10億,比4G獲得同樣連接數整整快了兩年。
高通公司產品市場高級總監艾和志 目前,XR終端在教育、醫療、娛樂等各領域被廣泛使用。高通公司產品市場高級總監艾和志表示:“目前來看,XR終端的演進路線有兩條。”
第一條:現階段,常見XR終端形態以VR和AR一體機為主。未來1到4年,隨著5G技術普及VR/AR一體機處理、渲染被移至云端,同時保持終端設備算力,為消費者提供更為成熟的雙6DoF、手勢識別等交互體驗; 第二條:現階段,VR和AR Viewer的手機+XR的分體式設計。未來1到4年,此類設備從有線變為無線,基于5G的低延時傳輸和手機性能提升帶來更好的XR體驗。 未來5到十年,上述兩條發展路線將得到融合。
以小型化、無線化、多功能、5G傳輸為主導的XR設備終將代替手機,成為繼電腦、手機之后的下一代移動計算平臺。 那么,高通公司是如何一步步推進這一想法的呢?高通公司中國區XR業務負責人郭鵬表示:“高通在XR領域有四大策略。”
其一是芯片。從2016年推出的驍龍820/821移動平臺開始,高通基于對移動智能硬件領域的經驗,全面鋪開對XR終端設備處理器的迭代。首先宣布基于VR優化的驍龍835移動平臺,隨后推出專屬的驍龍XR1,XR2平臺。 去年12月,高通公司發布驍龍XR2平臺。其內置5G調制解調器及射頻系統、支持60GHz無線連接、支持高達7路并發攝像頭以及6DoF頭部追蹤。 其二是底層軟件和算法。XR的交互方式與傳統顯示交互方式完全不同,除了頭手雙6DoF之外還會涉及到眼球追蹤、表情追蹤、語音輸入等新型技術。
對于XR2平臺來說,除了基本的六自由度時定位與地圖構建(SLAM)等感知算法之外,高通公司還提供了對底層CPU、GPU、CVP的優化,讓產品在更加省電的情況下性能達到極致。 其三是提供一體化參考設計。從驍龍821移動平臺開始,每一代產品都伴有參考設計,其中包括硬件和軟件兩部分。
硬件層面,高通所提供的硬件參考設計是跟AR眼鏡、AR頭盔類似的原型機,這個機器非常的完善和全面,參考設備的配置非常高,用戶在基于它做設計的時候,基本是往下來做減法的。
軟件層面,會有很多軟件代碼、文檔、零部件選擇、原件圖、BCD設計參考這些。所有的都會開放給客戶,以縮短其研發周期,降低研發難度。 其四,基于參考設計,高通公司推出Qualcomm HMD加速器計劃、Qualcomm XR眼鏡適配計劃以及Qualcomm XR企業計劃。
Qualcomm HMD加速器計劃旨在吸引零部件領域或者技術合作伙伴的成員一起加入到項目計劃,讓他們的零部件和算法得以更加穩定地運行在驍龍XR2平臺上。 Qualcomm XR眼鏡適配計劃針對于輕薄型XR眼鏡和5G智能手機的連接,測試XR Viewer的性能并確認其與智能手機之間的兼容性。XR眼鏡可以做到極致的輕薄,同時基于驍龍旗艦移動平臺的5G智能手機可以承擔一部分渲染、計算工作,兩者結合提供沉浸式體驗。
Qualcomm XR企業計劃的參與者滲透到各行各業,比如醫療、工業、消防、警務、文化旅游等等。通過與開發者直接溝通,高通希望開發者更加容易的基于驍龍平臺打造內容生態,這有利于進一步擴大XR生態系統。 這些計劃旨在滿足XR行業的獨特需求,通過與內容、技術和平臺提供商(包括OEM、ODM、手機廠商、運營商、開發者和內容提供商)的緊密合作,基于豐富的生態系統合作項目匯聚更多元的用例、資源和人才,從而促進產業轉型和升級,并繼續推動XR行業向前發展。
5G+無界XR,產業發展新方向
上面說到,高通認為最終的XR終端形態應該是二者融合的樣子,這其中5G技術必不可少。 首先是分離式渲染。 無界XR,是高通公司正在發展的重要方向之一。無界XR允許XR終端在沒有任何束縛的情況下,用無線代替有線。通過無線傳輸由個人電腦、工作站或者云端渲染好的數據,在屏幕上顯示。
高通公司中國區XR業務負責人郭鵬 現階段,Oculus Quest、Pico Neo 2等產品均宣布支持了無界XR。盡管目前的連接方式還是Wi-Fi,但后期5G特性必將呈現出眾多優勢。高通公司中國區XR業務負責人郭鵬表示:“Wi-Fi 6一推出,就有不少手機廠商相繼支持。這也是驍龍XR2平臺積極關注的方向之一。但是,從長期考慮5G仍會與其并行存在。” 未來,高通公司會基于驍龍XR2平臺特性令無界XR的分離式渲染不光服務于Wi-Fi連接的PC機到一體機的無線串流,更多的是滿足為5G商用落地之后,人們對于5G手機+XR設備這種體驗方式的新需求。 其次是AI算力。 驍龍XR2平臺的亮點在于,支持了7路并發攝像頭。郭鵬表示:“XR設備跟環境的交互基本上都是基于傳感器的視覺。即使不是通過視覺,其他的交互也都是通過攝像頭來進行AI的處理。
所以,驍龍XR2支持非常強勁的CPU、GPU、CV-ISP,并且每一個模塊都是可以用來進行一系列AI算法,開發者可以選擇算法運行在哪個模塊上,這些是根據算法來決定的。” 當開發者可以在更強勁加速模塊支持下運行AI算法,也就意味著更穩定的追蹤效果。 例如,在以前平臺實現完整的即時定位與地圖構建(SLAM),包括定位、對環境、平面的識別以及對于光照和人臉的識別,可能會受到硬件的限制,在驍龍XR2平臺上有了更多的硬件加速模塊和傳感器,可以將更復雜的算法移植到硬件加速模塊上。 AI算力的提升,主要在兩個層面與5G息息相關。第一就是當基于云端進行AI算力處理的時候,就需要用5G傳輸到XR終端中;第二個就是當內容算力被移到云端,那么設備本身的算力空間就會增加,這也變相優化了終端的運算能力。 當然,現階段技術瓶頸依舊是制約XR產業發展的最大問題之一。對此,郭鵬表示:“基于驍龍XR2平臺,我們具備了一整套面向客戶的解決辦法。抱著開放共贏的態度,高通除了上面提到的三個項目之外,也會給到開發者一系列技術方面的支持。
具體如下: 1、高通公司盡量通過統一底層API,讓即便是不同設備廠商發布自己SDK,也會盡量縮小廠商之間的差異。這種間接支持,可以優化SDK和底層API之間的關聯性,進而服務于國內開發者; 2、XR應用創新挑戰賽的獲獎或者入圍者,高通公司會主動邀請其加入高通XR企業計劃,提供培訓和技術支持 3、高通開發者社區(QDN)。里面有很多模塊化或者工具化的東西可以直接獲取。 對于開發者而言,內容的平臺移植伴隨著各種困難。高通公司希望從硬件底層來解決這一問題,顯然是個大工程。 據悉,高通現已和華碩、黑鯊、OPPO、vivo、一加、中興、Smartisan、中國移動、中國聯通、中國電信等建立合作,從設備、技術、內容平臺三個層面實現無縫連接的XR體驗。
總結
高通公司產品市場高級總監艾和志表示:“下階段正與合作伙伴研發的XR終端設備超過30款,隨著技術演進、5G發展,渲染能力放在云端,同時保持終端側的計算能力,打造輕便化高性能XR終端。” 驍龍XR1和XR2平臺作為兩種不同定位的XR平臺,前者主打中高端,其具備獨有使用性能和特性;XR2更像是旗艦機的感覺,屬于XR終端的高配產品。 未來,基于高通公司驍龍XR2平臺打造的XR終端將陸續出現在市場。相信專為XR產品打造的設備在游戲性能、空間追蹤等方面會有更優異的表現,而同樣催生出的一批好的內容會吸引更多的玩家為其買單。 正如郭鵬所說,高通公司作為產業鏈上游的核心技術提供商,有責任推動XR產業設備標準統一、聯合各方廠商一起創建一個豐富多樣的XR生態系統,也的確這樣做了。
責編AJX
-
高通
+關注
關注
76文章
7461瀏覽量
190570 -
vr
+關注
關注
34文章
9638瀏覽量
150224 -
5G
+關注
關注
1354文章
48439瀏覽量
563998
發布評論請先 登錄
相關推薦
評論