元宇宙正在推動芯片設計的極限，盡管不確定這些設備最終需要多少原始動力來提供沉浸式的AR、VR、MR的融合。

開發這些系統的最大挑戰是實時處理混合數據類型的能力，同時數據以閃電般的速度不間斷地移動。這需要系統的集成，以及系統的系統的集成。無縫運行將需要在芯片層面和其他層面取得進步：

處理器必須具有足夠的功率以避免信號的跳躍。與此同時，該系統在設計上還必須考慮到優秀的能效。實現這種平衡需要混合處理元素，其中許多元素需要針對特定任務和數據類型進行定制設計，并具有優先級的數據路徑，以便將數據快速移動到需要的地方。

頭盔在運行時必須保持合適的溫度，滿足長時間佩戴需求。比如屏幕長時間處于激活狀態，智能手機可能會變得太熱。戴在臉上的設備溫度要比手機更低，盡管計算量可能要高得多。

來回移動圖像和視頻數據需要巨大的帶寬。通常在家庭或辦公室等固定環境中使用高速無線連接實現。但在移動應用中，這些設備可能會搜索信號，因為傳輸這些信號所需的更高頻率容易受到從天氣到其他移動物體等各種因素的干擾。

架構需要足夠靈活，以合并通信協議和其他仍在發展的標準的變化，這將需要某種程度的可編程性。如果做的不好，可能會影響性能。在軟件中做這些改變可能會大大降低系統速度，需要更多的處理，這反過來會產生更多的熱量。

Cadence的Tensilica Vision和AI DSP產品管理、營銷和業務開發總監Amol Borkar表示，滿足所有這些要求的設備必須需要“硬件和效率上的革命”。“這個領域仍處于起步階段。如今的電池驅動的頭盔大多還是原型。這種設備可能在算力上與目前的手機接近，但考慮到與用戶面部的距離，其功耗需要低得多。”

事實上，在某些情況下，它可能被綁定到手機上。著名發明家、Rambus研究員Steve Woo表示：“在像眼鏡這樣的設備上，你想做多少事情，而在一些互聯設備上，你想做多少事情，這方面存在很多問題。一種可能性是，你的手機可以成為一個中心，其中一些處理可以被卸載。這比眼鏡之類的東西好一點。但它仍然是一個電池驅動的設備，如果你碰巧旁邊有一個插在墻上的東西，也許你也可以在那里卸下一些處理工作。但響應時間將非常重要，所以你必須盡可能在靠近設備的地方完成所有工作。”

其他人也提到了類似的限制。Arm家庭市場部門主管Pablo Fraile說：“我們認為元宇宙是任何增強手機功能的東西。這項技術可以朝著多個可穿戴的方向發展。AR和VR是這一領域的兩個極端，而這兩個極端的限制條件也截然不同。我們還考慮到元宇宙被部署在不同的環境中，家庭、辦公室、室外或車內。因此聯網將是絕對必要的。這種連接不僅存在于用戶和網絡之間，也存在于人們隨身攜帶的不同設備之間，因為你可能同時擁有不同的可穿戴設備。”

復雜的整合

一種普遍的看法是，元宇宙將主要用于游戲或社交媒體的動畫3D版本。但它在工業和企業應用中可能有更廣泛的用途，而且每種應用都有非常不同的技術要求和芯片架構。

TSMC北美區總裁兼CEO Dave Keller在最近的一次演講中提到了元宇宙，指出AR已經被其客戶和內部培訓廣泛采用。他說：“在封鎖期間，我們使用HoloLens與我們在美國和歐洲的設備供應商遠程合作。元宇宙將進一步推進這些。去年，元宇宙讓所有人都在討論將真實和虛擬融合到數字時代。這將需要5G、云和邊緣計算。”

它還需要巨大的能量。Infineon電力和傳感器系統總裁Adam White說：“你需要1000倍以上的算力才能生活在元宇宙中。對于AR/VR來說，最大的問題是如何產生足夠的能量使其工作。”

Infineon美洲區銷售SVP Shawn Slusser說：“我們的服務器還不能處理元宇宙。然后是整個傳感器，物聯網之類的環境，必須輸入元宇宙。這就像一個生態系統，而這個生態系統還沒有建立起來。這需要一些時間。”

Arm的Fraile表示同意。他說：“我們必須經歷一個學習階段，無論是在如何使用這些東西，還是在如何建造它們方面。這并不是說挑戰比我們以前見過的任何都要大。但這是一項很難整合的技術。讓這些東西同步并看起來真實是一項艱巨的工作。這不僅僅是網絡的問題。它還涉及數據管理和數據壓縮。在某種程度上，所有這些技術仍然需要出現，在這些領域有大量的研究。”

其中包括大量的半導體，其中許多將是高度定制的。

Rambus的Woo表示：“一旦這開始形成一個規模合理的市場，你就會開始看到更多專注的創新。你可以在智能手表上看到這一點，它們現在自成一個品類，有自己獨特的發展空間。你會在AR和VR上看到同樣的情況，當你找到合適的應用，越來越多的人開始采用它并解決問題。內存將是這種實現的一大挑戰。”

整合這些設備以使它們能夠順暢地交換信息還有另一個挑戰。雖然最初這將建立在現有的通信基礎設施和方法之上，但隨著在有線和無線基礎設施之間移動的數據量不斷膨脹，它將以新的方式對這些系統施壓。

AR/VR開發人員從28nm節點開始就一直在等待處理器能夠在足夠低的功耗下提供足夠的性能，從而使該行業成為可能。他們沒有預料到的是，隨著時間的推移，計算架構會發生如此巨大的變化。因此，與其僅僅等待5nm或3nm處理器的出現，這個市場上最大的玩家現在正在設計自己的芯片，以優先考慮數據流，使用融合了某種形式的AI、更快的I/O和一些高級節點計算元素的異構架構。

考慮到元宇宙設備的處理和分辨率需求，這一點非常關鍵。Synopsys的產品營銷SVP Hezi Saar說：“我們說的是兩種顯示驅動，4K*4K。他們應該有一個很高的比特率，RGB 30 bits，最低90Hz的頻率。所以你看到的是每只眼睛每秒40或50GBt。這提供了非常高的分辨率，不會產生任何暈車或類似的情況。你需要攝像頭為你觀察環境，連接XR處理器，以及連接顯示驅動。”

Saar指出，這一領域的許多創新可能來自一種可以集成多種功能的XR加速器。“XR加速器連接外部世界或攝像頭，對攝像頭進行插值，從電影或游戲或其他XR處理器獲取信息，并將其疊加進去。這是一個重型XR加速SoC，為此我們確實看到了一些設計。它們需要非常低功耗的USB、MIPI接收器、攝像頭發射器和多個顯示端口。低功率很重要。發熱是一個問題。功率一直是個問題。但我們確實看到市場在向前發展。”

許多這樣的芯片將根據特定的環境或用例進行定制，而大多數爭奪這一領域領導地位的公司都在為繁重的任務設計自己的芯片。以Meta為例，該公司選擇了3D-IC，因為它表示AR的計算強度不會像VR那樣高，VR需要不斷刷新整個背景。因此，阻礙3D-IC全面采用的熱問題將不是主要因素，信號傳輸的距離將更短，電阻和電容將更小。

充滿未知的際遇與大多數新的市場機會一樣，元宇宙是一個具有非進化含義的進化概念。它的缺乏定義大致相當于邊緣計算概念，大多數芯片制造商將其視為一個廣闊的機會，但花了近10年的時間才展開。邊緣仍在建設中，目前尚不清楚誰將成為這一領域的大贏家。

但邊緣也將在元宇宙中扮演一個不可或缺的角色，反之亦然。Borkar說：“今天，我們看到許多這類設備主要由顯示器、攝像頭、麥克風和頭盔中的其他傳感器組成，但所有的計算通常都發生在一個‘帶包’或計算包中。隨著時間的推移，我們將看到這一切合并到一個獨立的頭盔中。此外，我們預計頭盔將變得更加符合人體工學、美觀和非侵入性。我們已經被智能手機寵壞了，當這些AR/VR設備成為主流時，預期電池續航時間需要在8-12小時范圍內。如果需要頻繁充電或被要求隨身攜帶充電寶，一般人是不會樂意使用這些設備的。”

這些設備還需要可擴展的架構以及支持多核集群和多線程的能力，Borkar說：“當需要分配工作負載來滿足算法的不同性能需求時，這一點很重要。例如，你可以讓輕量級AI網絡以高FPS實時運行，同時，另一個輕量級AI網絡也實時運行，但FPS低得多，然后是第三個網絡，計算量大，但很少運行或以突發模式運行。該架構需要能夠在運行時在多個集群或架構之間有效地處理這些工作負載，為用戶提供最佳的功率和性能。”

說到FPS，Borkar指出創造一款不會讓人感到頭暈的設備是一項復雜的工作。他說：“與刷新率有關的因素有很多。“顯示器的刷新率、頭部跟蹤和渲染pipeline以及整體延遲。在顯示端，通常建議每個顯示屏至少顯示1080p，刷新率為90Hz。在此基礎上，頭部跟蹤算法必須能夠無縫且準確地跟蹤用戶的頭部運動。今天的SLAM算法使用來自攝像頭、IMU和其他輸入的傳感器融合，可以在攝像頭頻率的最小值（通常為60-90 FPS）下精確跟蹤6DoF定位。該算法可以進一步優化，僅依靠IMU數據產生1KHz的位姿估計。大多數圖形pipeline通常運行在60-90Hz。”

“因此，為了這個1KHz的姿勢信息，實現了空間扭曲和時間扭曲的高級圖像處理技術來創建中間圖像（不渲染全新的圖像），提供了一個非常快速的渲染pipeline的感覺。最后是延遲，通常以MPT（motion to photon）延遲來衡量，或者從被測量的運動到它被記錄在屏幕上的時間。所有這些因素結合在一起，對防止頭暈非常重要。”

Synopsys的Saar預測，大部分與元宇宙相關的半導體將用于智能眼鏡設備。他說，至少在不久的將來，這些設備可能會被用作智能手機的某種延伸。眼鏡-智能手機組合的串聯特性解決了元宇宙設備的一些技術挑戰。Saar說：“它會把東西投射到眼睛上，這樣你就能看到有人發信息或打電話給你。該設備本身可以拍一些照片，但除此之外就沒什么其他功能了。大多數情況下，它是完全關機的，只有在有中斷時才會打開。這意味著所有的算力都來自手機，而從手機到眼鏡的連接主要是為了獲取信息和圖像。我認為這是一個輕量級的元宇宙。”

可以肯定的是，關于元宇宙的底層硬件還有很多未知和不可預測的地方。即使是關于元宇宙到底是什么的基本問題，科技界也尚未達成共識。試探性的答案會帶來更多的問題。“你如何收集數據？如何保護數據？你如何確保人們不會錄下他們不想錄的東西？”

［參考文章］Chip Challenges In The Metaverse — Marie C. Baca and Ed Sperling

編輯：黃飛