相信今年不少人都中了“虛擬老黃”的障眼法，讓英偉達(dá)的Omniverse也迅速被視為元宇宙的開發(fā)平臺(tái)之一。在今年舉辦的GTC 21開發(fā)者大會(huì)上，英偉達(dá)再度為Omniverse公布了一系列新工具和新特性，其中之一就是Omniverse Avatar（化身）。

黃仁勛Omniverse Avatar AI助手 / 英偉達(dá)

我們也都明白，英偉達(dá)CEO黃仁勛此前以假亂真的形象是花大力氣生成的，在AR/VR中見到的虛擬形象很難有如此精細(xì)的建模，更別說(shuō)根據(jù)自身形象量體裁衣了。而Omniverse Avatar并沒(méi)有做到如此高的逼真度，僅僅是一個(gè)交互式的AI化身。通過(guò)語(yǔ)音識(shí)別、自然語(yǔ)言理解、推薦引擎和感知功能等技術(shù)完成智能交互，擺脫以往只聞其聲不見其人或是2D的傳統(tǒng)AI助手。

元宇宙的構(gòu)想很美好，為社交和娛樂(lè)生活帶來(lái)了無(wú)窮的可能性，但我們不可能無(wú)時(shí)無(wú)刻泡在元宇宙中，不然物質(zhì)世界就亂成一鍋粥了。既然無(wú)法突破物理桎梏，那么虛擬世界能否找到其他的反饋途徑，解決現(xiàn)實(shí)生活中的實(shí)際問(wèn)題呢？Omniverse同樣注意到了這一點(diǎn)。

加速5G部署

5G網(wǎng)絡(luò)的部署相當(dāng)復(fù)雜，基站的位置并非隨意選定，而是通過(guò)一系列的計(jì)算得到的結(jié)果。但在不斷變化的復(fù)雜環(huán)境下，還是會(huì)有難以覆蓋到的死角，還有不少參數(shù)需要搭建好后才能進(jìn)行現(xiàn)場(chǎng)測(cè)試。那么Omniverse這類數(shù)字孿生構(gòu)建工具，又是如何與5G部署扯上關(guān)系的呢？

在Omniverse中模擬基站信號(hào) / 英偉達(dá)

愛(ài)立信就在5G網(wǎng)絡(luò)部署上嘗試了一種新的方式，通過(guò)Omniverse生成物理參數(shù)匹配的數(shù)字孿生城市，實(shí)時(shí)模擬和具象化波束成型和信號(hào)路徑，在英偉達(dá)RTX加速的路徑追蹤渲染下，通過(guò)不同的顏色光線來(lái)確定信號(hào)的強(qiáng)弱和數(shù)據(jù)吞吐量等。借助這種新思路，網(wǎng)絡(luò)工程師可以調(diào)整基站位置，放置移動(dòng)的車輛等物體，更是可以借助Omniverse VR在虛擬世界中親身見證，最終確定如何部署和配置基站才能達(dá)到最大的覆蓋范圍和最高的性能。

不少人可能會(huì)擔(dān)心，讓愛(ài)立信或者華為這種通信公司對(duì)每個(gè)城市都做精細(xì)建模，工作量是不是太大了？這確實(shí)是一個(gè)不可忽視的問(wèn)題，但近期不少消息都證實(shí)了未來(lái)這種工作會(huì)更加輕松。比如韓國(guó)首爾就宣布打造城市元宇宙平臺(tái)，不僅提供市政服務(wù)，也將為真實(shí)場(chǎng)景打造虛擬建模。未來(lái)網(wǎng)絡(luò)部署時(shí)可以直接調(diào)用這些數(shù)據(jù)，完成基站測(cè)試。

自動(dòng)駕駛與機(jī)器人的AI訓(xùn)練

大會(huì)上，英偉達(dá)還為Omniverse公布了另一項(xiàng)工具，Omniverse Replicator（復(fù)制器）。Replicator是一個(gè)強(qiáng)大的合成數(shù)據(jù)生成引擎，為深度神經(jīng)網(wǎng)絡(luò)（DNN）的訓(xùn)練提供物理模擬的合成數(shù)據(jù)。目前英偉達(dá)為該引擎公布了兩項(xiàng)復(fù)制器應(yīng)用，分別用于自動(dòng)駕駛汽車模擬的Drive Sim和操作機(jī)器人模擬的Isaac Sim。

Drive Sim自動(dòng)駕駛場(chǎng)景模擬 / 英偉達(dá)

這兩個(gè)復(fù)制器可以讓開發(fā)者自己搭建AI模型，填補(bǔ)現(xiàn)實(shí)世界的數(shù)據(jù)空缺，得出人類無(wú)法獲知的實(shí)際結(jié)論。比如在自動(dòng)駕駛模擬中需要考慮罕見的危險(xiǎn)狀況，而這些狀況是無(wú)法在現(xiàn)實(shí)世界中安全復(fù)現(xiàn)的。這種真實(shí)數(shù)據(jù)的缺失使得自動(dòng)駕駛DNN難以解決突發(fā)情況的問(wèn)題，因?yàn)樽詣?dòng)駕駛方案商很難對(duì)其進(jìn)行真實(shí)的物理模擬。

而Drive Sim復(fù)制器充分利用了Omniverse的RTX路徑追蹤渲染，為攝像頭、毫米波雷達(dá)或激光雷達(dá)生成物理數(shù)據(jù)，甚至還原了真實(shí)世界中的效果，比如LED頻閃、動(dòng)態(tài)模糊、激光雷達(dá)光速發(fā)散和多普勒效應(yīng)等。英偉達(dá)也為自己剛發(fā)布DRIVE Hyperion 8自動(dòng)駕駛工具包應(yīng)用了這一技術(shù)，在交付之前就利用Drive Sim復(fù)制器生成的數(shù)百萬(wàn)張圖片和擬真數(shù)據(jù)進(jìn)行了訓(xùn)練，傳感器安裝好后就可以直接部署DNN，省去了幾個(gè)月的開發(fā)時(shí)間。

這類問(wèn)題在AMR自主移動(dòng)機(jī)器人上也相當(dāng)常見，目前多數(shù)AMR小車都是基于激光雷達(dá)的方案，但像叉車這一類的工具中，激光雷達(dá)可以檢測(cè)到叉車底盤，卻很難檢測(cè)到叉具，如此一來(lái)機(jī)器人只實(shí)現(xiàn)了躲避了叉車底盤，卻撞上了叉具。這時(shí)就需要用到DNN訓(xùn)練，讓AMR感知到路徑上的叉車。

Isaac Sim復(fù)制器生成的各種叉車 / 英偉達(dá)

引入數(shù)個(gè)不同的叉車通用場(chǎng)景描述（USD）模型后，Isaac Sim復(fù)制器可以為DNN生成描繪叉車的數(shù)據(jù)集，并通過(guò)數(shù)據(jù)隨機(jī)化，比如改變顏色、材質(zhì)、光線、相對(duì)視角等，讓模型對(duì)叉車產(chǎn)生通識(shí)，最終生成叉車檢測(cè)DNN。

小結(jié)

Omniverse之類的數(shù)字孿生技術(shù)可以說(shuō)是實(shí)現(xiàn)元宇宙的第一步，卻也開始應(yīng)用于現(xiàn)實(shí)場(chǎng)景，甚至可能比元宇宙更早一步落地。我們將自己投射進(jìn)虛擬世界中開展社交與娛樂(lè)，再把虛擬世界中所得拿出來(lái)完善生產(chǎn)工作，這可能才是元宇宙概念下最終的產(chǎn)品形態(tài)。