如果您看過NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在GPU技術(shù)大會的主題演講，一定會被其中提到的成果震撼，這背后離不開NVIDIA研究人員的努力。

黃仁勛在GTC 2018上披露了兩項深度學(xué)習(xí)發(fā)現(xiàn)，有可能顛覆傳統(tǒng)計算機(jī)圖形技術(shù)。兩者都可以幫助游戲開發(fā)商以更少的時間和更低的成本創(chuàng)造更豐富的游戲體驗。其中一項可以通過輕松創(chuàng)建數(shù)據(jù)，訓(xùn)練車輛適應(yīng)更廣泛的道路狀況、環(huán)境和地點(diǎn)，加速自動駕駛車輛的開發(fā)。

一直以來，NVIDIA致力于將深度學(xué)習(xí)引入計算機(jī)圖形領(lǐng)域以推動行業(yè)發(fā)展。這兩個研究項目正是我們的最新成果。NVIDIA的研究團(tuán)隊有200多人，分布在全球11個地點(diǎn)，致力于推動機(jī)器學(xué)習(xí)、計算機(jī)視覺、自動駕駛汽車、機(jī)器人、圖形處理、計算機(jī)架構(gòu)以及編程系統(tǒng)等領(lǐng)域的前沿技術(shù)發(fā)展。

黃仁勛表示：“這個團(tuán)隊的生產(chǎn)力簡直不可思議。他們橫跨整個計算領(lǐng)域進(jìn)行基礎(chǔ)研究。”

這兩幅圖是同一噪聲圖像的清晰版本。左邊的去噪圖像由神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練從對應(yīng)的清晰圖像和噪聲圖像生成。右邊的去噪圖像由研究人員使用單純噪聲圖像訓(xùn)練模型生成。

噪聲圖像清晰化

你可能不知道噪聲圖像是什么，但你可能已經(jīng)見過它了。當(dāng)用攝像頭對焦光線昏暗的場景時，圖像會呈現(xiàn)顆粒、異常的彩色斑點(diǎn)、或像螢火蟲一樣的白色斑點(diǎn)。

去除圖像噪聲是很困難的，因為這個過程本身可能會受人為因素影響或使圖像更模糊。深度學(xué)習(xí)實(shí)驗可以提供解決方案，但也存在一個重要缺點(diǎn)：實(shí)驗需要配對的清晰圖像和噪聲圖像來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

普通的AI去噪需要配對的清晰圖像和噪聲圖像。但是，對于MRI和其他醫(yī)學(xué)圖像，通常無法獲得清晰圖像。有了“噪聲到噪聲”技術(shù)，將不再需要清晰圖像。

只要有好的照片就可以去噪，但要達(dá)到理想效果也可能很難，甚至不可能達(dá)到。NVIDIA在芬蘭和瑞典的研究人員開發(fā)了一種稱為“噪聲到噪聲”(Noise2Noise) 的解決方案，解決了這個問題。

基于噪聲圖像生成清晰圖像成為可能

如何生成清晰的圖像是醫(yī)學(xué)成像檢測（如MRI）和遠(yuǎn)程恒星或行星天文圖像中的共同問題，因為這些場景根本沒有足夠的時間和光線來拍攝清晰圖像。

時間在計算機(jī)圖形技術(shù)中也是一個問題。生成清晰的圖像數(shù)據(jù)來訓(xùn)練降噪器的任務(wù)可能需要幾天或幾周的時間。

“噪聲到噪聲”看起來似乎不太可能。因為它不是基于配對的清晰圖像和噪聲圖像來訓(xùn)練網(wǎng)絡(luò)，而是基于配對的噪聲圖像來訓(xùn)練網(wǎng)絡(luò)，并且只需要噪聲圖像。然而，“噪聲到噪聲”產(chǎn)生的結(jié)果卻等同于或幾乎等同于老方法可實(shí)現(xiàn)的網(wǎng)絡(luò)訓(xùn)練結(jié)果。

NVIDIA研究部門副總裁David Luebke表示：“我們發(fā)現(xiàn)，通過正確建立網(wǎng)絡(luò)，可以做到一些看似不可能的事情。搞清楚整個過程后，會發(fā)現(xiàn)這是一個非常令人驚喜的事情。”

通過語義操作輕松改變圖像

黃仁勛演示的第二個項目代表了構(gòu)建虛擬世界的全新方法。它利用深度學(xué)習(xí)，從繁重且高代價的游戲3D建模任務(wù)中抽離出來，并為自動駕駛汽車捕獲訓(xùn)練數(shù)據(jù)。

這種被稱為“語義操作”的技術(shù)就好像樂高積木，孩子們可以搭建出任何想要的東西。

在語義操作中，用戶可以從一張帶標(biāo)簽的地圖開始操作。每一個場景中的像素都相當(dāng)于一張帶有標(biāo)簽的藍(lán)圖，切換圖上的某些標(biāo)簽就能改變圖像。還可以編輯對象的樣式，例如選擇不同類型的汽車、樹木或道路。

NVIDIA研究人員的深度學(xué)習(xí)圖像合成技術(shù)可以通過改變語義標(biāo)簽輕松改變道路的外觀。

加速游戲開發(fā)

研究團(tuán)隊所采用的方法依靠生成式對抗網(wǎng)絡(luò)(GAN)技術(shù)。這是一種深度學(xué)習(xí)技術(shù)，通常用于在數(shù)據(jù)匱乏時創(chuàng)建訓(xùn)練數(shù)據(jù)。

雖然GAN通常難以生成逼真的高分辨率圖像，但NVIDIA研究員能夠通過改變GAN架構(gòu)使之成為可能。

目前，為了創(chuàng)建計算機(jī)游戲的虛擬環(huán)境，美術(shù)師需要數(shù)千小時的時間來創(chuàng)建和更改模型，每個游戲的花費(fèi)可能高達(dá)上億美元。這些模型經(jīng)過渲染，轉(zhuǎn)換為我們在屏幕上所看到的游戲。

如果能減少所需要的工作量，游戲美術(shù)師和工作室就可以創(chuàng)建更多角色、更多故事情節(jié)和更復(fù)雜的游戲。

優(yōu)化自動駕駛汽車訓(xùn)練

獲取數(shù)據(jù)訓(xùn)練自動駕駛汽車同樣很麻煩。通常需要在道路上投放配備傳感器和攝像頭的車隊。汽車采集的數(shù)據(jù)必須手動標(biāo)注，用于訓(xùn)練自動駕駛汽車。

采用NVIDIA的方法，可以在舊金山收集數(shù)據(jù)，然后應(yīng)用于另一個山地城市，例如巴塞羅那。甚至可以把一條鵝卵石街道變成一條石砌路，或者把一條林蔭大道變成停滿汽車的道路。

這樣可以更有效地訓(xùn)練汽車處理不同情況。還可以開發(fā)圖形渲染引擎，用現(xiàn)實(shí)世界的數(shù)據(jù)進(jìn)行訓(xùn)練，并用生成模型渲染。

黃仁勛表示：“我為NVIDIA研究團(tuán)隊感到驕傲。歡迎與我們一起探討，共同取得更大進(jìn)步。“