NVIDIA 將于本年度最重要的計算機圖形大會 — SIGGRAPH 上發表約 20 篇研究論文。

NVIDIA 近日發布了一批尖端 AI 研究。無論是靜態還是動態、2D 還是 3D、超寫實風格或是幻想風格，開發者和藝術家都能借助這些研究成果將其創意變為現實。

SIGGRAPH 2023 計算機圖形學大會將于 8 月 6 日至 10 日在美國洛杉磯舉辦，NVIDIA 將亮相大會并發表約 20 篇用以推動生成式 AI 和神經圖形學發展的研究論文，其中包括多項與美國、歐洲及以色列的十幾所大學的聯合研究成果。

NVIDIA 將發布的論文內容豐富，涵蓋將文本轉換成個性化圖像的生成式 AI 模型、將靜態圖像轉換成 3D 對象的逆向渲染工具、使用 AI 模擬超逼真復雜 3D 元素的神經物理模型以及可用于解鎖全新的實時、AI 賦能的視覺細節生成能力的神經渲染模型等。

NVIDIA 研究人員經常在 GitHub 上與開發者分享創新成果，并將這些創新整合到產品中，包括用于構建和運行元宇宙應用的NVIDIA Omniverse平臺，以及最近發布的用于視覺設計的自定義生成式 AI 模型“工坊” — NVIDIA Picasso。憑借多年深耕圖形學領域所積累的研究成果，NVIDIA 能夠將電影級渲染技術應用于游戲中，例如最近發布的《賽博朋克 2077》的“光線追蹤：Overdrive 模式”技術預覽版，其是全球首款利用全景光線追蹤（也稱為路徑追蹤）3A 游戲大作。

今年將于 SIGGRAPH 大會展示的研究進展，將能夠幫助開發者和企業快速生成合成數據，以豐富用于訓練機器人和自動駕駛汽車的虛擬世界。此外，這些研究還將能夠賦能藝術、建筑、平面設計、游戲開發和電影領域的創作者，提升其用于故事板、預覽乃至實際制作的高質量視覺效果的生成速度。

為 AI 增添個性化色彩：

自定義文本-圖像轉換模型

能夠將文本轉換成圖像的生成式 AI 模型，可為電影、電子游戲和 3D 虛擬世界的概念藝術或故事板創建帶來強大工具。AI 文本-圖像轉換工具可以將“兒童玩具”這樣的提示語轉換成近乎無限的視覺效果，創作者可以從中獲得靈感，生成毛絨動物玩偶、積木或拼圖等圖像。

然而，藝術家們的心中可能已經構思出了特定的主題。例如，一位玩具品牌的創意總監可能正準備圍繞一款新的泰迪熊玩偶展開廣告宣傳，并希望基于泰迪熊茶會等各種不同的場景實現玩偶可視化。為提升生成式 AI 模型輸出結果的細節水平，NVIDIA 與特拉維夫大學的研究人員將于 SIGGRAPH 大會上共同發表兩篇論文，使用戶能夠提供便于模型快速學習的圖像實例。

其中的一篇論文所介紹的技術需要利用實例圖像來實現自定義輸出，可在單個 NVIDIA A100 Tensor Core GPU 上加速個性化進程，將其速度從幾分鐘提升至約 11 秒，與以往的個性化方法相比，速度可提升約 60 倍。

第二篇論文則介紹了一個高度緊湊的模型 — Perfusion 模型。該模型可支持用戶僅需少量概念圖像就可將多個個性化元素（如特定的泰迪熊和茶壺等）組合至 AI 生成的視覺圖像中：

推動 3D 創作：

逆向渲染和角色創作方面的進展

在創作者構思出虛擬世界的概念藝術后，下一步就是渲染環境，并在其中填充 3D 物品和角色。NVIDIA Research 正在發明可加速這一耗時流程的 AI 技術，將 2D 圖像和視頻自動轉換成 3D 形式，讓創作者可以將其導入圖形應用進行進一步編輯。

第三篇論文是與加州大學圣地亞哥分校的研究人員共同創作的，該論文中的技術可根據一張 2D 肖像畫生成并渲染逼真的 3D 頭像模型。這項重大突破能夠使用 AI 來創建 3D 虛擬形象和召開 3D 視頻會議，它可以在用戶的桌面上實時運行，只需要使用普通的網絡攝像頭或智能手機攝像頭就能生成一個寫實化或風格化的 3D 遠程呈現形象。

第四個項目是與斯坦福大學一起生成栩栩如生的 3D 角色動作。研究人員創建了一個 AI 系統，可以從現實世界網球比賽的 2D 視頻錄像中學習各種網球技能，并將這些動作應用于 3D 角色。模擬網球運動員可以準確地將球打到虛擬球場的目標位置，甚至與其他角色進行長時間的對攻。

除了網球的測試案例之外，這篇 SIGGRAPH 論文還解決了一個難題：即在不使用昂貴的動作捕捉數據的前提下，生成能夠逼真地完成各種技術動作的 3D 角色。

一“絲”不茍：

運用神經物理學實現逼真的模擬

在生成 3D 角色后，藝術家們就可以對頭發等寫實細節進行分層，這對動畫師而言是一項復雜且計算成本相對較高的挑戰。

平均而言，人類有 10 萬根頭發，每根頭發都會對人類的運動和周圍環境做出動態反應。過去，創作者會使用物理公式來計算頭發的運動，根據可用的資源簡化或近似化頭發的運動。這也是大制作電影中虛擬角色的頭發細節會比實時電子游戲中的虛擬形象更為精細的原因。

第五篇論文展示了一種可以利用神經物理學來實現數萬根頭發實時且高清模擬的方式。該項 AI 技術可訓練神經網絡預測相應對象在現實世界中的運動軌跡。

該團隊的這種用于精確、全面地模擬頭發的新穎方式還基于現階段的 GPU 進行了針對性優化。其性能大幅優于目前最先進的基于 CPU 的求解器，可將模擬時間從數天縮短到數小時，同時還可提高實時頭發模擬的質量。該技術最終可實現符合物理學的精確、交互式的頭發形態。

神經渲染為實時圖形帶來電影級精細度

在使用動態 3D 物品和角色填充環境后，實時渲染會在該虛擬場景中模擬光線反射時的物理特性。NVIDIA 最近的研究展示了用于紋理、材質和體積的 AI 模型如何為電子游戲和數字孿生實時提供電影級的逼真視覺效果。

NVIDIA 在二十多年前發明了可編程著色技術，使開發者能夠自定義圖形流程。而在最新的神經渲染創新成果中，研究者使用了在 NVIDIA 實時圖形流程中運行的 AI 模型來擴展可編程著色代碼。

在第六篇 SIGGRAPH 論文中，NVIDIA 將介紹在不額外占用 GPU 內存的前提下，可提供多達 16 倍紋理細節的神經網絡壓縮技術。神經紋理壓縮技術可大幅提高 3D 場景的真實性，下圖中，舊格式中的文字是模糊的（中），而神經壓縮紋理（右）可捕捉到比舊格式更加清晰的細節。

相比以前的紋理格式，神經紋理壓縮（右）在不額外占用 GPU 內存的前提下可提供多達 16 倍的紋理細節

去年發布的 NeuralVDB 相關論文的研究成果現已開放提前訪問，這項 AI 賦能的數據壓縮技術將表現煙、火、云和水等體積數據所需的內存減少了 100 倍。

NVIDIA 還發布了關于神經材質研究的更多詳情，這項研究出現在前不久的 NVIDIA GTC 主題演講中。這篇論文描述了一種學習光如何在逼真的多層材料上反射的 AI 系統，將這些資產的復雜性簡化成實時運行的小型神經網絡，使著色速度提高了 10 倍。

這個利用神經渲染制作的茶壺可體現高逼真度，可精確表現出陶瓷材質及其不完美的透明涂層釉、指紋、污點甚至灰塵等。

該神經材質模型還可學習光線如何在逼真的多層次參考材質上進行反射

探索更多生成式 AI 和圖形學領域的研究

以上只是部分亮點，您還可以進入相關頁面進一步了解 NVIDIA 將于 SIGGRAPH 大會發布的所有論文。NVIDIA 還將在本屆大會上開展六門課程、四場分會，并進行兩場新興技術演示，涵蓋路徑追蹤、遠程呈現和用于生成式 AI 的擴散模型等內容。

NVIDIA Research 在全球范圍內擁有數百名科學家和工程師，在 AI、計算機圖形學、計算機視覺、自動駕駛汽車、機器人技術等領域開展研究。

審核編輯：湯梓紅