3D 深度學(xué)習(xí)研究人員可以使用 Kaolin PyTorch 庫(kù)（現(xiàn)已提供）在最新算法的基礎(chǔ)上簡(jiǎn)化和加速工作流程。

NVIDIA Kaolin 庫(kù)于 2019 年 11 月首次發(fā)布，最初是作為實(shí)習(xí)項(xiàng)目在 NVIDIA 多倫多人工智能實(shí)驗(yàn)室編寫的。在為幾個(gè)項(xiàng)目編寫重復(fù)的樣板代碼和復(fù)制算法組件后，研究人員開始開發(fā) PyTorch 庫(kù)，將 3D 深度學(xué)習(xí)（ 3D DL ）的通用功能帶到一個(gè)地方。自第一次發(fā)布以來， Kaolin 庫(kù)已發(fā)展成為一個(gè)成熟的代碼庫(kù)，具有用于 3D 深度學(xué)習(xí)的強(qiáng)大且優(yōu)化的實(shí)用程序和算法。

Kaolin 庫(kù)為 3D 深度學(xué)習(xí)研究人員帶來了加速其工作流程的實(shí)用工具，以及可重用的研究組件，為未來的創(chuàng)新提供了基礎(chǔ)。例如，Kaolin 簡(jiǎn)化了用于培訓(xùn)的復(fù)雜 3D 數(shù)據(jù)集的處理。它還包括 3D 檢查點(diǎn)的編寫器，這些檢查點(diǎn)可以通過最新的 RTX NVIDIA 技術(shù)在 Omniverse Kaolin 應(yīng)用程序中可視化。它還提供了構(gòu)建模塊，如 3D 表示之間的轉(zhuǎn)換、用于訓(xùn)練的有用 3D 損失函數(shù)以及可微分渲染。Kaolin 團(tuán)隊(duì)致力于提供持續(xù)改進(jìn)，并提供新的算法構(gòu)建塊，以推動(dòng) 3D DL 創(chuàng)新。

Kaolin 庫(kù)最新版本包括一種新的表示，結(jié)構(gòu)化點(diǎn)云（ SPC ），一種基于稀疏 o CTR ee 的加速數(shù)據(jù)結(jié)構(gòu)，具有高效卷積和光線跟蹤功能。 SPC 可用于放大和加速神經(jīng)隱式表示，這在當(dāng)今 3D DL 研究中很流行。它還支持最新版本的NeuralLOD訓(xùn)練，可將內(nèi)存減少 30 倍，訓(xùn)練時(shí)間縮短 3 倍。

它還包括一個(gè)名為 Dash3D 的新的輕量級(jí) Tensorboard 樣式 web 儀表板。用戶可以利用此工具檢查 DL 模型在培訓(xùn)期間生成的 3D 預(yù)測(cè)的檢查點(diǎn)，即使在遠(yuǎn)程硬件配置上也是如此。

該庫(kù)版本改進(jìn)了對(duì) 3D 數(shù)據(jù)集的支持，包括新數(shù)據(jù)集（ SHREC 、 ModelNet ）、附加格式（.off）和USD 3D 文件格式的加速，從而使訓(xùn)練期間的加載時(shí)間效率比流行的 obj 格式提高了 5 倍。此外，還包括可微繪制和三維檢查點(diǎn)的新教程。

關(guān)于作者

Clement Fuji Tsang 是 NVIDIA 的一名研究科學(xué)家，他在多倫多領(lǐng)導(dǎo)Kaolin 公司，致力于研究應(yīng)用于計(jì)算機(jī)視覺和 GPU 上的 3D 深度學(xué)習(xí)的高效算法。

審核編輯：郭婷