計(jì)算機(jī)視覺(jué)是一個(gè)復(fù)雜且具有挑戰(zhàn)性的領(lǐng)域，深度學(xué)習(xí)的進(jìn)一步發(fā)展為該領(lǐng)域提供了許多豐富的解決方案。計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)常應(yīng)用于自動(dòng)駕駛、人臉和圖像識(shí)別等領(lǐng)域的技術(shù)研發(fā)和升級(jí)，為各行業(yè)帶來(lái)了以數(shù)據(jù)為支撐的未來(lái)新思考。

復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院 Zhang Vision Group 成立于 2020 年，研究方向?yàn)橛?jì)算機(jī)視覺(jué)和深度學(xué)習(xí)，其目標(biāo)是通過(guò)神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型理解物體、場(chǎng)景和運(yùn)動(dòng)的最通用表示，賦能下一代人工智能（AI）。目前，該課題組正致力于開(kāi)展計(jì)算機(jī)視覺(jué)驅(qū)動(dòng)的自動(dòng)駕駛研究，其采用了 NVIDIA 認(rèn)證的服務(wù)器，搭配最新的 NVIDIA RTX 6000 Ada 架構(gòu) GPU，為實(shí)驗(yàn)提供了兼具可靠性、可擴(kuò)展性、高性能的運(yùn)行平臺(tái)，提升了計(jì)算機(jī)視覺(jué)模型的訓(xùn)練速度和模型性能。

數(shù)據(jù)和模型體量加大

GPU 顯存與計(jì)算性能壓力

自動(dòng)駕駛開(kāi)發(fā)涵蓋多個(gè)方面，不僅包含車輛自身相關(guān)的行駛功能，還需要“訓(xùn)練”自動(dòng)駕駛汽車如同人類駕駛員一般“觀察”道路環(huán)境、“識(shí)別”突發(fā)狀況并及時(shí)做出相應(yīng)操作以保證行駛的安全性。在此過(guò)程中，開(kāi)發(fā)人員逐漸引入計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)，以提升車輛定位、道路識(shí)別、障礙物檢測(cè)和障礙物跟蹤等方面的準(zhǔn)確性。

Zhang Vision Group 在研究計(jì)算機(jī)視覺(jué)驅(qū)動(dòng)的自動(dòng)駕駛過(guò)程中發(fā)現(xiàn)，隨著研究范圍的拓寬和研究?jī)?nèi)容的深入，需要處理的相關(guān)數(shù)據(jù)集越來(lái)越大、模型的復(fù)雜度越來(lái)越高，對(duì)現(xiàn)有 GPU 顯存和計(jì)算性能提出了更高的要求。

NVIDIA 強(qiáng)大的 GPU 性能

助力提升模型處理速度

計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)的應(yīng)用過(guò)程中，需要處理大量復(fù)雜的數(shù)據(jù)并通過(guò)數(shù)據(jù)來(lái)訓(xùn)練相關(guān)的自動(dòng)駕駛模型，對(duì)硬件需求如 GPU 和高性能計(jì)算機(jī)等帶來(lái)了性能壓力。當(dāng)前，Zhang Vision Group 課題組采用了 8 卡 NVIDIA RTX 6000 Ada 架構(gòu) GPU 來(lái)進(jìn)行模型訓(xùn)練和推理，借助 NVIDIA RTX 6000 強(qiáng)大的計(jì)算性能，加速了實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練的速度，減少模型訓(xùn)練的時(shí)間，整體性能可提升約 30%。

基于 NVIDIA Ada Lovelace GPU 架構(gòu)的 NVIDIA RTX 6000，為新工作站帶來(lái)了驚人的功率效率和性能。其搭載了 142 個(gè)第三代 RT Core、568 個(gè)第四代 Tensor Core 和 18176 個(gè)最新一代 CUDA 核以及 48GB 高性能顯存，在光線追蹤、AI、圖形和計(jì)算性能上比上一代產(chǎn)品提高了 2 倍，為該課題組的模型計(jì)算和數(shù)據(jù)處理提供了有力的 GPU 支持。

Zhang Vision Group 課題組基于 NVIDIA 產(chǎn)品輔助，深入計(jì)算機(jī)視覺(jué)行業(yè)應(yīng)用研究

自動(dòng)駕駛需要系統(tǒng)能夠感知環(huán)境，識(shí)別道路、車輛、行人等物體，使用基于神經(jīng)渲染技術(shù)的仿真系統(tǒng)能提升整個(gè)自動(dòng)駕駛的智力水平。Zhang Vision Group 課題組基于 NVIDIA RTX 6000 強(qiáng)大性能的支持，提出了 S-NeRF（Stree-view Neural Radiance Fields）方法。該方法能夠同時(shí)考慮大規(guī)模背景場(chǎng)景和前景移動(dòng)車輛，以便自動(dòng)駕駛汽車能夠從街景中學(xué)習(xí)更好的神經(jīng)表示方式。

該課題組在大規(guī)模駕駛數(shù)據(jù)集（例如 nuScenes 和 Waymo）上進(jìn)行的全面實(shí)驗(yàn)表明，基于目前的方法，結(jié)合由 NVIDIA Ada Lovelace 架構(gòu)提供支持的 NVIDIA RTX 6000 的強(qiáng)大性能，可以通過(guò)減少街景合成中約 7%～40% 的均方誤差和移動(dòng)車輛渲染的峰值信噪比（PSNR），帶來(lái)約 45% 的增益效果。

點(diǎn)擊“閱讀原文”，了解更多 NVIDIA RTX 6000 有關(guān)信息。

掃描海報(bào)二維碼，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！