色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

NVIDIA加速虛擬人項目渲染與推理效率

NVIDIA英偉達企業解決方案 ? 來源:NVIDIA英偉達企業解決方案 ? 作者:NVIDIA英偉達企業解 ? 2021-10-22 09:12 ? 次閱讀

騰訊AI LAB致力于打造產學研用一體的 AI 生態,主要的研究方向包括計算機視覺語音識別、自然語言處理和機器學習,結合騰訊場景與業務優勢,在社交AI、游戲AI、內容AI及平臺AI等領域取得了顯著的成果,技術被應用于微信、QQ、天天快報和QQ音樂等上百個騰訊產品。其中圍棋AI “絕藝” 多次獲得世界人工智能圍棋大賽的冠軍。

騰訊AI LAB打造的虛擬人,具有自然、生動且飽含情緒的表情,其背后由一套騰訊 AI LAB 自研的復雜系統支撐,系統首先要從文本中提取不同信息,包括表情、情感、重音位置、和激動程度等;提取之后,這些信息被輸入到模型中生成,再同步生成語音、口型和表情參數,最終才有了虛擬人自然生動的表現。

虛擬人物打造需要更高效平臺

根據虛擬人物需要表達的語言和情感,生成自然生動的人臉,是打造虛擬人重要的一個階段。需要先渲染人臉的紋理圖和渲染圖,并將它們輸入到深度學習模型中,最終生成自然生動的人臉。在這個過程中,需要用到OpenGL、OpenCV、CUDA、TensorFlow等軟件技術,騰訊原有的方案有很多CPUGPU的數據交互,且有很多計算型的操作通過CPU來實現,效率非常低下, 無論是吞吐還是延時都不滿足要求,具體體現在:

OpenGL在GPU上渲染好圖像繪制到framebuffer后,需要先用glReadPixels拷貝數據到CPU,再用cudaMemcpy將數據從CPU拷回到GPU以進行深度學習模型的推理,這里有兩次不必要的CPU與GPU之間的數據傳輸。

顏色空間轉換方面,深度學習推理的前后處理等操作在CPU上完成,效率非常低下。

NVIDIA 加速虛擬人項目渲染與推理效率

NVIDIA 技術在虛擬人項目的渲染和推理階段均提供了強大的支持。在渲染階段,NVIDIA 助力提升了顏色空間轉換效率,降低整體延時,主要體現在:

1. 用NVIDIA CUDA/OpenGL interoperability 代替騰訊之前使用glReadPixels在CUDA和OpenGL之間拷貝數據的方案,大幅減少了CPU和GPU之間的數據拷貝,從而降低了整體的延時。

2. 把原來在CPU上做的顏色空間轉換的操作,遷移到NVIDIA T4 GPU上用CUDA kernel實現,利用GPU的并行優勢,大大提高了顏色空間轉換的效率,進一步降低了整體的延時。

3. 將多幀的mesh組成一個batch分別繪制到framebuffer的不同區域,在提高OpenGL并行度的同時,給下一階段的深度學習模型的推理提供了更大的輸入數據的batch size,充分發揮NVIDIA T4 GPU高并發計算的優勢,進一步提高GPU的利用率,從而提高整體的吞吐。

在推理階段,NVIDIA助力提高推理整體吞吐,降低推理延時,主要體現在以下幾點:

1. 用NVIDIA TensorRT替換TensorFlow對模型推理進行加速,并利用NVIDIA T4 GPU上的FP16 Tensor Core可以極大提高矩陣乘等操作速度的特性,在最終視覺效果幾乎不變的情況下,進一步提升推理的吞吐,降低推理延時。

2. 在NVIDIA T4 GPU上利用CUDA kernel 替代原始流程中在CPU上使用OpenCV實現 Mat-to-Tensor 和 Tensor-to-Mat 等格式轉換操作,并使用OpenCV-CUDA版替換OpenCV-CPU版的部分操作(如Resize等),充分發揮GPU相對于CPU更高的并發優勢,在加速這些操作的同時減少GPU到CPU的數據傳輸通信量,提高格式轉換效率,降低端到端的推理延時。

3. 通過Pipeline的方式,使GPU和CPU上的操作進行overlap,并結合NVIDIA的MPS技術提高單卡上多個進程同時處理多個數據流的同時提高整體的吞吐。

在虛擬人項目中,NVIDIA CUDA技術大幅提升了渲染速度,NVIDIA TensorRT 方便快速地加速深度學習模型的推理,結合MPS技術,實現了單卡多路推流,使整體推理效率達到了原來的三倍!性能的大幅提升,既提升了GPU的利用率,又降低了AI技術的使用成本。責任編輯:haq

騰訊AI LAB致力于打造產學研用一體的 AI 生態,主要的研究方向包括計算機視覺、語音識別、自然語言處理和機器學習,結合騰訊場景與業務優勢,在社交AI、游戲AI、內容AI及平臺AI等領域取得了顯著的成果,技術被應用于微信、QQ、天天快報和QQ音樂等上百個騰訊產品。其中圍棋AI “絕藝” 多次獲得世界人工智能圍棋大賽的冠軍。 騰訊AI LAB打造的虛擬人,具有自然、生動且飽含情緒的表情,其背后由一套騰訊 AI LAB 自研的復雜系統支撐,系統首先要從文本中提取不同信息,包括表情、情感、重音位置、和激動程度等;提取之后,這些信息被輸入到模型中生成,再同步生成語音、口型和表情參數,最終才有了虛擬人自然生動的表現。

虛擬人物打造需要更高效平臺

根據虛擬人物需要表達的語言和情感,生成自然生動的人臉,是打造虛擬人重要的一個階段。需要先渲染人臉的紋理圖和渲染圖,并將它們輸入到深度學習模型中,最終生成自然生動的人臉。在這個過程中,需要用到OpenGL、OpenCV、CUDA、TensorFlow等軟件技術,騰訊原有的方案有很多CPU與GPU的數據交互,且有很多計算型的操作通過CPU來實現,效率非常低下, 無論是吞吐還是延時都不滿足要求,具體體現在:

OpenGL在GPU上渲染好圖像繪制到framebuffer后,需要先用glReadPixels拷貝數據到CPU,再用cudaMemcpy將數據從CPU拷回到GPU以進行深度學習模型的推理,這里有兩次不必要的CPU與GPU之間的數據傳輸。

顏色空間轉換方面,深度學習推理的前后處理等操作在CPU上完成,效率非常低下。

NVIDIA加速虛擬人項目渲染與推理效率

NVIDIA 技術在虛擬人項目的渲染和推理階段均提供了強大的支持。在渲染階段,NVIDIA 助力提升了顏色空間轉換效率,降低整體延時,主要體現在: 1. 用NVIDIA CUDA/OpenGL interoperability 代替騰訊之前使用glReadPixels在CUDA和OpenGL之間拷貝數據的方案,大幅減少了CPU和GPU之間的數據拷貝,從而降低了整體的延時。 2. 把原來在CPU上做的顏色空間轉換的操作,遷移到NVIDIA T4 GPU上用CUDA kernel實現,利用GPU的并行優勢,大大提高了顏色空間轉換的效率,進一步降低了整體的延時。 3. 將多幀的mesh組成一個batch分別繪制到framebuffer的不同區域,在提高OpenGL并行度的同時,給下一階段的深度學習模型的推理提供了更大的輸入數據的batch size,充分發揮NVIDIA T4 GPU高并發計算的優勢,進一步提高GPU的利用率,從而提高整體的吞吐。

在推理階段,NVIDIA助力提高推理整體吞吐,降低推理延時,主要體現在以下幾點:
1. 用NVIDIA TensorRT替換TensorFlow對模型推理進行加速,并利用NVIDIA T4 GPU上的FP16 Tensor Core可以極大提高矩陣乘等操作速度的特性,在最終視覺效果幾乎不變的情況下,進一步提升推理的吞吐,降低推理延時。
2. 在NVIDIA T4 GPU上利用CUDA kernel 替代原始流程中在CPU上使用OpenCV實現 Mat-to-Tensor 和 Tensor-to-Mat 等格式轉換操作,并使用OpenCV-CUDA版替換OpenCV-CPU版的部分操作(如Resize等),充分發揮GPU相對于CPU更高的并發優勢,在加速這些操作的同時減少GPU到CPU的數據傳輸通信量,提高格式轉換效率,降低端到端的推理延時。
3. 通過Pipeline的方式,使GPU和CPU上的操作進行overlap,并結合NVIDIA的MPS技術提高單卡上多個進程同時處理多個數據流的同時提高整體的吞吐。 在虛擬人項目中,NVIDIA CUDA技術大幅提升了渲染速度,NVIDIA TensorRT 方便快速地加速深度學習模型的推理,結合MPS技術,實現了單卡多路推流,使整體推理效率達到了原來的三倍!性能的大幅提升,既提升了GPU的利用率,又降低了AI技術的使用成本。 責任編輯:haq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • cpu
    cpu
    +關注

    關注

    68

    文章

    10855

    瀏覽量

    211598
  • NVIDIA
    +關注

    關注

    14

    文章

    4981

    瀏覽量

    102995
  • AI
    AI
    +關注

    關注

    87

    文章

    30757

    瀏覽量

    268902
  • 深度學習
    +關注

    關注

    73

    文章

    5500

    瀏覽量

    121113

原文標題:NVIDIA TensorRT和GPU軟件棧助力騰訊AI LAB打造生動的虛擬人

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    科大訊飛AI虛擬人交互平臺榮獲行業最高評級

    近日,科大訊飛的AI虛擬人交互平臺順利完成中國信通院人工智能研究所組織的大模型數字人基礎能力分級測試,并獲得最高等級L5認證,系國內首批。
    的頭像 發表于 12-13 11:39 ?253次閱讀

    NVIDIA助力麗蟾科技打造AI訓練與推理加速解決方案

    麗蟾科技通過 Leaper 資源管理平臺集成 NVIDIA AI Enterprise,為企業和科研機構提供了一套高效、靈活的 AI 訓練與推理加速解決方案。無論是在復雜的 AI 開發任務中,還是在高并發
    的頭像 發表于 10-27 10:03 ?209次閱讀
    <b class='flag-5'>NVIDIA</b>助力麗蟾科技打造AI訓練與<b class='flag-5'>推理</b><b class='flag-5'>加速</b>解決方案

    數字王國與AWS達成合作,推動自主虛擬人技術云端發展

    近日,數字王國與Amazon Web Services(AWS)達成了一項重要合作,雙方將攜手推動自主虛擬人及其技術向云端遷移。
    的頭像 發表于 10-09 16:38 ?397次閱讀

    微軟Azure AI語音服務革新:引入虛擬人形象,文本一鍵轉生動視頻

    微軟于8月23日宣布,在其領先的Azure AI語音服務中融入了一項革命性創新——虛擬人形象功能,此功能徹底顛覆了傳統交互方式,讓文本轉視頻的過程變得前所未有的直觀與生動。
    的頭像 發表于 08-23 16:25 ?705次閱讀

    魔搭社區借助NVIDIA TensorRT-LLM提升LLM推理效率

    “魔搭社區是中國最具影響力的模型開源社區,致力給開發者提供模型即服務的體驗。魔搭社區利用NVIDIA TensorRT-LLM,大大提高了大語言模型的推理性能,方便了模型應用部署,提高了大模型產業應用效率,更大規模地釋放大模型的
    的頭像 發表于 08-23 15:48 ?439次閱讀

    英偉達推出全新NVIDIA AI Foundry服務和NVIDIA NIM推理微服務

    NVIDIA 宣布推出全新 NVIDIA AI Foundry 服務和 NVIDIA NIM 推理微服務,與同樣剛推出的 Llama 3.1 系列開源模型一起,為全球企業的生成式 AI
    的頭像 發表于 07-25 09:48 ?698次閱讀

    LLM大模型推理加速的關鍵技術

    LLM(大型語言模型)大模型推理加速是當前人工智能領域的一個研究熱點,旨在提高模型在處理復雜任務時的效率和響應速度。以下是對LLM大模型推理加速
    的頭像 發表于 07-24 11:38 ?864次閱讀

    NVIDIA Omniverse USD Composer能用來做什么?如何獲取呢?

    NVIDIA Omniverse? USD Composer(以前稱為 Create)是 NVIDIA Omniverse? 中用于構建虛擬世界的參考應用程序,允許用戶進行組裝、模擬和渲染
    的頭像 發表于 05-20 10:07 ?813次閱讀
    <b class='flag-5'>NVIDIA</b> Omniverse USD Composer能用來做什么?如何獲取呢?

    NVIDIA加速微軟最新的Phi-3 Mini開源語言模型

    NVIDIA 宣布使用 NVIDIA TensorRT-LLM 加速微軟最新的 Phi-3 Mini 開源語言模型。TensorRT-LLM 是一個開源庫,用于優化從 PC 到云端的 NVID
    的頭像 發表于 04-28 10:36 ?551次閱讀

    利用NVIDIA組件提升GPU推理的吞吐

    本實踐中,唯品會 AI 平臺與 NVIDIA 團隊合作,結合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV(HKV)將推理的稠密網絡和熱
    的頭像 發表于 04-20 09:39 ?718次閱讀

    抖音嚴打不當虛擬人物AI生成行為,優化平臺生態環境

    據悉,去年8月抖音發布了《人工智能生成內容的平臺規范及行業倡議》,強調禁止利用AI技術制作虛擬人物進行低質量創作。今年3月27日,抖音安全中心又發布公告表示,發現少數賬號依然存在使用AI技術生成虛擬人物的違規行為。
    的頭像 發表于 03-27 14:54 ?635次閱讀

    使用NVIDIA Triton推理服務器來加速AI預測

    這家云計算巨頭的計算機視覺和數據科學服務使用 NVIDIA Triton 推理服務器來加速 AI 預測。
    的頭像 發表于 02-29 14:04 ?576次閱讀

    搶灘賽道先機走出科創新路,布局AI+虛擬人驅動微美全息(WIMI.US)快速搶占市場新空間

    自從,隨著元宇宙概念的火熱,市場對于虛擬人的需求日益高漲。同時,隨著AI大模型的突破,虛擬人被賦予多種角色,如AI虛擬人主播、AI虛擬人員工等,各行各業都在經歷一場由
    的頭像 發表于 02-02 11:06 ?361次閱讀
    搶灘賽道先機走出科創新路,布局AI+<b class='flag-5'>虛擬人</b>驅動微美全息(WIMI.US)快速搶占市場新空間

    如何選擇NVIDIA GPU和虛擬化軟件的組合方案呢?

    NVIDIA vGPU 解決方案能夠將 NVIDIA GPU 的強大功能帶入虛擬桌面、應用程序和工作站,加速圖形和計算,使在家辦公或在任何地方工作的創意和技術專業人員能夠訪問
    的頭像 發表于 01-12 09:26 ?1111次閱讀
    如何選擇<b class='flag-5'>NVIDIA</b> GPU和<b class='flag-5'>虛擬</b>化軟件的組合方案呢?

    AI克隆技術可用于創建虛擬人物形象!它的技術原理和發展趨勢

    電子發燒友網報道(文/李彎彎)AI克隆技術主要指的是人工智能技術用于復制或克隆人類的行為、聲音、形象等方面的技術。這種技術可以用于生成虛擬人物、虛擬角色、虛擬明星等,以及為其創建獨特的語音、外觀
    的頭像 發表于 01-08 08:28 ?2743次閱讀
    AI克隆技術可用于創建<b class='flag-5'>虛擬人</b>物形象!它的技術原理和發展趨勢
    主站蜘蛛池模板: 被老总按在办公桌吸奶头| 色偷拍自怕亚洲在线| 老阿姨儿子一二三区| 久草网国产自偷拍| 久久青青草原综合伊人| 久久国产精品二区99| 久久亚洲伊人中字综合精品| 久久视热频国只有精品| 久久伊人中文字幕有码| 老阿姨才是最有味的一区二区| 免费看a毛片| 少妇伦子伦情品无吗| 亚洲 欧美 国产 视频二区| 亚洲日本欧美日韩高观看| 最新无码二区日本专区| 办公室韩国电影免费完整版| 俄罗斯6一12呦女精品| 狠狠色狠狠色综合| 女同给老师下媚药| 素人约啪第五季| 在线 | 果冻国产传媒61国产免费| 99无人区码一码二码三| 韩国伦理三级| 欧美 亚洲 中文字幕 高清| 午夜DV内射一区二区| 91福利国产在线观看网站| 国产成人ae在线观看网站站| 久久99国产视频| 色偷偷男人的天堂a v| 中文字幕人妻无码系列第三区| 高h超辣bl文| 摸董事长的裤裆恋老小说| 亚洲成色WWW久久网站夜月| 99精品视频免费在线观看| 国内精品蜜汁乔依琳视频 | 欧美性猛交AAA片| 亚洲日韩视频免费观看| 成人免费视频在线| 另类欧美尿交| 亚洲三级在线看| 国产亚洲视频在线播放香蕉|