本次 GTC 大會(huì),來自阿里云機(jī)器學(xué)習(xí)平臺(tái) PAI 的技術(shù)專家,將分享開源產(chǎn)品 DeepRec 的高性能 GPU 訓(xùn)練推理優(yōu)化,以及機(jī)器學(xué)習(xí)模型中訪存密集型計(jì)算 STITCH 融合優(yōu)化技術(shù)。
長按掃描下方二維碼,或點(diǎn)擊閱讀原文,注冊 GTC 并提前收藏阿里云機(jī)器學(xué)習(xí)平臺(tái) PAI 的精彩演講。
全球 AI 市場近年來保持了快速增長的趨勢,根據(jù)市場研究機(jī)構(gòu) IDC 的數(shù)據(jù)顯示,預(yù)計(jì)到 2025 年,全球 AI 市場規(guī)模將達(dá)到 1.25 萬億美元。同時(shí),中國已成為全球最大的 AI 應(yīng)用市場之一,據(jù)中國電子信息產(chǎn)業(yè)發(fā)展研究院發(fā)布的數(shù)據(jù)顯示,截至 2022 年底,國內(nèi) AI 產(chǎn)業(yè)規(guī)模達(dá)到 1204 億元人民幣,同比增長 59.5%。
并且隨著近階段 AIGC(AI generated content)概念的爆火,人工智能再次受到全球社會(huì)層面的廣泛關(guān)注。AIGC 能夠帶來更加創(chuàng)新的應(yīng)用,包括坐席輔助、智能語音、自動(dòng)駕駛、人臉識(shí)別、擴(kuò)展現(xiàn)實(shí)、機(jī)器翻譯以及金融欺詐檢測等多個(gè)領(lǐng)域,潛力極大。
而在 AIGC 浪潮不斷帶來新驚喜的同時(shí),今天 AI 開發(fā)門檻高仍然是亟待解決的問題。因硬件、框架和開發(fā)環(huán)境三者之間的適配度低,算法工程師們不得不關(guān)注底層基礎(chǔ)設(shè)施的調(diào)優(yōu)和適配工作,無形中降低了工作效率。
阿里云機(jī)器學(xué)習(xí) PAI 團(tuán)隊(duì)致力于為企業(yè)和開發(fā)者們提供云原生、高性能的 AI 平臺(tái)服務(wù)。在計(jì)算性能方面,專注于 AI 訓(xùn)練、AI 推理等方面的軟硬協(xié)同優(yōu)化工作,開源了豐富的工具套件。在平臺(tái)能力方面,PAI 團(tuán)隊(duì)推出覆蓋 AI 開發(fā)全鏈路的平臺(tái)產(chǎn)品,兼容各類底層計(jì)算硬件和 AI 框架,讓算法工程師們可以專注于 AI 開發(fā)的階段,實(shí)現(xiàn)云、端側(cè)、創(chuàng)新硬件等多種場景的創(chuàng)新。
以下為阿里云機(jī)器學(xué)習(xí)平臺(tái) PAI 在本次 GTC 大會(huì)的演講簡介:
阿里云機(jī)器學(xué)習(xí)平臺(tái) PAI 演講推薦
DeepRec: 面向推薦場景的
高性能深度學(xué)習(xí)框架
會(huì)議代碼:[S51544]
演講時(shí)間:3 月 23 日 3:00 PM
演講嘉賓:
劉童璇,阿里巴巴高級(jí)技術(shù)專家
劉仕杰,NVIDIA GPU 計(jì)算專家團(tuán)隊(duì)工程師
演講概要:
DeepRec 支持了淘寶搜索、猜你喜歡、定向、直通車等核心業(yè)務(wù),支撐著千億特征、萬億樣本超大規(guī)模的搜索、推薦、廣告場景的模型訓(xùn)練和推理。自 DeepRec 開源以來,已有數(shù)十家互聯(lián)網(wǎng)公司將 DeepRec 應(yīng)用在他們的搜推廣場景的業(yè)務(wù)中,取得了顯著的業(yè)務(wù)效果提升和性能提升。DeepRec 中提供的功能和性能優(yōu)化主要分三個(gè)方面:1. 模型效果方面;2. 訓(xùn)練和推理優(yōu)化方面;3. 模型部署方面。
本次演講中,主要介紹 GPU 場景下,DeepRec 中多級(jí) Embedding 混合存儲(chǔ)功能,圖感知的內(nèi)存/顯存分配器,SessionGroup 中多 CUDA Stream 支持,基于 NVIDIA Merlin HugeCTR SOK(Sparse Operation Kit)的 GPU 同步訓(xùn)練,以及Embedding 性能優(yōu)化 Group Embedding。
您可以在 github 上體驗(yàn) DeepRec:
https://github.com/alibaba/DeepRec
機(jī)器學(xué)習(xí)模型中訪存
密集型計(jì)算 STITCH 融合優(yōu)化技術(shù)
會(huì)議代碼:[SE51289]
演講時(shí)間:3 月 22 日2:00 PM
演講嘉賓:
鄭楨,阿里巴巴高級(jí)技術(shù)專家
演講概要:
近年來,訪存密集型計(jì)算日益成為影響機(jī)器學(xué)習(xí)模型性能的重要因素。由于機(jī)器學(xué)習(xí)模型計(jì)算圖日趨復(fù)雜,傳統(tǒng)的機(jī)器學(xué)習(xí)編譯器面對復(fù)雜的數(shù)據(jù)依賴關(guān)系時(shí)很難執(zhí)行高效的計(jì)算融合優(yōu)化。同時(shí),動(dòng)態(tài)張量形狀(dynamic tensor shape)的模型優(yōu)化需求開始興起,缺失的張量形狀使得訪存密集型計(jì)算子圖的性能優(yōu)化變得更加困難。
本次演講將講述阿里巴巴針對機(jī)器學(xué)習(xí)任務(wù)中訪存密集型計(jì)算性能優(yōu)化的關(guān)鍵技術(shù):STITCH 融合技術(shù)。該技術(shù)支持將任意類型及任何數(shù)量的機(jī)器學(xué)習(xí)訪存密集型算子進(jìn)行融合,最終將大粒度的訪存密集型計(jì)算子圖轉(zhuǎn)化為單個(gè)的 GPU 核函數(shù),以減少片外訪存、框架調(diào)度及 GPU 核函數(shù)調(diào)用開銷。
如何預(yù)約和注冊
在 GTC 大會(huì)官網(wǎng)(https://www.nvidia.cn/gtc-global/)搜索會(huì)議代碼找到該演講,點(diǎn)擊“Add to Schedule”或右上角五角星,提前預(yù)約或收藏。
如下圖 [S51544] 演講,點(diǎn)擊“Add to Schedule”或右上角五角星,即可添加至您的日程。
GTC 大會(huì)注冊流程請參看 GTC23 注冊教程,請?jiān)?3 月 26 日前完成在線注冊,免費(fèi)觀看以及回看 GTC 2023 春季大會(huì)超過 650 場精彩內(nèi)容!
掃描下方海報(bào)二維碼,鎖定 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的 GTC 主題演講!北京時(shí)間 3 月 21 日 23:00 全球首播,3 月 22 日 10:00 中國重播。深度解讀 NVIDIA 加速計(jì)算平臺(tái)如何推動(dòng)人工智能、元宇宙、云技術(shù)和可持續(xù)計(jì)算的下一波浪潮。加入 GTC23,切勿錯(cuò)過 AI 的決定性時(shí)刻!
原文標(biāo)題:GTC23 | 阿里云機(jī)器學(xué)習(xí)平臺(tái) PAI 精選演講推薦
文章出處:【微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
-
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3771瀏覽量
90996
原文標(biāo)題:GTC23 | 阿里云機(jī)器學(xué)習(xí)平臺(tái) PAI 精選演講推薦
文章出處:【微信號(hào):NVIDIA_China,微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評(píng)論請先 登錄
相關(guān)推薦
評(píng)論