色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

AI計算,為什么要用GPU?

jf_60870435 ? 來源:jf_60870435 ? 作者:jf_60870435 ? 2024-01-04 11:49 ? 次閱讀

今天這篇文章,我們繼續來聊聊芯片

在之前的文章里,小棗君說過,行業里通常會把半導體芯片分為數字芯片和模擬芯片。其中,數字芯片的市場規模占比較大,達到70%左右。

數字芯片,還可以進一步細分,分為:邏輯芯片、存儲芯片以及微控制單元(MCU)。


wKgZomWVMdyALgw6AAD7rO89g3U669.png

存儲芯片和MCU以后再介紹,今天小棗君重點講講邏輯芯片


邏輯芯片,其實說白了就是計算芯片。它包含了各種邏輯門電路,可以實現運算與邏輯判斷功能,是最常見的芯片之一。

大家經常聽說的CPUGPUFPGAASIC,全部都屬于邏輯芯片。而現在特別火爆的AI,用到的所謂“AI芯片”,也主要是指它們。


█CPU(中央處理器

先說說大家最熟悉的CPU,英文全稱Central Processing Unit,中央處理器。

CPU

但凡是個人都知道,CPU是計算機的心臟。

現代計算機,都是基于1940年代誕生的馮·諾依曼架構。在這個架構中,包括了運算器(也叫邏輯運算單元,ALU)、控制器(CU)、存儲器、輸入設備、輸出設備等組成部分。

wKgZomWVMdyAfzbCAAC5fAdP2wA585.png

馮·諾依曼架構


數據來了,會先放到存儲器。然后,控制器會從存儲器拿到相應數據,再交給運算器進行運算。運算完成后,再把結果返回到存儲器。

這個流程,還有一個更有逼格的叫法:“Fetch(取指)-Decode(譯碼)- Execute(執行)-Memory Access(訪存)-Write Back(寫回)”。

大家看到了,運算器和控制器這兩個核心功能,都是由CPU負責承擔的。

具體來說,運算器(包括加法器、減法器、乘法器、除法器),負責執行算術和邏輯運算,是真正干活的。控制器,負責從內存中讀取指令、解碼指令、執行指令,是指手畫腳的。

除了運算器和控制器之外,CPU還包括時鐘模塊和寄存器(高速緩存)等組件。

wKgaomWVMd2AdpOAAADG9owbUbM287.png


時鐘模塊負責管理CPU的時間,為CPU提供穩定的時基。它通過周期性地發出信號,驅動CPU中的所有操作,調度各個模塊的工作。

寄存器是CPU中的高速存儲器,用于暫時保存指令和數據。它的CPU與內存(RAM)之間的“緩沖”,速度比一般的內存更快,避免內存“拖累”CPU的工作。

寄存器的容量和存取性能,可以影響CPU到對內存的訪問次數,進而影響整個系統的效率。后面我們講存儲芯片的時候,還會提到它。

CPU一般會基于指令集架構進行分類,包括x86架構和非x86架構。x86基本上都是復雜指令集(CISC),而非x86基本為精簡指令集(RISC)。

PC和大部分服務器用的是x86架構,英特爾AMD公司占據主導地位。非x86架構的類型比較多,這些年崛起速度很快,主要有ARM、MIPS、Power、RISC-V、Alpha等。以后會專門介紹。


█GPU(圖形處理器)

再來看看GPU。

GPU是顯卡的核心部件,英文全名叫Graphics Processing Unit,圖形處理單元(圖形處理器)。

GPU并不能和顯卡劃等號。顯卡除了GPU之外,還包括顯存、VRM穩壓模塊、MRAM芯片、總線、風扇、外圍設備接口等。

wKgZomWVMd2AEKX0AAgbgTvTpnY820.png

顯卡

1999年,英偉達(NVIDIA)公司率先提出了GPU的概念。

之所以要提出GPU,是因為90年代游戲和多媒體業務高速發展。這些業務給計算機的3D圖形處理和渲染能力提出了更高的要求。傳統CPU搞不定,所以引入了GPU,分擔這方面的工作。

根據形態,GPU可分為獨立GPU(dGPU,discrete/dedicated GPU)和集成GPU(iGPU,integrated GPU),也就是常說的獨顯、集顯。

GPU也是計算芯片。所以,它和CPU一樣,包括了運算器、控制器和寄存器等組件。

但是,因為GPU主要負責圖形處理任務,所以,它的內部架構和CPU存在很大的不同。

wKgaomWVMd2APwuYAAIq87jcMeU231.png

如上圖所示,CPU的內核(包括了ALU)數量比較少,最多只有幾十個。但是,CPU有大量的緩存(Cache)和復雜的控制器(CU)。

這樣設計的原因,是因為CPU是一個通用處理器。作為計算機的主核心,它的任務非常復雜,既要應對不同類型的數據計算,還要響應人機交互。

復雜的條件和分支,還有任務之間的同步協調,會帶來大量的分支跳轉和中斷處理工作。它需要更大的緩存,保存各種任務狀態,以降低任務切換時的時延。它也需要更復雜的控制器,進行邏輯控制和調度。

CPU的強項是管理和調度。真正干活的功能,反而不強(ALU占比大約5%~20%)。

如果我們把處理器看成是一個餐廳的話,CPU就像一個擁有幾十名高級廚師的全能型餐廳。這個餐廳什么菜系都能做,但是,因為菜系多,所以需要花費大量的時間協調、配菜,上菜的速度相對比較慢。

而GPU則完全不同。


GPU為圖形處理而生,任務非常明確且單一。它要做的,就是圖形渲染。圖形是由海量像素點組成的,屬于類型高度統一、相互無依賴的大規模數據。

所以,GPU的任務,是在最短的時間里,完成大量同質化數據的并行運算。所謂調度和協調的“雜活”,反而很少。


并行計算,當然需要更多的核啊。


如前圖所示,GPU的內核數,遠遠超過CPU,可以達到幾千個甚至上萬個(也因此被稱為“眾核”)。


wKgZomWVMd6AFjpTAABwTGwf0rw889.jpg

RTX4090有16384個流處理器

GPU的核,稱為流式多處理器(Stream Multi-processor,SM),是一個獨立的任務處理單元。

在整個GPU中,會劃分為多個流式處理區。每個處理區,包含數百個內核。每個內核,相當于一顆簡化版的CPU,具備整數運算和浮點運算的功能,以及排隊和結果收集功能。


GPU的控制器功能簡單,緩存也比較少。它的ALU占比,可以達到80%以上。

雖然GPU單核的處理能力弱于CPU,但是數量龐大,非常適合高強度并行計算。同等晶體管規模條件下,它的算力,反而比CPU更強。

還是以餐廳為例。GPU就像一個擁有成千上萬名初級廚師的單一型餐廳。它只適合做某種指定菜系。但是,因為廚師多,配菜簡單,所以大家一起炒,上菜速度反而快。

wKgaomWVMd6AaA2ZAAI1oIIp6qE340.png

CPU vs GPU


█GPU與AI計算

大家都知道,現在的AI計算,都在搶購GPU。英偉達也因此賺得盆滿缽滿。為什么會這樣呢?


原因很簡單,因為AI計算和圖形計算一樣,也包含了大量的高強度并行計算任務。

深度學習是目前最主流的人工智能算法。從過程來看,包括訓練(training)和推理(inference)兩個環節。

wKgZomWVMd6AJ_EJAAPKYRdETAg780.png


在訓練環節,通過投喂大量的數據,訓練出一個復雜的神經網絡模型。在推理環節,利用訓練好的模型,使用大量數據推理出各種結論。

訓練環節由于涉及海量的訓練數據,以及復雜的深度神經網絡結構,所以需要的計算規模非常龐大,對芯片的算力性能要求比較高。而推理環節,對簡單指定的重復計算和低延遲的要求很高。

它們所采用的具體算法,包括矩陣相乘、卷積、循環層、梯度運算等,分解為大量并行任務,可以有效縮短任務完成的時間。

GPU憑借自身強悍的并行計算能力以及內存帶寬,可以很好地應對訓練和推理任務,已經成為業界在深度學習領域的首選解決方案。

目前,大部分企業的AI訓練,采用的是英偉達的GPU集群。如果進行合理優化,一塊GPU卡,可以提供相當于數十其至上百臺CPU服務器的算力。

NVIDIA HGX A100 8 GPU 組件

不過,在推理環節,GPU的市場份額占比并沒有那么高。具體原因我們后面會講。

將GPU應用于圖形之外的計算,最早源于2003年。

那一年,GPGPU(General Purpose computing on GPU,基于GPU的通用計算)的概念首次被提出。意指利用GPU的計算能力,在非圖形處理領域進行更通用、更廣泛的科學計算。

GPGPU在傳統GPU的基礎上,進行了進一步的優化設計,使之更適合高性能并行計算。

2009年,斯坦福的幾位學者,首次展示了利用GPU訓練深度神經網絡的成果,引起了轟動。

幾年后,2012年,神經網絡之父杰弗里·辛頓(Geoffrey Hinton)的兩個學生——亞歷克斯·克里切夫斯基(Alex Krizhevsky)、伊利亞·蘇茨克沃(Ilya Sutskever),利用“深度學習+GPU”的方案,提出了深度神經網絡AlexNet,將識別成功率從74%提升到85%,一舉贏得Image Net挑戰賽的冠軍。

wKgZomWVMd6AF62oAAC6m8WL90Q695.jpg

左起:伊利亞·蘇茨克沃,亞歷克斯·克里切夫斯基,杰弗里·辛頓

這徹底引爆了“AI+GPU”的浪潮。英偉達公司迅速跟進,砸了大量的資源,在三年時間里,將GPU性能提升了65倍。

除了硬剛算力之外,他們還積極構建圍繞GPU的開發生態。他們建立了基于自家GPU的CUDA(Compute Unified Device Architecture)生態系統,提供完善的開發環境和方案,幫助開發人員更容易地使用GPU進行深度學習開發或高性能運算。


這些早期的精心布局,最終幫助英偉達在AIGC爆發時收獲了巨大的紅利。目前,他們市值高達1.22萬億美元(英特爾的近6倍),是名副其實的“AI無冕之王”。


【以上信息由艾博檢測整理發布,如有出入請及時指正,如有引用請注明出處,歡迎一起討論,我們一直在關注其發展!專注:CCC/SRRC/CTA/運營商入庫】

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • gpu
    gpu
    +關注

    關注

    28

    文章

    4729

    瀏覽量

    128890
  • AI
    AI
    +關注

    關注

    87

    文章

    30728

    瀏覽量

    268886
  • 數字芯片
    +關注

    關注

    1

    文章

    110

    瀏覽量

    18384
收藏 人收藏

    評論

    相關推薦

    ASIC和GPU,誰才是AI計算的最優解?

    電子發燒友網報道(文/周凱揚)隨著AI計算開始有著風頭蓋過通用計算開始,不少芯片廠商都將其視為下一輪技術革新。CPU、GPU、FPGA和ASIC紛紛投入到這輪
    的頭像 發表于 12-03 08:31 ?2172次閱讀
    ASIC和<b class='flag-5'>GPU</b>,誰才是<b class='flag-5'>AI</b><b class='flag-5'>計算</b>的最優解?

    《CST Studio Suite 2024 GPU加速計算指南》

    GPU Computing Guide》是由Dassault Systèmes Deutschland GmbH發布的有關CST Studio Suite 2024的GPU計算指南。涵蓋GP
    發表于 12-16 14:25

    【產品活動】阿里云GPU云服務器年付5折!阿里云異構計算助推行業發展!

    摘要: 阿里云GPU云服務器全力支持AI生態發展,進一步普惠開發者紅利,本周將會推出針對異構計算GPU實例GN5年付5折的優惠活動,希望能夠打造良好的
    發表于 12-26 11:22

    深度學習推理和計算-通用AI核心

    ,支持廣泛的應用程序和動態工作負載。本文將討論這些行業挑戰可以在不同級別的硬件和軟件設計采用Xilinx VERSAL AI核心,業界首創自適應計算加速平臺超越了CPU/GPU和FPGA的性能。
    發表于 11-01 09:28

    ai芯片和gpu的區別

    ai芯片和gpu的區別▌車載芯片的發展趨勢(CPU-GPU-FPGA-ASIC)過去汽車電子芯片以與傳感器一一對應的電子控制單元(ECU)為主,主要分布與發動機等核心部件上。...
    發表于 07-27 07:29

    GPU八大主流的應用場景

    GPU來完成。但GPU于手機及PC端滲透率基本見頂,根據中國社科院數據,2011-2018年全球主要國家PC每百人滲透率呈下降趨勢,智能手機對PC具有一定替代性。而云計算與智能駕駛及AI
    發表于 12-07 10:04

    浪潮AIStation突破企業AI計算資源極限,高效共享GPU

    對于AI企業來說,GPU計算資源昂貴,如何提高資源利用率,保護計算力投資?如何解決資源搶占,保證資源使用公平合理?
    發表于 04-06 09:35 ?1220次閱讀
    浪潮AIStation突破企業<b class='flag-5'>AI</b><b class='flag-5'>計算</b>資源極限,高效共享<b class='flag-5'>GPU</b>

    未來的AI計算領域,將是CPU、GPU、IPU并行

    AI近些年的大火,直接促進了CPU和GPU的發展,而英偉達的GPU真正借此迅速成為AI市場的主流產品之一,其勢頭甚至蓋過了CPU。
    的頭像 發表于 10-19 16:04 ?3364次閱讀
    未來的<b class='flag-5'>AI</b><b class='flag-5'>計算</b>領域,將是CPU、<b class='flag-5'>GPU</b>、IPU并行

    AI GPU計算在工廠車間提供數據中心性能

    用于自動檢測的 AI GPU 計算改變了質量控制操作、運行復雜的視覺算法并整合了工作負載。
    發表于 08-12 16:01 ?271次閱讀

    國產計算GPU沐曦MXC500用時5小時完成功能測試

    而MXC系列GPU(曦云)主要用AI訓練及通用計算,MXG系列GPU(曦彩)用于圖形渲染。而此次成功點亮的
    的頭像 發表于 06-16 09:55 ?2624次閱讀

    英偉達用AI設計GPU算術電路有何優勢

    大量的算術電路陣列為英偉達GPU提供了動力,以實現前所未有的AI、高性能計算計算機圖形加速。因此,改進這些算術電路的設計對于提升 GPU
    發表于 12-05 11:05 ?430次閱讀

    AI計算,為什么要用GPU

    芯片、存儲芯片以及微控制單元(MCU)。存儲芯片和MCU以后再介紹,今天小棗君重點講講邏輯芯片。邏輯芯片,其實說白了就是計算芯片。它包含了各種邏輯門電路,可以實現
    的頭像 發表于 01-26 08:29 ?548次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>計算</b>,為什么<b class='flag-5'>要用</b><b class='flag-5'>GPU</b>?

    為什么ai模型訓練要用gpu

    GPU憑借其強大的并行處理能力和高效的內存系統,已成為AI模型訓練不可或缺的重要工具。
    的頭像 發表于 10-24 09:39 ?256次閱讀

    GPU加速計算平臺是什么

    GPU加速計算平臺,簡而言之,是利用圖形處理器(GPU)的強大并行計算能力來加速科學計算、數據分析、機器學習等復雜
    的頭像 發表于 10-25 09:23 ?245次閱讀

    GPU是如何訓練AI大模型的

    AI模型的訓練過程中,大量的計算工作集中在矩陣乘法、向量加法和激活函數等運算上。這些運算正是GPU所擅長的。接下來,AI部落小編帶您了解GPU
    的頭像 發表于 12-19 17:54 ?84次閱讀
    主站蜘蛛池模板: 99热久久精品国产一区二区| 中文字幕午夜乱理片| 好色美女小雅| 99久久99久久久精品齐齐鬼色| 视频一区国产精戏刘婷30| 久久亚洲网站| 国产日韩欧美综合久久| 99综合之综合久久伊人| 亚洲中文字幕在线精品| 国产树林野战在线播放| adc免费观看| 在线观看免费国产成人软件| 桃花在线观看播放| 欧美6O老妪与小伙交| 久久操韩国自偷拍| 国产永久免费观看视频软件 | 草莓国产视频免费观看| 伊人久久大香线蕉综合电影网| 网友自拍成人在线视频| 欧美一区二区视频97色伦| 巨黄的肉辣文np| 国产学生在线播放精品视频| 东北老妇人70OLDMAN| 99福利视频| 992交通广播| 中文字幕蜜臀AV熟女人妻| 亚洲色图p| 亚洲精品国产自在在线观看| 手机在线看片欧美亚洲| 日本午夜视频在线| 人淫阁| 泷泽萝拉首部av| 浪货嗯啊趴下NP粗口黄暴| 狠狠色在在线视频观看| 国产午夜在线观看视频播放| 国产精品av免费观看| 高hnp全肉| 国产 亚洲 日韩 欧美 在线观看| yellow2019在线观看视频 | 久久人妻少妇嫩草AV無碼| 混乱家庭电影完整版在线看|