亚洲精品福利你懂,在线成年视频免费观看,亚洲欧美日韩天堂

電子發燒友網報道（文/周凱揚）人工智能在進化的過程中，最不可或缺的便是模型和算力。訓練出來的通用大模型省去了重復的開發工作，目前不少大模型都為學術研究和AI開發提供了方便，比如華為的盤古、搜狗的BERTSG、北京智源人工智能研究院的悟道2.0等等。

那么訓練出這樣一個大模型需要怎樣的硬件前提？如何以較低的成本完成自己模型訓練工作？這些都是不少AI初創企業需要考慮的問題，那么如今市面上有哪些訓練芯片是經得起考驗的呢？我們先從國外的幾款產品開始看起。

英偉達A100

英偉達的A100可以說是目前AI訓練界的明星產品，A100剛面世之際可以說是世界上最快的深度學習 GPU。盡管近來有無數的GPU或其他AI加速器試圖在性能上撼動它的地位，但綜合實力來看，A100依然穩坐頭把交椅。

A100 GPU / 英偉達A100可是英偉達特推出的首個7nm GPU，在826mm2的芯片大小上鋪滿了542億個晶體管。要知道，其消費級GPU雖然同樣采用安培架構，但仍在使用三星的8nm制程。至于算力什么的，GPU在單個或多個處理器配置上都有著不俗的優勢，甚至還能憑借英偉達自己的互聯技術實現更高的帶寬。具體的算力數據我們也已提過多次，我們這次講的是AI訓練，自然是要比訓練上的表現，這里先留個懸念。性能雖高，但使用A100的成本可并不便宜。今年10月，微軟和英偉達推出了迄今為止訓練最強大的生成語言模型Megatron-Turing Natural Language Generation（MT-NLG），擁有5300億個參數。如此強大的模型究竟是如何訓練出來的呢？答案是560個英偉達DGX A100服務器，每個服務器都內置了8 x A100 80GB GPU，訓練出這個模型的造價最低也要在百萬美元以上。如此看來，難不成這些模型只能靠購置昂貴的GPU，或是靠花錢如流水一般的GPU服務器來訓練了？并非如此。

英特爾Gaudi和Ponte Vecchio

19年12月，英特爾收購了以色列的Habana Labs，將其旗下的AI加速器產品線納入囊中。Habana Labs目前推出了用于推理的Goya處理器和用于訓練的Gaudi處理器。盡管Habana Labs已經隸屬英特爾，但現有的產品仍然基于臺積電的16nm制程，傳言稱其正在開發的Gaudi2將用上臺積電的7nm制程。目前Gaudi已經用于亞馬遜云服務AWS的EC2 DL1訓練實例中，該實例選用了AWS定制的英特爾第二代Xeon可擴展處理器，最多可配置8個Gaudi處理器，每個處理器配有32GB的HBM內存，400Gbps的網絡架構加上100Gbps的互聯帶寬，并支持4TB的NVMe存儲。

Gaudi與A100在ResNet-50和BERT訓練成本上的對比 / Habana Labs Habana Labs和AWS共同宣稱，Gaudi的方案可以提供云端深度學習模型訓練的最佳性價比，與最新的GPU實例相比性價比高出40%。Habana Labs給出了直接的價格對比，在對比AWS EC2 P4d實例（8個英偉達A100 GPU）時，8個Gaudi處理器的每小時價格為13.11美元，比前者低了60%。針對特定的模型，Habana Labs也對A100和V100方案進行了對比，比如利用Tensorflow實現ResNet50圖像處理（BF16/FP16）時，Gaudi處理每張圖片的成本要比A100低46%，更是比V100低了61%。 Habana Labs為Gaudi定義的用例主要在物體識別/分割、圖像分類和自然語言處理器方面的深度學習模型訓練。比如生產中的故障檢測、醫療中的2D/3D掃描和醫學成像、自動駕駛中的物體分割以及文本情感分析等等。我們都知道在超算領域中，英特爾在主要處理器上的份額與出場率都比較高，加速器上則依舊是英偉達和AMD的GPU占優，不過Habana Labs的Gaudi其實已經開始發力，比如圣地亞哥超級計算中心（SDSC）打造的AI超算Voyager。這里的Voyager可不是TOP500新晉第十名的Voyager-EUS2，而是SDSC打造的一款試驗性超算，專注于高性能高效率的AI運算，該超算集成了336個Gaudi訓練處理器和16個Goya推理處理器。

A100與Ponte Vecchio在ResNet-50 v1.5上的訓練表現對比 / 英特爾不過英特爾似乎也不打算放棄GPU這條路，甚至打算走的更遠一點。今年的架構日上，英特爾為其Ponte Vecchio Xe HPC GPU透露了更多的細節。英特爾拿出了ResNet-50單個GPU處理圖像的訓練結果對比，Ponte Vecchio獲得了超過3400張圖片每秒的成績，而英偉達單張A100 GPU的成績為2963張圖片每秒。根據Habana Labs于19年六月公布的數據，單個Gaudi處理器的成績為1650張圖片每秒。單從結果來看，英特爾和英偉達兩者打造的旗艦GPU在模型訓練上還是很有優勢的，而且還能承擔推理工作負載，Gaudi的性能確實更適合高性價比的專用訓練場景。依小編的觀點來看，Ponte Vecchio更像是英特爾為HPC+AI準備的一張GPU，明年開始出貨后我們說不定會在超算上看到更多應用。而Gaudi更像是為云服務和數據中心準備的訓練處理器，讓開發者在可負擔的價格下享受到優秀的性能。更不用說英特爾也開始為FPGA（Stratix 10 NX）在相同的方向上鋪路，英特爾可以說是為AI開發者提供了多個選擇。

亞馬遜Trainium

最后我們以亞馬遜的訓練芯片收尾，亞馬遜提供的服務器實例可以說是最多樣化的，也包含了以上提到的A100和Gaudi。亞馬遜作為云服務巨頭，早已開始部署自己的服務器芯片生態，不僅在今年推出了第三代Graviton服務器處理器，也正式發布了去年公開的訓練芯片Trainium，并推出了基于該芯片的Trn1實例。

Trn1實例的參數 / 亞馬遜 Trn1的計算引擎頻率達到了3GHz，峰值內存帶寬為13.1TB/s，FP32的算力為840TFLOPS，最出色的數據還是800Gbps的網絡帶寬，亞馬遜甚至還提供了一個1.6TB。再次重申，這些都只是紙面參數而已，實際表現才是最重要的。

亞馬遜訓練實例對比 / 亞馬遜據亞馬遜發布的數據，同樣是在兩周內完成GPT-3模型的訓練，需要600個8 x V100 GPU的實例，或是128個8xA100 GPU的實例，但若用上16 x Trainium的實例，則只要96個。亞馬遜稱Trn1為云端成本效率最高的實例，這一點還真沒說錯。

小結

GPU一時半會不會跌落AI訓練的神壇，但其他訓練芯片的推陳出新證明了他們面對A100和Ponte Vecchio這種大規模芯片同樣不懼，甚至還有自己獨到的優勢。

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。舉報投訴

gpu

gpu

+關注

關注
28

文章
4830

瀏覽量
129778
AI

AI

+關注

關注
87

文章
32439

瀏覽量
271625

訓練好的ai模型導入cubemx不成功怎么處理？

訓練好的ai模型導入cubemx不成功咋辦，試了好幾個模型壓縮了也不行，ram占用過大，有無解決方案？

發表于 03-11 07:18

GPU是如何訓練AI大模型的

在AI模型的訓練過程中，大量的計算工作集中在矩陣乘法、向量加法和激活函數等運算上。這些運算正是GPU所擅長的。接下來，AI部落小編帶您了解GPU

發表于 12-19 17:54 ?373次閱讀

訓練AI大模型需要什么樣的gpu

訓練AI大模型需要選擇具有強大計算能力、足夠顯存、高效帶寬、良好散熱和能效比以及良好兼容性和擴展性的GPU。在選擇時，需要根據具體需求進行權衡和選擇。

發表于 12-03 10:10 ?314次閱讀

PyTorch GPU 加速訓練模型方法

在深度學習領域，GPU加速訓練模型已經成為提高訓練效率和縮短訓練時間的重要手段。PyTorch作為一個流行的深度學習框架，提供了豐富的工具和

發表于 11-05 17:43 ?782次閱讀

GPU服務器AI網絡架構設計

眾所周知，在大型模型訓練中，通常采用每臺服務器配備多個GPU的集群架構。在上一篇文章《高性能GPU服務器AI網絡架構（上篇）》中，我們對GPU

發表于 11-05 16:20 ?741次閱讀

為什么ai模型訓練要用gpu

GPU憑借其強大的并行處理能力和高效的內存系統，已成為AI模型訓練不可或缺的重要工具。

發表于 10-24 09:39 ?568次閱讀

AI大模型的訓練數據來源分析

AI大模型的訓練數據來源廣泛且多元化，這些數據源對于構建和優化AI模型至關重要。以下是對AI大模型訓練數據來源的分析：一、公開數據集公開

發表于 10-23 15:32 ?2289次閱讀

GPU服務器在AI訓練中的優勢具體體現在哪些方面？

GPU服務器在AI訓練中的優勢主要體現在以下幾個方面： 1、并行處理能力：GPU服務器擁有大量的并行處理核心，這使得它們能夠同時處理成千上萬個計算任務，極大地加速

發表于 09-11 13:24 ?673次閱讀

蘋果承認使用谷歌芯片來訓練AI

蘋果公司最近在一篇技術論文中披露，其先進的人工智能系統Apple Intelligence背后的兩個關鍵AI模型，是在谷歌設計的云端芯片上完成預訓練的。這一消息標志著在尖端AI訓練領域

發表于 07-30 17:03 ?812次閱讀

AI初出企業Cerebras已申請IPO！稱發布的AI芯片比GPU更適合大模型訓練

美國加州，專注于研發比GPU更適用于訓練AI模型的晶圓級芯片，為復雜的AI應用構建計算機系統，并與阿布扎比科技集團G42等機構合作構建超級計算機。基于其最新旗艦芯片構建的服務器可輕松高

發表于 06-26 00:09 ?3082次閱讀

摩爾線程與師者AI攜手完成70億參數教育AI大模型訓練測試

近日，國內知名的GPU制造商摩爾線程與全學科教育AI大模型“師者AI”聯合宣布，雙方已成功完成了一項重要的大模型訓練測試。此次測試依托摩爾線程夸娥（KUAE）千卡智算集群，充分展現

發表于 06-14 16:31 ?711次閱讀

AI訓練，為什么需要GPU？

隨著由ChatGPT引發的人工智能熱潮，GPU成為了AI大模型訓練平臺的基石，甚至是決定性的算力底座。為什么GPU能力壓CPU，成為炙手可熱的主角呢？要回答這個問題，首先需要了解當前人

發表于 04-24 08:05 ?1075次閱讀

科技驅動未來，提升AI算力，GPU擴展正當時

GPU可以大幅縮短AI算法的訓練和推斷時間，從而節省時間和成本

發表于 04-16 18:22 ?1051次閱讀

國產GPU在AI大模型領域的應用案例一覽

不斷推出新品，產品也逐漸在各個領域取得應用，而且在大模型的訓練和推理方面，也有所建樹。 ? 國產GPU在大模型上的應用進展 ? 電子發燒友此前就統計過目前國內主要的GPU廠商，也介紹了

發表于 04-01 09:28 ?4440次閱讀

FPGA在深度學習應用中或將取代GPU

對神經網絡進行任何更改，也不需要學習任何新工具。不過你可以保留你的 GPU 用于訓練。” Zebra 提供了將深度學習代碼轉換為 FPGA 硬件指令的抽象層 AI 硬件前景

發表于 03-21 15:19