電子發燒友網報道(文/吳子鵬)日前,彭博社發文稱,為減少對英偉達芯片的依賴,亞馬遜已經秘密啟動了“登月”(moonshot)的計劃,目前正在其位于得克薩斯州奧斯汀的工程實驗室加緊研發一款新的AI芯片:Trainium2,目標是在亞馬遜自己的數據中心里部署10萬顆Trainium2,以提高數據處理效率并降低AI芯片采購成本。
近幾年,亞馬遜一直都在致力于自研芯片以降低數據中心成本,根據云成本管理和優化平臺Vantage此前的一項調查數據,在Amazon EC2 M7系列通用實例的成本支出方面,采用Amazon Graviton的M7g系列已經超過三分之一(34.5%)。
亞馬遜自研芯片第一次亮相始于2016年,在當年的re:Invent大會上,亞馬遜云傳奇工程師James Hamilton展示了該公司第一顆自研芯片,這便是第一代Graviton芯片。和英特爾、AMD的芯片不同,第一代Graviton芯片便是基于Arm架構的Neoverse內核打造,可以支持2x25G以太網的數據包處理。隨后,亞馬遜在2019年推出了Graviton2、2021年推出了Graviton3、2023年推出了Graviton4。
作為最新版本的Graviton芯片,Graviton4采用了最先進的Arm架構 Neoverse V2 核心,具有更高的計算核心數量和更快的內存帶寬。7月15日,亞馬遜發布了基于自研芯片Graviton4的Amazon EC2 R8g實例。根據phoronix測試的結果,和上一代芯片Graviton3相比,Graviton4性能提升達30%以上,內核數增加50%,內存帶寬增加75%。
同時,根據測試結果,Graviton4處理器的性能略優于英特爾至強處理器約5%,但AMD的EPYC處理器在整體性能上仍領先約25%。有評測報告認為,Graviton4搭載的Neoverse-V2內核與英特爾Sapphire Rapids內核在性能上旗鼓相當,在某些工作負載下甚至優于AMD第四代EPYC。
Graviton4處理器發布于2023年11月28日,與其同時發布的還有升級款處理器Trainium2。AWS首席執行官Adam Selipsky在re:Invent主題演講中透露,亞馬遜已經購買了數百萬個英偉達的A100和H100產品,在此方面投入了巨大的成本。而業界人士預測,Trainium2是一顆有望正面和英偉達H100芯片競爭的AI芯片。
Trainium2是多年磨一劍的產品,據悉在亞馬遜2015年收購Annapurna Labs之后,這個項目就在秘密研發。根據亞馬遜方面的數據,Trainium2相較于上一代產品,訓練速度提升多達4倍,能效提升多達2倍,內存容量則達此前3倍,能在EC2 UltraClusters中擴展至多達10萬個芯片,可以在極短的時間內訓練基礎模型和大語言模型。目前,該芯片已經在接受包括Anthropic、Databricks、Stockmark三家AI創企以及德國電信、日本理光在內的多個客戶的測試。
同時,亞馬遜方面表示,Trainium2芯片已在數據中心部署,預計將在俄亥俄州等多個核心數據中心推廣,目標是形成多達100000個芯片的集群。而這正是亞馬遜秘密計劃——“登月”計劃的一部分。按照規劃,Trainium2芯片先期主要承擔亞馬遜內部的AI訓練項目,并在初創企業客戶方面得到測試,隨著項目成熟將陸續有大客戶導入到基于Trainium2芯片的算力平臺上,一旦大客戶有項目使用,亞馬遜Trainium2芯片的任務便被視為取得成功。
不過,業內人士認為,亞馬遜Trainium2芯片也面臨諸多方面的挑戰,其中最顯著的兩大挑戰是自研芯片本身和軟件生態。在自研芯片方面,由于英偉達在通用計算GPU領域已經積累了深厚的研發經驗,單芯片的優化已經接近了極限,要想實現超越,尤其是在核心指標PPA方面實現超越,可能需要更加前沿的工藝平臺進行芯片實現,或者在芯片設計過程中導入工程設計的“know how”,但無論怎樣的技術路徑,背后面臨的挑戰都是巨大的,且可能會由于先期用量低而導致高昂的成本,再加上本就客觀存在的研發成本,這對公司內部推進自研芯片的決心會有挑戰。
在軟件方面的挑戰就更大了,目前全球主要的GPGPU基本是依存于英偉達的CUDA生態生存,如果不兼容基本很難部署落地,這就導致英偉達在軟硬件結合方面具有巨大的先發優勢。重新部署軟件生態當然也是有效的途徑,一旦成功會獲得巨大的商業回報。但分析人士認為,目前亞馬遜提供的Neural SDK軟件工具尚處于初期階段,無法與英偉達的解決方案相匹敵。
近幾年,亞馬遜一直都在致力于自研芯片以降低數據中心成本,根據云成本管理和優化平臺Vantage此前的一項調查數據,在Amazon EC2 M7系列通用實例的成本支出方面,采用Amazon Graviton的M7g系列已經超過三分之一(34.5%)。
亞馬遜自研芯片第一次亮相始于2016年,在當年的re:Invent大會上,亞馬遜云傳奇工程師James Hamilton展示了該公司第一顆自研芯片,這便是第一代Graviton芯片。和英特爾、AMD的芯片不同,第一代Graviton芯片便是基于Arm架構的Neoverse內核打造,可以支持2x25G以太網的數據包處理。隨后,亞馬遜在2019年推出了Graviton2、2021年推出了Graviton3、2023年推出了Graviton4。
作為最新版本的Graviton芯片,Graviton4采用了最先進的Arm架構 Neoverse V2 核心,具有更高的計算核心數量和更快的內存帶寬。7月15日,亞馬遜發布了基于自研芯片Graviton4的Amazon EC2 R8g實例。根據phoronix測試的結果,和上一代芯片Graviton3相比,Graviton4性能提升達30%以上,內核數增加50%,內存帶寬增加75%。
同時,根據測試結果,Graviton4處理器的性能略優于英特爾至強處理器約5%,但AMD的EPYC處理器在整體性能上仍領先約25%。有評測報告認為,Graviton4搭載的Neoverse-V2內核與英特爾Sapphire Rapids內核在性能上旗鼓相當,在某些工作負載下甚至優于AMD第四代EPYC。
Graviton4處理器發布于2023年11月28日,與其同時發布的還有升級款處理器Trainium2。AWS首席執行官Adam Selipsky在re:Invent主題演講中透露,亞馬遜已經購買了數百萬個英偉達的A100和H100產品,在此方面投入了巨大的成本。而業界人士預測,Trainium2是一顆有望正面和英偉達H100芯片競爭的AI芯片。
Trainium2是多年磨一劍的產品,據悉在亞馬遜2015年收購Annapurna Labs之后,這個項目就在秘密研發。根據亞馬遜方面的數據,Trainium2相較于上一代產品,訓練速度提升多達4倍,能效提升多達2倍,內存容量則達此前3倍,能在EC2 UltraClusters中擴展至多達10萬個芯片,可以在極短的時間內訓練基礎模型和大語言模型。目前,該芯片已經在接受包括Anthropic、Databricks、Stockmark三家AI創企以及德國電信、日本理光在內的多個客戶的測試。
同時,亞馬遜方面表示,Trainium2芯片已在數據中心部署,預計將在俄亥俄州等多個核心數據中心推廣,目標是形成多達100000個芯片的集群。而這正是亞馬遜秘密計劃——“登月”計劃的一部分。按照規劃,Trainium2芯片先期主要承擔亞馬遜內部的AI訓練項目,并在初創企業客戶方面得到測試,隨著項目成熟將陸續有大客戶導入到基于Trainium2芯片的算力平臺上,一旦大客戶有項目使用,亞馬遜Trainium2芯片的任務便被視為取得成功。
不過,業內人士認為,亞馬遜Trainium2芯片也面臨諸多方面的挑戰,其中最顯著的兩大挑戰是自研芯片本身和軟件生態。在自研芯片方面,由于英偉達在通用計算GPU領域已經積累了深厚的研發經驗,單芯片的優化已經接近了極限,要想實現超越,尤其是在核心指標PPA方面實現超越,可能需要更加前沿的工藝平臺進行芯片實現,或者在芯片設計過程中導入工程設計的“know how”,但無論怎樣的技術路徑,背后面臨的挑戰都是巨大的,且可能會由于先期用量低而導致高昂的成本,再加上本就客觀存在的研發成本,這對公司內部推進自研芯片的決心會有挑戰。
在軟件方面的挑戰就更大了,目前全球主要的GPGPU基本是依存于英偉達的CUDA生態生存,如果不兼容基本很難部署落地,這就導致英偉達在軟硬件結合方面具有巨大的先發優勢。重新部署軟件生態當然也是有效的途徑,一旦成功會獲得巨大的商業回報。但分析人士認為,目前亞馬遜提供的Neural SDK軟件工具尚處于初期階段,無法與英偉達的解決方案相匹敵。
結語
就像人類登月一樣,亞馬遜Trainium2芯片的野心是巨大的,一旦成功帶來的商業回報也是非??捎^的。但登月本就兇險萬分,Trainium2芯片離成功替代英偉達H100還有很長很長的路要走。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
亞馬遜
+關注
關注
8文章
2650瀏覽量
83314 -
AI芯片
+關注
關注
17文章
1879瀏覽量
34989 -
登月
+關注
關注
0文章
5瀏覽量
1933
發布評論請先 登錄
相關推薦
蘋果計劃2025年起采用自研藍牙Wi-Fi芯片
近日,據最新報道,蘋果公司為了減少對博通(Broadcom)的依賴,并進一步提升其設備的性能和能效,已經制定了一項重要的芯片自研計劃。據悉,從2025年開始,蘋果將正式啟用
亞馬遜轉向Trainium芯片,全力投入AI模型訓練
近日,亞馬遜宣布了一項重大決策,決定停止Inferentia AI芯片的開發,轉而將全部精力投入到Trainium芯片的研發上,以此作為與英偉達競爭的新策略。
比亞迪最快于11月實現自研算法量產,推進智駕芯片自研進程
10月21日市場傳出消息,比亞迪正計劃整合其新技術院下的自研智能駕駛團隊,目標是在今年11月實現自
三星或將HBM產能目標下調至每月17萬顆
據業內人士透露,三星電子已對其2025年底的高帶寬內存(HBM)最大產能目標進行了調整,下調幅度超過10%,從原先計劃的每月20萬顆減至17
今日看點丨小鵬自研芯片流片!算力是同行三倍;加拿大將對中國電動汽車征收100%關稅
算力接近3顆主流智駕芯片的水平”。 ? 此外,消息稱,8月27日,小鵬10周年及M03上市活動中,小鵬汽車將正式發布自研
發表于 08-27 11:22
?1166次閱讀
亞馬遜云科技啟動“智能家居與智能產品創新加速計劃”
上海 ——2024 年 7 月 31 日 在“亞馬遜云科技汽車暨制造與消費電子行業峰會”上,亞馬遜云科技宣布正式啟動“智能家居與智能產品創新加速計劃”,該
發表于 07-31 16:56
?1629次閱讀
亞馬遜AWS自研AI芯片崛起,挑戰英偉達
近期,據路透社獨家報道披露,在德克薩斯州奧斯汀市一處緊密防守的芯片實驗室中,六位來自亞馬遜AWS的工程師正在對一種尚未公開透露名稱及詳細參數的新型服務器展開深入測試。這一關鍵事件引人注目,因為我們
蘋果將通過自研芯片在云端推出AI功能
近日,科技界傳來一則令人振奮的消息。據可靠報道,蘋果公司即將在云端推出強大的人工智能(AI)功能,而這一切將依托于自研的高端芯片。
蘋果計劃搭建自研芯片驅動的AI數據中心
據內部人士透露,蘋果已將自研芯片應用于云計算服務器,用以支持其設備未來的高級AI服務。目前我們尚未收到蘋果方面對此事的回應。
蘋果自研數據中心芯片/Open AI計劃出谷歌搜索競爭對手/全球Q1智能手機市場出貨量增長 熱點科技新聞點評
據悉,蘋果將在今年用自研數據中心芯片,透過硬設備和云端兩種方式來支持 AI 功能。將在今年用自研
Meta計劃今年部署自研定制芯片,以加速AI研發
Meta公司近日宣布計劃在今年內為其數據中心部署一款自研定制芯片,以支持其人工智能(AI)的研發工作。這一舉措旨在提高Meta在
江波龍首顆自研NAND閃存問世
江波龍首顆自研32Gb 2D MLC NAND Flash于近日問世。該產品采用BGA132封裝,支持Toggle DDR模式,數據訪問帶寬可達400MB/s,將有望應用于eMMC、SSD等產品上。
英偉達缺貨?OpenAI選擇自研芯片
勢在必行。然而掀起這股AI洪流,或者說將其推向浪尖的“始作俑者”,OpenAI,卻也已經在計劃著自研芯片。 ? 有了英偉達供應的前提下為何要
評論