色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

AI芯片成為耗電大戶,負載功耗接近一個小國家?

手機技術資訊 ? 來源:半導體行業觀察 ? 2023-11-25 17:10 ? 次閱讀

如今,對人工智能的需求巨大。法國施耐德電氣公司估計,2023年人工智能工作負載的功耗總計約為4.3吉瓦(GW),略低于塞浦路斯國家2021年的功耗( 4.7吉瓦)。該公司預計,人工智能工作負載的功耗將以26%至36%的復合年增長率(CAGR)增長,這意味著到2028年,人工智能工作負載的功耗將從13.5吉瓦增至20吉瓦,這比冰島2021年消費的電力消耗還要多。

巨大的電力需求

據施耐德電氣稱,到 2023 年,所有數據中心的總功耗預計將達到 54 GW,其中人工智能工作負載將占到 4.3 GW。在這些人工智能工作負載中,訓練和推理之間的分配特點是 20% 的功耗用于訓練目的,80% 分配給推理任務。這意味著人工智能工作負載將占今年數據中心總功耗的約8%。

展望 2028 年,施耐德預計數據中心的總能耗將增至 90 吉瓦,其中人工智能工作負載的能耗將達到 13.5 吉瓦至 20 吉瓦。這表明,到 2028 年,人工智能可能消耗數據中心總用電量的 15% 至 20% 左右,這表明數據中心人工智能工作負載的功耗比例在五年內顯著增加。根據施耐德電氣的估計,訓練和推理之間的分布預計將略有變化,訓練消耗 15% 的電力,推理則占 85%。

AI GPU 變得更加“饑餓”

人工智能數據中心功耗不斷上升的主要原因是人工智能工作負載的加劇、人工智能GPU和人工智能處理器的進步以及其他數據中心硬件的要求不斷增加。例如,Nvidia 2020 年的 A100 功耗高達 400W,而 2022 年的 H100 功耗高達 700W。除了 GPU 之外,AI 服務器還運行耗電的 CPU 和網卡。

AI 工作負載,尤其是與訓練相關的工作負載,需要大量計算資源,包括配備 AI GPU、專用 ASIC 或 CPU 的專用服務器。人工智能集群的規模受人工智能模型的復雜性和規模的影響,是功耗的主要決定因素。更大的人工智能模型需要更多數量的 GPU,從而增加總體能源需求。例如,擁有 22,000 個 H100 GPU 的集群使用大約 700 個機架?;?H100 的機架在安裝八臺 HPE Cray XD670 GPU 加速服務器時,機架總密度為 80 kW。施耐德電氣指出,因此,整個集群需要大約 31 兆瓦的電力,這還不包括冷卻等額外基礎設施需求所需的能源。

這些集群和 GPU 在整個訓練過程中通常幾乎滿負荷運行,確保平均能耗幾乎與峰值功耗相同。該文件指出,大量AI集群的機架密度在30kW到100kW之間,具體取決于GPU的數量和型號。

網絡延遲在人工智能數據中心的功耗中也起著至關重要的作用。復雜的網絡基礎設施對于支持分布式訓練過程中強大的 GPU 所需的高速數據通信至關重要。對高速網絡電纜和基礎設施(例如能夠支持高達 800 Gb/s 速度的電纜和基礎設施)的需求進一步增加了總體能耗。

鑒于人工智能工作負載需要高耗電的 ASIC、GPU、CPU、網卡和 SSD,冷卻構成了重大挑戰。鑒于高機架密度和計算過程中產生的巨大熱量,有效的冷卻解決方案對于保持最佳性能并防止硬件故障或失效至關重要。與此同時,空氣和液體冷卻方法在功耗方面也“昂貴”,這就是為什么它們也對用于人工智能工作負載的數據中心的功耗造成很大影響。

一些建議

施耐德電氣預計AI硬件的功耗不會很快降低,公司充分預計AI機架的功耗將達到100kW或更高。因此,施耐德電氣對專門處理人工智能工作負載的數據中心提出了一些建議。

施耐德電氣特別建議從傳統的120/208V過渡到240/415V配電,以更好地適應人工智能工作負載的高功率密度。對于冷卻,建議從空氣冷卻轉向液體冷卻,以提高處理器的可靠性和能源效率,盡管沉浸式冷卻可能會產生更好的效果。使用的貨架應更寬敞,其規格例如寬度至少為 750 毫米,靜態承重能力大于 1,800 公斤。







審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • asic
    +關注

    關注

    34

    文章

    1199

    瀏覽量

    120436
  • SSD
    SSD
    +關注

    關注

    21

    文章

    2857

    瀏覽量

    117370
  • 人工智能
    +關注

    關注

    1791

    文章

    47183

    瀏覽量

    238259
  • GPU芯片
    +關注

    關注

    1

    文章

    303

    瀏覽量

    5804
  • AI芯片
    +關注

    關注

    17

    文章

    1879

    瀏覽量

    34992

原文標題:AI芯片成為耗電大戶,負載功耗接近一個小國家

文章出處:【微信號:Mobile-Info,微信公眾號:手機技術資訊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    AI算力芯片供電電源測試利器:費思低壓大電流系列電子負載

    AI算力芯片作為驅動復雜計算任務的核心引擎,其性能與穩定性成為了決定應用成敗的關鍵因素。而在這背后,供電電源的穩定性和高效性則是保障AI算力芯片
    的頭像 發表于 10-25 11:26 ?400次閱讀
    <b class='flag-5'>AI</b>算力<b class='flag-5'>芯片</b>供電電源測試利器:費思低壓大電流系列電子<b class='flag-5'>負載</b>

    使用電子保險絲設計適用于家用和類似用途的低功耗電

    電子發燒友網站提供《使用電子保險絲設計適用于家用和類似用途的低功耗電路.pdf》資料免費下載
    發表于 09-25 09:53 ?0次下載
    使用電子保險絲設計適用于家用和類似用途的低<b class='flag-5'>功耗電</b>路

    探索低功耗電動云臺驅動板方案的應用奧秘

    在當今科技飛速發展的時代,低功耗電動云臺驅動板方案正逐漸成為眾多領域中的關鍵技術。這技術不僅在提高設備性能、降低能耗方面發揮著重要作用,還為各種應用場景帶來了更多的可能性。接下來,讓我們
    的頭像 發表于 09-24 17:48 ?240次閱讀
    探索低<b class='flag-5'>功耗電</b>動云臺驅動板方案的應用奧秘

    款4644芯片功耗設計思路解析

    ASP4644芯片4通道輸出的DCDC轉換器,它內置功率MOSFET和電感,適用于4-15V的寬輸入電壓范圍,每通道可輸出0.6~5V電壓,最大可驅動5A的負載。對于更大的
    發表于 08-16 14:44

    THP210單端轉差分輸出異常的原因?

    THP210的測試電路如上。輸入的信號是DC 1V信號,測THP210的pin4腳是接近+15V,pin5腳是接近-15V。即差分輸出接近電源軌。上電后芯片
    發表于 07-30 06:15

    功耗BLE Mesh耗電量很大的原因?

    開發板電流90mA,成功連接后LED燈熄滅電流為80mA。但是這個電流距離低功耗相差的太遠,比如使用power_save保活的wifi上電后電流也才20mA,為何這個低功耗BLE Mesh耗電量這么大,想請教
    發表于 06-18 08:12

    日本EdgeCortix推出省電AI芯片耗電量大幅降低

    日本半導體芯片設計領域的創新者EdgeCortix最近宣布,他們已經成功研發出款專為生成式AI運算處理設計的新型半導體芯片。這款芯片不僅采
    的頭像 發表于 06-17 15:09 ?658次閱讀

    芯片功耗提升,散熱面臨挑戰!

    所有個人電腦出貨量的60%,AI有望提振消費者需求。2023年10月,高通正式發布驍龍8Gen3處理器,該處理器將會成為2024年安卓旗艦的標配處理器,包含基于
    的頭像 發表于 06-05 08:10 ?1036次閱讀
    <b class='flag-5'>芯片</b><b class='flag-5'>功耗</b>提升,散熱面臨挑戰!

    AI芯片哪里買?

    AI芯片
    芯廣場
    發布于 :2024年05月31日 16:58:19

    大模型為何成耗能大戶

    除了耗電,另有研究顯示,AI大語言模型GPT-3在訓練期間耗水近700噸,每回答20至50問題就要消耗500毫升水。弗吉尼亞理工大學研究指出,Meta公司在2022年使用了超過26
    的頭像 發表于 04-29 17:25 ?617次閱讀

    risc-v多核芯片AI方面的應用

    RISC-V多核芯片AI方面的應用主要體現在其低功耗、低成本、靈活可擴展以及能夠更好地適應AI算法的不同需求等特點上。 首先,RISC-V適合用于高效設計實現,其內核面積更小,
    發表于 04-28 09:20

    適用于電力載波通信的低功耗電力線過零檢芯片CN71102

    適用于電力載波通信的低功耗電力線過零檢芯片CN71102
    的頭像 發表于 04-18 09:39 ?825次閱讀
    適用于電力載波通信的低<b class='flag-5'>功耗電</b>力線過零檢<b class='flag-5'>芯片</b>CN71102

    功耗 高性能M0芯片亮點(1~3): 低功耗 寬電壓 PWM (無須擔心耗電問題!)

    M0芯片(MG32F02V032), 極適合用在對功耗敏感的應用, 如: 戶外儲能/鋰電池管理, 智能手環, 智能電子鎖, 無線充電, 小家電(咖啡機), …等, 無須擔心老是耗電問題! #笙泉科技MG32F02V032
    發表于 03-15 16:53

    功耗設計的幾個誤區分享

    FPGA功耗的根本方法。 誤區五:這些小芯片功耗都很低,不用考慮 點 評:對于內部不太復雜的芯片功耗是很難確定的,它主要由引腳上的電
    發表于 01-09 08:04

    使用LTC4015設計充電器,接大負載時直接燒壞芯片的原因?

    我使用LTC4015設計充電器,現在沒有接電池,系統端接小負載沒有問題,接大負載時直接燒壞芯片,目前已經燒壞了兩顆
    發表于 01-04 06:26
    主站蜘蛛池模板: 帝王受PLAY龙椅高肉NP| 亚洲中文字幕永久在线全国| 成年人在线免费观看视频网站| 国产一级特黄a大片99| 校花的奶好大好浪| 国内精品伊人久久久久| 亚洲呦女专区| 欧美gay69| 乱奷XXXXXHD| 久久亚洲A片COM人成A| 九色PORNY蝌蚪视频首页| 精品无码久久久久久动漫| 国产在线精品国自产拍影院午夜| 主播蜜汁丝袜精品自拍| 野草在线视频完整视频| 99久久国产综合精品成人影院| 香蕉视频国产精品| 亚洲精品成人a在线观看| 伊人草| GOGOGO高清在线播放韩国| 草比比过程图| 99精品在线| 中文字幕人成人乱码亚洲影视| 免费高清在线影片一区| 久久re热在线视频精69| 久久资源365| 久久香蕉国产线看观看| 蜜桃人妻无码AV天堂三区| 免费人成网站永久| 女人把腿张开叫男人桶免费视频| 久久精品国产亚洲精品2020| 久久机热视频免费| 麻豆精品传媒2021网站入口| 蜜柚免费视频高清观看在线| 欧美一级做a爰片免费| 热99re久久精品国产首页| 色欲av蜜臀av高清| 亚洲精品乱码8久久久久久日本| 亚洲精品一本之道高清乱码| 草比比过程图| 轻点慢点1V2啊高H抽插|