色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

行業資訊 | 釋放 AI 大模型潛能,硬件算力亟待突破互連瓶頸

深圳(耀創)電子科技有限公司 ? 2023-05-06 09:58 ? 次閱讀

隨著 ChatGPT 橫空出世,預訓練大模型對千行百業的革新與改造潛力已盡顯無遺,甚至有業界大佬將其問世譽為人工智能iPhone 時刻”,并預言這“只是更偉大事物的開始”。

ChatGPT 為何顯得如此“與眾不同”?

借用技術接受理論(TAM)提出者哈佛大學教授 Venky Narayanamurti 的總結:有用性(usefulness)與易用性(ease of use)是一項新興技術擴散的兩大基本前提。以這一標準衡量,2016 年的“AlphaGo vs 李世石”五番棋大戰,堪稱完成了對人工智能“有用性”的全民科普,而 ChatGPT 則標志著 AI 技術擴散的另一必要條件——易用性已潛移默化滲入公眾心智。

基于此,外界有理由樂觀期待,人工智能產業的確已站在了巨擘預卜的宏偉藍圖新起點上。

成于算力 困于互連?

在不少“后見之明”的解讀中,GPT 家族往往被與 2017 年谷歌推出的 Transformer 模型相聯系。

基于自注意力機制的 Transformer,及其后谷歌 BERT 對各類文本任務的“屠榜”表現和驚人的泛化能力,的確堪稱為 GPT 做好了前置技術與工程方法的鋪墊。站在巨人的肩膀上,GPT 開發者 OpenAI 團隊,最終憑借更敏捷的效率和更有力的執行,完成了最后的一躍。

進一步深入看,Transformer 較此前 MLP\LSTM 等傳統深度學習模型,正是對硬件算力實現了更高效的運用。

關于這一點,2019 年深度學習泰斗、DeepMind 首席科學家 Richard Sutton 在其《苦澀的教訓》一文中就曾感言,從 70 年 AI 研究中可以學到的最大教訓是,利用計算的一般方法最終是最有效的,而且有很大的優勢,終極原因是摩爾定律,或者更確切地說,是它對每單位計算成本持續呈指數下降的概括,大多數 AI 研究都是在可用算力恒定的情況下進行的(在這種情況下,利用人類經驗將是提高性能的唯一方法),但是,在比典型研究項目稍長的時間里,算力會大大增加,從長遠來看,唯一重要的是利用計算

正如 Sutton 所預見的,近年來,AI 硬件算力取得了突飛猛進的發展。除了為人所熟知的 GPU 之外,谷歌 TPU(GPT 系列早期通過 TPUv2 進行訓練)、微軟 Catapult 等 AI 加速芯片往往省去了傳統通用 CPU 微架構中亂序、預取等高級控制措施,能夠實現卷積神經網絡最核心的乘加運算單元設計最優化,充分挖掘 SIMD 架構并行計算能力。

算法、算力及其相結合的工程方法進步,最終為 OpenAI“大力出奇跡”奠定了基礎。

完全可以預期,在 OpenAI 明星效應下,全球科技巨頭未來一兩年必將推出一系列類 GPT 預訓練大模型,也有望帶動對數據中心 AI 算力集群的投資進一步加速。

不過值得注意的是,盡管各大芯片廠商爭相推出 AI 加速芯片,算力參數不斷刷新記錄,但預訓練大模型參數量動輒上百億、千億乃至萬億,其訓練仍遠遠超出一兩張 GPU 等 AI 加速卡所能駕馭的范圍,往往必須通過網絡將多處理器互連、乃至進一步組成 HPC 算力集群,實現算力資源的池化調度,如此方能滿足 AI 大模型的分布式、并行化訓練。而在評估訓練效率時,單批數據(batch)的總訓練用時也往往受通信時長的顯著影響。

正因如此,隨著 AI 大模型揭示的全新想象空間出現,算力集群這一基礎設施也將迎來投資熱潮,而在其面臨的配電、散熱、通信等一系列工程挑戰中,算力節點間的數據傳輸尤其堪稱制約硬件算力充分釋放的關鍵“瓶頸”

破解互連瓶頸的“關鍵支點”

AI 訓練、推理所面對的數據量指數增長,使得無論單服務器中多 GPU、CPU 間 C2C 通信,還是在多服務器間組網,數據傳輸總體都呈現出高帶寬、低延遲的技術需求。

在算力集群通信網絡拓撲結構趨同的背景下,交換機接口日益成為打通“瓶頸”的重要突破口,并衍生出提升網卡速率、增加網卡數量、乃至應用 RDMA 網絡直連等多種工程思路。

而在底層接口技術領域,與傳統并行接口相比,SerDes 串行接口由于其顯著的成本優勢,已然成為應用主流,在 PCIe 6.0 等新標準中,更是在物理層進一步引入對 PAM4(四階脈沖振幅調變)編碼的支持,以進一步提高 SerDes 數據傳輸速率。

不過 SerDes 的應用,也自然存在不少技術挑戰,其中最嚴峻的,無疑首推信號完整性(SI)問題。

例如在通過背板、連接器PCB 板的中距離、長距離互連場景中,SerDes 高速鏈路 TX、RX 端往往間隔著管腳、PCB 過孔、信號線乃至連接器、線纜等環節,存在材料、工藝、布局等復雜原因引入的噪聲、串擾和信號衰減,以至于最終抵達接收器的電氣信號可能嚴重失真,很難恢復所傳輸信息時鐘和數據位,也局限了速率、距離上的設計空間。

新一代 56G、112G SerDes 應用 PAM4 編碼,在提供更大網絡吞吐量的同時,也因引入更多電平水平,帶來了信噪比損失、誤碼率(BER)惡化、前向糾錯(FEC)延遲增加等問題,需要進行精細的權衡取舍。

從上面的分析不難看出,想要充分發揮 AI 硬件算力效能,接口技術是破解互連瓶頸的關鍵支點,具有極大的杠桿效應,而其應用則必須解決圍繞信號完整性的諸多挑戰。

目前,盡管大量硬件廠商聘請了專職 SI 工程師負責調試,不過其效果取決于千差萬別的個人“手藝”,由于在芯片與系統設計各層面均需保證信號完整性,驗證過程也往往曠日持久,只有技能十分熟練且模電領域經驗極其豐富的設計團隊才能嘗試此類設計,且測試驗證周期漫長。

正因如此,在芯片設計中,外購高速接口 IP 幾乎成為行業“必選項”,也帶動接口 IP 成為近年來增速最快的 IP 細分市場,根據專業機構預測,接口 IP 甚至有望在 2025 年前后超越 CPU IP,成為第一大半導體 IP 品類。

授人以魚,更要授人以漁

接口 IP 市場機遇,也使之成為各大 IP HOUSE 競爭熱點。Cadence 同樣推出了112G SerDes IP 設計,面向高性能計算(HPC)數據中心 SOC 需求,適用于長距離和中距離傳輸,已經經過 7nm 制程硅驗證,擁有上佳的 PPA 表現,插入損耗 >35dB

值得一提的是,外購接口 IP 只是從芯片到系統開發及信號完整性測試的起點,與工作流配套的工具是否完備、可及,也是影響開發周期的重要因素,可以說接口 IP 供應商既要授人以魚,更要授人以漁。

作為 EDA\IP 領域巨頭,Cadence 在這方面的實踐尤其具有代表性。在 SerDes 等成熟接口 IP 之外,該公司還提供了有機融合的完善設計工具和技術,幫助芯片與系統設計人員應對貫穿各層面的信號完整性挑戰。

例如在不同芯片間互連設計與仿真中,建模是必不可少的手段。目前,IBIS 和 AMI 是對 SerDes 信道進行建模的首選方式,IBIS-AMI 的出現,使利用仿真模型快速且精確地模擬大量比特流成為了可能。Cadence 基于Sigrity Advanced IBIS 建模工具,用戶可自動創建模型,借助向導程序生成實用算法模型

在基于 PCB 板/背板/連接器的中長距離互連場景中,SerDes 高速接口開發人員為了精準可靠地分析信號,還需要為總體設計進行信號完整性(SI)、電源完整性(PI)以及電磁兼容性(EMC)協同仿真,開發者往往需要透徹了解數據采集分析理論、精準建立模擬器件特性模型。

針對這一痛點,Cadence 的Clarity 3D Solver為 PCB、IC 封裝和 SoIC 關鍵互連設計提供了更好的工具選擇,基于其創建的高精度 S-參數模型,即使在 112G 數據傳輸速度下,也能實現與實驗室測量相匹配的仿真結果。其有限元分析(FEM)過程實現了高度并行化,可極大縮短求解耗時,并支持近乎線性的硬件算力可擴展性。

此外,在分析鏈路信號完整性時,通常隱含假設是電路板和連接器功能良好,但在極高頻率下,單獨分析連接器和電路板、然后再將它們“連接"在一起的假設不再適用。電路板和連接器之間交互過多,同樣需要 Clarity Solver 等全面的 3D 分析工具實現高質量設計,同時準確預測成品性能。

黃仁勛喊出人工智能“iPhone 時刻”后,短短幾十天以來,預訓練大模型及其下游應用,已經呈現出令人目不暇給的爆發態勢。可以想見,在各大云計算巨頭的 AI 大模型“軍備競賽”中,算力集群也將迎來一輪新的投資熱潮,通信網絡與接口技術,也有望進入發展加速期。此外,特斯拉 Dojo、Cerebras WSE-2 等走“超級單芯片”路線的廠商,也可能引領一條大模型訓練的新路。

不過無論何種路徑,對接口 IP 的“剛需”都清晰可見,在這一熱點、難點領域,Cadence 將帶來更多完整的解決方案,推動互連瓶頸的緩解與松動,有力釋放預訓練大模型無限可能,造福千行百業。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 硬件
    +關注

    關注

    11

    文章

    3341

    瀏覽量

    66257
  • AI
    AI
    +關注

    關注

    87

    文章

    30996

    瀏覽量

    269297
收藏 人收藏

    評論

    相關推薦

    芯片、模型生態分散,無問芯穹、沐曦、壁仞談國產瓶頸破局之道

    ,而GPT-4之后的一段時間里,無論是OpenAI發布的新模型,還是其他大模型,整體算法能力進入了放緩甚至是停滯的階段。 夏立雪認為,這其中,表面上看是大模型的發展放緩或者停止了,其實背后的邏輯卻是支撐算法的
    的頭像 發表于 07-07 11:14 ?4630次閱讀
    芯片、<b class='flag-5'>模型</b>生態分散,無問芯穹、沐曦、壁仞談國產<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>瓶頸</b>破局之道

    ThinkPad X1 Carbon Aura:以120TOPS、986克重量打造行業新巔峰!

    方式。聯想近期發布的ThinkPad X1 Carbon Aura AI元啟版,便是在這一背景下推出的重磅之作。它以120TOPS的AI、重量低于1千克(986克)的輕薄設計,以及
    的頭像 發表于 12-30 15:26 ?97次閱讀

    企業AI租賃模式的好處

    構建和維護一個高效、可擴展的AI基礎設施,不僅需要巨額的初期投資,還涉及復雜的運維管理和持續的技術升級。而AI
    的頭像 發表于 12-24 10:49 ?128次閱讀

    芯片 高性能 CPUGPUNPU 微架構分析》第3篇閱讀心得:GPU革命:從圖形引擎到AI加速器的蛻變

    CPU、GPU的演進歷程,AI專用芯片或將引領未來計算平臺的新方向。正如愛因斯坦所說:\"想象比知識更重要\" —— 在芯片設計領域,創新思維帶來的突破往往令人驚嘆。
    發表于 11-24 17:12

    企業AI租賃是什么

    企業AI租賃是指企業通過互聯網向專業的提供商租用所需的計算資源,以滿足其AI應用的需求。
    的頭像 發表于 11-14 09:30 ?685次閱讀

    ETH-X超節點:開辟AI約束突破的新路徑

    面對人工智能大模型的迅速發展及其對資源的急劇增長需求,單芯片性能提升遭遇瓶頸,同時通過Scale Out策略擴展多機集群以增加算也遇到
    的頭像 發表于 11-09 10:03 ?933次閱讀
    ETH-X超節點:開辟<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>約束<b class='flag-5'>突破</b>的新路徑

    【「大模型時代的基礎架構」閱讀體驗】+ 未知領域的感受

    國慶前就收到《大模型時代的基礎架構》一書,感謝電子發燒友論壇。歡度國慶之余,今天才靜下心來體驗此書,書不厚,200余頁,彩色圖例,印刷精美! 當初申請此書,主要是看到副標題“大模型
    發表于 10-08 10:40

    名單公布!【書籍評測活動NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架構分析

    試用評測資格! 前言 不知不覺中,我們來到一個計算機科學飛速發展的時代,手機和計算機中各類便捷的軟件已經融入日常生活,在此背景下,硬件特別是強勁的芯片,對于軟件服務起到不可替代的支撐作用。芯片的
    發表于 09-02 10:09

    模型時代的需求

    現在AI已進入大模型時代,各企業都爭相部署大模型,但如何保證大模型,以及相關的穩定性和性能
    發表于 08-20 09:04

    芯耀輝科技解讀高速互連對于AI和大芯片而言意味著什么?

    近年來,隨著人工智能技術的迅猛發展,大芯片已成為推動AI技術創新的關鍵力量。然而,隨著芯片內部計算單元數量的增加和任務復雜度的提升,互連已成為一個嚴重的
    的頭像 發表于 07-08 11:39 ?979次閱讀

    AIGC掀需求革命,邊緣計算將不再“邊緣”

    AI瓶頸下邊緣計算崛起
    的頭像 發表于 04-22 14:51 ?358次閱讀

    液冷是大模型需求的必然選擇?|英偉達 GTC 2024六大亮點

    在這個以高性能計算和大模型推動未來通用人工智能時代,已成為科技發展的隱形支柱。本文將重點探討的演進,深入分析在不同領域中
    的頭像 發表于 04-10 12:57 ?606次閱讀
    液冷是大<b class='flag-5'>模型</b>對<b class='flag-5'>算</b><b class='flag-5'>力</b>需求的必然選擇?|英偉達 GTC 2024六大亮點

    一圖看懂星河AI數據中心網絡,全面釋放AI時代

    華為中國合作伙伴大會 | 一圖看懂星河AI數據中心網絡,以網強,全面釋放AI時代
    的頭像 發表于 03-22 10:28 ?765次閱讀
    一圖看懂星河<b class='flag-5'>AI</b>數據中心網絡,全面<b class='flag-5'>釋放</b><b class='flag-5'>AI</b>時代<b class='flag-5'>算</b><b class='flag-5'>力</b>

    知達行業、繪就藍圖,澤塔云人工智能大模型“知繪”正式發布!

    人工智能風起云涌,新技術革命分新秒異,如何有效推動大模型真正賦能行業,加快形成新質生產,是當下破局之關鍵。 在這場不斷探索、尋求突破與創新的征途中,澤塔云基于在GPU
    的頭像 發表于 03-20 17:30 ?409次閱讀

    數據語料庫、算法框架和芯片在AI模型中的作用和影響

    數據語料庫、算法框架和芯片的確是影響AI模型發展的三大重要因素。
    的頭像 發表于 03-01 09:42 ?1135次閱讀
    主站蜘蛛池模板: 亚洲一区免费在线观看| 成视频高清| 久久偷拍国2017| 成人在线高清不卡免费视频| 伊人久久大香线蕉电影院| 色即是空之甜性涩爱| 理论片午午伦夜理片I| 国产午夜伦鲁鲁| 白丝女仆被强扒内裤| 伊人国产在线观看| 学校捏奶揉下面污文h| 日本午夜精品理论片A级APP发布| 久久婷婷色香五月综合激情| 国产偷国产偷亚洲高清SWAG| 第一福利视频网站在线| 99C视频色欲在线| 影音先锋av丝袜天堂| 亚洲 欧美 国产 综合久久| 日本电影护士| 欧美成ee人免费视频| 老女人与小伙子露脸对白| 黑人干肥婆| 国产欧美一区二区三区在线看| 丰满人妻按磨HD| 爱很烂qvod| 啊轻点灬大JI巴又大又粗| 99热这里只有精品8| 中文字AV字幕在线观看| 亚洲性爱城| 亚洲伊人久久一次| 亚洲精品另类有吗中文字幕| 星空无限传媒视频在线观看视频| 伸到同桌奶罩里捏她胸h| 日日摸夜夜嗷嗷叫日日拍| 日本 稀土矿| 日韩精品在线观看免费| 日本aa大片| 日本午夜视频在线| 日日碰狠狠添天天爽| 色欲色香天天天综合| 四虎精品久久|