從線(xiàn)上購(gòu)物時(shí)的“猜你喜歡”、到高等級(jí)自動(dòng)駕駛汽車(chē)上的實(shí)時(shí)交通信息接收,再到在線(xiàn)視頻游戲,所有的這些都離不開(kāi)人工智能(AI)加速器。AI加速器是一種高性能的并行計(jì)算設(shè)備,旨在高效處理神經(jīng)網(wǎng)絡(luò)等AI工作負(fù)載并提供近乎實(shí)時(shí)的處理方案,從而實(shí)現(xiàn)一系列應(yīng)用。
為了讓AI加速器有效地完成自己的工作,數(shù)據(jù)必須要以極快的速度在AI加速器(作為設(shè)備)與CPU和GPU(主機(jī))之間進(jìn)行快速且低延時(shí)的移動(dòng),而實(shí)現(xiàn)這一切的關(guān)鍵就在于PCI Express(PCIe)高速接口。
PCIe大約每三年更新?lián)Q代一次,帶寬也會(huì)隨之翻倍,而這正是我們數(shù)據(jù)驅(qū)動(dòng)的數(shù)字世界所需要的。作為PCIe規(guī)范的最新版本,PCIe 6.0可提供:
每個(gè)引腳64 GT/s的數(shù)據(jù)傳輸速率
一種新的低功耗狀態(tài),從而實(shí)現(xiàn)更低的功耗
經(jīng)濟(jì)高效的性能
高性能的完整性和數(shù)據(jù)加密(IDE)
向后兼容前幾代
盡管PCIe過(guò)去可能通過(guò)PC上的插槽,連接顯卡和掃描儀等外圍設(shè)備,但得益于帶寬的不斷增加,PCIe的作用現(xiàn)在已遠(yuǎn)不止于此。本文將詳細(xì)介紹PCIe如何滿(mǎn)足AI加速器的日益增長(zhǎng)的要求。
AI無(wú)處不在,PCIe也是如此
GlobalData的數(shù)據(jù)表明,AI正在芯片組領(lǐng)域中迅速普及,預(yù)計(jì)到2030年,超過(guò)40%的芯片組中都將包含AI硬件。人工智能(AI)和機(jī)器學(xué)習(xí)(ML)工作負(fù)載的復(fù)雜性仍在不斷增加。事實(shí)上,AI和ML訓(xùn)練模型的規(guī)模大約每隔幾個(gè)月就會(huì)翻一番。為了確保有效性,AI系統(tǒng)必須能在不犧牲性能或增加延遲的情況下,通過(guò)AI開(kāi)發(fā)管道移動(dòng)大型數(shù)據(jù)集。不妨看一看下面這些帶寬密集型工作負(fù)載示例:
4K和8K高清視頻 — 需要更多計(jì)算能力和內(nèi)存
高分辨率和高動(dòng)態(tài)范圍 — 實(shí)現(xiàn)機(jī)器視覺(jué)和實(shí)時(shí)感知
多攝像頭陣列和4D傳感 — 實(shí)現(xiàn)深度和運(yùn)動(dòng)推理
所有這些趨勢(shì)都表明,AI加速器的關(guān)鍵在于提供強(qiáng)大的并行計(jì)算能力,讓語(yǔ)音激活和高等級(jí)自動(dòng)駕駛汽車(chē)等應(yīng)用能夠做出近乎實(shí)時(shí)的響應(yīng)。這些高性能機(jī)器既可以采用超大芯片的形式,例如用于深度學(xué)習(xí)系統(tǒng)的Cerebras晶圓級(jí)引擎(WSE);也可以是GPU、大規(guī)模多核標(biāo)量處理器或空間加速器,通過(guò)將數(shù)十到數(shù)百個(gè)芯片組合到一起,打造出具有數(shù)百petaFLOPS處理能力的大型系統(tǒng),用以處理大型神經(jīng)網(wǎng)絡(luò)。
PCIe發(fā)揮著高效的橋梁作用
由于能夠處理AI和ML工作負(fù)載,AI加速器可以增強(qiáng)數(shù)據(jù)中心服務(wù)器中CPU的處理能力,而PCIe則充當(dāng)兩者之間的橋梁。就其作用而言,PCIe具有以下優(yōu)勢(shì):
最大限度提高芯片到芯片接口的帶寬,無(wú)論是用于大規(guī)模計(jì)算陣列中的AI加速器,還是邊緣的AI加速器
提供擴(kuò)展容量,以便在多個(gè)主機(jī)和多臺(tái)設(shè)備之間移動(dòng)數(shù)據(jù),因?yàn)镻CIe插槽可以支持各種類(lèi)型的擴(kuò)展卡,包括AI加速器
支持通過(guò)多線(xiàn)程技術(shù)跨多個(gè)芯片并行處理工作負(fù)載
實(shí)現(xiàn)主機(jī)和設(shè)備之間的通用互操作性,使得能夠在系統(tǒng)運(yùn)行時(shí)無(wú)縫添加或移除AI加速器卡
提供低功耗PCIe 6.0 L0p模式,能夠以更少的通道支持所需的數(shù)據(jù)流量,從而可以降低功耗,幫助最大限度地減少碳足跡
提供數(shù)據(jù)保密性、完整性和重發(fā)保護(hù)功能,確保傳輸中的數(shù)據(jù)免受嗅探、篡改、刪除、插入或重發(fā)數(shù)據(jù)包攻擊
要充分利用這種安全的高速接口,經(jīng)驗(yàn)證的PCIe物理層(PHY)和具有IDE安全性的控制器IP是關(guān)鍵,而相關(guān)的專(zhuān)業(yè)知識(shí)也對(duì)幫助開(kāi)展相應(yīng)設(shè)計(jì)至關(guān)重要。功耗和信號(hào)完整性方面的考量則突顯了專(zhuān)家支持的重要作用。AI加速通常需要許多高速通道。PCIe的多個(gè)通道同時(shí)切換會(huì)產(chǎn)生大量功耗,這使得電源完整性成為一個(gè)問(wèn)題。如果在同時(shí)切換過(guò)程中出現(xiàn)IR壓降等問(wèn)題,則不利于充分發(fā)揮全部性能。信號(hào)完整性也很重要,因?yàn)橄到y(tǒng)中在AI加速器和CPU之間傳輸?shù)男盘?hào)必須完好無(wú)損。新思科技內(nèi)部擁有功耗和信號(hào)完整性方面的專(zhuān)家,他們能夠模擬多通道環(huán)境,指導(dǎo)開(kāi)發(fā)者在設(shè)計(jì)芯片時(shí)將支持PCIe的PHY放置在合適位置,從而實(shí)現(xiàn)最佳性能。
新思科技是PCIe IP和PCIe協(xié)議驗(yàn)證解決方案(包括驗(yàn)證IP)的行業(yè)領(lǐng)導(dǎo)者,新思科技的PCIe專(zhuān)家也是PCI-SIG聯(lián)盟(負(fù)責(zé)編寫(xiě)PCIe總線(xiàn)規(guī)范)的主要貢獻(xiàn)者。新思科技的PCIe產(chǎn)品組合,以及各種具有向后兼容性的組件,包括:
新思科技PHY IP,通過(guò)自適應(yīng)數(shù)字信號(hào)處理(DSP)算法來(lái)優(yōu)化數(shù)字均衡,以跨底板、網(wǎng)絡(luò)接口卡(NIC)及芯片到芯片通道實(shí)現(xiàn)高能效
新思科技控制器IP,具有與新思科技IDE安全I(xiàn)P模塊緊密集成的架構(gòu),其中包含多個(gè)接口,旨在盡可能降低延遲并提高吞吐量
新思科技驗(yàn)證IP,可加速測(cè)試平臺(tái)開(kāi)發(fā),并且具有內(nèi)置驗(yàn)證計(jì)劃、驗(yàn)證序列和功能覆蓋范圍
用于新思科技ZeBu硬件加速系統(tǒng)和新思科技HAPS原型系統(tǒng)的新思科技協(xié)議接口卡、在線(xiàn)和虛擬解決方案,可實(shí)現(xiàn)軟件驅(qū)動(dòng)的系統(tǒng)驗(yàn)證、性能分析、認(rèn)證和流片前合規(guī)性測(cè)試
除了端到端PCIe IP解決方案,新思科技的IP核組合還包括內(nèi)存、處理器及其他用于AI加速器的接口IP。全棧式AI驅(qū)動(dòng)型電子設(shè)計(jì)自動(dòng)化(EDA)套件Synopsys.ai現(xiàn)已搭載能夠顯著加快專(zhuān)用AI加速器設(shè)計(jì)的功能。在驗(yàn)證方面,AI SoC需要更快的流片前硬件輔助驗(yàn)證解決方案。新思科技的ZeBu Server 5和HAPS系統(tǒng)提供了超快且容量超大的硬件輔助驗(yàn)證(HAV)系統(tǒng),有助于完成各種復(fù)雜SoC設(shè)計(jì)的所有系統(tǒng)級(jí)驗(yàn)證用例。
PCIe接下來(lái)的發(fā)展方向如何?
下一代PCIe有望達(dá)到速度驚人的2.048TB。隨著越來(lái)越多的設(shè)備和系統(tǒng)融入AI,任何能夠滿(mǎn)足AI速度需求的創(chuàng)新都是利好消息。對(duì)于現(xiàn)今和未來(lái)的AI加速器來(lái)說(shuō),不斷發(fā)展的PCIe高速接口有望與之?dāng)y手共進(jìn),讓日常生活變得更加智能。
審核編輯:湯梓紅
-
AI
+關(guān)注
關(guān)注
87文章
30728瀏覽量
268880 -
高速接口
+關(guān)注
關(guān)注
1文章
44瀏覽量
14771 -
PCIe
+關(guān)注
關(guān)注
15文章
1234瀏覽量
82576 -
新思科技
+關(guān)注
關(guān)注
5文章
796瀏覽量
50334
原文標(biāo)題:AI低延遲應(yīng)用,怎么缺少PCIe高速接口?
文章出處:【微信號(hào):Synopsys_CN,微信公眾號(hào):新思科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論