當(dāng)?shù)貢r(shí)間8月18日,半導(dǎo)體行業(yè)盛會(huì)——Hotchips國際大會(huì)在美國斯坦福大學(xué)舉行。在此次會(huì)上,芯片初創(chuàng)公司Cerebras在Hot Chips上展出了號(hào)稱是“世界上最大”的半導(dǎo)體AI芯片Wafer Scale Engine(以下簡稱“WSE”)。
全球最大AI芯片:46225mm2,1.2萬億晶體管
據(jù)介紹,WSE芯片基于臺(tái)積電16nm工藝,核心面積超過46225mm2,集成了高達(dá)1.2萬億個(gè)晶體管。這是個(gè)什么概念呢?
目前最大的GPU芯片——NVIDIA用于AI加速的GV100大核心,集成了211億晶體管(核心面積815mm2)。WSE芯片晶體管數(shù)量是這個(gè)最大的GPU芯片的60倍,面積則是它的56倍多。
以晶圓的面積來作為比較的話,WSE芯片的面積比8英寸的晶圓的面積還要大,當(dāng)然,比12英寸的晶圓的面積還是要小一些。也就是說一塊12英寸的晶圓可能只能產(chǎn)出一個(gè)WSE芯片,這確實(shí)有點(diǎn)嚇人。全球最大芯片確實(shí)不是“浪得虛名”。
史上最大芯片跟網(wǎng)球?qū)Ρ?/p>
Cerebras 表示,如果沒有多年來與臺(tái)積電(TSMC)的密切合作,他們不可能取得這個(gè)創(chuàng)紀(jì)錄的成就。臺(tái)積電是全球最大的半導(dǎo)體代工廠,在先進(jìn)工藝技術(shù)方面處于領(lǐng)先地位。WSE芯片由臺(tái)積電采用先進(jìn)的16nm制程技術(shù)制造。
400000個(gè)AI優(yōu)化的內(nèi)核
WSE包含40萬個(gè)AI優(yōu)化的計(jì)算內(nèi)核(compute cores)。這種計(jì)算內(nèi)核被稱為稀疏線性代數(shù)核(Sparse Linear Algebra Cores, SLAC),具有靈活性、可編程性,并針對(duì)支持所有神經(jīng)網(wǎng)絡(luò)計(jì)算的稀疏線性代數(shù)進(jìn)行了優(yōu)化。SLAC的可編程性保證了內(nèi)核能夠在不斷變化的機(jī)器學(xué)習(xí)領(lǐng)域運(yùn)行所有的神經(jīng)網(wǎng)絡(luò)算法。
由于稀疏線性代數(shù)內(nèi)核是為神經(jīng)網(wǎng)絡(luò)計(jì)算進(jìn)行優(yōu)化的,因此它們可實(shí)現(xiàn)業(yè)界最佳利用率——通常是GPU的3倍或4倍。此外,WSE核心還包括Cerebras發(fā)明的稀疏捕獲技術(shù),以加速在稀疏工作負(fù)載(包含0的工作負(fù)載)上的計(jì)算性能,比如深度學(xué)習(xí)。
零在深度學(xué)習(xí)計(jì)算中很普遍。通常,要相乘的向量和矩陣中的大多數(shù)元素都是0。然而,乘以0是浪費(fèi)硅、功率和時(shí)間的行為,因?yàn)闆]有新的信息。
因?yàn)镚PU和TPU是密集的執(zhí)行引擎——引擎的設(shè)計(jì)永遠(yuǎn)不會(huì)遇到0——所以它們即使在0時(shí)也會(huì)乘以每一個(gè)元素。當(dāng)50-98%的數(shù)據(jù)為零時(shí),如深度學(xué)習(xí)中經(jīng)常出現(xiàn)的情況一樣,大多數(shù)乘法都被浪費(fèi)了。由于Cerebras的稀疏線性代數(shù)核心永遠(yuǎn)不會(huì)乘以零,所有的零數(shù)據(jù)都被過濾掉,可以在硬件中跳過,從而可以在其位置上完成有用的工作。
超大的片上內(nèi)存
內(nèi)存是每一種計(jì)算機(jī)體系結(jié)構(gòu)的關(guān)鍵組成部分??拷?jì)算的內(nèi)存意味著更快的計(jì)算、更低的延遲和更好的數(shù)據(jù)移動(dòng)效率。高性能的深度學(xué)習(xí)需要大量的計(jì)算和頻繁的數(shù)據(jù)訪問。這就要求計(jì)算核心和內(nèi)存之間要非常接近,而在GPU中卻不是這樣,GPU中絕大多數(shù)內(nèi)存都很慢,而且離計(jì)算核心很遠(yuǎn)。
WSE芯片包含了比迄今為止任何芯片都要多的內(nèi)核和本地內(nèi)存,并且在一個(gè)時(shí)鐘周期內(nèi)擁有18GB的片上內(nèi)存。WSE上的核心本地內(nèi)存的集合提供了每秒9 PB的內(nèi)存帶寬——比最好的GPU大3000倍的片上內(nèi)存和10000倍的內(nèi)存帶寬。
低延遲、高帶寬的獨(dú)特通信結(jié)構(gòu)
Cerebras WSE芯片內(nèi)部擁有高達(dá)40萬個(gè)內(nèi)核,由于這些內(nèi)核和片上內(nèi)存都是集成在單個(gè)晶圓上互連的單芯片,核心更靠近內(nèi)存,所有通信也都在芯片上進(jìn)行,通信帶寬高、延遲低,因此核心組可以以最高效率進(jìn)行協(xié)作。
此外,WSE上還使用了處理器間通信結(jié)構(gòu)Swarm,它以傳統(tǒng)通信技術(shù)功耗的一小部分實(shí)現(xiàn)了帶寬的突破和低延遲。Swarm提供了一個(gè)低延遲、高帶寬的2D網(wǎng)格,它將WSE上的所有400,000個(gè)核連接起來,每秒的帶寬總計(jì)達(dá)100 petabits。
要知道NVIDIA的NVLink 2.0最大帶寬也不過300GB/s,算下來也就是2.4Tb/s,WSE的內(nèi)部帶寬是現(xiàn)有水平的3.3萬倍之多。
路由、可靠的消息傳遞和同步都在硬件中處理。消息會(huì)自動(dòng)激活每個(gè)到達(dá)消息的應(yīng)用程序處理程序。Swarm為每個(gè)神經(jīng)網(wǎng)絡(luò)提供了一個(gè)獨(dú)特的、優(yōu)化的通信路徑。軟件根據(jù)正在運(yùn)行的特定用戶定義的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),配置通過400,000個(gè)核心的最優(yōu)通信路徑,以連接處理器。
典型的消息遍歷一個(gè)具有納秒延遲的硬件鏈接。一個(gè)Cerebras WSE的總帶寬是每秒100 PB。不需要TCP/IP和MPI等通信軟件,因此可以避免性能損失。這種結(jié)構(gòu)的通信能量成本遠(yuǎn)低于遠(yuǎn)低于每比特 1 焦耳,比GPU低了近兩個(gè)數(shù)量級(jí)。結(jié)合了巨大的帶寬和極低的延遲,Swarm通信結(jié)構(gòu)使 Cerebras WSE比任何當(dāng)前可用的解決方案學(xué)習(xí)得更快。
為AI而生
正如前面所介紹的,Cerebras WSE中的46,225平方毫米的芯片面積上包含40萬個(gè)AI優(yōu)化的核心,無緩存、無開銷的計(jì)算內(nèi)核,以及和18千兆字節(jié)的本地化分布式超高速SRAM內(nèi)存,內(nèi)存帶寬為每秒9 PB。這些核心通過細(xì)粒度、全硬件、片上網(wǎng)狀連接通信網(wǎng)絡(luò)連接在一起,可提供每秒100 petabits的總帶寬。更多核心、更多本地內(nèi)存和低延遲高帶寬結(jié)構(gòu),共同構(gòu)成了面向AI加速任務(wù)的最佳架構(gòu)。
“Cerebras WSE”專為人工智能設(shè)計(jì)而設(shè)計(jì),其中包含了不少基礎(chǔ)創(chuàng)新,解決了限制芯片尺寸的長達(dá)數(shù)十年的技術(shù)挑戰(zhàn) - 如良品率,功率傳送、封裝等,推動(dòng)了最先進(jìn)技術(shù)的發(fā)展和包裝,每個(gè)架構(gòu)決策都是為了優(yōu)化AI工作的性能。結(jié)果是,Cerebras WSE根據(jù)工作量提供了數(shù)百或數(shù)千倍的現(xiàn)有解決方案的性能,只需很小的功耗和空間。”Cerebras Systems首席執(zhí)行官的Fieldman說。
通過加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的所有元素來實(shí)現(xiàn)這些性能提升。神經(jīng)網(wǎng)絡(luò)是一種多級(jí)計(jì)算反饋回路。輸入在循環(huán)中移動(dòng)速度越快,循環(huán)學(xué)習(xí)的速度越快,即訓(xùn)練時(shí)間越短??梢酝ㄟ^加速循環(huán)內(nèi)的計(jì)算和通信來加速輸入的循環(huán)速度。
“雖然AI在一般意義上被使用,但沒有兩個(gè)數(shù)據(jù)集或兩個(gè)AI任務(wù)是相同的。新的AI工作負(fù)載不斷涌現(xiàn),數(shù)據(jù)集也在不斷變大,”Tirias Research首席分析師兼創(chuàng)始人Jim McGregor在一份聲明中表示。“隨著AI的發(fā)展,芯片和平臺(tái)解決方案也在不斷發(fā)展。Cerebras WSE是半導(dǎo)體和平臺(tái)設(shè)計(jì)方面的一項(xiàng)驚人的工程成就,它在單個(gè)晶圓級(jí)的解決方案中提供了超級(jí)計(jì)算機(jī)級(jí)的計(jì)算能力、高性能內(nèi)存和帶寬?!?/p>
Cerebras面臨的挑戰(zhàn)
Cerebras Systems公司位于美國加州Los Altos,擁有194名員工。Andrew Feldman是Cerebras Systems公司的CEO,他曾創(chuàng)建微型服務(wù)器公司SeaMicro,并以3.34億美元的價(jià)格賣給了AMD。
Cerebras CEOFieldman與SeaMicro box最初版本合影
芯片尺寸在AI任務(wù)中非常重要,因?yàn)榇蟪叽缧酒梢愿斓靥幚硇畔?,在更短的時(shí)間內(nèi)給出答案。這能夠減少“訓(xùn)練時(shí)間”,使研究人員能夠測試更多想法,使用更多數(shù)據(jù)并解決新問題。谷歌、Facebook、OpenAI、騰訊、百度和許多企業(yè)都認(rèn)為,今天制約AI發(fā)展的基本限制是訓(xùn)練模型需要的時(shí)間太長。因此,縮短訓(xùn)練時(shí)間有望消除整個(gè)行業(yè)取得進(jìn)步的主要瓶頸。
當(dāng)然,芯片制造商通常不會(huì)制造這么大的芯片。在單個(gè)晶片的制造過程中通常會(huì)出現(xiàn)一些雜質(zhì)。如果一種雜質(zhì)會(huì)導(dǎo)致一塊芯片發(fā)生故障,那么晶圓上的多種雜質(zhì)就會(huì)導(dǎo)致多塊芯片出問題。實(shí)際制造出的芯片產(chǎn)量僅占實(shí)際工作芯片的一小部分。如果晶圓上只有一個(gè)芯片,它有雜質(zhì)的幾率是100%,雜質(zhì)會(huì)使芯片失效。但Cerebras設(shè)計(jì)的芯片留有冗余,一種雜質(zhì)不會(huì)導(dǎo)致整個(gè)芯片都不能用。
不過即便如此,Cerebras WSE芯片的面積也已經(jīng)超過了單個(gè)8英寸晶圓的面積,這也意味著制造一個(gè)WSE芯片可能就需要一個(gè)12英寸的晶圓,并且對(duì)于這個(gè)正方形的芯片來說,用12英寸的晶圓來生產(chǎn)還會(huì)有較大的浪費(fèi)。此外,由于單個(gè)12英寸晶圓只能生產(chǎn)一個(gè)WSE芯片,這也使得WSE芯片的量產(chǎn)和良率提升將會(huì)變得非常的困難,成本也將極其的高昂。
如此大的面積將使得WSE芯片在后續(xù)的應(yīng)用當(dāng)中也將會(huì)遇到很多的問題,比如需要定制巨大的PCB板,貼片也是問題,還需要非常多的周邊器件來配合,這也使得最終的終端產(chǎn)品體積將會(huì)非常的巨大,另外其功耗、散熱也是很大的問題。根據(jù)官方的數(shù)據(jù)顯示,WSE芯片的功耗為15千瓦。
所以,有網(wǎng)友質(zhì)疑稱,“這么大的芯片貼在PCB上,要是稍微出現(xiàn)熱脹冷縮或者翹曲,焊球陣列可能得崩掉一片”。不過也有業(yè)內(nèi)人士表示,“WSE芯片可以不需要PCB,數(shù)據(jù)直接接光模塊傳輸”。
此外,要想很好的利用這顆芯片,必須要配套的系統(tǒng)和軟件。官方稱,WSE僅支持在極少數(shù)系統(tǒng)中運(yùn)行,但是并未指出可以在哪些系統(tǒng)中運(yùn)行。
而且WSE內(nèi)部擁有40萬個(gè)內(nèi)核,如何合理的調(diào)配這40萬個(gè)內(nèi)核也是一個(gè)大的難題,如果不能最高效的讓這40萬個(gè)內(nèi)核同時(shí)工作,那么做這么大個(gè)芯片其實(shí)是沒有太大意義的。也就是說需要適合的任務(wù)和算法來配套發(fā)揮出WSE芯片的能力才有實(shí)際的意義。這就像超級(jí)計(jì)算機(jī)一樣,如果沒有適合的足夠多的任務(wù)來滿負(fù)荷運(yùn)轉(zhuǎn),其實(shí)是會(huì)存在非常大的浪費(fèi)的。
值得注意的是,隨著摩爾定律的推進(jìn)越來越困難,芯片的制造封裝開始由傳統(tǒng)的2D轉(zhuǎn)向2.5D/3D,目前chiplet多個(gè)小芯片組合或堆疊在一起的2.5D/3D封裝成為大勢所趨,再加上新的高速互聯(lián)技術(shù)的不斷涌現(xiàn),未來,WSE芯片這類的單晶圓芯片在低延遲上的優(yōu)勢可能將會(huì)被進(jìn)一步弱化,但是WSE芯片所面臨的量產(chǎn)、良率、成本、功耗、散熱等問題卻是非常難以解決的。
-
gpu
+關(guān)注
關(guān)注
28文章
4729瀏覽量
128891 -
晶體管
+關(guān)注
關(guān)注
77文章
9682瀏覽量
138084 -
AI芯片
+關(guān)注
關(guān)注
17文章
1879瀏覽量
34992
原文標(biāo)題:4.6萬mm2!40萬核心!全球最大AI芯片意義何在?
文章出處:【微信號(hào):icsmart,微信公眾號(hào):芯智訊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論