數(shù)據(jù)算力需求的日益增長帶動了AI芯片行業(yè)的興起，作為中國AI芯片的中堅力量，燧原科技聚焦于AI訓(xùn)練與推理不斷推出芯片以及加速卡產(chǎn)品。12月7日，燧原科技重磅發(fā)布第二代云端人工智能推理加速卡“云燧i20”，這是時隔僅五個月，繼今年7月發(fā)布云端人工智能訓(xùn)練加速卡“云燧T20”之后，燧原科技又推出的全新一代針對云端推理場景的AI加速產(chǎn)品。

燧原科技CEO趙立東和COO張亞林發(fā)布第二代云端AI推理產(chǎn)品

燧原科技CEO趙立東在發(fā)布會上表示，我們的第1代訓(xùn)練和推理產(chǎn)品已經(jīng)在國家重點實驗室、互聯(lián)網(wǎng)、智慧城市、智慧金融等幾大方向上實現(xiàn)了突破，已產(chǎn)生了過億的訂單和收入。在這個過程中，我們也通過多種業(yè)務(wù)模式和產(chǎn)學(xué)研結(jié)合，建立了強大的朋友圈和生態(tài)圈。隨著第2代訓(xùn)練和推理兩條產(chǎn)品線逐步量產(chǎn)，以及軟件生態(tài)的不斷優(yōu)化和完善，業(yè)務(wù)的加速落地和規(guī)模化正按計劃逐步實現(xiàn)。未來，我們除了繼續(xù)大力拓展上述的幾個業(yè)務(wù)方向之外，還會在高性能計算，交通和能源等領(lǐng)域投入資源，拓展商機。


從2017年到2023年，整個AI云端市場訓(xùn)練和推理產(chǎn)品比例在發(fā)生變化，推理產(chǎn)品比例在慢慢變高。基于這樣的AI市場趨勢，燧原科技COO張亞林表示，燧原科技也在做產(chǎn)品線拓展，AI的業(yè)務(wù)從傳統(tǒng)的單一的機器視覺、聲音、文字，還有決策、推薦等方向性的算法，已經(jīng)變成多場景、多應(yīng)用的落地，廣泛分布在用戶日常生活中。

12nm工藝打造的新一代“邃思”AI推理芯片

第二代云端推理加速卡云燧i20，基于新一代“邃思”AI推理芯片，它采用第二代高性能計算核心和數(shù)據(jù)引擎，由12nm工藝打造，通過架構(gòu)升級，大大提高了單位面積的晶體管效率，從而實現(xiàn)了與目前業(yè)內(nèi)7nm GPU相匹敵的計算能力。不僅如此，基于12nm成熟工藝帶來的成本優(yōu)勢，使得云燧i20在相同性能表現(xiàn)下更具性價比優(yōu)勢。并且供應(yīng)鏈體系更加穩(wěn)定成熟，客戶的業(yè)務(wù)需求可以得到及時滿足。

燧原科技發(fā)布全新一代“邃思”云端AI推理芯片

具體來看，邃思推理芯片的計算架構(gòu)具備全AI的算力空間，其中單精度FP32達到了32 TFLOPS，以及單精度張量TF32，達到了128 TFLOPS，它同樣具備半精度BF16/FP16的算力，達到128 TFLOPS。最重要的在推理方面，提升整個整數(shù)精度INT8，達到256TOPS。也就是，從FP32到INT8，包含中間精度TF32、BF16、FP16五個精度構(gòu)成了全AI算力空間，滿足各種各樣推理的客戶需求。

邃思推理芯片用16位算力做到32位的精度效果。如何做到的？它具備TF32張量單精度，擁有4倍于FP32的算力，但是在整個模型上擁有99%的精度一致性。于是，就可以用4倍的FP32算力達到99%FP32的算力精度，這也是中國第一顆TF32的推理芯片。

邃思推理芯片的數(shù)據(jù)架構(gòu)，擁有完全自研的SVS (Sparse Value Segment ) 數(shù)據(jù)壓縮格式。它能夠進行獨立的分層壓縮和硬件自動循環(huán)解壓，使得所有的數(shù)據(jù)，特別是稀疏數(shù)據(jù)在傳輸過程之中，能夠節(jié)省帶寬和功耗。它支持硬件指令預(yù)取的操作，使得指令的預(yù)取、數(shù)據(jù)的傳輸和計算可以同時進行。進行并行的數(shù)據(jù)廣播，使得同樣的數(shù)據(jù)可以廣播到多個處理器上進行并行執(zhí)行。同時，它具有很強的動態(tài)功耗控制，讓整個數(shù)據(jù)傳輸?shù)膭討B(tài)功耗變得非常的有效。

在存儲方面，燧原科技依然采用了業(yè)內(nèi)最領(lǐng)先的HBM2E，由2顆HBM2E構(gòu)建，單芯片容量達到16GB，最大帶寬達到819GB/s，在整個封裝上，依然采用2.5D的高級封裝，整合了五顆芯片，它的整個封裝尺寸達到了55毫米乘以55毫米。大芯片加上兩顆HBM2E存儲的護航，構(gòu)建了計算加存儲的互促，使得AI的推理在帶寬、存儲容量和算力上能夠進行極致的發(fā)揮。

云燧i20加速卡性能顯著提升

比上一代云燧i10相比，云燧i20在浮點32位、浮點16位、整點8位的算力，以及存儲帶寬，存儲類型等方面都有巨大提升。云燧i20單精度FP32峰值算力達到32 TFLOPS，單精度張量TF32峰值算力達到128 TFLOPS，整型INT8峰值算力達到256 TOPS。對比第一代推理產(chǎn)品，云燧i20將浮點算力提升到1.8倍，整型算力提升到3.6倍。

燧原科技發(fā)布第二代人工智能推理加速卡“云燧i20”

和業(yè)內(nèi)主流的GPU的次旗艦相比，云燧i20的浮點16位的算力、INT8的算力，都是其2倍，內(nèi)存帶寬是2.65倍。

基準(zhǔn)測試部分，在業(yè)內(nèi)的主流模型中以友商的GPU次旗艦為baseline，從圖像分類、識別到目標(biāo)檢測到圖像分割到圖像超分等整個模型來看，云燧i20是友商的GPU次旗艦的2.5到3.7倍不等。



一個例子是，針對bert文本場景分析，每一個白色的框是一段文本，通過邃思推理芯片DTU和GPU的實時渲染和處理，分析出每一段文字的情感，這個情感用彩色框標(biāo)注為各種情緒。運時顯示，DTU整個分析速度明顯加快，彩色的框出現(xiàn)的比率明顯增高，頻率也越來越快。同時，DTU的實時性能是GPU的2.5倍以上，而實時的延時DTU只有GPU的不到一半。

軟件生態(tài)升級，搭建訓(xùn)推一體化

此次，在軟件支持層面，升級后的“馭算TopsRider”軟件棧，在性能、開發(fā)效率和模型覆蓋面上得到大幅提升。通過引入通用高層圖優(yōu)化和大規(guī)模算子融合技術(shù)，充分釋放了大容量片內(nèi)存儲和高帶寬存儲的利用率，將模型平均性能提升3.5倍，硬件算力利用率平均提升2倍；通過升級的編程模型以及算子自動分片、自動生成技術(shù)，自定義算子開發(fā)效率翻倍，模型遷移成本大大降低；此外，馭算增強了對動態(tài)性的支持，使云燧i20在檢測、語音識別、語義理解等場景更具競爭力。

張亞林表示，T20和i20組合的訓(xùn)推一體化系統(tǒng)日臻完善，在TopsRider軟件系統(tǒng)里，從高層的圖優(yōu)化到中間的算子庫再到中間的編程模型，最后到底層的Runtime，四個階段中分別統(tǒng)一了整個訓(xùn)練和推理引擎，使得用一套結(jié)構(gòu)可以支持所有訓(xùn)練和推理軟件棧，通過統(tǒng)一的表達，統(tǒng)一的訓(xùn)練推理的算子編程模型和Runtime，訓(xùn)練和推理棧進行了深度融合和充分泛化，在運用訓(xùn)推一體化時更高效、精密和兼容。

同時，我們支持Lazy、Graph、Eager、Trace mode四種圖執(zhí)行模式，這四種模式涵蓋了廣泛的框架和圖執(zhí)行，它能適配各種各樣的訓(xùn)練和推理的場景。通過今天i20和i20相關(guān)匹配的DTU2.5和TopsRider2.5的發(fā)布，燧原科技已經(jīng)擁有第二代全系統(tǒng)、全自主的技術(shù)棧。

云燧i20已量產(chǎn)應(yīng)用

目前，已經(jīng)有不少合作伙伴推出了基于燧原科技i20板卡的服務(wù)器產(chǎn)品，包括浪潮、華三和超威等等，產(chǎn)品涵蓋4U到2U的服務(wù)器，搭配16張DTU的卡到2到4張DTU的卡，

比如，浪潮標(biāo)準(zhǔn)的4U服務(wù)器配置了16張i20板卡，以及2CPU，通過16張i20板卡，4U服務(wù)器能夠提供非常高的算力密度。



浪潮信息副總裁劉軍表示：“燧原科技是國產(chǎn)人工智能計算芯片的領(lǐng)軍企業(yè)，浪潮信息與燧原科技通過元腦生態(tài)聯(lián)合創(chuàng)新，在AI整機系統(tǒng)、AI算力優(yōu)化、場景方案落地等多方面深入合作。此次云燧i20的發(fā)布，標(biāo)志著燧原從訓(xùn)練到推理全面進入2.0時代，這也是國產(chǎn)AI算力發(fā)展的里程碑。我們期待和燧原一起緊密合作，共同推進中國人工智能產(chǎn)業(yè)的快速發(fā)展。”

此外，在身份證識別、人像卡通化、人體姿態(tài)檢測、車路協(xié)同等應(yīng)用場景，燧原云燧推理卡和相關(guān)識別技術(shù)的搭配，實現(xiàn)快速、精準(zhǔn)的智能效果。





燧原科技以其國產(chǎn)AI算力產(chǎn)品為核心，以商業(yè)生態(tài)和科研生態(tài)為支撐，實現(xiàn)燧原科技的云端AI推理產(chǎn)品在互聯(lián)網(wǎng)、金融、政務(wù)等多家客戶的商業(yè)落地，并獲得認(rèn)可。在第一代訓(xùn)練和推理產(chǎn)品產(chǎn)生了過億的訂單和收入之后，相信第二代產(chǎn)品將加速向更多領(lǐng)域進行滲透。根據(jù)規(guī)劃，面向訓(xùn)練和推理的下一代產(chǎn)品T30/T31,i30已經(jīng)在研發(fā)中，三年完成兩代產(chǎn)品迭代，隨著燧原科技產(chǎn)品和技術(shù)路線圖延伸，將有更多驚喜的產(chǎn)品和技術(shù)的展露。