在AI訓練市場，不乏躍躍欲試想挑戰英偉達霸主地位的廠商。不過，英偉達GPU仍是當前全球大規模商用部署的頭號玩家。其次，Google的TPU通過內部應用及TensorFlow占據第二大生態規模。

要知道，一顆AI芯片從開發定義到落地部署，中間存在著巨大的鴻溝，特別是算法越來越復雜、模型越來越大，AI芯片面臨著算力的嚴峻考驗，最終要在數據中心批量部署，能夠成功的廠商鳳毛麟角。

不過，來自于底層的顛覆性創新正在悄然改變著格局。Graphcore，這家成立于2016年、來自于英國的AI芯片公司，通過創新的IPU處理器技術，已經開始在全球數據中心批量應用，躋身于該市場第三梯隊。

5月27日，在Intelligent Health峰會上，微軟機器學習科學家Sujeeth Bharadwaj分享了在攻克新冠病毒時的一項研究，在訓練CXR（胸部X射線檢查）模型時，用Graphcore IPU處理器和英偉達 V100同時運行微軟COVID-19影像分析算法SONIC，最終的結果可能令所有人大跌眼鏡：IPU在30分鐘內完成了V100需5個小時的訓練工作量！

這家年輕的公司，由此再次引起了業界的關注。日前，Graphcore面對<電子發燒友>等行業媒體，首次在中國市場全面揭開了其創新背后的核心技術及最新業務進展，以及在中國市場的布局等。

為什么傳統的處理器架構需要被顛覆？

Graphcore高級副總裁兼中國區總經理盧濤（Jason Lu）介紹稱，AI時代的機器智能代表的是全新的計算負載，不同于傳統計算的特點有：它是非常大規模的并行計算；數據結構非常稀疏；相較于傳統的科學計算或高性能計算（HPC），AI/機器智能是低精度計算；另外在訓練、推理過程中的數據參數復用、靜態圖結構等，都是AI應用全新計算負載的典型代表。

整個AI算法模型的演變，基本上從2016年1月份的ResNet50的2500萬個參數，發展到2018年10月份BERT-Large的3.3億個參數，而到了2019年發展到GPT2的15.5億個參數，增長幅度非常大。甚至，現在一些領先的科研機構和AI研究者在探索更大的算法模型，能夠訓練更復雜的算法，來提高精度。密集計算并不是可持續的方法，譬如算法模型參數要從15.5億規模擴展到一萬億，這種指數級的增長，需要成倍的算力提升。Graphcore認為，傳統處理器無法很好地應對這些變化，因此市場需要一種顛覆式的創新架構。
?
傳統的處理器架構，如CPU是針對應用和網絡進行設計的標量處理器，GPU是以向量處理為核心的、針對圖形和高性能計算的處理器。而AI是全新的應用架構，底層是以計算圖作為表征的，且從整個AI發展方向來看，大規模、稀疏化的數據會越來越多，因此，Graphcore針對這些發展趨勢設計了一種全新的處理器架構。

全世界最復雜的擁有236億個晶體管的芯片處理器

目前為止，機器學習的算力來源主要還是傳統的處理器，它們的算力提升也非常快。不過，峰值算力和有效算力是兩回事，這其中，內存帶寬成為掣肘。

當處理器算力提高了10倍，內存如何相應提高10倍的性能呢?盧濤介紹，如果用傳統的DDR4、DDR5、HBM、HBM1、HBM2、HBM3等內存，基本上每一代能有30%或40%的提升，因此，這對傳統架構是一個非常大的挑戰。

相較于傳統CPU、GPU，IPU采用了大規模并行MIMD（多指令多數據）處理器核，通過緊密耦合的大型本地分布式SRAM，在片內能夠做到300MB SRAM。相對CPU的DDR2子系統或GPU的GDDR、HBM來說，IPU能夠實現10到320倍的性能提升。這樣帶來的好處是，能夠將模型和數據放在片內處理，從時延的角度來看，與訪問外存相比較，時延僅為1%。

通過采用大規模分布式的片上SRAM架構，IPU處理器將所有memory都放在片上，解決了當前機器學習中大量出現的內存帶寬所造成的瓶頸。

目前，基于這一創新架構的IPU處理器GC2已量產，采用TSMC 16nm工藝，號稱是世界上最復雜的擁有236億個晶體管的芯片處理器。

GC2片內有1216個IPU-Tiles，每個Tile有獨立的IPU核心作為計算以及In-Processor-Memory（處理器之內的內存），總共有7296個線程，能夠支持7296個程序并行運行。對整片來說，In-Processor-Memory總共是300MB，PCIe是16個PCIe Gen 4。

而在各個核心之間，Graphcore通過BSP同步協議，能夠支持同一個IPU處理器內1216個核心之間的通信，以及跨不同的IPU之間進行通信。另外，在IPU和IPU之間，擁有80個IPU-Links，總共有320GB/s的chip to chip的帶寬。正因如此，IPU處理器可以同時支持訓練和推理。

從目前所公布的指標來看，在自然語言處理、圖像分類、金融模型訓練等方面，IPU在現有及下一代的模型上，性能均領先于GPU：在自然語言處理方面的速度能夠提升20%到50%；在圖像分類方面，能夠有6倍的吞吐量且時延更低；在金融模型方面，訓練速度能夠提高26倍以上。目前，IPU在云上、在一些客戶的自建數據中心的服務器上已經投產應用。

而在場景應用方面，IPU采用分組卷積的方式也體現出了獨有優勢，特別是針對更為稀疏化的數據時。

盧濤分享了眾多AI創新者、算法科學家、AI應用開發者日常工作中遇到的一大問題：當算法模型在GPU上運行速度非常慢的時候，通常被認為是算法或軟件問題。他指出，如果算法模型不是用稠密的卷積，而是用較為稀疏的卷積比如Fully depthwise做的，那么在GPU上運行得慢的根本原因是GPU架構不符合算法特點，因此采用IPU能夠提供更好的支持。

他解釋稱，Graphcore設計了一個分組卷積內核的micro-benchmark，將組維度（group dimension）分成從1到512來比較，這里512就是應用得較多的“Dense卷積網絡”，典型應用如ResNet。此時，IPU GC2性能甚至比英偉達V100要高近一倍。隨著稠密程度降低、稀疏化程度增加，在組維度為1或32時，針對EfficientNet或MobileNet，IPU對比GPU展現出巨大優勢，做到成倍的性能提升，同時時延大大降低。

創新架構需要軟硬協同設計

IPU所采用的片上存儲架構，確實是未來計算結構的發展方向之一，但從芯片設計和應用角度而言，這是一大挑戰。

片上存儲通常有兩種架構，一是在片上規劃單塊大規模的存儲，這種方式通常會導致良品率極低。另一種架構就是Graphcore這樣的分布式片上存儲架構。但這又帶來了新的挑戰：如何把分布式存儲架構有效利用起來？這對編譯器的要求非常高，可以說是軟件、硬件協同設計的過程。要做出能夠真正落地的產品，最核心的挑戰就是軟硬件兩方面的專業知識和經驗。

為了提升芯片的可用性，以及便于用戶和開發者更方便地在系統中進行開發、移植、優化，Graphcore將產品擴展到囊括龐大的部署軟件和基礎架構套件，通過Poplar SDK給用戶提供更好的體驗。而這通常是頭部廠商如英偉達在推進GPU大規模應用時才有的舉動。

Poplar SDK是架構在機器學習上的框架軟件（比如TensorFlow、ONNX、PyTorch和PaddlePaddle）和硬件之間的一個基于計算圖的整套工具鏈和庫。Poplar SDK支持容器化部署，能夠快速啟動并運行。在標準生態方面，Poplar SDK支持Docker、Kubernetes、以及微軟的Hyper-v等虛擬化技術和安全技術。在操作系統方面，Poplar SDK目前支持最主要的三個Linux發行版：ubuntu、RedHat Enterprise Linux、CentOS。

今年5月，Graphcore還推出了PopVision Graph Analyser分析工具，用戶可以通過這個可視化的圖形展示工具來分析軟件運行情況、調試效率。

目前基于IPU的一些應用已覆蓋到機器學習的各個應用領域，包括自然語言處理、圖像/視頻處理、時序分析、推薦/排名及概率模型。一些應用案例和模型已經在TensorFlow、ONNX和Graphcore的PopART上可用，所有源代碼都可以在GitHub處下載。

新冠疫情下“小兵”立大功

當前，全球都希望更高效地攻克新冠疫情中的難題。這時，AI在高清醫學影像領域就體現出了重要價值。

第一，疫情發展非常快，不斷有新的病例、影像和數據產生，這就要求現有的模型要不斷根據新的情況來提高精度。

第二，疫情造成全球醫療資源緊缺。放射影片往往需要富有經驗的醫生進行判斷，而在資源緊張的情況下，AI工具可以幫助更多醫生獲得更專業的判斷力。

第三，全球都迫切需要攻克病毒的研究成果，如何提高研究效率至關重要。

Graphcore中國銷售總監朱江，就本文開頭所提到的微軟訓練CXR（胸部X光射線檢查）的應用案例，詳細介紹了IPU與英偉達 V100的對比情況。

微軟專門開發了SONIC CV模型進行訓練，IPU和GPU的訓練結果對比如下圖：左邊是訓練時間，IPU優勢明顯。右邊紅色曲線代表訓練時精度上升的情況，藍色曲線代表測試精度。可以看到測試精度和訓練精度較為接近甚至吻合，這也說明SONIC模型在泛化性能上更好，在針對未知的新數據方面，其處理能力比微軟傳統的EfficientNet模型更好。整體上，SONIC的模型通過30分鐘的訓練達到94%的訓練精度和測試精度，訓練速度方面，IPU需要30分鐘，而GPU差不多需要5個小時。

通過這一訓練，微軟認為能夠訓練到SOTA的精度的模型不一定是大模型，可以用小模型來達到這樣的精度要求。另外，IPU的MIMD架構非常適用于以分組卷積為代表的新模型。

據了解，目前微軟已采用IPU來進行計算機視覺中分類方面的訓練，能達到一個數量級的速度提升。未來，微軟期望把IPU在CV領域的應用擴展到更多方面，包括監測、分割以及配準。

創新帶給Graphcore的底氣

迄今為止，Graphcore獲得了AI領域多位重量級人物的背書。

英國半導體之父、Arm聯合創始人Hermann爵士認為:“在計算機歷史上只發生過三次革命，一次是70年代的CPU，第二次是90年代的GPU，而Graphcore就是第三次革命?！币庵钙渎氏忍岢隽藶锳I計算而生的IPU。

AI教父Geoff Hinton教授在接受Wired采訪時，被問到 “我們應該如何構建功能更像大腦的機器學習系統”時，從錢包中掏出了一個又大又亮的硅片，并回答說：“我們需要轉向不同類型的計算機來處理新的機器學習系統?！彼J為Graphcore的IPU正在滿足這樣的系統需求。


迄今為止，Graphcore總融資超過4.5億美金，其中包括全球知名的金融投資者和戰略投資者。

不論是技術本身所帶來的創新地位，還是大佬的站臺或融資歷程，Graphcore的履歷都堪稱漂亮。

不過，作為一家初創企業，Graphcore直面的都是業界巨擘。強如英偉達，也已經感受了種種威脅，正在加速創新。上個月，英偉達推出了基于Ampere架構的NVIDIA A100，將AI訓練和推理性能提高20倍，可以說是英偉達GPU迄今為止最大的性能飛躍。

對于未來的競爭，Graphcore方面信心滿滿。盧濤表示，雖然目前對比的都是與V100這樣的大量部署的旗艦級產品，但即使是第一代IPU產品也不會輸于A100，且下一代IPU處理器也將有重磅發布。

未來的推進策略，Graphcore還是會在訓練和推理兩方面并行，聚焦對高精度、低時延、高吞吐量要求更高的場景。另外還有一個趨勢是訓練和推理混布的需求，例如視頻平臺、電商網站等希望通過算法同時進行訓練和推理，能夠根據用戶數據實時更新算法模型；未來的汽車應用也是訓練和推理混布的場景，都將有一定的增長。

積極擁抱中國AI生態圈

在中國，Graphcore剛與兩大頭部客戶有了重大進展。

一是阿里巴巴新的開放式深度學習API ODLA（Open Deep Learning API）支持Graphcore IPU，某種程度上，這也反映了數據中心對IPU的計算需求正在增長。

二是成為百度飛槳（PaddlePaddle）硬件生態圈共建計劃伙伴之一，這一合作使Graphcore進入了中國深度學習開源框架的生態系統中，觸及百萬以上的AI開發者。

盧濤表示，Graphcore正在積極擁抱中國的AI生態圈，中國市場未來有望占據其全球市場的40%甚至50%。

本文由電子發燒友網原創，未經授權禁止轉載。如需轉載，請添加微信號elecfans999.