10月，來自飛槳與昆侖芯科技的兩位專家帶來了一場精彩的線上直播，從落地應用案例角度對昆侖芯與飛槳III級適配進行深度解讀。

本篇以下內容整理于昆侖芯×飛槳系列直播第一期——昆侖芯科技研發總監羅航、飛槳高級產品經理王凱題為“昆侖芯×飛槳：實踐探索與落地應用”直播分享。

本次分享分為四個方面：

1.AI芯片為什么會成為產業發展的必然趨勢？

2.AI芯片實現產業化，面臨哪三個門檻？

3.飛槳與昆侖芯攜手建設AI產業生態的進展。

4.昆侖芯和飛槳在實踐探索和行業落地應用的案例。

01

AI芯片是產業發展的必然趨勢

整個計算產業的周期可以粗略劃分為四個階段：

1

互聯網上古時期。它是一個定制化的UNIX操作系統，主要群體是科學家，它的互聯網形態，是一個很小規模的局域網形態。

2

PC互聯網。這個時候才真正進入了普羅大眾，我們才能感受到計算產業的魅力。它和上古形態有很大區別，它形成了一個x86 Windows強生態組合，有很多應用百花齊放。

3

移動互聯網時代。這個產業形態的組織形式是基于4G、5G的移動互聯網，相比上一個階段，它的網絡規模和通訊速度有一個質的飛躍，并且產業形態有一個很重要的變化，可以看到這張圖中間出了一條線，這條線代表分化。它分化成了左邊移動端的架構和右邊中心端或叫云端的架構。為什么會有這樣的分化？因為在移動互聯網時代，原先x86和Windows的組合無法滿足移動端低功耗的場景，所以分化催生出了ARM加Android和IOS的生態，形成了移動端和云端并存的形態。

4

AI時代。可以看到它的分化更復雜了。為什么會出現這樣的分化？因為AI的蓬勃發展，導致數據量爆炸以及計算需求的爆發式增長，傳統CPU通用計算提供的算力，已經遠遠不能滿足AI時代的計算需求，所以催生出了多種計算架構，不同的計算架構處理各自擅長的數據需求，AI芯片應運而生。CPU、x86等多種計算架構的有機整合就叫異構計算。未來很有可能還會沿著這種分化趨勢繼續演變。

從這里可以看到，計算產業體系結構的演化很像生物的演化，都是從簡單到復雜，比如生物演化是從單細胞到分化出各種器官，從而組成復雜精密的人體。我們借用“十九大”對社會主要矛盾的表述：人民群眾對計算的需求，與計算系統的算力發展不平衡之間的矛盾，驅動著整個產業的迭代和發展。

每一次的迭代、分化，都會涌現出巨大的產業機會。

這張圖表達的是一個客觀事實：AI模型的規模呈指數型爆發式增長。模型在某種意義上等同于數據，模型越來越大代表數據量越來越大。模型簡單來講就是經驗，相對于人是經驗，相對于機器就是模型。圖中有前段時間非常火的GPT3，這個模型的參數量達到了1750億個，后來Google又發布了一個1.6萬億的超大模型。國內有很多機構也推出了大模型，比如百度的文心大模型，以及智源研究院的悟道大模型等。

大模型是正在發生的事實，也是一個很大的趨勢。模型越來越大，對AI芯片及其算力的需求也來越大。上面這張圖也從側面佐證了計算產業等發展和分化的趨勢。這也是AI芯片開始逐步產業化的特征所在。

02

AI芯片產業要跨過三道窄門

● 首先是量產。芯片研發和流片的先期投入成本非常大，通過量產可以極大的攤薄先期投入的成本。而且這也是實現盈利的唯一途徑。同時，量產的規模也是衡量芯片成熟度很重要的指標之一。

●其次是軟件生態。其實這是整個行業正在面臨的問題。如果我們只有芯片而沒有軟件生態提供給用戶，客戶就不太好把芯片用起來，也就無法完成價值的傳遞。為了讓客戶更好地把芯片用起來，我們需要構建一個合理、完整的軟件生態。國際上的友商構建了一個非常強大的軟件生態，通過這個軟件生態，很多開發者和廠商能夠很好地用起來，這個軟件平臺也構筑了很強大的壁壘。本質上，軟件生態是芯片強大的護城河。作為國內的產業玩家來說，軟件生態的構建也是非常重要的。

●最后是產品化。有了芯片、硬件和軟件生態還遠遠不夠。如果做不到產品化，邊際成本無法降下來。為了達到產品化的目的，我們有必要提升產品力，努力降低邊際成本，這是芯片商業模式的一個關鍵因素。成熟的產品有量產的規模，用強大的生態構建產品化，做成商業閉環，才能形成商業飛輪，實現盈利。

可以看到，AI軟件生態可以抽象地劃分為三大類：

1. 視覺類，所謂的CV類、計算機視覺類。它主要處理的任務有圖像分類、目標檢測、圖像分割、圖像生成等視覺類算法。

2. 語音處理類，比如語音識別、語音合成、特征提取和朗讀等。

3. 自然語言處理類，即NLP。比如文本分類、閱讀理解、機器翻譯和機器問答等。

以上三類場景，PaddlePaddle都有相應的很完善的模型庫。計算機視覺類的叫PaddleCV，語音類的叫PaddleSpeech，自然語言處理類叫PaddleNLP。這三個模型庫很好用，如果感興趣，可以在PaddlePaddle的官網下載體驗。[1]

接下來有請飛槳高級產品經理王凱為大家介紹飛槳在AI生態中的發展。

03

飛槳與昆侖芯攜手建設AI產業生態

我是飛槳高級產品經理王凱，很高興為大家分享飛槳與昆侖芯在AI產業生態上的建設成果。

昆侖芯與飛槳的合作由來已久。雖然圖中顯示2018年我們才開始合作，但實際早在飛槳成立之初，當時昆侖芯還在protoype階段，雙方的技術團隊就已經有非常深入的合作交流。

隨著雙方產品的不斷成長，我們的技術合作成果不斷在百度廠內、廠外的業務上線落地。其中包括了20年7月我們在廠內業務的小流量上線；21年1月，我們共同實現了實時在線推理服務超大規模部署。

而就在上個月，飛槳與昆侖芯完成了III級適配認證，這是飛槳今年發出的第一個III級適配認證證書，也是飛槳硬件生態建設的一個里程碑。飛槳一直致力于與硬件伙伴共建軟件生態，我們希望通過聯合研發、資源共享、聯合授權和培訓賦能等各種手段，為硬件合作伙伴的AI軟件生態貢獻力量。所以今天在我們完成III級適配認證的基礎上，我們跟昆侖芯聯合舉辦系列直播課，向我們廣大的開發者介紹我們的合作成果，我們也希望能夠幫助更多AI產業的伙伴進行產業落地。

下面我將時間交還給羅航，邀請他繼續給大家介紹我們的實踐探索和應用案例。

04

昆侖芯和飛槳

在實踐探索和行業落地應用的案例

可能大家聽過這種說法：深度學習框架是AI時代的操作系統。為什么？圖中這個比較抽象的技術棧，從底層往上看，最下層是AI芯片的硬件支撐，芯片之上支撐著深度學習框架，框架之上又支撐了各種各樣的應用和業務。

從關系來看，可以一一對照到CPU和操作系統，以及操作系統中的應用。比如操作系統也是對下接入不同的硬件，對上支撐不同的應用。深度學習框架是一樣的，對下結合各種各樣的AI芯片、異構的算力芯片，對上支撐了各種各樣的算法應用。

可以說，深度學習框架和AI芯片，又是AI時代召喚出來的很重要的兩個組件。所以，我們說深度學習框架是AI時代的操作系統，以及AI芯片是AI時代的核心算力支撐。

上圖是細化版的技術棧圖示，展示了飛槳PaddlePaddle和昆侖芯共同打造的技術生態，是一個很豐富的、全棧的技術生態。

簡單來看，從底層硬件層，包括服務器芯片和操作系統，一直到上層應用層，這是一個全棧打透的技術生態。包括底層的服務器、中間的算子庫以及深度學習框架。深度學習框架之上提供了很多算法，在算法的加持下，我們可以做很多的應用落地。

我們有一個很完整的全棧生態，飛槳一體機，其實就是全棧技術生態的物理標品，或者說是框架、芯片、算法和應用的一個集大成者。飛槳一體機集成了昆侖芯R200、版本較高的PaddlePaddle深度學習框架，并提供了單機兩卡、四卡、八卡三款選擇。

框架之上集成了飛槳BML企業版。BML是機器學習平臺，客戶可以從訓練到推理全鏈路使用。開發平臺之上，內置了至少100多個行業的模型應用，足以讓客戶拿到飛槳一體機之后實現開箱即用。

舉個OCR場景的例子。基于飛槳一體機的集群，可以實現一些通用OCR場景。OCR的使用場景非常廣泛，比如金融行業卡證票OCR模型套件識別的效果就非常好。

在飛槳一體機之上，可以搭載OCR服務引擎，引擎內包含了資源調度、虛擬化等集群納管的能力。以及內置很多OCR場景的細分模型，包括文字識別、卡證識別、票據識別、表格識別等。此外，還集成了Paddle Serving的服務化框架，對上提供服務化接口。

這樣的模型可以很方便地供客戶PaaS去調用。因為很多買飛槳一體機，或OCR引擎服務的客戶，有自己的PaaS。PaaS一般都需要一個服務化引擎，調用起來比較方便，而且耦合性也比較低。所以通過這種設計，可以實現對業務層足夠的透明，PaaS平臺以及其上的應用層移植到飛槳和昆侖芯的技術棧是非常容易的。

同理，基于飛槳一體機，我們可以做OCR的場景，也可以在上面換一些引擎。比如換成CV的引擎、NLP的引擎，也可以做一些其他的引擎。通過打造這樣一個飛槳一體機，可以很方便的去做各種場景，為各種各樣的行業客戶提供服務。

大規模訓練是很多客戶非常關心的一個場景功能，特別是多機多卡的大規模訓練。其實，飛槳PaddlePaddle和昆侖芯在大規模訓練場景中，做了非常多的技術點創新和優化。

上圖中可以看到，最底層是昆侖芯和CPU共同接入了飛槳平臺，也就是一個異構平臺接入。在飛槳內部分了幾個模塊，其中重點在于昆侖芯XPU架構。每一個昆侖芯XPU架構上，都有一個訓練邏輯實體。多個訓練邏輯實體通過CCIX或PCIE RDMA進行數據同步。通過數據同步，飛槳平臺做了非常多的優化。

在這個同步的機制上，昆侖芯提供了XCCL高性能通信庫，以保證多卡之間、多機之間通信的性能。

同時這里還實現了參數分級存儲的創新。最底下SSD，可以通俗理解為硬盤，MEM可以理解為內存，片上HBM，通俗來講，可以認為是昆侖芯上的顯存。

這三級存儲，分別存了不同類型的數據。比如說在訓練的時候，在硬盤上存的是全量的參數數據。一些熱點參數可以加載到內存中，提高訪存效率。還有一些在片上直接運行的數據，就會加載到HBM，即昆侖芯的顯存里，提高昆侖芯上的訪存效率。通過參數分級的存儲來管理，極大提升了整體架構的訓練、訪存的效率。

對于有大規模訓練場景的客戶，由于飛槳提供了大規模訓練的DEMO，客戶無需詳細了解技術細節，直接下載即可方便地找到并運用應用型的代碼。

舉一個工業質檢的落地案例。這是一個流水線的示意圖，產品經過流水線時，我們要去檢測產品是不是合格、有沒有缺陷。以往都是人工用肉眼去檢測，拿起一個產品檢查至少需要好幾秒鐘，特別費眼。

昆侖芯提供的方案是通過相機和光源陣列，從各個角度拍攝產品，得到圖像之后，通過AI做圖像處理和識別判斷產品上有無缺陷，如果有缺陷就丟棄。該方案是全自動化的，無需人工干預，可以在一秒之內完成，極大提高了工業質檢的效率。

這是上述場景的細化架構圖。左邊兩個灰色框，可以認為是客戶的機器，右邊是昆侖芯和飛槳提供的機器模塊。這種設計的耦合度非常低。客戶已有的東西，包括軟件、運動模組以及控制模組等，均無需改變。客戶在應用軟件中，只需改變AI相關的引擎的調用。昆侖芯在這里提供的缺陷識別引擎基于PaddleDetection套件，由昆侖芯R200算力卡提供算力支撐。

對客戶暴露的是一個通過Paddle Serving封裝出來的服務化接口，與前文提到的OCR類似，都是提供服務化接口，可以很方便地調用，且耦合度非常低，對客戶的代碼也沒有太多侵入。

基于推理引擎，客戶可以把已訓練好的模型通過推理引擎推起來，直接上產線。如果發現模型在產線上效果不好，需要調優、調精度，我們提供了由昆侖芯R200提供算力支撐的企業級BML訓練平臺，該平臺上有一套數據標注的平臺，產線工人可以很方便地使用這套工具，在生產線現場做圖片標注。通過BML上一些簡單的操作，可以基于現場的圖片做重訓，得到新的模型去做測試，測試后可以自動發布到產線上。

這一套平臺是直接用在產線側的，把模型的重訓、測試以及發布，全流程打通，可以方便地在產線直接做高頻的模型迭代，適應各個產線不同的產品以及有新產品上線之后可以快速訓出適合的模型快速應用起來。

上述工業質檢案例用的是CV算法，接下來的案例則用的是NLP算法，它應用在檢務行業。

一般來說，檢務處理的文檔信息非常多，這就需要把文檔信息進行規整和知識提取，進而做結構化的知識存儲，并且要能夠方便檢務人員進行檢索，從而提高辦案人員處理文檔的效率。

上圖展示了昆侖芯提供的方案的組件構成。最下層是AI智能開發的管理平臺，也就是由昆侖芯提供算力支撐的一個算力集群。在這個算力集群上不僅僅有硬件，還有一些內置的軟件，比如BML，也就是機器學習平臺，還內置了很多模型算法庫，同時它也是PaddlePaddle針對深度學習框架所支撐的一個平臺。

在這樣一個AI智能開發管理平臺之上，就可以做檢務業務的應用。昆侖芯提供了文檔管理平臺和PaddleOCR套件做文字識別。很多檢務文章是掃描件圖片，圖片中包含的文字信息，以往都是用肉眼去解讀，費時費力。通過PaddleOCR可以把掃描件文字、表格等信息識別出來并結構化存儲。

我們還提供了TextMind產品。它可以再加工已經結構化存儲的文檔，也就是去理解文章中的知識和語義。檢務的很多案件文檔，其中有很多重要的實體、關系、屬性，比如金額的大小、案件的分類，這種知識都會提取出來。當把實體、關系、屬性等各種知識提取出來后，就可以構建一個知識圖譜，我們也給客戶提供了知識圖譜。

各種圖譜建立起來后，可以方便用戶在圖譜中進行檢索，所以我們同時也提供了一個企業級的檢索服務。它可以通過客戶檢索的意圖，做意圖分析，了解到客戶更想搜索出來的是什么，最終排序出一個客戶想要的結果。

通過這一整套自動化的服務，極大提升了檢務的信息化水平和文檔處理效率。由于文檔非常多，我們最后構建的是一個億級規模的關系數據庫。

同時，客戶還可以基于這套平臺定制自己的模型。昆侖芯提供了BML開發平臺，如果我們內置的很多模型（包括OCR或者KG等），對于某些文檔識別、處理的效果不好，或者文檔比較敏感、不方便給出，客戶也可以通過BML把模型重訓出來，得到匹配這些文檔特征的、效果更好的模型，順利地自動化部署在生產線上。

這樣來看，整個系統就是一個活的系統，可以進行不斷迭代。

可能有人會問，這個方案檢務能用，法務能不能用？政務能不能用？其實，所有需要處理文檔、提取文檔知識、分析文檔、構建知識圖譜、檢索以及構建一整套知識體系的場景，均可以用這套方案去實現。所以這是一個可復制性很高的方案。