毫無疑問，如果評選2016年度科技界十大最耀眼熱詞，人工智能&深度學習必定會華麗麗地上榜。從年初阿爾法狗戰勝世界圍棋冠軍李世石，到年末世界互聯網大會上BAT大佬們的集體AI秀，每一個信號都在不斷提示著我們，人工智能時代來了，未來已來，且就在我們身邊。

1956年，約翰·麥卡錫等人出席的達特茅斯會議正式標志著人工智能的誕生。經過60年的發展，人工智能歷經了三次浪潮，發展可謂起起落落。

第一次，達特茅斯會議確立了人工智能這一術語，第一款感知神經網絡軟件和聊天軟件誕生，數學定理被證明，人類第一次進入了人工智能的狂歡時期。然而，人們很快發現，這些理論和模型只能解決一些非常簡單的問題，他們把問題想得過于簡單，人工智能隨即進入低谷。

第二次，八十年代Hopfield神經網絡和BT訓練算法的提出，使得人工智能再次興起，出現了語音識別、語音翻譯模型也為第二次人工智能的熱潮點燃了希望之火。但這些設想遲遲未能進入人們的生活之中，第二次浪潮也隨之破滅。

第三次，隨著2006年Hinton提出的深度學習技術，以及2012年ImageNet競賽在圖像識別領域帶來的突破，人工智能再次迎來了烈火烹油式的爆發。特別是到了2016年，大數據技術的日臻成熟以及高性能計算和算法的跨越式進步，為人工智能的發展帶來了真正的動力。

高性能計算加速深度學習落地，GPU與FPGA各有所長

而這一次人工智能熱潮的興起，與前兩次有著截然不同的本質區別，其中高性能計算應用加速能力的大幅提升功不可沒。在恒揚數據應用加速部門產品經理張軍看來，深度學習模型是構建在海量的數據和強有力超算能力基礎之上的，傳統計算架構已經無法支撐深度學習大規模并行計算需求，因此，通過底層應用加速計算過程結合深度學習算法上的優化，是推動人工智能整個產業鏈發展的重要環節。

目前針對深度學習的分布式加速主要有三種方式：GPU、FPGA和NPU。GPU是最先被引入深度學習領域的，我們熟知的阿爾法狗就是由1920個 CPU+280個GPU搭建的超算平臺，作為最早看好深度學習應用加速的公司，英偉達是該領域當仁不讓的領導者，通過打造CUDA平臺，GPU在SIMD 單指令多數據流架構中的優勢被全面激發，結合高并行計算和高計算吞吐的特點，GPU可以大規模適用于具備計算密集、高并行、SIMD應用等特點的深度學習訓練模型領域。目前，GPU已經在深度學習訓練模型領域開創性地創建了包含CNN、DNN、RNN、LSTM以及強化學習網絡等算法在內的應用加速平臺和完整的生態系統。

GPU雖火，但從技術上講，也有一定的局限性。

首先，運行能效比不佳。相比較而言，運行深度學習算法實現同樣的性能，GPU所需功耗遠大于FPGA，通常情況下，GPU只能達到FPGA能效比的一半或更低。

其次，應用過程中無法充分發揮并行計算優勢。深度學習包含兩個計算環節，即訓練（Off-line）和推理（On-line）環節。GPU在深度學習算法模型訓練上非常高效，但在推理時一次性只能對于一個輸入項進行處理，并行計算的優勢不能發揮出來。

第三，硬件結構固定不具備可編程性。目前來看，深度學習算法還未完全成熟，算法還在迭代衍化過程中，若深度學習算法發生大的變化，GPU無法像FPGA一樣可以靈活的配置硬件結構，快速切入市場。 而以上這些不足，恰恰可以通過FPGA加速的方式來彌補。

可以說，GPU和FPGA在加速深度學習算法方面各有所長。 據張軍介紹，單純從性能角度來看，目前看FPGA的性能要弱于GPU，但FPGA在性能功耗比方面的表現卻非常驚艷，以恒揚NSA系列深度學習加速卡來看，性能功耗比可以做到70GFlops/W，是英偉達M4的2倍多，是Intel眾核芯片的5倍，優勢還是相當明顯的。這一點，對大型數據中心而言至關重要，可以節省大量服務器部署及機房建設、用電成本。

從計算優勢來講，目前大家看到在深度學習模型訓練領域基本使用的是SIMD架構，即只需一條指令可以平行處理大量數據，這一點正好可以發揮GPU并行計算優勢，但是容易讓人忽略的是，在完成訓練模型后，深度學習還需要進行推理計算環節，即MISD單一數據需要用多條指令平行處理，而這部分計算，正是 FPGA最為擅長的。

根據賽靈思全球戰略與市場營銷高級副總裁Steve Glasev介紹，他認為FPGA未來在超級數據中心將成主流應用，尤其是在深度學習方面，在這方面GPU強在訓練，而FPGA強在推斷。一旦需要大規模部署訓練模型，就必須大幅度提高效率，這需要新的推斷引擎來提升效率，比如3到4倍，同時還要最小限度損失精確性，這正是FPGA的強項。他預測，未來至少95%的機器學習計算都是用于推斷，只有不到5%是用于模型訓練，這是兩者的區別。

另外，不同架構的FPGA由于底層DSP有所不同，因此在不同領域的利用率和計算效率也有所不同。

從靈活性來說，GPU一旦設計完成就無法根據應用去調整硬件資源，但FPGA可以根據特定的應用給硬件編程，能針對任何新型應用和算法進行硬件優化。正是這種特有的可重配置和可重編程特性，FPGA能在一秒之內快速切換成不同的設計方案，面對下一個工作負載進行硬件優化，成為超大規模數據中心應用提供高度靈活、復雜多變的和高能效的最佳計算方案。

打造深度學習生態閉環，為人工智能賦能

作為第二代分布式計算聯盟創始成員以及OpenPower組織聯盟成員，恒揚數據與賽靈思、IBM在分布式計算領域有著深入密切合作。據恒揚數據張軍介紹，2015年起，恒揚就關注到在全球7大超級數據中心，特別是在機器學習、深度學習領域，FPGA會成為主流應用之一，今年10月百度宣布設計出用以加速機器學習推斷的賽靈思 UltraScale FPGA池以及11月AWS大會上Amazon EC2 F1實例，更加堅定了我們的想法。

比如Amazon EC2 F1實例，它是第一個用于FPGA應用加速的可編程硬件云實例，用戶可以選擇最高集成8塊高性能16nm Xilinx UltraScale+ VU9P FPGA的方式，將FPGA架設在云端，類似于Vivado HLS/SDSoC remote server模式，用戶只需要購買云服務，即可獲得相應的開發工具，包括集成深度學習主流框架的應用開發套件、應用函數庫、配置管理工具等等，進行開發、仿真、調試、編譯等工作，定制FPGA硬件加速，從而大幅降低開發難度，縮減開發時間，讓云服務用戶更加便捷地加速深度學習推斷、基因分析、金融分析、視頻處理、大數據、安全等工作負載。

目前，恒揚非常看好類似的應用，正在與國內的幾大數據中心展開聯手合作，我們致力于與賽靈思聯手，與超大數據中心進行深度合作，挖掘FPGA在深度學習中的潛能。

如果說與數據中心展開深入合作是恒揚建立深度學習生態圈組合拳的第一記重拳，那么豐富自身算法庫，與行業應用深入結合，形成完整的商業閉環，則是恒揚的第二記重拳。相比較而言，FPGA的開發難度是比較高的，它要求開發人員必需對底層硬件編程語言例如Verilog非常熟悉，即便是使用類C的 OpenCL進行開發，對軟件開發人員而言，還是具有一定難度，因此必須集成快速開發工具、算法庫、算法框架集成包及參考設計樣板，為應用深度學習算法開發人員和平臺設計人員提供最快速、最便捷的開發和部署途徑。目前，恒揚重點開發的算法庫包括CNN卷積神經網絡、壓縮算法、視頻圖像縮放等，下一步恒揚還將逐步完善對主流caffe、tensorflow算法框架的支持，將體系進一步完善化。

在完善算法的同時，將技術與行業緊密結合，打通商業閉環也是恒揚重點布局的方向。FPGA的特性決定了它在某些特定行業應用上具有得天獨厚的優勢，例如在醫療領域，醫學影像比普通圖像紋理更多，分辨率更高，相關性更大，存儲空間要求更大，必須嚴格確保臨床應用的可靠性，其壓縮、分割等圖像預處理、圖像分析及圖像理解等要求更高。這些特點恰恰可以充分發揮FPGA的優勢，通過FPGA加速圖像壓縮進程，刪除冗余，提高壓縮比、并確保圖像診斷的可靠性。類似的醫療領域應用還有基因測序加速。

再比如在金融領域，由于采用流水線邏輯體系結構，數據流處理要求低延時，高可靠，這在金融交易風險建模算法應用中是極大的關鍵點，FPGA正具備了此種優勢。類似的行業和領域還有很多，比如視頻轉碼直播、內容過濾、視頻安防等等。

除了在云端構建恒揚深度學習生態圈外，對于特定的不適合放在云端的終端應用，如無人機、自動駕駛、機器人，恒揚也開始逐步探索，我們相信，在智能時代，FPGA會扮演越來越重要的角色，成為變革全球經濟的重要技術手段，更多地改變我們的學習、工作和娛樂方式。