微軟團(tuán)隊(duì)推出了一個(gè)新的深度學(xué)習(xí)加速平臺，其代號為腦波計(jì)劃（Project Brainwave），機(jī)器之心將簡要介紹該計(jì)劃。腦波計(jì)劃在深度學(xué)習(xí)模型云服務(wù)方面實(shí)現(xiàn)了性能與靈活性的巨大提升。微軟專為實(shí)時(shí)人工智能設(shè)計(jì)了該系統(tǒng)，它可以超低延遲地處理接收到的請求。云基礎(chǔ)架構(gòu)也可以處理實(shí)時(shí)數(shù)據(jù)流，如搜索查詢、視頻、傳感器流，或者與用戶的交互，因此實(shí)時(shí) AI 變的越發(fā)重要。

近來，FPGA 對深度學(xué)習(xí)的訓(xùn)練和應(yīng)用變得越來越重要，因?yàn)?FPGA：低批量大小上的優(yōu)秀推理性能、在現(xiàn)代 DNN 上服務(wù)的超低延遲、>10X 且比 CPU 和 GPU 更低、在單一 DNN 服務(wù)中擴(kuò)展到很多 FPGA。FPGA 十分適合適應(yīng)快速發(fā)展的 ML、CNN、LSTM、MLP、強(qiáng)化學(xué)習(xí)、特征提取、決策樹等、推理優(yōu)化的數(shù)值精度、利用稀疏性、更大更快模型的深度壓縮。

微軟在 FPGA 上擁有全球最大的云計(jì)算投資、AI 總體能力的多實(shí)例操作、腦波計(jì)劃運(yùn)行在微軟的規(guī)?；A(chǔ)設(shè)施上。所以我們發(fā)布了腦波計(jì)劃（Project BrainWave），一個(gè)可擴(kuò)展的、支持 FPGA 的 DNN 服務(wù)平臺，它有三個(gè)特性：小批量 DNN 模型有超低延遲、高吞吐量服務(wù)，適應(yīng)性數(shù)值精度與自定義運(yùn)算符，CNTK/Caffe/TF/等的交鑰匙（turnkey）部署。

腦波計(jì)劃系統(tǒng)的主要內(nèi)容包括以下三個(gè)層面：一個(gè)高性能的分布式系統(tǒng)架構(gòu)；一個(gè)集成在 FPGA 的硬件 DNN 引擎；一個(gè)用于已訓(xùn)練模型的低摩擦（low-friction）部署的編譯器和運(yùn)行時(shí)間。

首先，腦波計(jì)劃利用了微軟這些年一直部署的大量 FPGA 基礎(chǔ)架構(gòu)。通過把高性能 FPGA 直接連接到我們的數(shù)據(jù)中心網(wǎng)絡(luò)，我們可以把 DNN 作為硬件微服務(wù)，其中 DNN 可以映射到一個(gè)遠(yuǎn)程 FPGA 池，并被循環(huán)中沒有軟件的服務(wù)器調(diào)用。這個(gè)系統(tǒng)架構(gòu)不僅可以降低延遲（因?yàn)?CPU 并不需要處理傳入的請求），還可以允許非常高的吞吐量，并且 FPGA 處理請求可以如網(wǎng)絡(luò)的流式傳輸一樣快。

第二，腦波計(jì)劃使用了一個(gè)強(qiáng)大的在商業(yè)化可用的 FPGA 上合成的「軟」DNN 處理單元（DPU）。大量的公司，包括大型公司和一大批初創(chuàng)公司，正在構(gòu)造硬化的 DPU。盡管其中一些芯片具有高峰值性能，但它們必須在設(shè)計(jì)時(shí)選擇運(yùn)算符和數(shù)據(jù)類型，這限制了其靈活性。腦波計(jì)劃采取了另一種方法，提供了一個(gè)可在一系列數(shù)據(jù)類型上縮放的設(shè)計(jì)。

這個(gè)設(shè)計(jì)結(jié)合了 FPGA 上的 ASIC 數(shù)字信號處理模塊和可合成的邏輯，以提供一個(gè)更大更優(yōu)化數(shù)量的功能單元。這一方法以兩種方式利用了 FPGA 的靈活性。首先，我們已經(jīng)定義了高度自定義、窄精度（narrow-precision）的數(shù)據(jù)類型，無需損失模型精度即可提升性能。第二，我們可以把研究創(chuàng)新快速整合進(jìn)硬件平臺（通常是數(shù)周時(shí)間），這在快速移動的空間中至關(guān)重要。因此，我們?nèi)〉昧丝涉敲烙谏踔脸^很多硬編碼（hard-coded）DPU 芯片的性能，并在今天兌現(xiàn)了性能方面的承諾。

單線程 C 編程模型（沒有 RTL），具有專門指令的 ISA：密集矩陣乘法、卷積、非線性激勵值、向量操作、嵌入，獨(dú)有的可參數(shù)化的窄精度格式，包含在 float16 接口中，可參數(shù)化的微架構(gòu)，并且擴(kuò)展到大型 FPGA（~1M ALMs），硬件微服務(wù)完全整合（附設(shè)網(wǎng)絡(luò)），用于 CPU 主機(jī)和 FPGA 的 P2P 協(xié)議，易于擴(kuò)展帶有自定義運(yùn)算符的 ISA。

優(yōu)化以適用于批量為 1 的矩陣向量乘法，矩陣逐行分布在 BRAM 的 1K-10K 個(gè)內(nèi)存塊上，最高 20 TB/s，可擴(kuò)展以使用芯片上所有可用的 BRAM、DSP 和軟邏輯（soft logic），將 float 16 權(quán)重和激活值原位轉(zhuǎn)換成內(nèi)部格式，將密集的點(diǎn)積單元高效映射到軟邏輯和 DSP。

第三，腦波計(jì)劃納入了一款支持多個(gè)流行深度學(xué)習(xí)框架的軟件棧（software stack）。我們已經(jīng)支持微軟 Cognitive Toolkit 和谷歌的 Tensorflow，并且計(jì)劃支持其他框架。我們已經(jīng)定義了一個(gè)基于圖的中間表示（intermediate representation），我們將在流行框架中訓(xùn)練的模型轉(zhuǎn)換成中間表示，然后再將其編譯成我們的高性能基礎(chǔ)架構(gòu)。