本文來自 XILINX 產(chǎn)品應用工程師 Yang Chen

在開發(fā)一個加速程序的之前，有一個很重要的步驟：正確設計程序架構。開發(fā)人員需要明確軟件應用程序中哪一部分是需要硬件加速的，并且它多少的并行量，以保證硬件加速器件（FPGA）能完美發(fā)揮其作用。

本文將分為5個步驟來介紹：

1. 基準和建立目標

2. 確定加速部分

3. 確定FPGA硬件加速并行量

4. 確定軟件部分并行量

5. 微調架構細節(jié)。

1. 基準和建立目標

首先要測試應用程序的運行時間和吞吐量，來確定當前應用程序在現(xiàn)有平臺的的基準性能。這些數(shù)據(jù)應涵蓋整個應用程序（起始到結束）的性能和各個主要函數(shù)的性能。通常使用valgrind，callgrind和GNU gprof這些測試軟件來獲得應用程序的性能數(shù)據(jù)，它們會顯示應用程序中所有的函數(shù)數(shù)量以及各個函數(shù)的執(zhí)行時間。通過這些數(shù)據(jù)，我們可以找到耗時最長的部分，然后放到FPGA上進行加速。

評估運行時間

測試運行時間是軟件開發(fā)的基本流程，可以使用一些常用的測試軟件，或者插入計時器和性能計數(shù)器來完成此項操作。以gprof為例，可以得到類似如下圖結果，具體gprof的用法可以參考：http://sourceware.org/binutils/docs-2.17/gprof/index.html

評估吞吐量

這里的吞吐量是指數(shù)據(jù)被處理的速率。對于計算給定函數(shù)的吞吐量，具體公式為函數(shù)處理的數(shù)據(jù)除以函數(shù)處理的時間，如下：

TSW= max (VINPUT, VOUTPUT) / Running Time

如果是處理固定的數(shù)據(jù)量，只要簡單的檢查代碼就能知道吞吐量的大小。但在一些情況下，數(shù)據(jù)是可變的，那么插入計數(shù)器來測量吞吐量的大小是比較實用的。

確定最大可實現(xiàn)的吞吐量

在大多數(shù)加速系統(tǒng)中，最大可實現(xiàn)吞吐量受PCIe總線的限制。PCIe總線受很多因素的影響，例如母板，驅動，目標板卡和發(fā)送數(shù)據(jù)大小等等。運行DMA測試能夠測試PCIe發(fā)送的有效吞吐量，從而確定加速性能潛力的上限。在安裝Alveo板卡后，我們可以使用xbutil dmatest命令來測試板卡的PCIe性能。

建立總體加速目標

在開發(fā)過程中盡早確定加速目標是非常有必要的，基于基準性能的加速目標會決定分析和決策的走向。加速目標可以是硬性的也可以是軟性的。例如，實時視頻應用程序有每秒處理60幀的嚴格硬性目標，而數(shù)據(jù)科學應用程序的軟性目標是比其他可代替實現(xiàn)方法快10倍。所以無論哪種方式，領域專業(yè)知識對于設置可實現(xiàn)的加速目標都很重要。

2. 確定加速部分

評估基準性能后，下一步就是確定哪一個函數(shù)需要在FPGA上加速。當選擇哪個函數(shù)用于加速時，有兩個方面需要考慮到：

性能瓶頸：應用程序中有哪些函數(shù)需要著重關注

加速潛力：這些函數(shù)是否有加速的潛力

確定性能瓶頸

在一個純粹的順序進行的應用程序中，可以通過解析報告很容易甄別到性能瓶頸。然而，大多數(shù)現(xiàn)實中的應用程序都是多進程，因此在尋找性能瓶頸的時候考慮并行性很重要。一個很簡單的例子：

如上圖中是一個應用程序中兩條并行的路徑，長度表示它們運行消耗時間。從這里我們看出，僅僅加速A，B進程的某一個并不能提高應用程序的整體性能。即使你將A2加速100倍，該應用程序的性能還是被A1和B進程鉗制。所以考慮加速對象時，要考慮整個應用程序的性能，而不是單個函數(shù)的性能。

確定加速潛力

作為軟件程序中的瓶頸函數(shù)不一定具有加速的潛力，通常需要進行詳細分析才能準確判斷給定函數(shù)的實際加速潛力。但是，有時候一些簡單的指導方法也能確定一個函數(shù)是否有加速潛力：

1. 選擇運算復雜度比較大的，相比于順序計算來說，它可以在FPGA上可以使用并行，流水線來提高效率。

2. 相對于輸入輸出來說的，選擇運算強度比較大的，因為這樣數(shù)據(jù)搬移時間開銷占用整個加速時間比率來說會低一些。

3. 選擇那些能夠數(shù)據(jù)重用，對內存訪問比較少的，因為這可以是數(shù)據(jù)更容易在加速器中緩存，減少對全局內存的訪問。

4. 對比函數(shù)吞吐量和FPGA吞吐量的比值，以確定最大可加速的倍數(shù)。

3. 確定FPGA硬件加速并行量

在前面的步驟中確定哪個函數(shù)用于加速之后，接下來就要確定使用多少的并行量來達到這一目標。內核（kernel）的并行性可以分為大致兩種，一種是流水線形式，即是輸入和處理數(shù)據(jù)同時進行；另一種是同時處理多個任務，即是擁有多個輸入，多個任務并行處理。

評估硬件吞吐量（非并行）

沒有進行并行化的內核（kernel）吞吐量可以近似為：

THW = Frequency（頻率） / Computational Intensity（計算強度） = Frequency * max(VINPUT,VOUTPUT) / VOPS

頻率就是kernel的時鐘頻率。這個值是由特定的平臺決定，比如，Alveo U200的最大kernel時鐘是300Mhz。VINPUT，VOUTPUT是輸入輸出數(shù)據(jù)，VOPS是操作總數(shù)。由此可以看出，大量的操作數(shù)和少量的數(shù)據(jù)的函數(shù)更適合加速。

確定所需的并行量

經(jīng)過上述計算后，可以估算出初始的HW/SW性能比：

Speed-up = THW/TSW = Fmax * Running Time /VOPS

沒有使用并行運算，則初始的加速（speed-up）通常會小于1。

接下來就要計算多少并行量可以滿足性能目標：

Parallelism Needed = TGoal / THW = TGoal * Vops / (Fmax * max(VINPUT, VOUTPUT))

并行方式可以通過多種方式實現(xiàn)：拓展數(shù)據(jù)路徑，使用多個計算引擎，使用多個kernel實例，開發(fā)人員應根據(jù)他們的需求和應用程序的特點確定最佳組合方式。

確定數(shù)據(jù)路徑應并行處理多少個樣本

一種可能性是通過創(chuàng)建更寬的數(shù)據(jù)路徑（數(shù)據(jù)的輸入和輸出的過程）然后并行處理更多數(shù)據(jù)以便加快計算速度。有些算法很適合這種方法，而有些則不適用。重要的是要了解這個算法的本質，確定這種方法是否可運用。如果可運用，那么并行處理多少數(shù)據(jù)才能滿足性能目標也是需要考慮的。

運用更寬的數(shù)據(jù)路徑、并行處理更多數(shù)據(jù)這些方法，本質是通過減少加速函數(shù)等待時間（運行時間）來實現(xiàn)提高性能的。

確定在FPGA中可以（應該）實例化多少個kernel

如果數(shù)據(jù)路徑無法并行化（或不夠充分），則請考慮添加更多kernel實例，這通常被稱為使用多個計算單元（CU）。添加更多的kernel實例的本質是允許加速函數(shù)更多的調用，從而提高應用程序的性能，如下所示。多個數(shù)據(jù)集由不同的實例并發(fā)處理。只要主機應用程序可以保持kernel繁忙，應用程序的性能就會隨著實例數(shù)的增加而線性增加。

在Vitis中，很容易通過添加額外的kernel實例來提高加速性能，不需要過多的代碼調整。在這一點上，開發(fā)人員應該充分了解硬件中滿足性能目標所需的并行度，結合數(shù)據(jù)路徑寬度和kernel實例來達到預期的目標。

4. 確定軟件部分并行量

雖然FPGA及其kernel旨在提供潛在的并行性，但是必須對軟件應用程序進行設計以便利用這種潛在的并行性。

軟件應用程序中的并行性主要是以下幾方面：

?最大限度地減少空閑時間，并在kernel運行時執(zhí)行其他任務。

?保持kernel處于活動狀態(tài)，以便盡早并經(jīng)常執(zhí)行新的計算。

?優(yōu)化與FPGA之間的數(shù)據(jù)傳輸。

如上圖所示，host程序總是處于繁忙狀態(tài)并且計劃執(zhí)行下一步的操作，而kernel端是處理當前的任務。所以，host程序必須統(tǒng)籌與kernel的數(shù)據(jù)傳輸，并且向kernel端發(fā)送請求，不然再多的kernel也是沒有效果的。

在kernel運行時最大程度地減少CPU空閑時間

FPGA加速是將某些計算從主機處理器轉移到FPGA的kernel中，在純順序模型中，應用程序將閑置地等待結果，準備并回復處理。設計軟件應用程序以避免此類空閑周期，首先是確定不依賴kernel結果的應用程序部分，然后重新設計，以便這些函數(shù)可以在主機處理器上與FPGA中運行的kernel同時運行處理。

保持kernel利用率

Kernel是在FPGA中的，僅在應用程序請求它們時才運行。為了最大程度地提高性能，應使kernel一致處于繁忙（工作）狀態(tài)。從概念上講，這是通過在當前請求完成之前發(fā)出下一個請求來實現(xiàn)的。這可以實現(xiàn)流水線式執(zhí)行和重復執(zhí)行，使kernel得到最佳利用。

在上圖這個例子中，原始的應用程序重復的調用 func1，func2和func3。針對這個應用程序對應創(chuàng)建了三個kernel是K1，K2和K3。最平庸的實現(xiàn)是將三個kernel按順序運行，就像原始的應用程序一樣。但是，這意味著每個kernel只有三分之一的時間處于工作狀態(tài)。更好的方法是重構軟件應用程序，以便它可以向kernel發(fā)出流水線請求。這允許K1在K2處理K1的輸出的同時開始處理新的數(shù)據(jù)集。通過這個方法，三個kernel以最大化的利用率不斷運行。

優(yōu)化與FPGA之間的數(shù)據(jù)傳輸

在加速的應用程序中，必須將數(shù)據(jù)從主機傳輸?shù)紽PGA，尤其是基于PCIe的應用程序中。這就引入了延遲，對于應用程序的整體性能而言，可能是非常昂貴的。數(shù)據(jù)需要在正確的時間被傳輸，如果kernel的運行需要等待數(shù)據(jù)，那么應用程序的性能會收到負面影響。因此，重要的是在kernel需要數(shù)據(jù)時提前傳輸數(shù)據(jù)。這可以通過重復數(shù)據(jù)傳輸、kernel執(zhí)行來實現(xiàn)，這可以隱藏數(shù)據(jù)傳輸?shù)牡却龝r間開銷，并避免kernel等待數(shù)據(jù)的情況。

優(yōu)化數(shù)據(jù)傳輸?shù)牧硪环N方法是傳輸最佳大小的緩沖區(qū)。如下圖所示，有效的PCIe吞吐量根據(jù)傳輸?shù)木彌_區(qū)大小而有很大的差異。緩沖區(qū)越大，吞吐量越好，從而確保加速器始終具有可操作的數(shù)據(jù)而不會浪費時間。通常來說，最好進行1MB或更大的數(shù)據(jù)傳輸。預先運行DMA測試對于找到最佳緩沖區(qū)大小可能很有用。同樣，在確定最佳緩沖區(qū)大小時，請考慮大緩沖區(qū)對資源利用率和傳輸延遲的影響。

Xilinx建議在一個公共緩沖區(qū)內對多組數(shù)據(jù)進行分組，以實現(xiàn)最大可能的吞吐量。

概念化應用程序時間線

開發(fā)人員現(xiàn)在應該對哪些函數(shù)需要加速，需要什么并行性才能達到性能目標以及如何交付應用程序有很好的了解。在這一點上，以應用程序時間表的形式總結信息是非常有用的。應用程序時間軸序列（例如“保持Kernels使用率”中所示的序列）是應用程序在運行時表現(xiàn)性能和并行化非常有效的方法。它們可以展示應用程序如何調動體系結構中潛在的并行性。

Vitis軟件平臺會從實際應用程序運行中生成時間軸視圖。如果開發(fā)人員設計了預期的時間表，則可以將其與實際結果進行比較，從而確定潛在的問題，然后迭代并收斂到最佳結果，如上圖所示。

5. 微調架構細節(jié)

在正式編寫應用程序及其kernel之前，還有最后一步：從頂層決策中細化和提煉次級體系架構的細節(jié)。

確定最終kernel邊界

之前已經(jīng)有過討論，通過創(chuàng)建多個kernel的示例可以提高性能。然而，增加CU（compute unit）會對IO端口，帶寬和資源有額外地消耗。

在Vitis軟件平臺流程中，kernel端口的最大寬度為512，并且FPGA在資源方面也具有固定的成本，并不是無限消耗。重要的是，目標平臺也對可使用的最大端口設置了限制。所以我們要注意這些限制，以最佳方式充分使用這些端口及其帶寬。

使用多個CU進行擴展的另一種方法是通過在內核中添加多個引擎（engine）進行擴展。與添加更多CU的方式來提高性能一樣，此方法就是用在內核中的不同engine同時處理多個數(shù)據(jù)集。

將多個engine放置在同一kernel中可充分利用kernel I / O端口的帶寬。如果數(shù)據(jù)路徑engine不需要端口的全部寬度，則在kernel中添加其他engine比在其中創(chuàng)建具有單個engine的多個CU效率更高。

在kernel中放置多個engine還可以減少端口數(shù)量和事務數(shù)量到需要仲裁的全局內存中，從而提高了有效帶寬。另一方面，采用這種方法需要在開發(fā)kernel時考慮I / O多路復用行為，盡可能地減少全局內存的訪問。這是開發(fā)人員需要做出的權衡。

確定kernel的位置和連接性

確定kernel邊界后，開發(fā)人員要明確實例kernel的數(shù)量和連接到全局內存資源的端口數(shù)量。在這一點上，了解目標平臺的功能以及哪些全局內存資源可用很重要。例如，Alveo?U200數(shù)據(jù)中心加速卡具有分布在三個超級邏輯區(qū)域（SLR）中的4 x 16 GB DDR4存儲區(qū)和3 x 128 KB的PLRAM存儲區(qū)。有關更多信息，請參閱《 Vitis Software Platform Release Notes》。

如果kernel是工廠，則全局內存是貨物往返工廠的倉庫。SLR就像獨特的工業(yè)區(qū)，可以在其中建立倉庫和工廠。雖然可以將貨物從一個區(qū)域的倉庫轉移到另一個區(qū)域的工廠，但這會增加延遲和復雜性。

使用多個DDR有助于平衡數(shù)據(jù)傳輸負載并提高性能。但是，這也會帶來成本，因為每個DDR控制器都會消耗FPGA資源。在決定如何將kernel端口連接到內存庫時，請均衡這些考慮因素。

在完善了這些架構細節(jié)之后，開發(fā)人員就應該已經(jīng)掌握kernel以及整個應用程序所需的所有信息了。

　　審核編輯：湯梓紅