3 雙緩沖模式PCIE總線設計

　　3.1 PCIE驅動設計

　　PC端基于Linux（Ubuntu 10.10）操作系統。該操作系統免費開源，安全穩定靈活，適合低成本軟件開發。驅動程序包含數據流接口和控制接口。數據流接口用于Linux用戶空間和SRSE平臺間高速的數據交換；控制接口使用戶可以觀察和配置SRSE平臺寄存器，例如通過控制接口，用戶可以在PC端改變SRSE平臺的調諧頻率等參數。數據流接口是雙向獨立的，支持雙/單工，即可以同時讀和寫數據。以數據發送（從PC到SRSE）為例，用戶空間調用write（）函數將任意數量的數據發送至驅動，驅動整理數據碎片以滿足PCIE對數據對齊和傳輸塊數據量的要求。當數據滿足4096字節，驅動將數據塊發送至Root Complex并保留已發送數據的列表，等待接收來自SRSE平臺的寫操作中斷。PCIE驅動數據接收的原理如圖4所示。當用戶空間調用read（）函數或者驅動接收到來自PCIE設備的數據時，驅動初始化讀操作。驅動程序將保持阻塞（blocking），直到用戶空間調用read（）函數，并且已接收到足夠的數據包，從而能夠填滿read（）請求的數據量。碎片整理模塊對已接收的數據進行整理，然后將數據塊返回至用戶空間，并通知其解除驅動阻止。

　　圖4 PCIE驅動中的數據接收

　　3.2 PCIE核配置

　　Virtex6 PCIE Endpoint Block集成了傳輸層（TL）、數據鏈路層（DLL）和物理層（PL）協議，它完全符合PCIE基本規范，可配置性增加了設計的靈活性，降低了成本。其功能框圖與接口如圖5所示。其中收發器通過PCIE總線與Root Complex實現數據包的傳遞，PCIE總線由系統接口和PCIE接口組成；系統接口由復位和時鐘信號組成，PCIE接口由8條差分傳輸和接收對組成（8lane）。TX/RX Block RAM用來存儲來自DMA引擎和系統內存的數據，其大小可以通過Xilinx Core Generator配置。傳輸接口為用戶提供了產生和接收TLP的機制；物理層接口使用戶能夠觀測和控制鏈路的狀態；配置接口使用戶能夠觀察和配置PCIE終端的配置空間，即DMA寄存器；中斷接口實現DMA與PCIE核之間的中斷傳輸。用戶通過這些接口設計符合其需要的DMA引擎。

　　圖5 PCIE功能框圖與接口

　　本文使用Xilinx CORE Generator生成PCIE核，其主要配置參數如表1所列。

　　表1 PCIE核主要配置參數

　　3.3 總線主控DMA傳輸

　　參考Xilinx應用實例XAPP1052［5］，本文設計的DMA結構框圖如圖6所示，各部分功能介紹如下：

　　① 發射引擎。發射引擎產生傳輸層數據包（TLP）并通過傳輸接口發送至PCIE核，數據包的數據來自TX_FIFO，頭信息來自DMA控制/狀態寄存器，也負責驅動對DMA寄存器的讀取。

　　② 接收引擎。接收引擎將來自上位機的數據包解碼并轉存至RX_FIFO中，也接收來自驅動的配置信息并將寄存器值寫入DMA控制/狀態寄存器中。

　　③ DMA控制/狀態寄存器。該模塊是DMA的主控制器，控制著DMA復位、讀寫等操作；內存緩沖區的地址信息和TLP包長度等信息也存儲在該寄存器中。

　　④ MSI中斷控制器。該模塊產生讀寫中斷，然后通過中斷接口通知PCIE核，進而通知驅動程序。

　　⑤ TX/RX_FIFO.通過Xilinx Core Generator將FIFO配置為獨立時鐘異步模式，實現不同時鐘域的數據緩沖和位寬轉換。本文PCIE時鐘為250 MHz、位寬64位，而DSP核時鐘為200 MHz、位寬32位。

　　⑥ PCIE核。該模塊為例化的PCIE集成塊，框圖和參數詳見圖5和表1.

　　⑦ DSP核。該模塊為用戶設計的算法或者功能模塊，例如通過Simulink調用Xilinx庫實現某種功能。

　　圖6 DMA結構框圖

　　3.4 雙緩沖PCIE協議

　　以寫操作為例，雙緩沖PCIE協議如圖7所示。初始化時，驅動程序在內存中分配兩塊緩沖區Buff 1a/2a，然后將Buff 1a的地址信息寫入DMA控制/狀態寄存器DMA_Reg1（圖1）中并開始寫操作；DMA引擎將FIFO中的數據以數據包的形式通過PCIE總線發送至緩沖區Buff 1a中，期間驅動程序將Buff 2a的地址信息發送至DMA控制/狀態寄存器DMA_Reg2中；當Buff 1a寫操作完成時，MSI中斷控制器產生MSI中斷并通知驅動，此時驅動和DMA控制器同時切換緩沖區，即驅動將緩沖區切換至Buff 2a，DMA控制器將TLP頭信息切換至DMA_Reg2，如此繼續傳輸數據。

　　圖7 雙緩沖PCIE操作協議（寫操作）

　　將MSI中斷與新緩沖區配置間的時間間隔稱為中斷延時，如圖2和圖7所示。雙緩沖模式的引入消除了中斷延時的影響，使SRSE在中斷延時期間仍能傳輸數據，節約了硬件資源，驅動程序也有更多時間來處理緩沖區的數據。

　　4 PCIE調試與性能

　　提供了Root Port的Test Bench，它可以模擬PC和驅動程序，如初始化DMA引擎、產生下行數據流并發送至PCIE設備，也可以接收來自PCIE設備的上行數據流等，使整個系統（PCIE核+DMA引擎+DSP核）可以在Modelsim SE環境下仿真。這大大縮短了開發周期，提高了開發效率。功能仿真通過后，使用Xilinx ISE 軟件完成代碼的輸入、綜合、實現、驗證和下載。

　　硬件平臺為DELL T3400型PC和Xilinx ML605開發套件。PC端基于Ubuntu 10.10操作系統運行驅動程序，FPGA端DSP核（圖6）通過Matlab Simulink調用Xilinx元件庫實現。本文DSP核由32位計數器和加法器組成：計數器將值寫入TX_FIFO，PC端檢測接收數據以驗證寫操作（SRSE→PC）；同樣地，PC端產生+1計數值并將數據寫入RX_FIFO，DSP核的加法器用來驗證讀操作（PC→SRSE）。

　　結語

　　本文設計了基于Xilinx Virtex6 FPGA的通用軟件無線電平臺，利用C語言開發了基于Linux系統的驅動程序，利用Verilog語言設計基于Xilinx PCIE硬核的雙緩沖DMA控制器。雙緩沖消除了中斷延時的影響，節約了硬件資源，提高了數據傳輸速度。