2 眾核多計算模式處理框架

　　為了充分發揮眾核處理器的計算能力，眾核處理系統面對不同的計算任務的特點，可構建三種計算模式，即單任務并行計算、多任務并行計算、多任務流式計算。

　　2.1 眾核多計算模式處理系統結構

　　眾核多計算模式處理系統結構如圖3 所示。眾核處理系統包括數據通信、任務管理、形態管理、資源管理和控制監聽模塊。

　　數據通信模塊：提供接口給主控機，負責接收從主控機發送來的任務命令和任務計算所需的任務數據，并且最終將眾核處理機運算完成的計算結果通過該模塊返回給主控機。

　　控制監聽模塊：在眾核處理系統運行時，實時獲取主控機發送給眾核處理機的任務命令，將其傳送給任務管理模塊，并接收任務管理模塊返回的任務命令執行結果。

　　任務管理模塊：負責計算任務的加載過程，將控制監聽模塊發送來的任務命令存于任務隊列，當眾核計算單元需要加載任務進行計算時，從任務隊列中獲取任務命令，根據任務命令從任務配置文件中獲取任務計算所需的任務信息，該任務信息包含了計算任務運行時所需的存儲空間大小、適合于該任務的計算模式、執行函數（即CUDA中的kernel函數）等內容，在計算任務在被加載前，需要通知形態管理模塊把眾核計算單元切換到指定的計算模式下，并通知資源管理模塊分配存儲空間，通過數據通信模塊獲取任務數據，然后讀取任務計算庫，加載執行函數進行計算。

　　形態管理模塊：接收任務管理模塊發送來的目標計算模式，切換到該種計算模式。

　　資源管理模塊：根據任務管理模塊發送的參數分配存儲空間，包括眾核控制單元的存儲空間和眾核計算單元的存儲空間，眾核控制單元的存儲空間用于對任務數據進行緩存，然后通過數據傳輸的API接口把緩存在眾核控制單元的數據傳送到眾核計算單元的存儲空間，在計算時由從眾核計算單元存儲空間加載數據進行計算。

　　2.2 計算模式構建與切換

　　計算模式構建是形態管理模塊根據接收到的命令動態構建出被指定的目的計算模式的過程。眾核處理系統在初始化時，就已經創建了指定數目的CUDA 流（CUDA流的最大數目取決于GPU中硬件工作隊列的數目），并采用空位標記法對創建的CUDA流進行管理，通過標記位的有效性描述CUDA 流的可用性。當目的計算模式為單任務計算時，只需將首位的CUDA流標記設置為有效，其他全部標記為無效，在對計算任務加載時，將計算任務放入該CUDA流中進行計算;當目的計算模式為多任務計算時，需要將指定數目CUDA流的標記位設置為有效，在對計算任務加載時，通過輪詢的方式將計算任務放入到相應的CUDA 流中，利用CUDA 流的Hyper-Q特性，同時加載多個計算任務到眾核計算單元;當目的計算模式為多任務流式計算時，需要將指定CUDA 流的標記設置為有效，從構建第一個計算步開始，將第一個計算步放入第一個CUDA 流中進行計算，當第一個計算步首次完成計算后，利用二元信號量通知眾核控制單元中的任務管理模塊開始構建第二個計算步，并重新構建第一個計算步，以此類推，完成對多任務流式計算中每個計算步的動態構建過程。