數據中心對高性能硬件加速器的需求不斷增長，這些芯片在深度學習、圖像分類、對象檢測和識別以及自然語言處理等應用中采用人工智能技術。這些基于硬件加速器的芯片正在迅速取代傳統的 CPU 和 GPU，因為它們能夠以更低的功耗更快地處理 AI 任務。

硬件加速器——執行基于云的訓練、數據分析、基因組學和搜索排名等特定任務的專用設備——被嵌入到 CPU、GPU、FPGA 和 ASIC 中，以服務于大規模并行的 AI 工作負載。還有 AI 加速卡，例如 Xilinx 的 Alveo U50和 Intel 的 D5005，可以處理更專業和計算密集型的工作負載。

FPGA 為數據中心服務器設計中的 CPU 提供工作負載加速。（圖片：英特爾）

那么對于從事以人工智能為中心的數據中心和云計算環境的工程師來說，與硬件加速器相關的基本設計考慮是什么？本文深入探討了一些值得關注的關鍵問題。

電源效率AI 芯片和加速器卡的設計和構建優先考慮數據中心中的兩個關鍵現實世界考慮因素：盡可能快地執行訓練和推理任務，并在給定的功率預算內完成。AI 芯片為視頻內容流和大規模模擬等數據中心應用程序提供高耗電工作負載，因此這些 AI 芯片中的硬件加速器必須在處理復雜工作負載時確保能源效率。

當總部位于中國上海的燎原科技宣布與 GlobalFoundries （GF） 合作推出用于數據中心培訓的深度學習解決方案時，基于云的 AI 培訓平臺的高能效數據處理被提及為關鍵價值主張。該公司的 深度思考單元 （DTU）加速器芯片基于格芯的 12LP FinFET 平臺，采用 2.5D 封裝。

數據中心正在膨脹，運營商正在尋找新的方法來加速從深度學習到自然語言處理等一系列數據驅動的工作負載。我們在即將到來的數據中心特別項目中深入研究了加速模型訓練和推理、數據分析和其他分布式應用程序的敏捷和超融合數據中心架構。

硬件加速器架構除了能效這一數據中心環境中的主要問題之外，AI 芯片設計人員還必須確定要加速什么、如何加速以及如何在各種神經網絡（CNN、DNN 和 RNN）上運行加速器，以及廣泛的數據類型。這反過來又強調了如何在 AI 芯片上構建多個硬件加速器的重要性。

AI 設計人員正在對算法進行越來越精細的切片，同時添加更多硬件加速器，以滿足現代數據中心工作負載處理和分析龐大數據集的不斷變化的需求。這使得硬件架構對于處理機器視覺、深度學習和其他 AI 工作負載至關重要。

英偉達收購 Mellanox就是一個很好的例子。Mellanox 的互連技術可以幫助領先的 AI 芯片制造商創建更全面的架構，并支持包含數萬個計算節點的數據中心規模的工作負載。高效的互連技術提高了神經網絡訓練的速度和準確性，并降低了數據中心的功耗。

可編程加速器另一項收購指出了對 AI 加速器的另一個關鍵要求：可編程性。當英特爾 以大約 20 億美元的價格收購總部位于以色列的深度學習加速器開發商Habana Labs時，主要是 Habana 數據中心加速器的可編程性成為頭條新聞。隨后，英特爾停止了其內部 Nervana 神經網絡處理器系列的開發。

可編程性功能使 AI 設計人員能夠滿足各種工作負載和神經網絡拓撲的需求。當軟件算法的變化速度超過人工智能芯片的開發速度時，這一點尤其重要，這使得硬件加速器成為固定功能的設備。

在這里，可編程性使 AI 加速器能夠適應不斷變化的數據中心設計需求。例如，具有可編程功能的靈活架構可以幫助 AI 設計人員管理不斷變化的工作負載、新標準和更新的算法。

人工智能設計生態系統上述兩項收購也表明人工智能芯片制造商正在努力拼湊包括硬件和軟件在內的廣泛技術組合。英特爾和英偉達等公司的目標是提供從人工智能處理器到人工智能軟件工具包的產品。

因此，人工智能設計人員必須仔細審查用于模型創建、芯片評估和概念驗證設計的開發工具的可用性。檢查硬件加速器支持哪些 AI 框架（Caffe、PyTorch、TensorFlow 等）也是值得的。

然后是軟件開發工具包，將 TensorFlow 等 AI 框架作為學習環境，并提供迎合學習模型和推理處理的數據轉換工具。

開發套件如何促進數據中心工作負載的 AI 加速（圖片：Xilinx）

硬件加速器 IP集成到芯片中的 AI 加速器也可用作硬件 IP。幾家半導體公司通過 IP 許可模式提供用于定制芯片的 AI 加速器。

以加州米爾皮塔斯的 Gyrfalcon Technology Inc. （GTI） 為例，該公司為數據中心設計 AI 芯片，并為數據中心芯片提供 Lightspeeur 2803加速器 IP。Gyrfalcon 為被許可方提供 USB 3.0 加密狗，人工智能芯片設計人員可以在 Windows 和 Linux PC 以及 Raspberry Pi 等硬件開發套件上使用這些加密狗。