面對每個月27億活躍用戶產(chǎn)生的數(shù)據(jù)量，F(xiàn)acebook將重心從通用硬件轉(zhuǎn)向AI專用硬件。在今天的開放計算項目全球峰會上，發(fā)布并開源了3款AI硬件，分別是面向訓練的Zion、面向推理的Kings Canyon及面向視頻轉(zhuǎn)碼的Mount Shasta。

一個全家桶app，每個月要服務27億人，不容易吶！不信你問Facebook。

為了應對大量的算力要求，這家位于Menlo Park的技術(shù)巨頭，硬是從通用硬件轉(zhuǎn)移到了專用加速器。這些加速器的作用，是保證其數(shù)據(jù)中心的性能，功耗和效率，特別是在AI領(lǐng)域。

今天，F(xiàn)acebook一口氣推出了3款硬件產(chǎn)品，分別是用于AI模型培訓的“下一代”硬件平臺Zion；以及針對AI推理優(yōu)化的定制專用集成電路Kings Canyon；以及視頻轉(zhuǎn)碼Mount Shasta。并捐贈給旗下的開放計算項目使用。

Open Compute Project（OCP）是Facebook在2011年4月發(fā)起的一個數(shù)據(jù)中心開放架構(gòu)技術(shù)發(fā)展組織，目前成員包括Intel、Red Hat、Facebook、Mozilla、Rackspace、NTT Data、百度、高盛以及Google等。https://benchlife.info/8597-2/

Facebook稱這三款硬件產(chǎn)品將大大加速AI的訓練和推理。“人工智能用于各種服務，以幫助人們進行日常互動，并為他們提供獨特的個性化體驗，” Facebook工程師Kevin Lee，Vijay Rao和William Christie Arnold在博客文章中寫道，“在整個Facebook的基礎設施中使用人工智能工作負載，能夠增強各服務之間的相關(guān)性，并改善我們的用戶體驗。”

Zion

Zion為AI訓練創(chuàng)建Block

和Block之間通信

Zion專為處理包括CNN，LSTM和SparseNN在內(nèi)的神經(jīng)網(wǎng)絡架構(gòu)的“頻譜”而量身定制。包括三個部分：擁有8個NUMA CPU插槽的服務器；配備了8加速器芯片組，以及一個廠商中立（vendor-agnostic ）的OCP加速器模塊（OAM）。

Zion的高內(nèi)存容量和高帶寬，得益于兩個高速fabric，一個用來連接所有的CPU，另一個用來連接所有的加速器。除此之外，還得益于其靈活的架構(gòu)，可以使用頂部擴展到單個機架中的多個服務器機架式（TOR）網(wǎng)絡交換機。

“加速器內(nèi)存帶寬高但容量低，所以我們通過對模型進行分區(qū)來解決這個問題：將頻繁訪問的數(shù)據(jù)駐留在加速器上，而訪問頻率較低的數(shù)據(jù)駐留在帶有CPU的DDR內(nèi)存里，“Lee，Rao和Arnold解釋道，“所有CPU和加速器的計算和通信都是平衡的，并通過高速和低速互連，極大地提高了效率。”

Kings Canyon

Zion為AI推理創(chuàng)建Block

和Block之間通信

至于專為推理任務而設計的Kings Canyon共分四個部分：Kings Canyon推理M.2模塊；Twin Lakes單插槽服務器；Glacier Point v2載卡；以及Facebook的Yosemite v2機箱。Facebook表示正在與Esperanto、Habana，英特爾，Marvell和高通公司合作，開發(fā)能夠同時支持INT8和高精度FP16工作負載的ASIC芯片。

ASIC不運行通用代碼，需要專門的編譯器將圖形轉(zhuǎn)換為在這些加速器上執(zhí)行的指令。Glow編譯器的目標是從更高級別的軟件堆棧中抽象出特定于供應商的硬件，以使基礎架構(gòu)與供應商無關(guān)。它接受來自PyTorch 1.0等框架的計算圖，并為這些ML加速器生成高度優(yōu)化的代碼。

Glow編譯器

Kings Canyon中的每臺服務器都結(jié)合了M.2 Kings Canyon加速器，以及一個連接Twin Lakes服務器的Glacier Point v2載卡。其中兩個被安裝到Y(jié)osemite v2 sled中，并通過NIC鏈接到TOR開關(guān)。Kings Canyon模塊包括一個ASIC，一個內(nèi)存及其他支持組件，比如通過PCIe通道與加速器模塊通信的CPU。而Glacier Point v2包含一個集成的PCIe交換機，允許服務器同時訪問所有模塊。

“通過適當?shù)膶⒛Ｐ瓦M行分割，我們得以運行非常大的深度學習模型。例如，對于SparseNN模型，如果單個節(jié)點的內(nèi)存容量不夠用，就在兩個節(jié)點之間對模型進行分片，從而增加模型可用的內(nèi)存量。“Lee，Rao和Arnold說過，“這兩個節(jié)點通過多主機NIC連接，允許高速交換。”

Mount Shasta

Mount Shasta是與Broadcom和Verisilicon合作開發(fā)的ASIC，專為視頻轉(zhuǎn)碼而開發(fā)。在Facebook的數(shù)據(jù)中心內(nèi)，它將被安裝在帶有集成散熱器的M.2模塊上，位于可容納多個M.2模塊的Glacier Point v2（GPv2）載板中。

Facebook表示，平均而言，預計這些芯片的效率會比目前的服務器“高出許多倍”。它的目標是在10W功率范圍內(nèi)，以60fps速度輸入流編碼效率至少比4K高出一倍。

“我們希望Zion、Kings Canyon和Mount Shasta的設計，能夠滿足我們在AI訓練、AI推理和視頻轉(zhuǎn)碼方面不斷增長的工作量。”Lee，Rao和Arnold寫道，“我們將采取硬件和軟件協(xié)同設計，不斷改進硬件產(chǎn)品的效率。但一家廠商的能力終歸有限，希望更多的廠商都能夠進入Facebook的生態(tài)中，共同努力。“