（文章來源：半導體行業觀察）

在近日的GTC上，Nvidia發布了最新的安培架構，以及基于安培架構的A100 GPU。A100 GPU使用臺積電7nm工藝實現，包含了542億個晶體管，據官方消息可以實現比起上一代V100高7倍的性能。除了算力提升之外，Nvidia還加入了GPU虛擬多實例（multi-Instance GPU，MIG）特性，可以讓一塊GPU虛擬化稱為7個獨立的GPU。

與安培架構同時公布的還有Nvidia DGX A100超級計算機，該超算平臺包含了8塊A100 GPU，峰值算力可達10?PetaOPS。在發布會上，Nvidia對于算力做了非常多的渲染。然而，在我們看來，Nvidia在算力之外的特性擴展將成為更重要的門檻，中國半導體業界想要研發自主的GPU也需要考慮這些算力之外的重要特性。

Nvidia A100 GPU相比于前一代V100 GPU，其算力提升主要來源于以下幾方面：加入稀疏運算支持。這可能是A100 GPU運算架構上最大的革新了。具體來說，A100支持2:4的結構化稀疏，即在使用稀疏計算時，在矩陣中每四個元素就必須有兩個或以上是0。通過稀疏運算，可以把性能提升兩倍。事實上，深度學習中使用稀疏運算的概念從提出至今已經有差不多5年了，到了今天Nvidia終于把這個概念落地到了產品中，而且使用的是的2:4結構化稀疏，其兩倍的加速可以說是比較保守的。

引入TF32數制。這主要針對訓練計算。回顧人工智能訓練計算的歷程，最早普遍使用的是32位浮點數數制（FP32）。為了加速訓練計算，從幾年前開始Nvidia開始支持16位的FP16數制，該數制的優點是速度較快，但是動態范圍方面在一些應用中存在一些問題。在A100中，Nvidia為了解決FP16的問題，引入了TF32數制。TF32事實上不是32位數制，而是19位數制，其動態范圍（exponent）與FP32相同都是8位，但其精度（mantissa）與FP16相同都是10位，相當于是FP32和FP16的融合。相比FP32，TF32可以實現8倍的吞吐量提升。

更強更多的流處理器（SM）。在A100中，每個流處理器的張量矩陣計算能力是V100的2倍，而在GPU中流處理器的數量相比V100則增加了30%。更大的片上存儲和更快的內存接口。A100的設計中，每個流處理器的L1緩存容量從V100的128KB增加到了192KB，L2 緩存則增加到了40MB，相比前一代增加了6.7倍。內存接口方面，A100的HBM2就惡口總貸款高達1555GB/s，相比前一代增加了1.7X。

總體來說，在計算架構方面，除了支持稀疏計算和引入TF32之外，其他的提升都屬于可預計的常規提升，而稀疏計算和TF32在人工智能計算中也并非新概念。我們認為，這一代Nvidia A100的算力性能提升屬于漸進式改良，而非革命式提升。我們認為，A100除了算力之外，其更重要的競爭壁壘提升來源于針對數據中心的GPU虛擬實例支持和互聯方案。

在安培架構中，一個重要的新特性就是GPU虛擬實例MIG。隨著云端數據中心GPU部署比例的提升，如何實現GPU虛擬化是一個重要任務，而這一點如果解決不好將會降低總體GPU利用率。目前，在云服務中，用戶申請的CPU和內存實例大多數情況下都是虛擬化的，當你申請到n個CPU核的時候，并不是說你包下了這塊CPU芯片，而是很有可能在同一塊CPU芯片上不同的核會分配給不同用戶，而用戶并不用去擔心說他的CPU核都位于哪一塊芯片上，主要用就行了。粗略地說，這就是CPU虛擬化。

為了解決這個問題，MIG應運而生。A100中的MIG支持把同一塊GPU劃分成7個獨立實例，每個實例之間的內存空間訪問互不干擾，這樣就可以實現細顆粒度的GPU計算資源分配，從而在計算需求非常異質化的云計算場景增加資源利用效率。誠然，目前MIG中支持的7個GPU虛擬實例劃分或許還不算特別細顆粒度，但是卻可以看作是走向虛擬化的重要里程碑。

除了MIG之外，A100還在多芯片互聯上做了改善。首先，A100上包含了第三代NVLINK，主要用于同主機上GPU之間的互相通信，通信帶寬相比V100增加了一倍到600GB/s。在GPU和CPU通信上，A100支持PCIe Gen4，相比上一代PCIe Gen3帶寬也增加了一倍。此外，A100的互聯還與Mellanox的解決方案做了深度集成，可以很好地支持基于以太網和InfiniBand的RDMA。
? ? ? （責任編輯：fqj）