Transformer在汽車領域應用自然是針對視覺的，ChatGPT3這種至少需要八張英偉達A100顯卡的大模型是絕對無法出現在汽車上的。視覺類的Transformer以微軟亞洲研究院的Swin Transformer和谷歌大腦的ViT為代表。Swin Transformer出現較早，其出現證明Transformer能大幅超越CNN，即SOTA。

Transformer特別適合多種分類的語義分割應用，而語義分割又是OccupancyNetwork的關鍵。語義分割方面，即使訓練數據不多，Transformer也能壓倒CNN或FPN。如果是簡單的目標檢測，訓練數據不多的情況下，CNN基本不落下風。

汽車領域擁抱Transformer需要多少AI算力？AI算力需求與輸入像素數和模型參數關系最為密切，要計算AI算力需求，有一個關鍵的名詞：token，其在自然語言處理（NLP）里指最小的詞；在圖像領域，指patch，即最小的圖像“塊”，而tokenization是指將輸入的語言或圖像切割為token的過程，通常transformer是16*16像素，這個自然是像素越小越好，一句話分詞分的越細，這句話的語義也就更準確，一句話分的越粗，語義偏差就可能越大。據此經簡化計算，200萬像素所包含的token數就是大約1萬個。800萬像素就是大約4萬個。

Transformer結構圖

來源：互聯網

Transformer由N個相同的層組成，每層包含兩部分，一部分為自注意力，另一部分為MLP，每一層最后都有一個歸一化。

谷歌的ViT結構

來源：谷歌

視覺領域的Transformer主要是使用了Encoder部分，如上圖所示。

微軟亞洲研究院提出的Swin Transformer結構

來源：微軟亞洲研究院

與谷歌簡單地硬切割patch有所不同，微軟為了避免太多的token，在token化的過程中下了很多工夫，但實際計算量差不多。

Transformer第一步是將輸入圖像轉換為嵌入矩陣X，同時也有空間位置編碼。

位置編碼是采用了三角函數算法，這個算法是標量計算，CPU做起來效率最高。

第二步是多頭注意力計算。

對于一個視頻輸入序列X，它需要和權重參數模型做矩陣乘法，即和k、v、q的權重矩陣做乘法。然后，計算每個Query（X與q的矩陣乘積）和所有Key（X與k的矩陣乘積）的匹配度，并用這個匹配度來計算Value的加權和：

Attention(Q,K, V) = softmax(Q * K^T / sqrt(d)) * V

這里的Q就是Query，K就是Key，V就是Value（X與v矩陣乘積）。X基本上等同于視頻的token數量，k、v、q參數量。總計算量為2*3*網絡隱藏層維度h的平方。

把幾個head自注意力做Concat。總運算量為2*網絡隱藏層維度的平方

接下來是歸一化層，最后是前饋層。

總計算量是2*8*網絡隱藏層維度的平方。

最后累加這三層的總計算量為（6+2+16=24）*網絡層數*網絡隱藏層維度的平方。

假設一個網絡有520億參數，64層隱藏層，隱藏層的維度是8192，那么每個token的推理計算量就是64*24*（8192的平方）=103079215104次運算，這個數值除以2就是515億，基本等同于網絡的總參數量，實際就是每個token，推理時需要兩次運算，一次矩陣乘法，一次是累加。

最終計算量為token數量*2*網絡參數總量。

目前，Transformer視覺模型仍然遠遠落后于語言模型。具體而言，SwinTransformer二代參數大約30億， ViT-E有 40億參數，而入門級語言模型通常超過 100億 參數，更別說具有5400億參數的大型語言模型。值得注意的是，谷歌于2023年2月推出了220億參數的ViT-22B。

假設我們使用ViT-E模型，輸入八百萬像素的視頻，采用16*16的patch，那么token數大約是4.08萬個，通常自動駕駛幀率是每秒30幀（即每秒計算30次），那么每秒運算量就是30*4.08萬*40億*2=2400萬億次，即4896TOPS。如果是200萬像素，那么token約為1萬個，算力需要1200TOPS。

顯然，這個算力需求太高，需要降級，視覺Transformer參數最小為10億個，特斯拉AI日上就寫了其參數是10億個。不過，大模型參數越多，效果越好，然后再降低幀率到15Hz。有人會說乘積累加如果設計的非常好，勉強來說一次計算也可以完成，即我們常說MAC運算。

不過，Transformer每層最后都有非線性的歸一化運算，它在每一層之外是串行結構，層內是并行結構，難以實現一次計算完成乘積累加；如果是CNN網絡，全并行結構，是可以實現，更何況還有位置編碼等標量計算。

最低下限就是15*1萬*10億*2=300萬億次，即300TOPS。特斯拉一代FSD的算力不過144TOPS。

實際上，無論是GPU還是AI加速器，其利用率都是很低的，特別是transformer其獨特的網絡結構，它是源自串行的RNN網絡，AI加速器或者說AI專用芯片基本上都是針對矩陣并行計算設計的，幾乎沒考慮過串行。GPU略微好點，CPU的效率最高，奈何CPU核心數太少。

一般GPU的利用率是45%，低的只有30%，最高一般不超過55%，而AI專用芯片估計只有20-30%。https://arxiv.org/pdf/2104.04473.pdf，這篇文章里有詳細數據，由英偉達、微軟和斯坦福大學聯合完成的論文，采用的是1024個英偉達A100的運算體系，典型的運算效率是45%，谷歌的TPV4針對Transformer做了優化，增加了稀疏核，最終的利用率略高，也只是50%，沒做過優化的AI專用芯片，最低甚至是0%，完全無法運行。

這樣一來，最低下限又要增加了，按50%的利用率，最低下限是600TOPS。然而這只是兩百萬像素，現在國內基本都是800萬像素，且不止一個攝像頭是800萬像素。現在我們建設Transformer只用在一個800萬像素攝像頭上，并且AI處理器只負責這一個攝像頭，即便如此算力還需要2400TOPS，需要10個Orin-X級聯，還需要一個近千美元的PCIe交換機。實際上即便是在學術領域，目前最高的視覺Transformer的分辨率是1536*1536=236萬像素，這可是在1024個A100顯卡上運行的。

除了處理器本身，還有一個瓶頸，那就是存儲帶寬。在算力需求不高的時代，處理器的延遲主要來自存儲系統，因為處理器運算力很強，但到了1000TOPS時代，處理器的延遲成了最主要的構成。

CPU控制GPU工作的流程

來源：互聯網

GPU和AI芯片都是協處理器，也就是Device，CPU才是Host主機。GPU和AI芯片與鼠標、鍵盤、顯示器、打印機一樣都算是外設，任務的分派和調度，數據流的控制以及數據的讀取與寫入均受CPU控制。數據首先是在CPU指令調度下才讀取的，數據整形（如果AI芯片或GPU內部有標量運算單元也可以做）后再交給GPU，計算完后再傳輸給CPU寫入內存。

某些系統會有DMA如MCU，DMA是指無需經過CPU的直接存儲，但需經過數據總線，數據總線帶寬未必有內存寬；DMA主要是緩解CPU的工作壓力，因為MCU內部的CPU性能很弱。數據中心也有一些基于通訊協議的DMA，通常只用于數據中心的多顯卡系統。

AI運算的過程由CPU發起，取指令、譯碼、讀取數據、運算、寫入結果。由于Transformer的權重模型太大，至少1GB以上，所以無法放進芯片內部，只能放在DRAM內部，每一次運算都需要調取權重模型一次，計算完的結果還要寫入存儲DRAM。

前面我們看到，由于Transfomer需要超高算力，處理器本身計算消耗的時間已經是延遲的最低下限，沒有留給讀取和寫入存儲系統的時間，馮諾依曼架構又是數據和指令是分開存儲的，無法同時讀取。換言之，存儲系統讀取權重模型和寫入結果的時間必須快到可以忽略不計。即便我們假設寫入結果的時間可以忽略，但是高達1GB權重的讀取時間要做到可以忽略不計，那么需要存儲帶寬達到1TB/s，那么每次讀取權重模型的時間可以接近1毫秒，可以忽略不計。實際存儲帶寬也是有利用率，通常不會到80%。

最新的GDDR6X最高可以做到1TB/s的帶寬，但這只是最小10億的參數量，典型視覺transformer的參數量是30-40億，存儲帶寬需要3-4TB/s，英偉達4萬美元的H100PCIe的帶寬不過2.04TB/s。

最后我們來簡單計算一下訓練所需要的計算量，語言大模型的訓練量30000億個Token，換算成800萬像素就是681小時左右的視頻，訓練需要一次前向反饋和一次反向傳播，還需要一次中間激活，大約是推理運算量的4倍。

我們將參數量取30億，訓練681小時的運算量為3萬億*30億*8=720萬億億，假設用128個英偉達A100（FP16算力是312TOPS）做訓練，GPU利用效率是45%，那么需要大約4.7天訓練完成。128個英偉達A100，目前價格大約是128*50萬人民幣=6400萬人民幣，從訓練的角度看，大型車企還是撐的住的。

審核編輯：劉清