“摩爾定律已死”這樣的說法我們已經(jīng)聽到很多，不管這么說是不是嚴謹，摩爾定律的延續(xù)非常非常困難是不爭的事實。更重要的問題是，在這個背景下，我們該怎么做？這個問題已經(jīng)有很多討論，我也有自己的一些思考。正好今天看到黃老板在SC18講演中的這幅圖，正好可以把我的一些想法串起來，不妨和大家分享一下。

source: SC18

我在朋友圈寫了下面一段話，可以作為一個摘要：

以前，在摩爾定理作用下，我們可以依賴半導體技術的發(fā)展“粗放經(jīng)營”，很多優(yōu)化的工作都停留在學術圈?，F(xiàn)在失去了這個“紅利”，我們必須“精耕細作”：找到合適的架構，合適的方法，合適的精度，進行全棧優(yōu)化。而這些“細活”都需要更多的時間和精力，能否實現(xiàn)依賴于提高生產(chǎn)效率（productivity）的工具。

首先是找到合適的架構，這個在我的公眾號文章里已經(jīng)討論的太多了。CPU，GPU，DSP，ASIP，ASIC，F(xiàn)PGA，CGRA等等，我們有各種選擇，永遠是trade-off。在之前摩爾定律可以給我們10x的性能提升的預期下，對于很多應用來說，不需進行太多權衡。現(xiàn)在，如果我們還想要更強的算力，則必須把目光放到其它選擇上，更多的使用專用的架構，構成更高效的異構系統(tǒng)。我們已經(jīng)看到很多這方面的討論和各種創(chuàng)新（或者“復古”），就不多說了。

找到合適的方法是個有趣也更大的話題，多說幾句。在HPC的背景下，這部分主要是在講仿真和AI的結合。我們知道，HPC的很多典型應用都是大規(guī)模的數(shù)值仿真，比如天氣建模和預測，分子動力學，天體運動等等。而這些工作，需要大量的運算資源，消耗大量時間。過去，隨著半導體技術的進步，過一段時間我們就自然能有性能大幅提升的系統(tǒng)，可以運行越大越大的模型。但是，現(xiàn)在這個預期越來越難實現(xiàn)。那么，針對這些應用，是否可以找到更高效的硬件架構呢？如果不改進傳統(tǒng)的算法，這條路也很困難。在這個背景的下，AI方法似乎又成了“救世主”。現(xiàn)在很多研究是在傳統(tǒng)的數(shù)值仿真中使用機器學習的方法，或者把仿真和機器學習相結合。具體來說，可以先用傳統(tǒng)的仿真方法來訓練神經(jīng)網(wǎng)絡模型，然后使用這個神經(jīng)網(wǎng)絡模型的inference結果來代替數(shù)值計算，對特定問題的結果進行預測。訓練這個神經(jīng)網(wǎng)絡雖然仍然需要大量運算，但inference的成本則非常低。另一方面，神經(jīng)網(wǎng)絡的運算可以很好的使用專用硬件來加速，這就更進一步提升了整體的效率。其實這個思路適用于HPC之外的領域。一般的說，當我們無法直接找到一個合適的硬件架構來加速特定算法的時候，我們該思考的是能否找到對硬件更友好的算法。我之前談過5G的基帶處理用AI方法實現(xiàn)的問題（AI芯片在5G中的機會），也可能有類似的收益。當然，無線通信基帶處理已經(jīng)是高度優(yōu)化的系統(tǒng)，AI方法要擊敗傳統(tǒng)方法難度要大得多。比如，在基帶處理中一般都對比特精度做過非常細致的優(yōu)化。這就引出下一個問題，選擇合適的精度。

對于實現(xiàn)成本和運算效率來說，減少比特精度的收益是很大的（下圖之前貼過）。

source: Graphcore

從目前的實踐來看，AI算法和傳統(tǒng)HPC算法相比，對精度的要求低得多。因此我們看到很多AI芯片主要強調(diào)在FP16或者INT8中的精度。可以說，對目前AI芯硬件效率的提升，低比特精度有很大貢獻。在HPC領域，如果結合上面討論的用神經(jīng)網(wǎng)絡模型替代傳統(tǒng)算法的方法，這部分優(yōu)化的空間也很大。再對比一下通信基帶處理，我們通常為了能夠減少一個比特而做大量的優(yōu)化和驗證。在一個接收機中，不同的算法模塊采用不同的比特是很常見的。當然這種優(yōu)化有一個前提，就是算法必須定型。在目前AI算法還在不斷優(yōu)化的過程當中，同時支持多種精度的硬件就是目前更為合理的選擇。

下一個話題是全棧優(yōu)化，我之前也討論過。畢竟，如果可能，誰不想實現(xiàn)全棧優(yōu)化呢？現(xiàn)在，這個話題被越來越多的提及，除了對計算效能的需求越來越高，通過單純優(yōu)化軟件或者硬件都難以滿足這個原因之外，另一個重要原因是，在特定領域，比如AI，確實有實現(xiàn)的可能。全棧優(yōu)化的難度在于探索空間太大，我們不得不分而治之。而對AI來說，目前基于神經(jīng)網(wǎng)絡的方法有個很好的特征，就是可以用比較規(guī)則的硬件進行加速，大大縮小了硬件優(yōu)化的空間。當然，即便是在特定領域，全棧優(yōu)化也還是個難題，也許最終還是要靠AI來解決（似乎現(xiàn)在難題都丟給了AI），但我們總算有信心往前趟趟路。