人工智能和機器學習的爆炸式發展正在改變計算的本質。

說這話的是谷歌軟件工程師Cliff Young，而谷歌是人工智能最大的實踐者之一。

Cliff Young上周在硅谷的一個芯片研討會發表了主題演講，他說，AI的使用已經達到了一個“指數增長階段”（exponential phase），與此同時，關于半導體發展的經驗法則——摩爾定律——已經陷入停滯。

摩爾定律的內容是：集成電路上可容納的晶體管數目，約每隔兩年便會增加一倍。經常被引用的“18個月”是由英特爾的David House提的：每18個月，芯片的性能提高一倍。

“這個時間有點神經質，”Cliff Young說：“數字CMOS的增速正在放緩，我們也看到英特爾在10納米芯片的生產方面面臨困境，還有格芯（GlobalFoundries）已經宣布放棄了7納米制造工藝研發，與此同時，深度學習進展迅猛，存在經濟需求。”CMOS即Complementary Metal Oxide Semiconductor（互補金屬氧化物半導體），是計算機芯片最常見的材料。

Young認為，由于傳統芯片難以實現更高的性能和效率，來自AI研究人員的需求正在激增。他一口氣列舉了一些數據：arXiv上關于機器學習的學術論文數量每18個月就增加一倍；在谷歌，專注于AI的內部研究項目數量也每18個月增加一倍。更為激烈的是，執行機器學習神經網絡所需的浮點運算量每三個半月就翻一番。

Young說，所有這些計算需求的增長構成了“超級摩爾定律”，他稱這種現象“有點可怕”，“有點危險”，“令人擔憂”。

“為什么AI領域出現了這些指數級的增長？”他說，“部分原因是，深度學習確實有效。”

他說：“很長一段時間里，我的職業生涯都忽視了機器學習，因為那時尚不清楚這些東西會不會流行起來。”

但后來，圖像識別等領域的突破開始迅速出現，很明顯，深度學習“非常有效”。Young說：“在過去5年的大部分時間里，谷歌一直是一家AI-first的公司，我們以AI為基礎重建了大部分業務，從搜索業務到廣告業務等等?！?/p>

谷歌內部領導AI研究的是Google Brain團隊，它的需求是“巨型機器”。例如，神經網絡有時是通過他們使用的“權重”數量來測量的，這些變量被應用于神經網絡，以形成對數據的操縱。

傳統的神經網絡必須要計算的可能有數十萬個這樣的權重，甚至數百萬，谷歌的科學家們說“請給我們一個tera-weight級的機器”，讓計算機能夠計算一萬億權重。

這是因為“每次你將神經網絡的大小增加一倍，它的準確率就會提高?！盇I的規則就是越大越好。

當然，為了應對這樣的需求，谷歌一直在開發自己的機器學習芯片，即“張量處理單元”（Tensor Processing Unit，TPU）。由于傳統的CPU和圖形芯片（GPU）跟不上速度，TPU以及類似的部件是需要的。

Young說：“在很長一段時間里，我們都躊躇不前，并表示英特爾和英偉達在構建高性能系統方面做得非常好。但我們在五年前跨過了這個門檻?！?/p>

TPU于2017年首次亮相，標榜其性能優于傳統芯片，引起了業界轟動。谷歌目前已進入TPU的第三次迭代，不過是在內部使用，并通過谷歌云提供按需計算節點。

TPU v3 Pod

谷歌繼續制造越來越大的TPU實例。它的“pod”配置將1024個單獨的TPU連接在一起，形成一臺新型超級計算機，而且谷歌打算“繼續擴展”這個系統。

Young說：“我們正在打造巨大的多處理器計算機，具有幾十petabytes的計算力。我們同時向多個方向推進，tera-ops級的也在繼續開發?！?/p>

他說，這樣的工程“帶來了超級計算機設計中會出現的所有問題?！?/p>