由ChatGPT點燃的大模型這把火,在全球科技圈子里愈演愈烈。國內外相關領域在此時形成了一種無言的默契——以ChatGPT為代表的AI大模型是一個劃時代的里程碑,將開啟通用人工智能(AGI)時代。站在歷史的關鍵節點,誰能引領下一個人工智能黃金時代?為什么算力會對人工智能發展產生重要影響?今天,我們就來聊一下被譽為人工智能“發動機”的算力。
什么是“算力”
這幾年,“算力”的概念頻繁出現在互聯網圈,成為科技大佬們常掛在嘴邊的熱詞。但實際上,這并不是一個新概念,算力的本義也并不復雜,顧名思義,就是指計算的能力。如果用《中國算力白皮書(2022年)》來進一步進行專業解釋,就是指數據中心的服務器通過對數據進行處理后實現結果輸出的一種能力。
人類的大腦就是天然的計算服務器。生活中,小到去菜市場買菜、大到破解一道數學難題,人類大腦每時每刻都在通過口算、心算的方式來為我們的需求提供算力。但這樣的算力有點低,尤其碰到非常復雜的計算問題時,就這樣催生出了一代又一代計算工具。
首先當然要從人類自己身上找工具,于是手指成為了最簡單方便且一直沿用至今的計數工具,而這大概也是十進制計算得以發明并且普及的根本原因。
到遠古時期,人們開始用繩子、石頭等自然物來計數。中國古籍《周易·系辭下》中就有“上古結繩而治”的說法;在南美,古印加人也用繩子來記錄。
隨著生產實踐的不斷發展,人類終于發明了自己的計算工具。算籌就是中國早期的計算工具,一般由木棍、竹條或獸骨(稱為“籌”)等做成。
算籌采用十進制記數法,有縱式和橫式兩種擺法。個、百、萬位等用縱式,十、千、十萬位等用橫式,空位表示零,這樣從右到左,縱橫相間,就可以表示任意自然數了。并且,中國古代的算籌,在整數四則運算、分數四則運算、開平方等問題上均有成熟的法則,在問題解決的每一步上都有規格化的程序,也因此被一些數學史學者認為具有構造性和“機械化”的特點。
不過,與機械時代工具的改良類似,隨著算籌的軟件,也就是運算法則的發展越來越快,算籌的硬件,也就是“籌”雖然也一直在改進,但終究跟不上算法的進展,最終被更為方便的算盤取代了。
這也是計算工具發展史上的第一次重大改革。算盤的原理與算籌類似,但在操作上更加實用,尤其在熟練掌握珠算口訣和基本技巧之后,運算速度更是驚人。15世紀左右,由中國人民發明的算盤傳入了日本、韓國等國家,又經商路逐漸傳入西方,至今在一些地區仍有著廣泛的應用。
17世紀之前,在手工計算時代,我國的算力和算法無疑走在前列,但隨著工業革命的到來,數學及計算工具的發展中心漸漸轉移到了西方,計算工具也從手工計算正式進入機械計算時代。
世界上第一臺機械式計算工具——加法器,是由法國數學家、物理學家、思想家帕斯卡設計成功的,計算過程只需撥動機器上的齒輪就能實現。盡管這臺機器只能進行加減運算,但完全不用再依賴人類大腦,其設計原理與現今計算機的原理也是相通的,為后人制造機械計算器邁出了開拓性一步。
在他的基礎上,德國哲學家、數學家、“百科全書式”學者萊布尼茨對機械計算器進行重大改進,不僅研制了一臺能進行四則運算的機械式計算器,還有一個重大的發明——二進制。雖然當時萊布尼茲發明的計算器并沒有融入二進制,但這種進位規則卻被現代計算機一直采用至今。
現代計算機與摩爾定律
從遠古時期結繩計數到手工計算時代,再到機械計算時代,計算工具的每一次變革都帶來了算力的極大躍遷,并進一步推動人類經濟社會向前發展。
但過去人們對算力的感知并不明顯,直到電子計算機的誕生,才讓人們深刻感受到計算的威力——比如問世于2016年的超級計算機“神威·太湖之光”,1分鐘的計算能力就相當于全球72億人同時用計算器不間斷計算32年。在這樣的超強算力支持下,許多以前無法想象的難題頃刻就能得到解決。也正是這樣一代又一代越來越快的電子計算機的出現,才讓算力的重要性真正為人們所關注。
1946年,世界上第一臺電子計算機ENIAC在美國賓夕法尼亞大學問世,其使用電子管作為開關,可以進行大量的計算操作,速度比之前的機械計算器快了很多。這臺計算機雖然能滿足不同計算需求,但不具備存儲的功能。
1950年前后,馮·諾伊曼主導制造完成了第一臺現代計算機EDVAC。這臺由運算器、存儲器、控制器、輸入設備和輸出設備五大部件組成的計算機系統有兩大開創性突破:一是采用了二進制形式表示數據和指令,二是提出了“存儲程序”方式。直到今天,電子計算機的設計仍然是這種結構。
現代計算機的算力是怎么衡量的?
簡單來說,當人類使用計算機時,輸入的字符或者信息首先需要被轉化為電子計算機能夠處理的編碼:0或者1的排列組合。而電子晶體管就是作為0或者1進行數值運算的基本單元,此時電子晶體管的通路可以代表數值1,斷路就代表數值0,每一個0或1就是一比特(信息量的最小單位)。這也意味著,算力的大小與晶體管數量呈正相關,晶體管數量越多,就能表示越多的信息量。
第一臺電子計算機ENIAC就擁有18000多個電子管,占地面積達170m2,體重達30噸。如此龐然大物當然不便推廣,一直到20世紀50年代,在ENIAC之后推出的新機如UNIVAC、IBM、Ferranti、Burroughs等都是大型機,價格昂貴,只有政府和大型企業等有實力的組織才能夠購買和使用。
不過,變革很快到來。1958年,工程師杰克·基爾比發明了一種能將一個電路中需要的晶體管、電阻、電容和電感等元件及布線連在一起的電子器件,也就是人們現在所熟悉的集成電路(同時期,羅伯特·諾伊斯也帶領仙童半導體公司發展出了近代實用的集成電路),而集成電路的載體就是“芯片”。
可以說,芯片的出現真正推動了現代計算機的飛速發展。1965年,時任仙童半導體公司研究開發實驗室主任的摩爾應邀為《電子學》雜志35周年專刊撰寫評論。在繪制數據時,他發現了一個驚人的趨勢:每個新芯片大體上包含其前任兩倍的容量,每個芯片的產生都是在前一個芯片產生后的18-24個月內。按照這一趨勢,芯片的密度還有計算力相對于時間周期都將呈指數式的上升。這一發現也就是現在大名鼎鼎的“摩爾定律”。
半個多世紀以來,電子計算機的發展基本都遵循著摩爾定律。20世紀七八十年代,隨著芯片的性能不斷提升、體積不斷減小,計算機終于實現了小型化,PC(個人電腦)誕生了。這也標志著電子計算機的算力終于不再僅為少數有實力的機構服務,而是開始真正走向千家萬戶,進而推動全民信息化時代到來。
人工智能時代的算力挑戰
按照摩爾定律,算力基本每兩年就要翻一番。但這樣恐怖的增長速度也無法滿足人類對算力的需求,尤其是2012年深度學習的發展帶領人工智能崛起以后。
早在2019年,OpenAI就在其更新的AI計算量報告中分析了AI算法消耗算力的情況,并發現在之前的幾十年中,AI計算量的增長速度基本和摩爾定律保持同步,而2012年成為了AI兩個時期的分水嶺。2012年之后,最先進AI模型的計算量每三四個月就翻一番,也就是每年增長近10倍,比摩爾定律2年增長一倍快得多。
在此情況下,如何才能提高算力以滿足智能計算的需求?目前有兩大方面可供突破。
3.1 機海戰術
第一種方法,找更多人一起計算,也就是借助高性能計算和分布式計算提力,也是現在最為主要的提高算力的方法。
其中,高性能計算的最核心技術就是并行計算,即同時使用多種計算資源解決計算問題的過程。從架構上看,并行計算又分為同構并行計算——把計算任務分配給一系列相同的計算單元,如多核CPU(中央處理器,計算機系統的運算和控制核心)架構;還有異構并行計算——把計算任務分配給不同制程架構、不同指令集、不同功能的計算單元,如CPU+GPU(圖形處理器,又稱顯示核心、視覺處理器、顯示芯片)的架構。
這里簡單介紹一下CPU與GPU的差別,雖然總體上兩者都包括運算器、控制單元、高速緩存器和動態隨機存取存儲器,但這些成分的構成比例卻是不同的。CPU中控制單元和存儲單元占的比例較大,計算單元則比例較小且不多,而GPU正好與之相反,這就造成了CPU長于控制和存儲,而GPU則擅長計算,兩者的組合正好形成互補關系。
2012年深度學習崛起之后,人們發現GPU非常適合用來訓練神經網絡模型。因為其絕大部分工作都是將不同的矩陣進行相乘或者矩陣和向量進行相乘,而GPU在矩陣相乘上就是非常高效,因此GPU開始被廣泛地應用于人工智能。
再來介紹一下第一種提高算力方法中的分布式計算,即將分散在不同物理區域的計算單位聚集起來共同完成某一計算任務的方法,其典型代表就是現在經常聽說的云計算。在云計算中,CPU、內存、硬盤、GPU等計算資源都被整合起來,通過軟件的方式,組成一個虛擬的可無限擴展的“算力資源池”。用戶需要算力時,無需自購設備、自建機房、自己運維,通過“算力資源池”的調度就可以實現算力資源的分配,用戶直接按需付費即可。
在云計算時代,數據中心就是算力的主要載體。這也是目前國內各地開始建設大數據中心、云計算中心、智算中心、超算中心等信息基礎設施的根本原因。
早在1961年,“人工智能之父”約翰·麥卡錫就曾預言,“有一天,計算可能會被組織成一個公共事業,就像電話系統是一個公共事業一樣”。而現在,這一天正在成為現實。
根據國家信息中心聯合相關部門于今年1月發布的《智能計算中心創新發展指南》顯示,目前全國有超過30個城市正在建設或提出建設智算中心。通過各級各類計算中心網絡,算力正像電力一樣被輸送進千行百業,成為社會發展最基礎的公共資源。
3.2 設備改進
第二種方法,從根本上改進設備,實現計算模式上的突破。
盡管高性能計算及分布式計算是當前人們提高算力的主要手段,但其制約因素比較多,而且算力的提升也有限。因此,提高算力的第二大方法成為了許多前沿科學家的追求,這其中典型代表就是量子計算。
過去幾十年來,芯片上的晶體管數量基本按照摩爾定律在演進,也就是每兩年密度增加一倍。然而,這種趨勢不能一直持續。早在幾年前,英偉達創始人就曾表示:“摩爾定律已死。”事實上,近幾年芯片技術迭代的速度確實在放緩,這也是由于芯片微電路加工的光刻工藝不斷逼近光學衍射極限,很難按照摩爾定律持續演進。
那么,還有什么辦法可以突破這一極限?實際上,早在20世紀80年代,就有學者提出了量子計算的思想。其“薛定諤的貓”一樣的疊加特性,使得每一個量子比特都可以當作2個運算單元,也就是說傳統計算機需要2的N次方個晶體管來表示的計算量,量子計算機只需要N個就能完成。而當N越大時,量子計算的威力也就越大。這樣一來,如果將晶體管計算機換成量子計算機,芯片工藝的難題就迎刃而解了。
不過,這里仍然面臨其他的問題:一是找到適合并且可以通用的保持量子疊加態的物理載體,二是可廣泛應用的計算場景。到目前為止,見諸報道的各種量子計算機都還只能執行少數幾種特殊的場景,但未來發展前景非常可期。
盡管算力并不是影響人工智能發展的唯一因素,但卻是其必要條件之一。號角已然吹響,下一個十年,要想在人工智能這條賽道上勝出,算力只怕是要攻破的第一道關了。
-
存儲器
+關注
關注
38文章
7484瀏覽量
163769 -
摩爾定律
+關注
關注
4文章
634瀏覽量
79003 -
人工智能
+關注
關注
1791文章
47207瀏覽量
238280 -
ChatGPT
+關注
關注
29文章
1560瀏覽量
7604
原文標題:人工智能時代何時到來?這個問題誰說了“算”?
文章出處:【微信號:bdtdsj,微信公眾號:中科院半導體所】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論