近十年來,對類腦計算的足夠重視,使得一系列與類腦技術相關的研究組織應運而生。2020年末,IOP英國物理學會出版社推出全新期刊《類腦計算與工程》(NCE),SynSense時識科技聯合創始人、首席科學家、蘇黎世神經信息研究所所長Giacomo Indiveri教授擔任主編,斯坦福大學Brains in Silicon創始人Kwabena Boahen、清華大學吳華強教授、約翰斯霍普金斯大學計算感知運動系統實驗室創始人Ralph Etienne-Cummings、浙江大學唐華錦教授等組成國際編委會。
NCE創刊后,Giacomo Indiveri教授撰寫社論“Introducing neuromorphic computing and engineering”。
文章認為,在摩爾定律終結背景下,類腦技術所面臨的機遇尤其值得探究。文章還解釋了在“neuromorphic”從提出至今三十余年間,信息通信技術的“大爆炸”又如何讓其所指代的意義、所涉及的技術社區、與之緊密相連的研發領域發生了變化。
本文將分為兩部分,第一部分將展示類腦技術在科技整體背景中的位置,第二部分將介紹類腦領域新材料、新技術及跨學科發展所帶來的機遇。
“我們正處于一個激動人心的時代,在這個時代,摩爾定律的終結、對神經網絡的新的關注以及對低功耗、可持續‘綠色AI’的需求等匯聚,都指向了類腦計算和工程領域蘊藏著巨大潛力?!?/p>
Introducing'Neuromorphic
Computing and Engineering'
Giacomo Indiveri
當前,計算的標準性正受到一系列問題的挑戰,這些問題開始阻礙技術進步。為了解決其中部分問題,開發新穎的、受生物大腦啟發的處理方法和技術被提出,并被用于各種應用場景。這一研究極具挑戰性,需要多個學科的研究人員共同努力,同時協同設計處理方法,支持計算架構及其底層技術。
1.類腦計算與工程
作為總編,我很高興宣布在《類腦計算與工程》(NCE)上發表第一篇內容。本篇社論旨在通過指出當前信息和通信技術所面臨的挑戰,來表明NCE在解決這些挑戰中所扮演的角色,以及創辦這樣一本期刊的必要。
雖然幾十年來摩爾定律一直推動著技術進步,但直到最近幾年,我們才開始收獲這一進步的多項成果:信息和通信技術(ICT)正在變得無孔不入,并在全球范圍內影響我們日常生活的方方面面:從全球通信到教育和健康,從金融到自動化、交通和氣候變化等等。隨著社會的數字化,人們能夠獲取更多的個性化信息,而計算技術和電子設備每年都在產生越來越多的電子數據。
為了應對這場技術革命所帶來的需求,并且利用數據可用性所創造的機會,新的數據科學、機器學習和人工智能算法已經出現。AI算法通常使用神經網絡和深度學習技術來解決模式識別任務,并已被證明從大量數據中提取信息非常成功。其訓練方法需要大量的數據和計算資源,這反過來對能源提出需求。
然而,無論是從全球電力供應還是計算的碳足跡來看,這種能源都不可持續。例如,據估計,訓練AI神經網絡,如GPT-3,需要在單臺計算機上花費超過27年的處理時間,并且這些計算總共會產生超過35000公斤的二氧化碳排放量。
Figure 1. (a)CMOS芯片上的晶體管數量變化(b)蘇黎世大學、蘇黎世聯邦理工類腦芯片
這些高昂的成本源于當前的計算技術基于經典的馮·諾依曼結構,其非神經網絡并行處理這一特性的絕佳匹配。另一方面,生物大腦在功耗要求、訓練數據的樣本數量以及適應新的和意外情況方面優于人工智能系統。這尤其適用于那些對計算機和人工智能算法來說仍非常困難,但對人類和動物來說輕松完成的任務,如少量樣本的在線學習、與環境互動、感知和運動控制。
一種極具潛力的方法是通過“類腦計算和工程”領域的研究開發新的計算范式和ICT系統,這類系統能夠智能地與環境交互,彌合自然智能和人工智能之間的差距,解決未來計算面臨的許多開放性挑戰。我們現在正處于一個非常激動人心的時代,在這個時代,摩爾定律的終結、對神經網絡的重新關注以及對低功耗和可持續的“綠色AI”需求等匯聚,都指向了類腦計算和工程領域蘊藏著的巨大潛力。
2. 類腦計算與工程
主題領域
“類腦”這個詞最初是由卡弗·米德在20世紀80年代末在加州理工學院創造的,用來描述包含電子電路的超大規模集成電路(VLSI),這些電路模仿了神經系統中存在的神經生物學結構。
然而,隨著時間的推移,這個詞的原始含義已經發生了“變形”,開始用來描述更廣泛的概念和方法。除了原始的“類腦工程”之外,這個詞也開始用來描述“類腦計算”系統,這些系統包含純數字電路或傳統處理器,用于模擬脈沖神經網絡和神經計算模型。
與此同時,同樣的術語也開始用來指代由新興存儲技術領域開發的納米級“記憶電阻器”設備組成的系統。今天,這個術語也被用來指代算法和機器學習方法,模擬具備生物可解釋性和硬件友好的脈沖神經網絡及學習機制。
2.1 集成在CMOS技術中的神經電路和系統
最初的類腦工程主要目標是通過使用在弱反或亞閾值模式下操作的晶體管,直接模擬生物神經網絡的計算物理特性。這種方法旨在以動物大腦中神經系統所使用的相同組織原則來構建人工神經元、突觸、網絡和感知系統。其具有雙重目標:既通過構建真實神經電路的物理仿真來理解神經計算,又開發與當代標準數字計算機所不同的小型低功耗感知處理和計算體系結構。鑒于這種方法的高風險和基礎研究方面,今天仍在追求這一方法的學術團體數量很少。這一社區主要專注于開發小規模原型芯片,探索神經計算的不同方面,從感知系統到具有生物可解釋性的神經動力學可重構網絡,到基于脈沖的學習和可塑性電路。
近年來,“類腦”這個詞也被用來描述混合信號和純數字的VLSI系統,以實現可以用于模擬脈沖神經網絡模型的計算平臺。這一方向主要受到了計算和集成電路技術進步的可能性驅動,旨在構建大規模的專用類腦計算系統。例如,歐盟人腦計劃支持開發了晶圓級集成系統,旨在準確再現包含大量神經元的神經科學建模研究模擬。
與此相似,人腦計劃支持開發的SpiNNaker系統,是一個多核計算機,旨在實時模擬大量的脈沖神經元。在其目前的發展狀態下,SpiNNaker堆疊600個印刷電路板(每個搭載48個SpiNNaker處理器)而構建,支持數億神經元的模擬。IBM提出了另一種擴大模擬脈沖神經網絡規模的策略,即在2014年推出了“TrueNorth”神經形態系統,該系統在同一芯片上集成了4096個核,每個核包括純數字的異步電路,能夠模擬256個神經元和256×256的突觸連接。
這是該領域的一項重大突破,因為它展示了先進的技術節點,如三星28納米塊狀CMOS工藝,可以支持集成大量硅神經元,同時保持極低的總體功耗(例如,實時運行典型循環網絡時平均功耗為70毫瓦,比運行相同網絡的傳統計算機低了四個數量級)。
2.2憶阻器及新興存儲技術
3. 開放性挑戰
4.結論與展望
關于SynSense時識科技 SynSense時識科技(原名aiCTX)創立于2017年,是全球領先的類腦智能與應用解決方案提供商。 SynSense時識科技專注類腦智能的研究與開發,以蘇黎世大學和蘇黎世聯邦理工學院20+年全球領先的研發經驗和技術積累為基石,聚焦邊緣計算應用場景,提供橫跨感知與計算的類腦智能應用與解決方案。 SynSense時識科技率先實現了類腦芯片商業化應用零的突破,為人工智能向認知智能發展,萬物互聯向萬物智聯發展邁出了關鍵一步。SynSense將和伙伴一起,共同構建“端到芯”“物與物”“物與人”萬物智聯的認知生態,引領全球類腦智能應用與發展,為人類未來美好生活創造福祉。
審核編輯 :李倩
-
摩爾定律
+關注
關注
4文章
634瀏覽量
79002 -
數字化
+關注
關注
8文章
8708瀏覽量
61728 -
機器學習
+關注
關注
66文章
8406瀏覽量
132567
原文標題:NCE社論:認識類腦計算與工程——海量數據、計算資源與類腦邏輯 (一)
文章出處:【微信號:SynSense時識科技,微信公眾號:SynSense時識科技】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論