由德國于利希神經科學和醫學研究所聯合國際研究機構提出的新算法,解決了限制在E級超級計算機上模擬大腦神經網絡的焦點問題——即原有網絡創建算法使得每個處理器所需的計算機內存量隨著神經網絡的增大而增加。同時,經過測試發現,新算法還一定程度的提高了超級計算機的模擬速度。
人腦是一個令人難以置信的復雜器官,由100億個相互關聯的神經細胞組成。即使在最強大的超級計算機幫助下,目前也不可能在這種尺寸的網絡中模擬神經元信號的交換。
不過,近日,一個國際研究小組已在實現E級超級計算機上模擬大腦網絡邁出了決定性的一步,該項研究允許使用相同數量的計算機內存來代表人腦中較大的部分,新算法顯著加速了現有超級計算機上的大腦模擬效果。這項研究發表在Frontiers in Neuroinformatics上。
“自2014年以來,我們的軟件可以模擬人腦中大約百分之一的神經元之間的聯系”德國于利希神經科學和醫學研究所(INM-6)主任Markus Diesmann說。為了實現這一壯舉,該軟件運行需要千兆超級計算機,例如神戶的K計算機和于利希的超級計算機JUQUEEN。
Diesmann研究模擬軟件NEST已經20多年。NEST是一個免費、開源模擬代碼,被神經科學界廣泛使用,同時也是歐洲類腦計劃的核心模擬器。而Diesmann本人在歐洲類腦計劃中領導理論神經科學和高性能分析與計算平臺領域的項目。
使用NEST,網絡中每個神經元的行為都由一些數學方程來表示。未來的E級計算機,比如計劃在神戶建設的Post-K計算機和于利希建設的JUWELS計算機,它們的性能將超過當今高端超級計算機10到100倍。而這將是研究人員第一次擁有模擬人類大腦這樣大規模神經網絡的計算機能力。
看起來是死路一條:模擬人腦規模,處理器的內存要比超級計算機大100倍
盡管目前的仿真技術使研究人員有能力開始研究大型神經網絡,但它也代表了E級技術發展的終點。目前的超級計算機由大約10萬臺稱為節點的小型計算機組成,每臺計算機都配備了多個進行實際計算的處理器。
“在進行神經元網絡模擬之前,需要虛擬地創建神經元及其之間的連接,這意味著它們需要在節點的存儲器中實例化。在模擬過程中,神經元不知道其目標神經元在哪一個節點。因此,它的短電脈沖需要發送給所有節點,然后每個節點再檢查這些電脈沖中的哪一個與該節點上存在的虛擬神經元相關。”斯德哥爾摩KTH皇家理工學院的Susanne Kunkel解釋說
對于現階段來說,這種網絡創建的算法是有效的,因為所有節點同時構建其網絡的特定部分。但是,將所有電脈沖發送到所有節點并不適合在E級系統上進行仿真。
“為了有效地檢查每個電脈沖的相關性,需要整個網絡中每個神經元的每個處理器都有一個信息位。對于一個有10億個神經元的網絡來說,每個節點的大部分內存都將被神經元的這一個信息位所消耗。”Diesmann補充到。
使用千萬億次超級計算機(左下),以前的模擬技術可以模擬人腦中大約1%的神經細胞(神經元)(圖片左側大腦暗紅色區域)。盡管下一代超級計算機的性能超過當今超級計算機的性能10到100倍,應用以前的模擬技術在大腦的模擬上也只能有很小的進展(圖片中間大腦暗紅色區域)。使用相同數量的計算機內存(右下角),可以用該研究提出的新技術模擬人類大腦的更多部分。我們大腦的10%約等于整個大腦皮層的大小(圖片右側大腦的深紅色區域),高達140億個神經細胞,這是更高級的處理必不可少的。另一部分神經元位于小腦(藍色部分)。圖片來自Forschungszentrum Jülich
這就是模擬更大網絡時遇到的主要問題:每個處理器所需的計算機內存量隨著神經元網絡的增大而增加。如果要模擬人腦的規模,這就要求每個處理器的可用內存比現在的超級計算機大100倍。但是,這在下一代超級計算機中并不太可能出現,下一代計算機中每個計算節點的處理器數量或許會增加,但每個處理器的內存和計算節點的數量將保持不變。
新算法的突破:節點間的神經元活動數據交換有條理,不必為神經元增加比特
神經信息學前沿的突破性成果是創建了超級計算機神經元網絡的一種新算法。由于這個算法,每個節點上所需的內存不再隨著網絡增大而增加。
在模擬開始時,新技術允許節點交換關于誰需要發送神經元活動數據的信息給誰。一旦獲得了這一知識,節點間的神經元活動數據交換就是有條理的,如此各節點只接收它需要的信息,而不必再為網絡中的每個神經元添加一個比特。
有益的另一面:使現有的超級計算機模擬速度更快
在測試新算法的時,科學家們提出了另一有益的發現,Susanne Kunkel說:“當分析新算法時,我們意識到這項新技術不僅能完成E級系統的模擬,同時還會使現有的超級計算機模擬速度更快。”
事實上,隨著內存消耗得到控制,模擬的速度成為技術進一步發展的主要焦點。例如,在于利希的超級計算機JUQUEEN上運行的由5.8萬億突觸連接的大型模擬神經網絡需要28.5分鐘來計算一秒鐘的生物時間。隨著仿真的數據結構改進,時間減少到了5.2分鐘。
利用這項新技術,我們可以比以前更好地利用現代微處理器的并行性,這在E級計算機中將變得更加重要。”該項研究的主要作者Jakob Jordan評論道。
E級硬件和相應軟件的結合促進了對大腦基本功能的研究,比如可塑性和如何快速學習。”Markus Diesmann說。
在模擬軟件Nest的下一個版本中,研究人員將把他們的成果作為開源資源免費提供給社區。
“我們一直在K計算機上使用NEST來模擬健康的人和帕金森病人的大腦基底核回路的復雜動態。我們很高興聽到關于新一代NEST的消息,這將使我們能夠在Post-K計算機上運行全腦模擬來闡明運動控制和心理功能的神經機制。”沖繩科學技術研究院(OIST)的Kenji Doya說。
“這項研究將是構建E級計算機國際合作一個很好的例子。重要的是,我們已經準備好應用程序,在這些超級計算機建設出來的第一天就能使用。”神戶理化學研究所的Mitsuhisa Sato最后總結道。
-
神經網絡
+關注
關注
42文章
4773瀏覽量
100890 -
神經元
+關注
關注
1文章
363瀏覽量
18470
原文標題:神經科學新突破!新算法助力超算進行人類大腦模擬
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論