IBM Research 稱,已經(jīng)開發(fā)出了一種內(nèi)存計(jì)算新方法,可以為微軟和谷歌尋求的高性能和機(jī)器學(xué)習(xí)應(yīng)用的硬件加速器提供答案。
在近日 Nature Electronics 期刊上發(fā)表的一篇論文中,IBM 研究人員描述了這種新的 “混合精度內(nèi)存計(jì)算” 方法。
IBM 關(guān)注傳統(tǒng)計(jì)算體系結(jié)構(gòu)的不同看法,在這種體系結(jié)構(gòu)中,軟件需要在單獨(dú)的 CPU 和 RAM 單元之間進(jìn)行數(shù)據(jù)傳輸。
據(jù) IBM 稱,這種被稱為 “馮·諾依曼” 的體系結(jié)構(gòu)設(shè)計(jì),為數(shù)據(jù)分析和機(jī)器學(xué)習(xí)應(yīng)用制造了一個(gè)瓶頸,這些應(yīng)用需要在處理單元和內(nèi)存單元之間進(jìn)行更大的數(shù)據(jù)傳輸。傳輸數(shù)據(jù)也是一個(gè)耗能的過程。
應(yīng)對這一挑戰(zhàn),IBM 給出的一種方法是模擬相變內(nèi)存(PCM)芯片,該芯片目前還處于原型階段,500 萬個(gè)納米級 PCM 器件組成 500×2000 交叉陣列。
PCM 的一個(gè)關(guān)鍵優(yōu)勢是可以處理大多數(shù)密集型數(shù)據(jù)處理,而無需將數(shù)據(jù)傳輸?shù)?CPU 或 GPU,這樣以更低的能量開銷實(shí)現(xiàn)更快速的處理。
IBM 的 PCM 單元將作為 CPU 加速器,就像微軟用于加速 Bing 和加強(qiáng)機(jī)器學(xué)習(xí)的 FPGA 芯片一樣。
據(jù) IBM 稱,研究表明在某些情況下,其 PCM 芯片能夠以模擬的方式進(jìn)行操作,執(zhí)行計(jì)算任務(wù),并提供與 4 位 FPGA 存儲器芯片相當(dāng)?shù)臏?zhǔn)確度,但能耗降低了 80 倍。
模擬 PCM 硬件并不適合高精度計(jì)算。所幸的是,數(shù)字型 CPU 和 GPU 是適合的,IBM 認(rèn)為混合架構(gòu)可以實(shí)現(xiàn)更高性能、更高效率和更高精度的平衡。
這種設(shè)計(jì)將大部分處理留給內(nèi)存,然后將較輕的負(fù)載交給 CPU 進(jìn)行一系列的精度修正。
根據(jù) IBM 蘇黎世實(shí)驗(yàn)室的電氣工程師、也是該論文的主要作者 Manuel Le Gallo 稱,這種設(shè)計(jì)有助于云中的認(rèn)知計(jì)算,有助于釋放對高性能計(jì)算機(jī)的訪問。
Le Gallo 表示:“憑借我們現(xiàn)在的精確度,我們可以將能耗降低到是使用高精度 GPU 和 CPU 的 1/6。”
“所以我們的想法是,為了應(yīng)對模擬計(jì)算中的不精確性,我們將其與標(biāo)準(zhǔn)處理器結(jié)合起來。我們要做的是將大量計(jì)算任務(wù)轉(zhuǎn)移到 PCM 中,但同時(shí)得到最終的結(jié)果是精確的。”
這種技術(shù)更適合于如數(shù)字圖像識別等應(yīng)用,其中誤解少數(shù)像素并不會妨礙整體識別,此外還有一些醫(yī)療應(yīng)用。
“你可以用低精度完成大量計(jì)算——以模擬的方式,PCM 會非常節(jié)能——然后使用傳統(tǒng)處理器來提高精度。”
對于只有 1 兆字節(jié)大小的 IBM 原型內(nèi)存芯片,現(xiàn)在還處于初期階段。為了適用于現(xiàn)代數(shù)據(jù)中心的規(guī)模化應(yīng)用,它需要達(dá)到千兆字節(jié)的內(nèi)存量級,分布在數(shù)萬億個(gè) PCM 中。
盡管如此,IBM 認(rèn)為可以通過構(gòu)建更大規(guī)模的 PCM 設(shè)備或使其中 PCM 并行運(yùn)行來實(shí)現(xiàn)這一目標(biāo)。
-
IBM
+關(guān)注
關(guān)注
3文章
1755瀏覽量
74679 -
cpu
+關(guān)注
關(guān)注
68文章
10855瀏覽量
211594 -
gpu
+關(guān)注
關(guān)注
28文章
4729瀏覽量
128897
原文標(biāo)題:IBM 取得內(nèi)存計(jì)算新突破,AI 訓(xùn)練能耗降低 80 倍
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論