OpenAI研究人員日前發(fā)布了一個(gè)工具庫，該工具庫可以幫助研究人員在圖形處理器（graphics-processor-unit，GPU）上建立更快、更高效、占內(nèi)存更少的神經(jīng)網(wǎng)絡(luò)。

OpenAI研究人員日前發(fā)布了一個(gè)工具庫，可以幫助研究人員在圖形處理器上建立更快、更高效、占內(nèi)存更少的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)由多層相連的節(jié)點(diǎn)構(gòu)成。這類網(wǎng)絡(luò)的架構(gòu)根據(jù)數(shù)據(jù)和應(yīng)用變化很多，但是所有模型都受到它們在圖形處理器上運(yùn)行方式的限制。

以更少的計(jì)算能力訓(xùn)練更大模型的一種辦法是引入稀疏矩陣。如果一個(gè)矩陣?yán)锩嬗泻芏嗔悖蔷鸵暈橄∈杈仃嚒ｊ嚵兄械目赵乜梢栽诰仃嚦朔ㄖ袎嚎s和跳過，就在圖形處理器中占用的內(nèi)存更少。進(jìn)行運(yùn)算的計(jì)算成本與矩陣中非零條目的數(shù)量成比例,有了稀疏矩陣就意味著節(jié)省了多的計(jì)算能力用于構(gòu)建更廣或更深的網(wǎng)絡(luò)，能訓(xùn)練更高效，進(jìn)行推斷的速度可提高十倍。

研究人員指出，英偉達(dá)并不支持塊稀疏模型。所以，OpenAI的團(tuán)隊(duì)決定開發(fā)核——將軟件匯集在硬件上運(yùn)行的微程序，優(yōu)化用于為更大的研究圈構(gòu)建塊稀疏網(wǎng)絡(luò)。

伊隆·馬斯克（Elon Musk）的人工智能研究部門的研究人員內(nèi)部使用這種程序訓(xùn)練長的短時(shí)記憶網(wǎng)絡(luò)，對亞馬遜網(wǎng)（Amazon）和互聯(lián)網(wǎng)電影資料庫（IMDB）的評論文本進(jìn)行情感分析。

“我們的稀疏模型將互聯(lián)網(wǎng)電影資料庫數(shù)據(jù)集文本水平的藝術(shù)狀態(tài)誤差從5.91%降低到5.01%。從我們以往的結(jié)果來看，這個(gè)提高很有前景，因?yàn)橹白詈玫慕Y(jié)果也只是在更短句子水平的數(shù)據(jù)集運(yùn)算。”O(jiān)penAI在博文中表示。

核心程序在英偉達(dá)的統(tǒng)一計(jì)算設(shè)備架構(gòu)(CUDA)運(yùn)算平臺編寫，OpenAI最近只開發(fā)了TensorFlow的服務(wù)運(yùn)行，所以在不同框架下工作的研究人員要編寫自己的服務(wù)運(yùn)行,它也只支持英偉達(dá)圖形處理器。OpenAI的技術(shù)人員表示：這確實(shí)可以擴(kuò)展到支持小型塊矩陣乘法的其他架構(gòu)，包含了我知道的大多數(shù)架構(gòu)，但是谷歌的TPU2不在其中。雖然結(jié)果很有前景，“但是由于這些核程序仍然很新，我們還沒有確定它們能在何時(shí)何處幫助“神經(jīng)網(wǎng)絡(luò)架構(gòu)”。實(shí)驗(yàn)中，我們提供了一些情景，它能幫助向模型增加稀疏。我們鼓勵(lì)研究圈幫助進(jìn)一步探索這個(gè)領(lǐng)域。”該研究人員表示。

英偉達(dá)知道了這項(xiàng)工作，正在等著代碼發(fā)布，以便為其提供更廣的支持，這名技術(shù)人員補(bǔ)充說。OpenAI的工作與麻省理工學(xué)院研究人員開發(fā)的軟件Taco相似，后者產(chǎn)生了自動(dòng)處理稀疏矩陣所需的代碼。