做計(jì)算機(jī)視覺(jué),離不開(kāi)CNN。
可是,卷積、池化、Softmax……究竟長(zhǎng)啥樣,是怎樣相互連接在一起的?
對(duì)著代碼憑空想象,多少讓人有點(diǎn)頭皮微涼。于是,有人干脆用Unity給它完整3D可視化了出來(lái)。
還不光是有個(gè)架子,訓(xùn)練過(guò)程也都呈現(xiàn)得明明白白。
比如隨著epoch(迭代次數(shù))的變化,訓(xùn)練過(guò)程中各層出現(xiàn)的實(shí)時(shí)變化。
?
為了能更清楚地展示網(wǎng)絡(luò)細(xì)節(jié),用戶還可以在其中自由地折疊、擴(kuò)展每個(gè)層。
比如將特征圖在線性布局和網(wǎng)格布局之間轉(zhuǎn)換。
折疊卷積層的特征圖輸出。
對(duì)全連接層進(jìn)行邊綁定(edge bunding)等等。
這樣的可視化圖像,可以通過(guò)加載TensorFlow的檢查點(diǎn)來(lái)構(gòu)建。
也可以在Unity編輯器中設(shè)計(jì)。
是不是有點(diǎn)鵝妹子嚶那感覺(jué)了?
最近,這個(gè)項(xiàng)目又在社交媒體上火了起來(lái)。
網(wǎng)友們紛紛表示:
“要是能在訓(xùn)練的時(shí)候看到這個(gè)過(guò)程,再長(zhǎng)時(shí)間我也能忍啊。”
“求開(kāi)源。”
該項(xiàng)目的作者,是一位來(lái)自維也納的3D特效師。
據(jù)他介紹,之所以創(chuàng)建這樣一個(gè)CNN可視化工具,是因?yàn)樗约撼鯇W(xué)神經(jīng)網(wǎng)絡(luò)時(shí),經(jīng)常覺(jué)得很難理解卷積層之間是如何相互連接,又如何與不同類(lèi)型的層連接的。
而該工具的主要功能包括,卷積、最大池化和完全連接層的可視化表示,以及各種能實(shí)現(xiàn)更清晰可視化的簡(jiǎn)化機(jī)制等等。
總而言之,就是想讓初學(xué)者通過(guò)最直觀的方式,來(lái)get到CNN的重點(diǎn)。
如何用Unity搞出一個(gè)3D網(wǎng)絡(luò)
在正式上手Unity前,作者先在Houdini軟件中,搭建了一個(gè)可視化的3D網(wǎng)絡(luò)原型。
也就是說(shuō),先給Unity版3D網(wǎng)絡(luò)提供一個(gè)搭建思路,提前準(zhǔn)備好實(shí)現(xiàn)展示卷積計(jì)算的方法、特征圖的形狀、邊綁定的效果等問(wèn)題。
它的節(jié)點(diǎn)編輯器長(zhǎng)這樣:
然后,就可以在Unity上搭建3D神經(jīng)網(wǎng)絡(luò)了。
首先,需要預(yù)設(shè)好神經(jīng)網(wǎng)絡(luò)的“形狀”。
由于之前并沒(méi)有用過(guò)Unity,作者先學(xué)習(xí)了著色器和過(guò)程式幾何相關(guān)的知識(shí)。
這里面,作者發(fā)現(xiàn)了一些局限性,他采用的是Unity為著色器開(kāi)發(fā)的語(yǔ)言Shaderlab,這個(gè)語(yǔ)言無(wú)法使用著色變化,只有對(duì)語(yǔ)義進(jìn)行預(yù)定義的變量,才能讓它在頂點(diǎn)、幾何和像素著色器之間傳遞。
而且,它無(wú)法任意分配頂點(diǎn)屬性,只有位置、顏色、UV等預(yù)定義屬性。(可能這也是3D網(wǎng)絡(luò)無(wú)法實(shí)時(shí)改變顏色的原因之一)
在研究了一些實(shí)例化(instancing)相關(guān)的概念后,作者計(jì)劃采用幾何著色器的方法生成神經(jīng)網(wǎng)絡(luò)的連線。其中起點(diǎn)和終點(diǎn)被傳遞到頂點(diǎn)著色器,并直接轉(zhuǎn)發(fā)到幾何著色器。
這些線,最多可以由120個(gè)頂點(diǎn)組成,因?yàn)閁nity允許的幾何著色器能創(chuàng)建的變量的標(biāo)量浮點(diǎn)數(shù)為1024。
設(shè)計(jì)后的網(wǎng)絡(luò)形狀,大致長(zhǎng)這樣:
然后,就是從模型的TensorFlow代碼中,生成對(duì)應(yīng)的3D神經(jīng)網(wǎng)絡(luò)圖像。
其中,Tensorflow-native.ckpt格式的文件,需要存儲(chǔ)重構(gòu)模型圖所需的數(shù)據(jù)、二進(jìn)制的權(quán)重讀取和激活值,以及特定層的名字。
以Cifar10-greyscale數(shù)據(jù)集為例,需要編寫(xiě)一個(gè)檢查點(diǎn)(checkpoint)文件,以及設(shè)置隨即初始化的權(quán)重。
在那之后,需要加載這些檢查點(diǎn)文件、啟動(dòng)TensorFlow會(huì)話,輸入訓(xùn)練示例,以便查詢每一層的激活函數(shù)。
然后編寫(xiě)一個(gè)json文件,存儲(chǔ)每一層的形狀、名稱、權(quán)重和激活函數(shù),便于讀取。然后使用權(quán)重值,將顏色數(shù)據(jù)分配給各層的Unity Mesh。
最終搞出來(lái)的效果,還是不錯(cuò)的:
作者還錄了個(gè)開(kāi)發(fā)視頻,在文末可以找到地址。
相關(guān)研究還不少
事實(shí)上,此前已經(jīng)有不少學(xué)者,進(jìn)行過(guò)神經(jīng)網(wǎng)絡(luò)可視化的研究。
例如,去年5月,一位中國(guó)博士就可視化了卷積神經(jīng)網(wǎng)絡(luò),將每一層的變化都展示得非常清楚,只需要點(diǎn)擊對(duì)應(yīng)的神經(jīng)元,就能看見(jiàn)它的“操作”。
這是用TensorFlow.js加載的一個(gè)10層預(yù)訓(xùn)練模型,相當(dāng)于在瀏覽器上就能跑CNN模型,也可以實(shí)時(shí)交互,顯示神經(jīng)元的變化。
不過(guò),這還是個(gè)2D的項(xiàng)目。
目前,也已經(jīng)有人像上面那個(gè)神經(jīng)網(wǎng)絡(luò)模型一樣,做出了3D的可視化神經(jīng)網(wǎng)絡(luò):
這個(gè)項(xiàng)目,同樣用到了邊綁定、光線追蹤等技術(shù),與特征提取、微調(diào)和歸一化相結(jié)合,將神經(jīng)網(wǎng)絡(luò)可視化。
這項(xiàng)項(xiàng)目希望能借由這些技術(shù),來(lái)估計(jì)神經(jīng)網(wǎng)絡(luò)中不同部分的重要性。
為此,作者將神經(jīng)網(wǎng)絡(luò)的每一部分都用不同的顏色來(lái)表示,根據(jù)節(jié)點(diǎn)和節(jié)點(diǎn)在網(wǎng)絡(luò)中的重要性,來(lái)預(yù)測(cè)它們之間的關(guān)聯(lián)性。
大致的處理過(guò)程是這樣的:
如果對(duì)于這類(lèi)3D神經(jīng)網(wǎng)絡(luò)可視化感興趣,可以在文末找到對(duì)應(yīng)的開(kāi)源項(xiàng)目地址。
作者介紹
Stefan Sietzen,現(xiàn)居維也納,此前曾是個(gè)3D視覺(jué)方向的自由職業(yè)者。
目前,他在維也納工業(yè)大學(xué)讀碩,對(duì)視覺(jué)計(jì)算(visual computing)非常感興趣,這個(gè)3D神經(jīng)網(wǎng)絡(luò),就是他在碩士期間做的項(xiàng)目之一。
編輯:黃飛
?
評(píng)論
查看更多