一、前述
CNN和RNN幾乎占據(jù)著深度學(xué)習(xí)的半壁江山,所以本文將著重講解CNN+RNN的各種組合方式,以及CNN和RNN的對比。
二、CNN與RNN對比
1、CNN卷積神經(jīng)網(wǎng)絡(luò)與RNN遞歸神經(jīng)網(wǎng)絡(luò)直觀圖
2、相同點:
2.1. 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的擴展。
2.2. 前向計算產(chǎn)生結(jié)果,反向計算模型更新。
2.3. 每層神經(jīng)網(wǎng)絡(luò)橫向可以多個神經(jīng)元共存,縱向可以有多層神經(jīng)網(wǎng)絡(luò)連接。
3、不同點
3.1. CNN空間擴展,神經(jīng)元與特征卷積;RNN時間擴展,神經(jīng)元與多個時間輸出計算
3.2. RNN可以用于描述時間上連續(xù)狀態(tài)的輸出,有記憶功能,CNN用于靜態(tài)輸出
3. 3. CNN高級100+深度,RNN深度有限
三、CNN+RNN組合方式
1. CNN 特征提取,用于RNN語句生成圖片標(biāo)注。
2. RNN特征提取用于CNN內(nèi)容分類視頻分類。
3. CNN特征提取用于對話問答圖片問答。
四、具體應(yīng)用
1、圖片標(biāo)注
基本思路
目標(biāo)是產(chǎn)生標(biāo)注的語句,是一個語句生成的任務(wù),LSTM?描述的對象大量圖像信息,圖像信息表達(dá),CNN?CNN網(wǎng)絡(luò)中全連接層特征描述圖片,特征與LSTM輸入結(jié)合。
具體步驟:
1.1 模型設(shè)計-特征提取全連接層特征用來描述原圖片LSTM輸入:word+圖片特征;輸出下一word。
1.2 模型設(shè)計-數(shù)據(jù)準(zhǔn)備
1. 圖片CNN特征提取2. 圖片標(biāo)注生成Word2Vect 向量3. 生成訓(xùn)練數(shù)據(jù):圖片特征+第n單詞向量:第n+1單詞向量。
1.3 模型訓(xùn)練:
1. 運用遷移學(xué)習(xí),CNN特征,語句特征應(yīng)用已有模型2. 最終的輸出模型是LSTM,訓(xùn)練過程的參數(shù)設(shè)定:梯度上限(gradient clipping), 學(xué)習(xí)率調(diào)整(adaptivelearning)3. 訓(xùn)練時間很長。
1.4 模型運行:
1. CNN特征提取2. CNN 特征+語句開頭,單詞逐個預(yù)測
2、視頻行為識別 :
視頻中在發(fā)生什么?
2.1常用方法總結(jié):
RNN用于CNN特征融合1. CNN 特征提取2. LSTM判斷3. 多次識別結(jié)果分析。
不同的特征不同輸出。
或者:所有特征作為一個輸出。
2.2 RNN用于CNN特征篩選+融合:
1. 并不是所有的視頻 圖像包含確定分類信息2. RNN用于確定哪些frame 是有用的3. 對有用的圖像特征 融合。
2.3 RNN用于,目標(biāo)檢測:
1. CNN直接產(chǎn)生目標(biāo)候選區(qū)2. LSTM對產(chǎn)生候選區(qū)融合(相鄰時刻位置近 似)3. 確定最終的精確位置。
2.4 多種模型綜合:
競賽/應(yīng)用中,為了產(chǎn)生最好結(jié)果,多采用 多模型ensemble形式。
3、圖片/視頻問答
3.1 問題種類
3.2 圖片問答意義
1. 是對純文本語言問答系統(tǒng)的擴展2. 圖片理解和語言處理的深度融合3. 提高人工智能應(yīng)用范圍-觀察,思考,表達(dá)
-
cnn
+關(guān)注
關(guān)注
3文章
352瀏覽量
22204 -
遷移學(xué)習(xí)
+關(guān)注
關(guān)注
0文章
74瀏覽量
5559 -
rnn
+關(guān)注
關(guān)注
0文章
89瀏覽量
6886
原文標(biāo)題:深度學(xué)習(xí)篇——CNN和RNN結(jié)合與對比,實例講解
文章出處:【微信號:Imgtec,微信公眾號:Imagination Tech】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論