色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

【連載】深度學習筆記12:卷積神經網絡的Tensorflow實現

人工智能實訓營 ? 2018-10-30 18:50 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在上一講中,我們學習了如何利用 numpy 手動搭建卷積神經網絡。但在實際的圖像識別中,使用 numpy 去手寫 CNN 未免有些吃力不討好。在 DNN 的學習中,我們也是在手動搭建之后利用 Tensorflow 去重新實現一遍,一來為了能夠對神經網絡的傳播機制能夠理解更加透徹,二來也是為了更加高效使用開源框架快速搭建起深度學習項目。本節就繼續和大家一起學習如何利用 Tensorflow 搭建一個卷積神經網絡。

我們繼續以 NG 課題組提供的 sign 手勢數據集為例,學習如何通過 Tensorflow 快速搭建起一個深度學習項目。數據集標簽共有零到五總共 6 類標簽,示例如下:


先對數據進行簡單的預處理并查看訓練集和測試集維度:

X_train = X_train_orig/255.
X_test = X_test_orig/255.
Y_train = convert_to_one_hot(Y_train_orig, 6).T Y_test = convert_to_one_hot(Y_test_orig, 6).T
print ("number of training examples = " + str(X_train.shape[0]))
print ("number of test examples = " + str(X_test.shape[0]))
print ("X_train shape: " + str(X_train.shape))
print ("Y_train shape: " + str(Y_train.shape))
print ("X_test shape: " + str(X_test.shape))
print ("Y_test shape: " + str(Y_test.shape))

640?wx_fmt=png
可見我們總共有 1080 張 64643 訓練集圖像,120 張 64643 的測試集圖像,共有 6 類標簽。下面我們開始搭建過程。

創建 placeholder

首先需要為訓練集預測變量和目標變量創建占位符變量 placeholder ,定義創建占位符變量函數:

def create_placeholders(n_H0, n_W0, n_C0, n_y):  
""" Creates the placeholders for the tensorflow session. Arguments: n_H0 -- scalar, height of an input image n_W0 -- scalar, width of an input image n_C0 -- scalar, number of channels of the input n_y -- scalar, number of classes Returns: X -- placeholder for the data input, of shape [None, n_H0, n_W0, n_C0] and dtype "float" Y -- placeholder for the input labels, of shape [None, n_y] and dtype "float" """ X = tf.placeholder(tf.float32, shape=(None, n_H0, n_W0, n_C0), name='X') Y = tf.placeholder(tf.float32, shape=(None, n_y), name='Y')
return X, Y
參數初始化

然后需要對濾波器權值參數進行初始化:

def initialize_parameters():  
""" Initializes weight parameters to build a neural network with tensorflow. Returns: parameters -- a dictionary of tensors containing W1, W2 """ tf.set_random_seed(1) W1 = tf.get_variable("W1", [4,4,3,8], initializer = tf.contrib.layers.xavier_initializer(seed = 0)) W2 = tf.get_variable("W2", [2,2,8,16], initializer = tf.contrib.layers.xavier_initializer(seed = 0)) parameters = {"W1": W1,
"W2": W2}
return parameters
執行卷積網絡的前向傳播過程

640?wx_fmt=png
前向傳播過程如下所示:
CONV2D -> RELU -> MAXPOOL -> CONV2D -> RELU -> MAXPOOL -> FLATTEN -> FULLYCONNECTED


可見我們要搭建的是一個典型的 CNN 過程,經過兩次的卷積-relu激活-最大池化,然后展開接上一個全連接層。利用
Tensorflow 搭建上述傳播過程如下:

def forward_propagation(X, parameters):  
""" Implements the forward propagation for the model Arguments: X -- input dataset placeholder, of shape (input size, number of examples) parameters -- python dictionary containing your parameters "W1", "W2" the shapes are given in initialize_parameters Returns: Z3 -- the output of the last LINEAR unit """ # Retrieve the parameters from the dictionary "parameters" W1 = parameters['W1'] W2 = parameters['W2']
# CONV2D: stride of 1, padding 'SAME' Z1 = tf.nn.conv2d(X,W1, strides = [1,1,1,1], padding = 'SAME')
# RELU A1 = tf.nn.relu(Z1)
# MAXPOOL: window 8x8, sride 8, padding 'SAME' P1 = tf.nn.max_pool(A1, ksize = [1,8,8,1], strides = [1,8,8,1], padding = 'SAME')
# CONV2D: filters W2, stride 1, padding 'SAME' Z2 = tf.nn.conv2d(P1,W2, strides = [1,1,1,1], padding = 'SAME')
# RELU A2 = tf.nn.relu(Z2)
# MAXPOOL: window 4x4, stride 4, padding 'SAME' P2 = tf.nn.max_pool(A2, ksize = [1,4,4,1], strides = [1,4,4,1], padding = 'SAME')
# FLATTEN P2 = tf.contrib.layers.flatten(P2) Z3 = tf.contrib.layers.fully_connected(P2, 6, activation_fn = None)
return Z3
計算當前損失

Tensorflow 中計算損失函數非常簡單,一行代碼即可:

def compute_cost(Z3, Y):  
""" Computes the cost Arguments: Z3 -- output of forward propagation (output of the last LINEAR unit), of shape (6, number of examples) Y -- "true" labels vector placeholder, same shape as Z3 Returns: cost - Tensor of the cost function """ cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=Z3, labels=Y))
return cost

定義好上述過程之后,就可以封裝整體的訓練過程模型??赡苣銜枮槭裁礇]有反向傳播,這里需要注意的是 Tensorflow 幫助我們自動封裝好了反向傳播過程,無需我們再次定義,在實際搭建過程中我們只需將前向傳播的網絡結構定義清楚即可。

封裝模型
def model(X_train, Y_train, X_test, Y_test, learning_rate = 0.009,
     num_epochs = 100, minibatch_size = 64, print_cost = True):  
""" Implements a three-layer ConvNet in Tensorflow: CONV2D -> RELU -> MAXPOOL -> CONV2D -> RELU -> MAXPOOL -> FLATTEN -> FULLYCONNECTED Arguments: X_train -- training set, of shape (None, 64, 64, 3) Y_train -- test set, of shape (None, n_y = 6) X_test -- training set, of shape (None, 64, 64, 3) Y_test -- test set, of shape (None, n_y = 6) learning_rate -- learning rate of the optimization num_epochs -- number of epochs of the optimization loop minibatch_size -- size of a minibatch print_cost -- True to print the cost every 100 epochs Returns: train_accuracy -- real number, accuracy on the train set (X_train) test_accuracy -- real number, testing accuracy on the test set (X_test) parameters -- parameters learnt by the model. They can then be used to predict. """ ops.reset_default_graph() tf.set_random_seed(1) seed = 3 (m, n_H0, n_W0, n_C0) = X_train.shape n_y = Y_train.shape[1] costs = [] # Create Placeholders of the correct shape X, Y = create_placeholders(n_H0, n_W0, n_C0, n_y)
# Initialize parameters parameters = initialize_parameters()
# Forward propagation Z3 = forward_propagation(X, parameters)
# Cost function cost = compute_cost(Z3, Y)
# Backpropagation optimizer = tf.train.AdamOptimizer(learning_rate = learning_rate).minimize(cost) # Initialize all the variables globally init = tf.global_variables_initializer()
# Start the session to compute the tensorflow graph with tf.Session() as sess:
# Run the initialization sess.run(init)
# Do the training loop for epoch in range(num_epochs): minibatch_cost = 0. num_minibatches = int(m / minibatch_size) seed = seed + 1 minibatches = random_mini_batches(X_train, Y_train, minibatch_size, seed)
for minibatch in minibatches:
# Select a minibatch (minibatch_X, minibatch_Y) = minibatch _ , temp_cost = sess.run([optimizer, cost], feed_dict={X: minibatch_X, Y: minibatch_Y}) minibatch_cost += temp_cost / num_minibatches
# Print the cost every epoch if print_cost == True and epoch % 5 == 0:
print ("Cost after epoch %i: %f" % (epoch, minibatch_cost))
if print_cost == True and epoch % 1 == 0: costs.append(minibatch_cost)
# plot the cost plt.plot(np.squeeze(costs)) plt.ylabel('cost') plt.xlabel('iterations (per tens)') plt.title("Learning rate =" + str(learning_rate)) plt.show() # Calculate the correct predictions predict_op = tf.argmax(Z3, 1) correct_prediction = tf.equal(predict_op, tf.argmax(Y, 1))
# Calculate accuracy on the test set accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float")) print(accuracy) train_accuracy = accuracy.eval({X: X_train, Y: Y_train}) test_accuracy = accuracy.eval({X: X_test, Y: Y_test}) print("Train Accuracy:", train_accuracy) print("Test Accuracy:", test_accuracy)

return train_accuracy, test_accuracy, parameters

對訓練集執行模型訓練:

_,_,parameters=model(X_train,Y_train,X_test,Y_test)

訓練迭代過程如下:

640?wx_fmt=png


我們在訓練集上取得了 0.67 的準確率,在測試集上的預測準確率為 0.58 ,雖然效果并不顯著,模型也有待深度調優,但我們已經學會了如何用 Tensorflow 快速搭建起一個深度學習系統了。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4814

    瀏覽量

    103819
  • AI
    AI
    +關注

    關注

    88

    文章

    35306

    瀏覽量

    280659
  • 人工智能
    +關注

    關注

    1807

    文章

    49056

    瀏覽量

    250067
  • 機器學習
    +關注

    關注

    66

    文章

    8507

    瀏覽量

    134731
  • 卷積神經網絡

    關注

    4

    文章

    369

    瀏覽量

    12328
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    BP神經網絡卷積神經網絡的比較

    BP神經網絡卷積神經網絡在多個方面存在顯著差異,以下是對兩者的比較: 一、結構特點 BP神經網絡 : BP神經網絡是一種多層的前饋
    的頭像 發表于 02-12 15:53 ?700次閱讀

    如何優化BP神經網絡學習

    優化BP神經網絡學習率是提高模型訓練效率和性能的關鍵步驟。以下是一些優化BP神經網絡學習率的方法: 一、理解學習率的重要性
    的頭像 發表于 02-12 15:51 ?963次閱讀

    BP神經網絡深度學習的關系

    BP神經網絡深度學習之間存在著密切的關系,以下是對它們之間關系的介紹: 一、BP神經網絡的基本概念 BP神經網絡,即反向傳播
    的頭像 發表于 02-12 15:15 ?885次閱讀

    深度學習入門:簡單神經網絡的構建與實現

    深度學習中,神經網絡是核心模型。今天我們用 Python 和 NumPy 構建一個簡單的神經網絡神經網絡由多個
    的頭像 發表于 01-23 13:52 ?549次閱讀

    人工神經網絡的原理和多種神經網絡架構方法

    在上一篇文章中,我們介紹了傳統機器學習的基礎知識和多種算法。在本文中,我們會介紹人工神經網絡的原理和多種神經網絡架構方法,供各位老師選擇。 01 人工神經網絡 ? 人工
    的頭像 發表于 01-09 10:24 ?1235次閱讀
    人工<b class='flag-5'>神經網絡</b>的原理和多種<b class='flag-5'>神經網絡</b>架構方法

    卷積神經網絡實現工具與框架

    卷積神經網絡因其在圖像和視頻處理任務中的卓越性能而廣受歡迎。隨著深度學習技術的快速發展,多種實現工具和框架應運而生,為研究人員和開發者提供了
    的頭像 發表于 11-15 15:20 ?686次閱讀

    卷積神經網絡的參數調整方法

    卷積神經網絡因其在處理具有空間層次結構的數據時的卓越性能而受到青睞。然而,CNN的成功很大程度上依賴于其參數的合理設置。參數調整是一個復雜的過程,涉及到多個超參數的選擇和優化。 網絡架構參數
    的頭像 發表于 11-15 15:10 ?1235次閱讀

    卷積神經網絡在自然語言處理中的應用

    自然語言處理是人工智能領域的一個重要分支,它致力于使計算機能夠理解、解釋和生成人類語言。隨著深度學習技術的發展,卷積神經網絡(CNNs)作為一種強大的模型,在圖像識別和語音處理等領域取
    的頭像 發表于 11-15 14:58 ?829次閱讀

    卷積神經網絡與傳統神經網絡的比較

    深度學習領域,神經網絡模型被廣泛應用于各種任務,如圖像識別、自然語言處理和游戲智能等。其中,卷積神經網絡(CNNs)和傳統
    的頭像 發表于 11-15 14:53 ?1900次閱讀

    深度學習中的卷積神經網絡模型

    深度學習近年來在多個領域取得了顯著的進展,尤其是在圖像識別、語音識別和自然語言處理等方面。卷積神經網絡作為深度
    的頭像 發表于 11-15 14:52 ?866次閱讀

    卷積神經網絡的基本原理與算法

    ),是深度學習的代表算法之一。 一、基本原理 卷積運算 卷積運算是卷積神經網絡的核心,用于提取圖
    的頭像 發表于 11-15 14:47 ?1809次閱讀

    深度學習框架中的LSTM神經網絡實現

    長短期記憶(LSTM)網絡是一種特殊的循環神經網絡(RNN),能夠學習長期依賴信息。與傳統的RNN相比,LSTM通過引入門控機制來解決梯度消失和梯度爆炸問題,使其在處理序列數據時更為有效。在自然語言
    的頭像 發表于 11-13 10:16 ?1089次閱讀

    LSTM神經網絡的基本原理 如何實現LSTM神經網絡

    LSTM(長短期記憶)神經網絡是一種特殊的循環神經網絡(RNN),它能夠學習長期依賴信息。在處理序列數據時,如時間序列分析、自然語言處理等,LSTM因其能夠有效地捕捉時間序列中的長期依賴關系而受到
    的頭像 發表于 11-13 09:53 ?1616次閱讀

    Moku人工神經網絡101

    不熟悉神經網絡的基礎知識,或者想了解神經網絡如何優化加速實驗研究,請繼續閱讀,探索基于深度學習的現代智能化實驗的廣闊應用前景。什么是神經網絡
    的頭像 發表于 11-01 08:06 ?687次閱讀
    Moku人工<b class='flag-5'>神經網絡</b>101

    關于卷積神經網絡,這些概念你厘清了么~

    隨著人工智能(AI)技術的快速發展,AI可以越來越多地支持以前無法實現或者難以實現的應用。本文基于此解釋了 卷積神經網絡 (CNN)及其對人工智能和機器
    發表于 10-24 13:56
    主站蜘蛛池模板: 久久人妻熟女中文字幕AV蜜芽 | 在线播放一区 | 在线观看免费国产成人软件 | 国产精品久久久久久人妻精品蜜桃 | 色综合久久中文色婷婷 | 国产成人无码精品久久久影院 | 欧美日韩一区在线观看 | 午夜办公室在线观看高清电影 | 国产精品久久久久久久伊一 | 亚洲精品乱码久久久久久中文字幕 | 色偷偷av男人的天堂 | 国产精品嫩草影院一区二区三区 | 久热人人综合人人九九精品视频 | 野花社区视频WWW高清 | 99久久99久久精品国产片果冻 | 国产互换后人妻的疯狂VIDEO | 成人在线观看视频免费 | 嫩草影院久久精品 | 亚洲福利电影一区二区? | 变形金刚7免费观看完整 | 精品久久免费视频 | 在线看片福利无码网址 | 亚洲乱码日产精品BD在线下载 | 大学生宿舍飞机china free | 大桥未久电影在线 | 香蕉人人超人人超碰超国产 | 久久精品国产99欧美精品亚洲 | 久久精品熟一区二区三区 | 伸进同桌奶罩里摸她胸作文 | 久久精品一区 | 久久精品亚洲牛牛影视 | 亚洲日韩天堂在线中文字幕 | 一点色成人 | 欧美亚洲日韩欧洲不卡 | 麻婆豆腐传媒视频免费 | 国产精品美女久久久网站动漫 | japonensis护士| 国产精品高清在线观看地址 | 精品一区二区三区高清免费观看 | 国产亚洲精品久久久久小 | 艺术片 快播 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品