tf.nn.dropout()介紹

標籤：元素   圖片   函數   run   seed   int   shape   noi   第一個   

1.Dropout原理簡述：

Dropout就是在不同的訓練過程中隨機扔掉一部分神經元。也就是讓某個神經元的啟用值以一定的機率p，讓其停止工作，這次訓練過程中不更新權值，也不參加神經網路的計算。但是它的權重得保留下來（只是暫時不更新而已），因為下次樣本輸入時它可能又得工作了。如下：

但在測試及驗證中：每個神經元都要參加運算，但其輸出要乘以機率p。

2、tf.nn.dropout(x,keep_prob,noise_shape=None,seed=None,name=None)函數說明

上面的方法中常用的是前面兩個參數：

第一個參數x:指輸入

第二個參數keep_prob:設定神經元被選中的機率，在初始化時keep_prob是一個預留位置，keep_prob = tf.placeholder(tf.float32) 。tensorflow在run時設定keep_prob具體的值，例如keep_prob: 0.5

第三個參數noise_shape：一個1維的int32張量，代表了隨機產生"保留/丟棄"標誌的shape

seed :整形變數，隨機數種子

name :名字，沒什麼實際用處。

總結：dropout()函數就是使tensor中某些元素變為0，其它沒變0的元素變為原來的1/keep_prob大小。

tf.nn.dropout()介紹