caffe全串連層原理解讀

original url:

http://blog.csdn.net/tina_ttl/article/details/51034867

在caffe中，網路的結構由prototxt檔案中給出，由一些列的Layer（層）組成，常用的層如：資料載入層、卷積操作層、pooling層、非線性變換層、內積運算層、歸一化層、損失計算層等；本篇主要介紹全串連層

該層是對元素進行wise to wise的運算 1. 全串連層總述

下面首先給出全串連層的結構設定的一個小例子（定義在.prototxt檔案中） 

layer {  name: "fc6"  type: "InnerProduct"  bottom: "pool5"  top: "fc6"  param {    lr_mult: 1    decay_mult: 1  }  param {    lr_mult: 2    decay_mult: 0  }  inner_product_param {    num_output: 4096    weight_filler {      type: "gaussian"      std: 0.005    }    bias_filler {      type: "constant"      value: 0.1    }  }}

  2. 全串連層相關參數 

接下來，分別對全串連層的相關參數進行說明

（根據全串連層層的定義，它的學習參數應該為權值和bias，其他的相關參數都為hyper-paramers，在定義模型時是要給出的）

註：全連結層其實也是一種卷積層，只不過卷積核大小與輸入映像大小一致 lr_mult：學習率係數

放置在param{}中

該係數用來控制學習率，在進行訓練過程中，該層參數以該係數乘solver.prototxt設定檔中的base_lr的值為學習率

即學習率=lr_mult*base_lr

如果該層在結構設定檔中有兩個lr_mult，則第一個表示權值學習率係數，第二個表示偏執項的學習率係數（一般情況下，偏執項的學習率係數是權值學習率係數的兩倍） inner_product_param：內積層的其他參數

放置在inner_product_param{}中

該部分對內積層的其他參數進行設定，有些參數為必須設定，有些參數為可選（因為可以直接使用預設值） 必須設定的參數

num_output：filter個數 其他可選的設定參數

weight_filter：權值初始化方法，使用方法如下
weight_filter{
      type:"xavier"  //這裡的xavier是一衝初始化演算法，也可以是“gaussian”；預設值為“constant”，即全部為0
} bias_filter：偏執項初始化方法
bias_filter{
      type:"xavier"  //這裡的xavier是一衝初始化演算法，也可以是“gaussian”；預設值為“constant”，即全部為0
} bias_term：是否使用偏執項，預設值為Ture

 參考：caffe tutorial