深度殘差網路_深度學習

深度殘差網路在2015的ILSVRC比賽中獲得取得第一的成績，ICLR2016上也是重點議題之一。

它主要思想很簡單，就是在標準的前饋卷積網路上，加一個跳躍繞過一些層的串連。每繞過一層就產生一個殘差塊(residual block)，卷積層預測加輸入張量的殘差。如下圖所示：

普通的深度前饋網路難以最佳化。除了深度，所加層使得training和validation的錯誤率增加，即使用上了batch normalization也是如此。殘差神經網路由於存在shorcut connections，網路間的資料流通更為順暢。ResNet作者認為深度殘差網路不太可能由於梯度消失而形成欠擬合，因為這在batch normalized network中就很難出現。殘差網路結構的解決方案是，增加卷積層輸出求和的捷徑串連。

在facebook用Torch實現了ResNet，在github上面可以找到。github地址傳送門

參考文獻：
“Deep Residual Learning for Image Recognition”, authored by Kaiming He, Xiangyu Zhang, Shaoqing Ren and Jian Sun.