007-卷積神經網路-前向傳播-反向傳播

標籤：alt   綠色   lin   style   ima   size   一個   紅色   高度   

前向傳播：

前向傳播就是求特徵圖的過程

通常x和w有四個維度[編號，深度，高度，寬度]

 

反向傳播：

先來複習一下反向傳播的知識：

反向傳播回來的是梯度，也就是偏導數

反向傳播力有一個鏈式法則：對於反向傳播（反著看），本層要往後面一層穿的的偏導=本層自身的偏導×上一層傳過來的偏導

紅色代表反向傳播，綠色代表正向傳播

 

out = wx+b

out對w求倒數：（wx+b）’=x

那麼dw = dout·x

那麼換到矩陣之後我的反向傳播就可以是dout與x的內積

對於卷積層的反向傳播：

每一個dout都對應一個filter只是對於filter 1所做的反向傳播

同理就有filter2的反向傳播

 

對於pooling層的反向傳播：

 

、

 

 

007-卷積神經網路-前向傳播-反向傳播