【CV論文閱讀】 Fast RCNN

標籤：

Fast RCNN的結構：

 

先從這幅圖解釋FAST RCNN的結構。首先，FAST RCNN的輸入是包含兩部分，image以及region proposal（在論文中叫做region of interest，ROI）。Image經過深度網路（deep network）之後得到feature map，然後可以從feature map中找到ROI在其中的投射projection得到每個patch，但論文沒有提及怎麼在map中尋找對應的patch，估計可以通過位置關係找到（猜想，因為deep ConvNet 之後相對的位置是不變的）。

把每個patch經過ROI pooling layer，再經過一系列的full connected layer後，分別完成了兩個任務的預估：一是類別的預測softmax，一個是bounding box的預測。

在softmax的預測輸出是類別的機率分布，而bounding box 預測為每個類別都輸出預測迴歸方程計算的四個參數（如上篇總結《Rich feature hierarchies for accurate object detection and semantic segmentation》中學習的四個參數，但論文中好像直接就是代表中心座標以及長寬）。

 

ROI pooling layer:

ROI pooling layer其實是一個max pooling layer。假設有兩個超參數H、W，把輸入的patch劃分成H*W個小方格，假設投影的每個ROI的patch為h*w，則每個小子方格的大小沒h/H*w/W，而在每個方格中，執行的是max pooling layer 的操作。

在這裡有必要繼續的討論一下在這個ROI pooling layer怎樣反向誤差傳播。

首先要明白的是，BP演算法其實應用的就是導數的鏈式法則，很巧妙地解決了誤差的傳播問題。如下公式：

 

其中aj代表卷積層的輸入，而如果經過一個啟用函數之後，得到zj=h(aj)，其實zj才是下一層的輸入，而對k求和代表所有包含zj作為輸入的神經元。因此，可以得到公式，而就是誤差。

對應到pooling層，假設輸入層的元素值xi，對應卷積層的i位置，對應的是第r個ROI的layer，它經過ROI pooling層後在對應輸出到j位置。而xi是子視窗中的最大值。把一般的求誤差的公式對應到ROI pooling中，

 

其中i*(r，j)表示第r個ROI從第i的輸入（如果是子視窗中的最大像素值）對應到輸出的第j的位置。而sigma(r)是因為某個像素可能落在多個ROI中。

 

Mini-batch：

當使用pre-trained網路的參數去初始化Fast RCNN網路時，需要三個改變。第一，把最後一層的max pooling使用ROI pooling層去替代；第二、最後一層fc層以及softmax層用softmax層和bounding box預測層替代；第三，輸入包含兩種資料：image以及ROI。

batch就是完成一次訓練的資料集，這裡對參數進行tune，就是有監督訓練對參數進行微調（使用的是SGD，隨機梯度下降法）。mini batch是通過隨機採樣得到的，首先隨機播放N張圖片，然後每張圖片隨機採樣R/N個ROI。論文採用R=128，N=2。

今天想明白了一個batch是怎麼完成一次訓練。我開始以為是一次輸入一個batch的資料集，其實不是的，一次處理的依然是一張的圖片，而在最後輸出層計算這張圖片的產生的loss，把batch裡的圖片全部輸入到網路裡，就產生了loss的和LOSS，這時可以使用這個LOSS去執行BP演算法，微調網路中的參數。

同樣的，當IOU至少是0.5的才有可能是帶有類別標誌的，而0.1到0.5的認為是背景，而低於0.1的act as a heuristic for hard example mining（這裡我也想不明白）。

 

損失函數：

損失函數由兩部分組成，分別是類別誤差函數以及定位誤差：

 

其中類別誤差取類別機率的負對數作為誤差函數。而第二項定位誤差，在真實類別u>=1時才有意義，u=0時表示背景。Bounding box的目標為v，如上文提到，它有四個參數，於是定位誤差為：

 

其中，，而且。

 

尺度不變性：

論文中實現尺度不變性是通過把映像固定。

 

隨機梯度下降法：

【CV論文閱讀】 Fast RCNN