Learning Multi-Domain Convolutional Neural Networks for Visual Tracking 筆記

這篇paper利用DL做 visual tracking，目前在Object Tracking Benchmark以及VOT2015上實現了state of the art。文章的方法比較直觀：

作者稱之為Multi_domain network.本質上，作者首先拿第一幀大量的正負樣本來訓練前面這個conv1-conv2-conv3-fc4-fc5網路，而對於fc6,針對不同的輸入映像序列(比如OTB中的basketball, Bolt)就單獨訓練這個fc6。 上圖中的k對應的就是domain的個數，也就是OTB中不同類別的個數。注意的是，OTB中不同視頻的個數可不等於類別的個數，因為有些視頻是屬於同一類的，比如car4,cardark,carscale. 於是作者乾脆將這些看做是一個domain，訓練的時候fc6層是一樣的，這就是所謂domain的來源。

然後我們具體講講作者怎麼做的：

首先作者需要在拿資料集所有的映像序列的第一幀映像，從中擷取大量的正負樣本，那這些樣本來訓練上面那個網路，這是一個迭代過程，因為需要選出一些“好”的負樣本：

這個選擇的方法叫做hard negtive minding,直觀的結果就是盡量選擇正樣本附近的mini-batch(畢竟這些最有助於區分),這些batch 被resized成107*107大小，輸入到網路中，一直迭代知道網路收斂。注意的是每一個domain單獨對應一個fc6層，而前面的層是共同訓練的。從而出現所謂的multi-domain network.

第二步就是利用訓練好的model做tracking。由於這個網路本身不是很複雜，所以在tracking的過程中，作者拿第一幀對網路也進行了finetune，而不是像一般的網路那樣只是更新分類器。同時，在tracking過程中，作者針對不同的情形，採用不同的更新策略：long term updating and short term updating. 當目標被分類成背景就立馬更新這個model。同時可能存在從某一幀預測位置擷取的正樣本與真實的ground_truthc差別很大的情況，也就是說這些正樣本沒有一個能夠很好的match真實的ground_truth,為瞭解決這個問題，作者將object detection中的bounding box regression技術融合進來了，從而盡量讓預測的bounding box與ground truth 匹配。

第三步預測。

作者對每一幀預測256個candidates，具有不同的位置和尺度。然後從中找出最好的，最為該幀中目標的位置。

第四實驗

第一個實驗在OTB上做的，有100個視頻，作者還把VOT2013,2014以及2015視頻拿來訓練，反正DL需要大量資料訓練。在OTB50以及OTB100上的結果如下：

的確是很高。

值得一提的是作者用的兩個techniques: hard negative minding 和bounding box regression. 前者對於精度(DP)曲線影響很大，後者對於重疊率(OP)精度影響很大。可以從下面的對比實驗看出來：