再談PN學習 .

本文轉自http://blog.csdn.net/carson2005/article/details/7647519

之前翻譯過一篇PN學習的文章：http://blog.csdn.net/carson2005/article/details/7483027，但該文章的內容還是略顯生澀，不太容易理解。尤其是在TLD跟蹤演算法中，PN學習又是一個很重要的模組。如果不能很好理解該部分，是很難完全掌握TLD演算法精髓的。所以，這裡我在上次翻譯的基礎上，結合TLD演算法中的PN學習的具體應用，再次講述PN學習的原理。

PN學習即PN learning, P指代Positive Constraint,也稱之為P-expert或者growing event,N指代Negative Constraint,也稱之為N-expert或者pruning event。

P-expert的作用是發現目標的新的外觀（形變），並以此來增加正樣本的數量，從而使得檢測模組更具魯棒性；

N-expert的作用是產生負的訓練樣本。N-expert的前提假設是，（被跟蹤的）前景目標僅可能出現在視訊框架中的一個位置，因此，如果前景目標的位置是確定的，那麼其周圍必然是負範例。

       TLD模組中的PN學習作用是通過對視頻序列的線上處理來逐步改善檢測模組(TLD中的Detection)的效能。對視頻中的每一幀而言，我們希望評估檢測模組在當前幀中的誤檢，並以此來更新目標模型，從而使得在以後的視訊框架處理過程中避免類似的錯誤再次發生。PN學習的關鍵在於兩種類型的“專家(experts)”：P-experts檢查那些檢測模組錯誤分類為正樣本（前景目標）的資料；N-experts檢查哪些檢測模組錯誤分類為負樣本(背景)的資料；需要提醒的是，無論P-experts還是N-experts都會產生一定的偏差。那麼，如果用這些存在偏差的資料來更新檢測模組（目標模型），是否會造成檢測模型的效能惡化呢？作者經過研究發現，儘管存在誤差，在一定條件下，誤差是允許的，並且檢測模組的效能會因此得到改善。

        PN學習包含四個部分：（1）一個待學習的分類器；（2）訓練樣本集--一些已知類別標籤的樣本；（3）監督學習--一種從訓練樣本集中訓練分類器的方法；（4）P-N experts--在學習過程中用於產生正（訓練）樣本和負（訓練）樣本的表達函數；這四個部分之間的關係如所示：

        首先根據一些已有類別標記的樣本，藉助監督學習方法來訓練，從而得到一個初始分類器。之後，通過迭代學習，利用上一次迭代得到的分類器對所有的未賦予標籤的樣本資料進行分類，而P-N experts則找出那些錯誤分類的樣本，並依此來對訓練樣本集做出修正，使得下一次迭代訓練之後得到的分類器的效能有所改善。P-experts將那些被分類器標記為負樣本，但根據結構性約束條件應該為正樣本的那些樣本賦予“正”的標籤，並添加到訓練樣本集中；而N-experts則將那些被分類器標記為正樣本，但根據結構性約束條件應該為負樣本的那些樣本賦予“負”的標籤，並添加到訓練樣本集當中；這也就意味著，P-experts增加了分類器的魯棒性，而N-experts則增加了分類器的判別能力。

       下面我們就舉例來說明PN學習的運行機制：假設存在三個連續的視訊框架如下所示，每個視訊框架之上都有若干個掃描視窗如(a)所示；

每一個掃描視窗就表示一個映像片(image patch)，映像片的類別標籤用(b)(c)中的彩色圓點來表示。檢測模組對每個映像片的類別賦值過程是彼此獨立的，因此，N個掃描視窗就存在個類別標籤的組合。而(b)則顯示了其中一種可能的類別標籤形式，這種類別標籤標明，待檢測目標在一個視訊框架中可能同時出現在好幾個地區，並且，待檢測目標在相鄰視訊框架之間的運動沒有連續性（例如(b)中最前面的映像中右上方的紅色圓點在後面的兩個映像中均沒有出現），顯然，這種類別標籤形式是錯誤的。相反，(c)所示的類別標籤形式則顯示，每個視訊框架中，目標只可能出現在一個地區，並且，相鄰視訊框架之間檢測到的目的地區域是連續了，構成了一個目標的運動軌跡。這種性質，我們稱之為“結構性”的。PN學習的關鍵就是找到這種結構性的資料，從而來判別檢測模組所產生的錯誤標籤；

      剛才的例子表明：P-experts尋找視頻序列中的時域上的結構性特徵，並且假設目標是沿著軌跡線移動的，即，相鄰幀之間的移動很小，且存在一定的相關性。P-experts記錄目標在上一幀中的位置，並根據幀與幀之間的跟蹤演算法（這裡採用的是LK光流法）來預測目標在當前幀中的位置。如果檢測模組將跟蹤演算法預測到的目標在當前幀中的位置標記為負標籤，那麼P-experts就產生一個正的訓練樣本；N-experts尋找視頻序列中的空間域上的結構性特徵，並且假設目標在一個視訊框架中只可能出現在一個位置。N-experts對檢測模組在當前幀中的所有輸出結果以及跟蹤模組的輸出結果進行分析，並找到具有最大可能性的那個地區。當前幀中所有目標可能出現的地區當中，如果某個地區同最大可能性地區之間沒有重疊，就將其認定為負樣本。另外，具有最大可能性的那個地區，被用於重新初始化跟蹤模組；

        下面，再給出一個例子來說明情況：

        所示為三個連續的視訊框架，PN學習需要處理的是t時刻那個黃色框所在地區的那個小車。跟蹤模組在相鄰幀之間給出小車的位置，從前面的分析我們知道，跟蹤模組給出的地區可以被P-experts用來產生正的訓練樣本；但由於遮擋，在t+2時刻，P-experts產生了錯誤的正（訓練）樣本；與此同時，N-experts則找出目標最可能出現的位置（用紅色的星號來標記），並且將所有其他的地區標記為負的訓練樣本；這裡，N-experts在t+2時刻很好的修正了P-experts的錯誤；