TLD動態跟蹤系統中的學習策略—P-N Learning

本文轉自http://blog.sina.com.cn/s/blog_80e381d101015fza.html

1概述

本文顯示二類分類器的表現可以通過未標記資料結構化的處理過程來提升，也就是說，如果知道一個樣本的標記對其他樣本的標記有限制，那麼認為資料是結構化的。

本文提出P-N learning 用已標記和未標記的樣本來訓練二類分類器，訓練的過程通過用來限制未標記資料集的“正約束”、“負約束”來指導。每次迭代過程中P-N learning在未標記的訓練集上評價分類器，識別那些分類器分類結果與結構約束相抵觸的樣本，然後增加修正過標記的樣本到訓練集中。文中還提出了一個理論用來闡述P-N learning提升了初始分類器的效能，並在人工合成和真實的資料上進行了驗證。

P-N learning被應用到跟蹤過程中目標檢測器的線上學習中，文中展示一個精確的目標檢測器可以從單個樣本和一個可能出現目標的視頻序列中訓練得到。

 

本文的貢獻：在離線、線上學習問題中公式化（formalize）P-N learning模式。

 

2本文的基本概念和方法：

半監督學習（semi-supervised learning）: 近來研究的興趣點在於半監督學習，在分器訓練時，開發已標記和未標記資料的資訊。已經被發現的是，加入未標記資料的資訊能夠有效地提高分類器的效能。觀察得到的結果是，採用獨立的測度而不是分類器本身的信賴度來選擇分辨未標記的資料會使得檢測器的得到更大的改善。

 

結構化（structured）:，在電腦視覺研究中，由於時空上的關聯，資料基本不可能是獨立的。標記資訊有依賴關係的資料稱為結構化（structured）的資料，即如果知道一個樣本的標記對其他樣本的標記有限制，那麼認為資料是結構化的.

約束（constrains）:本文中提出了一種新的從結構化的未標記的資料學習的方法。資料中的結構是通過所謂的“正結構化約束”、“負結構化約束”開發出來的，這些約束強制賦予未標記的樣本集確定的標記。

正約束指定符合約束條件的樣本正標記，負約束指定符合約束的樣本負標記。

正負約束平行使用，文中證明了正負約束結合能夠相互補償它們各自的錯誤。

這些約束在整個未標記樣本集上運行，所以擷取的資訊不同於只在標記樣本上啟動並執行分類器。

 

學習策略：少量的標記樣本和大量的結構化未標記樣本產生以下的學習策略：

（i）                使用標記的樣本訓練一個初始分類器，根據標記的資料調整預定義的約束。

（ii）              根據初始分類器標記未標記的資料，再重新識別那些已經被標記但是與約束條件相抵觸的樣本。

（iii）            改正這些樣本的標記，並加入訓練集，重新訓練分類器。

本文將這一分類器自展過程（bootstrapping process） 稱為P-N learning:

3從視頻資料中線上學習目標檢測器：
Strategy: we consider type of real-time detectors that are based on A Scanning Window Strategy. The input image is scanned across position and scales, at each sub-window a binary classifier decides about presence of the object.

The Randomized Forest Classifier: consists of a number of ferns (simplified trees)

 

每一個fern在輸入的patch上進行一系列的計算產生指向特定分葉節點的特徵向量，計算得到後驗機率Pr(y=1|xi).

每一個分葉節點記錄了所有在訓練過程中最終進入它的正樣本數p，負樣本數n，通過最大似然估計（maximum likelihood estimator）計算厚顏機率Pr(y=1|xi) = p/(n+p),如果分葉節點是空的話，則設為零。

Features: 2-bit Binary Patterns.

這些特徵在一個確定的地區內測量方向梯度，並且量化產生可能的編碼。2bitBP受到標準LBP的啟發，又不同於LBP，LBP編碼周圍3*3的像素並通過編碼的分布來表示一個特定的地區的資訊，而2bitBP只通過單一編碼來描述一個地區。正因為如此，LBP需要8bit(256
codes)，而2bitBP只需要2bit(4 codes)。

在第一幀中初始化分類器，將選中的映像塊進行仿射變換產生300個正樣本訓練初始分類器。將分類器在全圖上進行評估，將遠離目標位置的檢測目標作為負樣本更新初始分類器。用這種方法提取負樣本是基於 pr(y=1)>>pr(y=-1).

 

採用的約束（constraints）:

   目標資料結構化的時空資訊集中體現在目標軌跡上，當確認是正確的軌跡後，約束條件才可靠有效。

(i)                定義跟蹤器的信賴度為跟蹤的映像塊與第一幀選中的映像塊之間的NCC(normalized cross correlation).

(ii)             如果軌跡的最後一幀的信賴度高於80%，則這一軌跡是正確的軌跡。

(iii)           在正確軌跡的基礎上應用P-N constraints.

 

參考文獻：

 

[1] P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints (2010_CVPR)

Zdenek Kalal  University of Surrey etc.

 

[6] Forward-Backward Error: Automatic Detection of Tracking Failures (2010_ICPR)

Zdenek Kalal  University of Surrey etc.