運動目標檢測——研究現狀

轉自 http://blog.csdn.net/tfygg/article/details/51760640?utm_source=itdadao&utm_medium=referral

運動目標檢測是指通過電腦視覺的方法減除視頻中時間和空間上的冗餘資訊，有效地提取出發生空間位置變化的物體的過程。它一直是一個十分熱門的研究領域，在IEEE Xplore上輸入“motion detection”進行快速搜尋，就會返回18000多篇文獻。經過幾十年來的研究人員的努力，運動目標檢測技術取得了不錯的成果，廣泛應用於智能監控、多媒體應用等領域。目前，國際上有關該領域研究的權威雜誌有：PAMI( Transaction on Pattern Analysis & Machine Intelligence)，IVC( Image and Vision Computing)等，還有一些重要的學術會議：CVPR( IEEE Computer Society Conference on Computer Vision and Pattern Recognition)，ICCV(International Conference on Computer Vision)，ECCV( European Conference on Computer Vision)，IWVS( International Workshop on Vision Surveillance)等。這些年來，根據應用場合、技術方法等方面的不同，學者們提出了眾多不同的運動目標檢測的方法，以適應複雜多變的環境。

        早在上個世紀70年代末，Jain等人在文獻[9]中提出了使用幀間差分的方法來提取運動目標。幀差法對包含運動目標的情境有著比較強的魯棒性，且運算速度快，但該方法一般不能完全檢測出運動物體的所有像素點，常常在檢測到的運動物體內部出現“空洞”現象，因此該方法適用於簡單的運動檢測的情況。

        針對幀間差分法的不足，學者們提出了一種基於統計學原理的運動目標檢測的思路，即：先通過統計學理論建立一個背景模型，再利用背景差分法對運動目標與背景的像素點進行分類。Gloyer等人在文獻[10]中就採用了這種思路，背景模型使用中值法建立，即使用連續的N幀映像序列的像素值的中值做為背景模型。但是這種方法耗費記憶體較大，計算量也不小，而且在光照變化的環境中常常出現偏差。針對這種局限性，1997年Wren等人提出使用單高斯進行背景建模方法[11]，利用閾值判斷像素點是否屬於前景。然而，背景通常是複雜的多模情況（如晃動的樹葉等），所以使用單高斯模型往往不能準確地描述背景模型。因此，1999年Stauffer等人提出了經典的混合高斯背景建模法[12]，該方法通常能夠很好地適應複雜情境，並通過模型參數的自動計算來調整背景模型，但是由於增加了高斯分布的個數，計算量也增大。在過去的十幾年裡，提出了很多基於混合高斯模型的改進演算法，如：2004年Zivkovic等人在文獻[13]中提出的高斯模型個數自適應的演算法，使得演算法效率、魯棒性得以提升。然而，實際情況下的背景往往是快速變化的，有時候並不符合高斯分布，故使用高斯模型進行背景建模就會產生問題。因此，2000年Elgammal等人提出了一種無參數的基於核密度估計[14]的運動目標檢測法，該方法不需要對背景的密度分布做任何假設，而是通過最近的幾個映像樣本資訊利用標準核函數準確地估計出像素點，進行提取運動目標。實驗結果表明該方法在複雜的戶外情境中有較好的適應性，但缺點是計算量大，即時性不好。

         2005年，Wang等人提出了基於樣本一致性（SACON）的背景建模方法[21,22]。該方法同樣也避免了對視頻序列的像素值進行任何機率估計的假設，而是先通過計算新像素與背景模型的樣本的距離，然後統計距離相近的樣本數目，最後根據樣本數目的多少來判斷是否為前景。2009年，Barnich等人在文獻[19]中又提出了一種新穎的基於像素點的運動目標檢測法，並命名為視覺背景提取法(ViBe)，該演算法直接對每一個像素點按照一定的規則隨機地選取一定數量的像素值進行背景建模，然後採用歐氏距離對像素點進行前景與背景的分類。該演算法的優點是不需要假定任何的機率模型，並且可以在視頻序列的第二幀就進行運動目標的檢測，計算速度也很快。2011年，Barnich等人又在文獻[20]中對經典的運動目標檢測演算法做了一個總結並與ViBe進行比較，最後，通過實驗證明了ViBe高效率的特點。雖然該文獻給出了不錯的檢測結果，但是在一些深色背景、陰影以及背景快速變化的情境中還是會出現一些問題，如“鬼影”現象等。2012年，Hofmann等人在文獻[23]中首次提出了PBAS（Pixel-Based Adaptive Segmenter）運動目標檢測法。該演算法根據SACON與ViBe兩種演算法的優勢進行相關結合與改進，使得目標檢測準確度得到了進一步的提高，但該演算法的計算量較大，即時性不好。

        從以上介紹可以看出，基於統計學理論的運動目標檢測法的研究經曆了一個由簡單模型到複雜模型，再到簡單模型的過程。在這類運動目標檢測法快速發展的同時，學者們還提出了很多種不同理論基礎的運動目標檢測法，如基於聚類理論的方法、基於模糊理論的方法、背景預測法、基於神經網路的方法以及光流法等[15-18,38,39]。

        基於聚類的運動目標檢測法的經典演算法是Kim等人於2005年在文獻[15]提出了CodeBook法。相對於那個時期的MOG，KDE等演算法來說，CodeBook沒有使用機率模型，而是使用碼本對像素進行分類進而實現提取前景目標。該方法也能夠適應一定的複雜情境。但是，由於情境的複雜多變，碼本中碼字將會不斷增加，這將導致消耗記憶體過多，即時性也受到一定的限制。

        針對實際情境中存在的很多不確定因素，近些年，一些學者提出利用模糊理論解決背景減法中的不精確性和不確定性。根據模糊理論的不同，這類方法又分為傳統模糊背景建模和二型模糊背景建模[38,39]。實驗證明基於模糊模型的背景建模方法在光照變化、動態背景等複雜情境中具有良好的魯棒性，但是，其缺點是增加的計算量，也會耗費更多的記憶體。

        背景預測法是指使用濾波器來估計背景，如果當前幀的某個像素值偏離其預測值時，則被認為是前景。文獻[27]使用了卡爾曼濾波器來對背景值進行估計，該方法能夠適應光線快速變化的場合，但檢測的準確度不高，而且當運動目標的運動速度較慢時，檢測結果往往會出現“拖影”現象。

        2008年，Maddalena等人在文獻[24]中提出了一種基於自組織神經網路的背景減除法（SOBS）。該演算法通過自組織的方法產生一張神經網路的背景模型，然後通過當前幀與背景模型的像素點之間的距離來提取運動目標。隨後，Maddalena等人又對SOBS進行了改進，提出了SC-SOBS[25]，將空間一致性引入背景更新階段，進一步提高了演算法的魯棒性。

        在2006年以前，學者們提出了很多基於“像素”特徵的運動目標檢測的方法，很少有人提出以“地區”或者“幀”為特徵的運動目標檢測法。而紋理特徵就是一種極易區分映像的地區特徵，Heikkila等人就首次提出一種基於LBP的紋理長條圖來進行背景建模的方法[8]，但是由於紋理的計算複雜度高，所以這類方法即時性並不好。而國內關於這一方向的研究也取得了不錯的成果。2010年中科院自動化所得廖博士在文獻[33]中提出了一種新的紋理描述法SILTP，並結合模式核密度估計法進行前景與背景的分割。該演算法能夠處理複雜環境下的運動目標的檢測。而基於幀的運動目標檢測方法則採用了直接對視訊框架進行背景建模的思路，經典的演算法有本徵背景減除法[32]。該演算法利用主成分分析（PCA）對連續多幀視頻進行特徵分解，進而提取前景，這一方法的提出也開創了運動目標檢測的新發展方向。

        以上介紹了很多種運動目標檢測演算法，然而沒有任何一種演算法適用於所有的情況下的運動目標檢測。因此，運動目標檢測的關鍵在於如何根據現有相關理論，結合實際情境的特點，尋求合適的方法，從而滿足實際應用的需求。

【參考文獻】

[9] Jain R, Nagel H H. On the analysis of accumulative difference pictures from image sequences of real world scenes.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1979, 1(2):206-214.

[10] Gloyer B, Aghajan H K, Siu K Y, et al. Video-based freeway-monitoring system using recursive vehicle tracking[J]. Proc Spie, 1995, 2421:173-180.

[11] Wren C R, Azarbayejani A, Darrell T, et al. Pfinder: Real-time tracking of the human body[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1997, 19(7):780 - 785.

[12] Stauffer, Chris, Grimson, W.E.L. Adaptive Background Mixture Models for Real-Time Tracking[J]. Proc Cvpr, 1999, 2:2246.

[13] Zivkovic Z. Improved Adaptive Gaussian Mixture Model for Background Subtraction[C]// Pattern Recognition, International Conference on. IEEE Computer Society, 2004:28-31.

[14] Elgammal A, Harwood D, Davis L. Non-parametric model for background substraction[J]. Proceedings of the Computer Vision, 2000:751--767.

[15] Kim K, Chalidabhongse T H, Harwood D, et al. Background modeling and subtraction by codebook construction[C]// Image Processing, 2004. ICIP '04. 2004 International Conference on. IEEE, 2004:3061-3064 Vol. 5.
[16] Kim K, Chalidabhongse T H, Harwood D, et al. Real-time foreground–background segmentation using codebook model[J]. Real-Time Imaging, 2005, 11(3):172-185.

[17] Li Y, Chen F, Xu W, et al. Gaussian-Based Codebook Model for Video Background Subtraction[J]. Lecture Notes in Computer Science, 2006, 4222:762-765.

[18] Geng L, Xiao Z T. Real Time Foreground-Background Segmentation Using Two-Layer Codebook Model[C]// Control, Automation and Systems Engineering (CASE), 2011 International Conference on. IEEE, 2011:1-5.

[19] Barnich O, Vanogenbroeck M. ViBE: A powerful random technique to estimate the background in video sequences[C]// IEEE International Conference on Acoustics, Speech & Signal Processing. 2009:945-948.

[20] Olivier B, Marc V. ViBe: a universal background subtraction algorithm for video sequences.[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2011, 20(6):1709-1724.

[21] Wang H, Suter D. SACON: A Consensus Based Model for Background Subtraction[J]. Schools & Disciplines, 2005.

[22] Wang H, Suter D. Background Subtraction Based on a Robust Consensus Method[C]// Pattern Recognition, International Conference on. IEEE Computer Society, 2006:223-226.

[23] Hofmann M, Tiefenbacher P, Rigoll G. Background segmentation with feedback: The Pixel-Based Adaptive Segmenter[C]// Computer Vision and Pattern Recognition Workshops (CVPRW), 2012 IEEE Computer Society Conference on. IEEE, 2012:38-43.

[24] Maddalena L, Petrosino A. A self-organizing approach to background subtraction for visual surveillance applications.[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2008, 17(7):1168-1177.

[25] Maddalena L, Petrosino A. The SOBS algorithm: What are the limits?[C]// Computer Vision and Pattern Recognition Workshops (CVPRW), 2012 IEEE Computer Society Conference on. IEEE, 2012:21-26.

[26] Ebner M. Evolving color constancy[J]. Pattern Recognition Letters, 2006, 27(11):1220-1229.

[27] Karmann K P. Achim von Brandt. Moving Object Recognition Using an Adaptive Background Memory[C]// Time-varying Image Processing & Moving Object Recognition. 1990.

[28] Toyama K, Krumm J, Brumitt B, et al. Wallflower: principles and practice of background maintenance[C]// IEEE International Conference on Computer Vision. IEEE, 1999:255-261 vol.1.

[29] Bouwmans T, Baf F E, Vachon B. Background Modeling using Mixture of Gaussians for Foreground Detection: A Survey[J]. Recent Patents on Computer Science, 2008, 1(3):219-237.

[30] Benezeth Y, Jodoin P M, Emile B, et al. Comparative study of background subtraction algorithms[J]. Journal of Electronic Imaging, 2010, 19(3):033003-033003.

[31] T. Bouwmans, F. El-Baf, and B. Vachon. Statistical background modeling for foreground detection: A survey. Handbook of Pattern Recognition and Computer Vision, World Scientific Publishing, 4(2):181–199, January 2010.

[32] Oliver N, Rosario B, Pentland A. A Bayesian Computer Vision System for Modeling Human Interactions[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2000, 22(8):831-843.

[33] Liao S, Zhao G, Kellokumpu V, et al. Modeling pixel process with scale invariant local patterns for background subtraction in complex scenes[C]// Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010:1301-1306.