關於手指提取的文章的調研

標籤：style   blog   http   ext   color   com   

1.Combining Contrast Saliency and Region Discontinuity for Precise Hand Segmentation in Projector-Camera System這篇文章提取手指    可以認為分為三步a.首先是應用顏色長條圖求映像各像素的saliency 顯著性並且對顯著性本身進行了一個均值濾波  得到了一個增強後的映像 即saliency map我們的前景變得更加突出   更適合於之後進行聚類等的提取b.然後是進行基於meanshift演算法 均值位移的一個聚類 所謂的meanshift演算法是一個迭代過程  這可以套用已有的代碼結果是得到了L個地區  該方法一個特點是濾掉投影圖案的前提下能夠保護手指邊緣的資訊（boundary）c.最後通過一個confidence function 求出每個地區屬於手指的機率  當機率大於一定閾值時認為屬於手指地區最終得到了提取出的精細的手指  如d所示那麼該方法有什麼特點  能夠應用在哪些情形下呢？？？？首先對於saliency那一步我覺得很有用，能夠突出我們想要的資訊。當然比單純使用YCbCr色彩空間中的Cr通道資訊效果要好。該方法突出是是前景與背景之間顏色的差異性，而與前景本身是什麼顏色關係不大，所以即使是黑人的手指也能很好的使用。然後meanshift演算法是個比較經典的聚類方法。與地區生長演算法等方法相比，雖然仍然需要迭代，但是在提取saliency map後之後迭代次數能降不少，所以時間複雜度上不用過度擔心。關鍵是不需要提取質心，所以不需要對手指進行粗提取來找質心，也排除了質心尋找錯誤的問題。最後confidence function的方法，衡量每個地區是否屬於手指確實是比較好的方法。以往比較簡單的手指提取往往在標記連通地區之後直接提取最大的連通域，並且認為這樣就去除了幹擾的影響。但實際上有時可能有些小的連通域也是屬於手指的，只不過由於各種幹擾所以被分割開了。 接下來需要對每步的實現細節進一步瞭解。需要參考:1.Global Contrast based Salient Region Detection     利用顯著性進行映像分割以及得到顯著圖的細節2.Mean Shift: A Robust Approach toward Feature Space Analysis     均值位移演算法進行聚類的細節3.Hand Gesture Recognition in Camera-ProjectorSystem  參考這篇文章裡radiometry 標定的部分  2.Global Contrast based Salient Region Detection 

首先我們提出幾個問題

1.salient和saliency map 是什嗎？

2.有什麼用？

3.在什麼情況下用？

salient即顯著性，一般指的是人眼及其神經視覺系統本能上感覺顯著及突出的一種性質。比如白牆上的黑點即為顯著的。

這一概念最初是從神經科學上來的，科學家們研究人類能夠快速識別物體的視覺原理時發現，人能夠快速的將注意力集中到環境中的部分地區，而對其他地區卻視而不見。故將注意力集中的這一地區稱為顯著性地區或saliency region。

心理學家將人的視覺認識機制分為兩種情況：自頂向下的與自底向上的。

自頂向下的認識機制一般發生在有意識的尋找什麼的，我們已知大概知道了想尋找的東西，然後慢速的遍曆面前的一切進行顯著性提取。

而自底向上則相反，一般發生在無意識的情形，我們不知道想要尋找什麼，是一種快速的掃描定位到客觀上顯著的東西。不知道為什麼，就是覺得牆上那個黑點好顯眼啊這種感覺。

我們知道電腦視覺的演算法本來就是為了類比人類的視覺而存在的，於是根據這兩套認識機制，也就發展出了各自的顯著性檢測方法。

即自底向上的映像顯著性檢測與自頂向下的映像顯著性檢測。

前者是資料驅動的，更加快速。往往是通過映像中某地區在顏色、亮度、方向等特徵上與其他地區的不同來尋找顯著性地區。這方面已經有了很多工作。

而後者是目標驅動的，是根據具體的任務對自底向上方法的結果進行相應調整實現的。

自頂向下又分兩種情況，既然說目標是已知的，那麼這個已知是如何得到的？怎麼知道檢測目標的結構和性質的？

一種是人為設定檢測目標的性質。比如Canny方法進行邊緣檢測，這就是已經對邊緣（即檢測目標）的結構和性質有了深入的理解後才能夠實現的。但顯然如果我們的目標較為複雜，這種人為設定的方法就不太現實了。

另一種則是通過樣本訓練，自動的建立顯著性地區模型，得到我們感興趣地區的性質和結構。比如甚至可以在Face Service中應用該方法。

（同樣，手勢識別的話也可以應用類似的方法）