Kinect for windows SDK1.5Face Service與跟蹤

好不容易有個安靜的周日，可以安心下來寫點最近看的東西了。

微軟在五月份發布了 kinect for windows sdk1.5.0版本，分為兩步：Step 1: Set-up Kinect for Windows SDK，下載連結為http://download.microsoft.com/download/0/B/C/0BC13867-7ECD-4AC8-9400-873FF267467D/KinectSDK-v1.5-Setup.exeStep
2: Set-up Kinect for Windows Developer Toolkit，下載連結為：http://202.120.118.98/download/3865189/4089463/1/exe/14/59/1341654662670_827/KinectDeveloperToolkit-v1.5.1-Setup.exe。其對軟硬體的要求可以參考官方首頁http://msdn.microsoft.com/en-us/library/hh855359，列出來如下：

支援的系統和架構：

Windows 7

Windows Embedded Standard 7

If your Windows 7 edition is Windows 7 N or Windows 7 KN, you must install theMedia Feature Pack which is required by the Kinect for Windows runtime.

硬體要求：

最低配置為：

32-bit (x86) or 64-bit (x64) processors

Dual-core, 2.66-GHz or faster processor

USB 2.0 bus dedicated to the Kinect

2 GB of RAM

Graphics card that supports DirectX 9.0c

軟體要求：

Microsoft Visual Studio 2010 Express or other Visual Studio 2010 edition

.NET Framework 4 (installed with Visual Studio 2010)

還有就是發布的SDK了。

讓人鬱悶的是推薦的配置中CPU為2.66GHZ及其以上，讓我這台幾年前買的機器情何以堪呐。主頻只有2.6GHZ，明顯感覺跑Kinect程式時候CPU負荷到達93%以上。

簡要摘錄下Kinect for Windows 架構：

                                                             圖一 軟硬體對應用的互動

 

                                                        圖二  SDK架構

詳細資料請看http://msdn.microsoft.com/en-us/library/jj131023

其內容較先前的版本有較大的提高，主要是增加了Kinect Studio工具，其能協助開發人員儲存和回放從Kinect獲得的深度和彩色流。另一個讓開發人員興奮的是，增加了面部檢測和跟蹤功能，根據筆者對其這些天的研究，功能確實很強大。值得一說。

首先推薦下其官方首頁：http://msdn.microsoft.com/en-us/library/jj130970.aspx#ID4E6KAE，裡面對Kinect的人臉跟蹤演算法有個比較細緻的介紹。根據筆者的搜集和推測，該臉部偵測和跟蹤演算法主要是基於微軟亞洲研究院最近幾年發的幾篇人臉的演算法，呵呵，從中也看到了我們中國科研人員的智慧。分別為：Face
Recognition with Learning-based Descriptor，http://research.microsoft.com/en-us/um/people/jiansun/papers/CVPR10_FaceReco.pdf和Face
alignment via component-based discriminative search，http://research.microsoft.com/en-us/um/people/jiansun/papers/ECCV08_FaceAlign.pdf。這兩篇論文提供的演算法是主要支撐。

下面大致說下關於該演算法的概況：該演算法對Face Service率約為84.9%,根據在實驗室使用Kinect測試後(彩色映像為640*480)的效果，該演算法的即時性較好，經演算法處理的輸出幀率約為22幀每秒,其有效識別距離可達到5m左右(光照正常);論文提出的演算法：首先，用訓練好的檢測器檢測出左、右眉心，左、右眼，鼻，嘴，上、下唇，臉部輪廓左、中和右3點，用11個點能確定人臉的基本形狀，關於人臉非正面情況的臉部器官(component)定位；其次，使用判別搜尋演算法來確定臉部器官的具體精準位置，採用方向分類器來引導搜尋臉部器官的方向。具體細節可以參考這兩篇論文。

下面摘錄下官方文檔對其的技術說明(Technical Specifications):

1. 座標系統

人臉跟蹤SDK使用的是Kinect座標系統來輸出3D跟蹤結果。原點位於網路攝影機的光學中心，Z軸指向使用者，Y軸向上，X軸向左。符合右手定律。

                                                              圖3    Kinect網路攝影機空間及其座標

2.輸入映像

臉部跟蹤SDK接收Kinect彩色和深度映像作為其輸入映像。人臉的跟蹤品質受到彩色和深度映像的影響，例如昏暗和模糊的映像跟蹤效果肯定不如光照好的或者是對比強的映像。大的或者距離近的映像檢測效果也會比較好。

3.API描述

人臉跟蹤SDK跟蹤引擎是免註冊的COM對象。這些介面是規則的COM介面。介面如下：

人臉跟蹤SDK使用以下的資料結構：

人臉跟蹤的輸出

按照官方的說明，其能跟蹤人臉的87個點，但是筆者在實驗的時候，跟蹤到了瞳孔和鼻尖點，檢測圖如下：

其他方面的實驗還在進行，希望能與童鞋們一起交流學習。

今天好涼爽，開啟了很久沒開的窗戶，O(∩_∩)O~