Kinect for Windows SDK 1.5 的改進及新特性

    昨天晚些時候，微軟發布了Kinect for Windows SDK 1.5版本，新版本SDK對1.0版本的進行了較大的改動和更新。本文根據Microsoft Kinect for Windows SDK and Toolkit – v1.5 Release Notes 和 Kinect for Windows: SDK and Runtime version 1.5 Released 這兩篇文章，並結合自己的安裝和體驗整理而成。

 

1. SDK 1.5 的下載和安裝

 

    新版本SDK和1.0版本的SDK完全相容，如果您之前安裝過1.0的，可以直接安裝1.5的SDK，如果您之前的開發版本是Beta版的，則需要卸載之後再安裝SDK 1.5版本。在Kinect for Windows SDK 1.0版本中，SDK和樣本檔案是打包一起安裝的。而在SDK1.5中，為了可以分別升級，微軟把這兩者分開獨立為Kinect for Windows SDK和Kinect for Windows Developer Toolkit這兩部分，所以需要分別下載安裝， Kinect for Windows SDK 1.5及開發套件Kinect for Windows Developer Toolkit的為：http://www.microsoft.com/en-us/kinectforwindows/develop/developer-downloads.aspx

安裝過程很簡單，需要注意的是：

• 安裝前，需要將Kinect從電腦的USB上拔下。
• 安裝前，需要關閉殺毒軟體，如360，我之前沒有關這個就產生了安裝沒有許可權的錯誤。

對於安裝還有其他問題，您可以參考我之前的一篇文章。

 

2. SDK 1.5增加的新功能

 

新版本SDK添加了很多新的功能，方便了開發人員開發Kienct應用，這些新功能包括：

 

新增了Kinect Studio工具

    Kinect Studio能夠協助開發人員記錄和播放Kinect資料，這極大地縮短和簡化了Kinect應用程式的開發週期。Kinect應用程式開發的調試是比較麻煩的，因為資料是即時讀取的。現在開發人員能夠記錄應用程式擷取的Kinect資料，並能夠重複播放這些資料，來進行應用程式的測試和改進。

    中，左上方是Kinect Studio的主介面，使用Kinect Studio時必須附加一個正在運行或者調試的Kinect應用程式，左下角是我運行樣本中的臉部辨識程式。附加好之後，右邊有三幅圖，就可以顯示當前應用程式接收到的Kinect資料了，右邊中間那幅圖是彩色影像資料，右上方那幅圖是深度影像值資料，右是Kinect的視場角。在Kinect Studio主介面中，可以對彩色影像資料或者深度影像資料進行錄製和回放。

 

 

 Human Interface Guidelines

    SDK1.5 Developer ToolKit中增加了近70多頁的 Human Interface Guidelines(HIG,人機互動介面設計指南)，能夠協助開發人員為Kinect應用程式的人機互動介面設計提供一些指導。

 

 

臉部辨識SDK(face traking SDK)

    臉部辨識SDK提供了即時的3D網格化的面部特徵-能夠追蹤帶眉毛的位置，嘴的形狀等。在之前的SDK中要較好的實現臉部辨識必須藉助第三方類庫如Emgu等，這在SDK入門開發進階中有所介紹。 在本人機器上實驗感覺到SDK 1.5中臉部辨識很流暢，在SDK 1.0中使用Emgu實現臉部辨識 比較卡，而且沒有提供諸如網格等這麼多的細節資訊。

 

 

    從可以看出，在嘴，鼻子和眼睛部分網格很密集，應該是可以判斷嘴的大概形狀以及眼睛的位置。在Developer Toolkit中，可以看出面部SDK 1.5添加的一些功能是封裝在一些dll中的，臉部辨識SDK封裝在Microsoft.Kinect.Toolkit.FaceTracking.dll中。

 

 

更多的範例程式碼及對之前代碼的改進

    有很多新的例子加入到範例程式碼庫中來，有些例子是對1.0版本的代碼進行了改進。這些例子提供了C#,C++和Visual Basic三種版本。

 

 

圖中執行個體圖片右上方標有new的表示SDK 1.5中新增加的樣本，Update表示對SDK 1.0中的樣本進行了改寫。

 

SDK文檔的改進

    SDK文檔中增加了1.5版本中新的函數功能及特性，同時整合到了MSDN中並即時更新。

 

3. SDK 1.5骨骼追蹤功能的改進

 

新增了坐姿骨骼追蹤（Seated Skeletal Tracking）

    坐姿模式追蹤頭部/肩膀/手臂10個關節點的骨骼資訊，忽略腿部和髖關節資訊。坐姿模式並不限定只有在坐立姿勢下才能使用。在使用者站立的時候，也能追蹤到頭部/肩膀/手臂資訊。這使得我們能夠建立一些針對使用者處於坐立姿勢下的應用進行最佳化的情境，比如使用者在辦公司工作，或者和3D資料進行互動。或者是在一些站立姿勢下，身體的下半部分可能超出了Kinect感應器的視野，例如在和室外的廣告亭進行互動或者是手術室中醫生瀏覽核磁共振映像這樣的情境。

近景模式中支援骨骼追蹤

    近景模式中支援骨骼追蹤，包括預設的20點模式和10點坐姿模式。這使得開發人員可以開發一些近距離進行骨骼追蹤的項目，比如使用者坐在坐姿前面，或者一些需要近距離進行顯示互動的應用。

 

4. SDK 1.5效能和資料品質的改進

 

   SDK1.5對1.0中效能和資料品質進行了增強，提高了使用RGB彩色影像和將深度影像和彩色影像進行疊加顯示的效能（這使得“綠屏摳像”技術很容易實現，在SDK 1.0下實現綠屏摳像技術在Kinect開發入門五 這篇文章中最後部分有所介紹）。SDK1.5 對效能和資料品質的相關改進如下：

• 將深度影像資料幀中的點資料投影到彩色影像資料幀中對應點的位置，KinectSensor.MapDepthFrameToColorFrame，這一函數功能的效能顯著提升，較之前版本提升了5倍。MapDepthFrameToColorFrame函數是將追蹤到的關節點資料轉換到使用者介面上必須用到和頻繁使用的函數。
• 深度影像幀資料和彩色影像幀資料能夠彼此之間保持同步。Kinect for Windows 運行時會持續監控深度和彩色影像幀資料，來糾正兩者之間的偏差來使其保持同步。
• RGB 映像品質在RGB 640x480 @30fps 和 YUV 640x480 @15fps video 這兩種模式下有所提升，映像品質更加銳利，在高光和低光條件像品質精度提高。

    在之前的文章中實現的“綠屏摳像”中，為了將人物摳出來，必須尋找景深資料中沒有遊戲者索引位的資料，並逐點調用MapDepthToColorImagePoint函數將這些資料點映射到彩色影像中，並需要手動進行景深資料和彩色影像資料的的同步。因為SDK 1.5對這兩點進行了重要改進，所以和之前的相比運行非常流暢。是運行Kinect Developer ToolKit中GreenScreen-WPF樣本的，筆記本運行起來很流暢。

 

 

5. SDK 1.5 對人物角色在運動情境下提供的新功能

 

   新的功能使得在開發基於Kienct的應用程式來控制3D角色時更加方便，如Kinect運動大會(Kinect Sports)遊戲，新添加的功能有：

• Kinect for Windows 運行時在追蹤到的骨骼資訊中增加了了關節點朝向（Joint Orientation）資訊。
• 關節點朝向資訊以兩種形式提供：基於某一個在骨骼追蹤關節點中定義的骨骼關係的層級旋轉方式（ A Hierarchical Rotation based on a bone relationship defined on the Skeletal Tracking joint structure）,以及基於Kinect網路攝影機座標系統中的絕對偏轉角度資訊( Absolute Orientation in Kinect camera coordinates)。

 

6. 增加了4種語音辨識支援的語言

 

    語音辨識支援種類增加了四種語言，他們是法語，西班牙語，意大利語和日語。另外還提供了新的語言套件以支援不同地區語言的識別，他們是 English/Great Britain, English/Ireland, English/Australia, English/New Zealand, English/Canada, French/France, French/Canada, Italian/Italy, Japanese/Japan, Spanish/Spain, and Spanish/Mexico.

    可惜的是，仍不支援漢語的識別。

 

7. 結語

 

    本文簡要介紹了Kinect for Windows SDK 1.5版本的新功能及特性，這些新功能和特性使得我們開發出更好的Kienct應用程式變得更加容易。希望以上文章對您瞭解新版本的SDK有所協助！