讀《中國工程院院士高文：多媒體大資料分析與搜尋》總結

標籤：

原文網址：http://www.csdn.net/article/1970-01-01/2826441

1.中國工程院院士高文帶來了名為“多媒體大資料分析與搜尋”的主題演講，深度剖析媒體大資料的存不下、看不清、找不到的三大技術挑戰問題，以及解決方案，分別為：超高效視頻編碼解決壓縮問題，在視頻編碼工具中引入情境模型，擷取更好的編碼效率；以物件導向檢測、跟蹤與識別解決模式識別問題，支援ROI、GPS和多攝像機關聯；以大規模圖像式搜尋解決跨網路攝影機搜尋問題，制訂新視覺描述子標準來支援有效搜尋。

2.現代社會中，大資料來源豐富，更直接讓交通、醫學衛生、教育、安全等發生變化，而在智慧城體系中，監控視頻是體量最大的大資料。基於此，今天，我主要分享媒體大資料的三個挑戰問題。第一，存不下，24小時產生的資料量積累得很大。第二，看不清，用眼睛看，橫看豎看，還是看不清楚，可能有時候都要猜來猜去，還需要很有經驗的人才能看出來大概。為什嗎？存的時候做了壓縮，壓縮時不知將來作何用，為了節省儲存量，壓得太狠了，再把它解開時基本看不清。第三，找不到。現在網路攝影機到處都是，網路攝影機拍到了，但是不是想要找的？不知道，即使看清楚了，一跨網路攝影機也就找不到了。所以攝像機網路跨網路攝影機搜尋問題也是個難題。

3.剛才說的是從編碼的角度，我們有去空間冗餘、去時間冗餘和去編碼冗餘三種技術，來把視頻流裡的冗餘去掉，這三種技術包含了許多演算法，有變換、濾波、運動補償、熵編碼等等。

4.現在我們提出個支援是ROI，就是編碼時候識別出來哪個地區可能是識別要用的地區，把這個地區定義成感興趣地區，對於感興趣地區要描繪出來，現在文法裡對感興趣地區有專門的描述，除了這個地區以外還包括其他的，比如你可以放GPS資訊、攝像機參數資訊。有了這個以後，我在後面編碼時候，會針對編碼參數進行調整，ROI地區壓得輕一點，這樣關鍵的資訊丟失的會少一點。

5.現在有一個專門技術是再認證，一個人在一個網路攝影機裡出現過，當你就到第二個網路攝影機，那麼我能夠再識別出來你。因為有時候可能不是正臉，靠Face Service已經不管用了，就要靠顏色、身體、步態、外形等等綜合識別就是你。

6.這裡面的關鍵技術，一個是選擇特徵點，然後選擇特徵，把這些特徵進行彙總、進行壓縮、進行點壓縮，最後形成個非常小的。舉例來說有多小，比如你照了個照片，這個照片有3、4兆大的尺寸，我們從中提出來大概500個bit，連1K都不到，就可以進行搜尋了，最高可以到16K，16K檢索的效率就更高，我們判斷特徵好不好是用召回率來判斷，我們都希望召回率達到90%，低於90%就認為這個特徵沒有選好。什麼叫召回率90%？我用完整的照片到庫裡搜出來的東西，和我這用521個去搜，是不是有90%都在我剛才搜的100個裡面，如果是的話那你這個特徵是可以的，我們是根據這個準則。

7.它背景技術涉及到，比如資料壓縮的技術，涉及到電腦視覺特徵提取，涉及到機器學習和視覺挖掘。特徵和視覺有關的主要是局部描述子，如果大家對模式識別知道一點的話，裡面有個非常好的描述詞叫“SIFT特徵”，這個特徵它有一些特點，它可以保持平移不變、旋轉不變、伸縮尺度不變等，有這個特徵在識別裡面是蠻有用的。但是這個特徵有點毛病，一個是專利問題，另外是耗費儲存比較大，耗費計算時間比較大。

8.總結一下，對多媒體大資料、對智慧城市或智能城市有三個挑戰問題：壓縮問題、模式識別問題、圖像式搜尋問題。針對這些問題，壓縮主要是靠提高編碼壓縮的效率來應對；識別問題我們要想法做好編碼，做些ROI的支援，把這些資訊儘可能包含進去，使得後面丟失的資訊更少一點；圖像式搜尋的問題可以採用緊縮的描述形式，使得搜尋的速度更快，現在這個系統基本上是100萬張圖片可以在1秒之內完成搜尋，這個速度是非常快的。

 

讀《中國工程院院士高文：多媒體大資料分析與搜尋》總結