視頻資料的預先處理，視頻資料預先處理

視頻資料的預先處理，視頻資料預先處理
                                                                      視頻資料的預先處理

視頻資料的預先處理主要可分為視頻鏡頭分割、主要畫面格提取、特徵提取三個步驟。

1.視頻鏡頭分割（鏡頭邊界檢測）

鏡頭分割是視頻處理的第一步，是後續視頻處理分析的基礎。同一鏡頭內視頻特徵的變化主要由兩個因素造成：對象/攝像機的運動和光線的變化。鏡頭之間的轉換方式主要有兩類，即突變(CutTransition)和漸層(Gradual Transition)。

（1）像素差異法

首先定義一個像素差異測度，然後計算連續兩幀映像的幀間差異並用其與一個預先設定的閾值作比較，大於該閾值，則認為情境發生了改變。

（2）基於長條圖的方法

基於長條圖的演算法是最普遍的情境分割方法，它處理起來簡單方便，而且對於大多數視頻，能達到比較好的效果。基於長條圖的方法將相鄰幀的各個像素的灰階、亮度或顏色等分成N個等級，再針對每個等級統計像素數做成長條圖比較。該方法統計了總體的灰階或顏色分布數量，它對鏡頭內的運動和攝像機的慢速運動有著良好的容忍能力，只是在鏡頭內容快速變化和鏡頭漸層時可能會引起誤檢或漏檢。

（3）塊匹配法

基於塊匹配的方法先將每一幀映像劃分成小的地區塊，連續幀之間的相似性通過比較對應的塊來進行判斷，該方法利用了映像的局部特徵來抑制雜訊以及攝像機及物體運動的影響。

（4）基於運動的方法

 基於運動的演算法充分考慮了同一鏡頭內對象及攝像機的運動情況和特徵，通過運動補償等方法來減小對象和攝像機運動造成的鏡頭內幀差值的變化。

（5）基於輪廓的方法

     對畫面簡單的視頻進行分割時，基於輪廓的演算法效果很好，在漸層鏡頭的檢測上尤為突出。但是，大多數的視頻中主要對象或背景可能都有很多複雜、細微或不斷變化的輪廓，會干擾對鏡頭邊緣的判斷，造成誤檢；而在光線比較暗和輪廓不是很明顯的情況下(如晚上和霧中)，由於難以檢測到輪廓又會造成漏檢。

2.主要畫面格提取

2.1主要畫面格的含義

 主要畫面格是指代表鏡頭中最重要的、有代表性的一幅或多幅映像。依據鏡頭內容的複雜程度，可以從一個鏡頭中提取一個或多個主要畫面格。主要畫面格的選取要包含本鏡頭的主要資訊。而且不能太複雜 要便於處理。

2.2 典型的主要畫面格提取技術

2.2.1 首尾幀法和中間幀法

首尾幀法將第一幅映像和最後一幅映像作為主要畫面格，對於突變鏡頭有效中間幀法選擇在時間上置中的一幅映像作為主要畫面格。其缺點是：限制了鏡頭主要畫面格的個數，不能精確代表鏡頭資訊。

2.2.2 基於顏色、紋理、形狀特徵法

（1）顏色特徵提取 

    顏色是映像的一個主要物理特徵。很少有兩個完全不同的對象有相似的顏色特徵。顏色特徵包括色彩長條圖、主導顏色、平均亮度等。利用顏色特徵檢索主要基於色彩長條圖。彩長條圖表徵了映像色彩頻率分布。它實際上是像顏色分布的統計特徵。為了描述一個鏡頭的主要畫面格變化。需要引入兩個新的內容描述子：主色長條圖和空間結構長條圖。主色就是一幀映像中佔比重比較大的顏色，主色長條圖能夠捕捉那些持續時最長的顏色。而這些顏色是這段視頻所關注的對象或背景的主要顏色從顏色塊圖提取的。空間結構長條圖是描述映像空間運動資訊的一組特徵。它反映了映像整體在色彩空間各軸上的平均亮度水平。這種基於運動檢測的自適應主要畫面格構造。可以全面表示鏡頭的內容變化。

簡單地說就是，當前幀與最後一個判斷為主要畫面格的映像比較，若有較多特徵發生改變，則為新的主要畫面格。不同的視頻鏡頭，得到不同資料的主要畫面格。

（2）紋理特徵提取  

    紋理是某些映像所具有的局部不規則而宏觀上又有規律性的特性。 紋理特徵包括粗糙性、方向性和對比。在進行紋理特徵提取時，利用灰階共生矩陣法來提取紋理特徵。灰階共生矩陣的定義：映像的灰階級定為N級。那麼灰階共生矩陣為NxN矩陣，可表示為Mδ(i,j)。在灰階共生矩陣中選取表示紋理特徵的四個統計量：對比(contrast)、 紋理的一致性(uniformity)、像素對灰階的相關性(correlation)和熵(entropy)作為特徵向量。 在 0°，45°，90°，135°四個方向上提取上述的四個紋理特徵，組成16維的特徵向量。

（3）形狀特徵提取 

    輪廓形狀是一幀映像的主要特徵，形狀特徵提取依靠邊緣檢測。邊緣檢測主要用到矩。通過矩來描述形狀，計算速度快。在形狀特徵提取演算法中，只是對量化後的各色彩計算其矩。較映像分割的方法更具魯棒性，演算法也較為簡單。在各階矩中，選定零 階、一階矩作為映像的空間特徵。

2.2.3基於運動分析法

攝像機的運動所造成的顯著運動資訊時產生映像變化的重要因素，也是提取主要畫面格的一個依據。若由於相機焦距變化造成，則首、尾幀為主要畫面格；若由於相機角度變化造成，如果與上一主要畫面格重疊小於30％，則當前幀為主要畫面格。

2.2.4基於聚類的方法

對於比較大的映像資料庫來說，先採用某種聚類演算法，把映像庫中的映像進行分類，在此基礎上提取主要畫面格會使計算量大大減少。這種方法計算效率高，能有效擷取視頻鏡頭變化顯著的視覺內容。對於低活動性鏡頭，提取少量的主要畫面格；反之，提取較多的主要畫面格。

 

3.視頻特徵提取

    視頻的基本特徵可分為靜態特徵和動態特徵。

3.1 靜態特徵

    靜態特徵主要是主要畫面格的映像特徵，對主要畫面格的特徵提取方法和對一般的靜態映像的特徵提取方法是一樣的。靜態特徵主要包括顏色特徵、紋理特徵、形狀特徵等；

3.1.1 顏色特徵

（1）顏色特徵的優點：顏色特徵有許多優點，其中包括操作簡單、性質穩定以及對一些變

     化如旋轉、平移、尺度變換等保持不變性，因此魯棒性很強。

（2）色彩空間：顏色通常的顏色是定義在三維色彩空間中的，包括RGB（紅，綠，藍），HSV

（色調，飽和度，亮度值）或HSB（色調，飽和度，亮度）。最常用的色彩空間為 RGB、

 HSV、LUV、YCrCb 等。RGB 空間結構並不符合人們對顏色相似性的主觀判斷，而HSV

 色彩空間更接近人們對色彩空間的主觀認識。RGB空間可以向HSV空間進行轉化（在

 Matlab中直接使用RGB2HSV即可轉化）。

 

（3）顏色長條圖：映像顏色資訊的主要表示方式是顏色長條圖（具有尺度不變性和旋轉不

     變性）。在顏色長條圖中，X軸的取值取決於映像的顏色數量，Y軸表示在每個顏色下

     的像素點的數目。顏色長條圖描述的是不同色彩在整幅映像中所佔的比例，而不關心

     顏色的空間分布位置。

     距離度量：兩種顏色之間的距離有多種不同的度量方法。如：HSV空間的一種度量方

     法如下：

  

     這種相似度量方法相當於一個圓柱形色彩空間中的歐拉距離

（4）顏色矩：映像中任何的顏色分布均可以用它的矩來表示，且顏色分布資訊主要集中

     在低階矩中。與顏色長條圖相比，該方法的好處在於無需對特徵進行向量化。

（5）顏色集：是對顏色長條圖方法的一種近似。該方法將映像表達為一個二進位的顏色索

     引集，以支援大規模映像庫中的快速尋找。

（6）顏色彙總向量：它是顏色長條圖的一種演變，其核心思想是將屬於長條圖每一個bin

     的像素分為兩部分：彙總像素和非彙總像素。包含了顏色分布的空間資訊。

3.1.2 紋理特徵

紋理包含物體表面的結構布置等重要訊息，描述了物體表面與其周圍環境。紋理的特性包括：粗糙度(coarseness)、對比(contrast)、方向度(directionality)、線像度(linelikeness)、規整度(regularity)和粗略度(roughness)。

常用的紋理分析和分類方法：

（1）小波變換：小波變換指的是將訊號分解為一系列的基本函數 ψmn(x)。四個子波段，

     根據頻率特徵分別稱為 LL、LH、HL 和 HH。有兩種類型的小波變換可以用於紋理分析，

     其中是金字塔結構的小波變換（PWT）和樹樁結構的小波變換（TWT）。

（2）共生矩陣：首先建立一個基於像素之間方向性和距離的共生矩陣，然後從矩陣中提取

     有意義的統計量作為紋理特徵。

3.1.3 形狀特徵

形狀可以被定義為一個對象的表面結構輪廓特徵。它使得一個對象區可以別於其周圍環境的其他對象來。形狀特徵有兩種表示方法：一種是輪廓特徵的，一種是地區特徵的。前者只用到物體的外邊界，而後者則關係到整個形狀地區。表達這兩類形狀特徵的最典型方法分別是傅立葉描述符和形狀無關矩。

3.1.4 空間關係特徵

映像中對象所在的位置和對象之間的空間關係同樣是映像檢索中非常重要的特徵。空間關係特徵可以分為兩類：一類方法首先對映像進行自動分割，劃分出其中所含的對象或顏色地區，然後根據這些地區對映像索引；另一類方法則簡單地將映像均勻劃分若干規則子塊，對每個映像子塊提取特徵建立索引。

3.2 動態特徵

動態特徵是視頻資料所特有的，包括全域運動（攝像機的運動如搖鏡頭、推拉、跟蹤等攝像機的操作)和局部運動（鏡頭內對象的運動，運動軌跡、相對速度、對象之間位置的變化等)。動態特徵是視頻資料的重要特徵。因為僅用代表幀的映像特徵是很難說明視頻序列的運動變化情況的。

（1）全域運動

     主要包括攝像機的平移、旋轉、縮放。可以建立攝像機運動的通用模型來刻畫攝像機

     的運動。在對攝像機運動模型的參數進行估計時，首先從相鄰幀中選取足夠多的觀測      點，接著用一定的匹配演算法求出這些點的觀測運動向量，最後用參數擬合的方法來估      計模型參數。

（2）局部運動

     局部運動特徵提取技術：基於光流場的運動向量提取技術（利用運動映像序列中的灰

     度資料的時域變化和相關性，確定映像像素的運動情況）。光流是基於像素灰階的一種      表觀運動，並不等於運動向量。

u  光流基本約束方程：其基本思想是將運動映像函數作為基本函數，根據映像灰階守恒  原理建立光流約束方程，通過求解光流約束方程，計算運動向量。

u  Horn-Schunck 光流場計算方法：由於對應每一個像素點有兩個未知量 ，所以求解光 

     流方程是一個不適定問題。Horn 依據同一運動物體引起的光流場應該是連續的、平滑      的，即同一物體上相鄰點的速度是相似的，那麼其投影到映像上的光流變化也應該是      平滑的這一特點，提出了一種利用加在光流場上的附加約束即整體平滑約束來將光流      場的計算問題轉化為一個最佳化問題。