視頻編解碼學習之四：視頻處理及編碼通訊協定

第10章 視頻處理

1.視頻處理

• 在視頻壓縮前後，對視頻映像品質增強操作
• 視頻編解碼系統輸出的映像主觀品質不僅與壓縮演算法的效能有關，還受視頻處理的影響
• 壓縮之前對視頻的處理稱作預先處理（Pre-processing）
• 壓縮之後對視頻的處理稱作後處理（Post-processing）

2. 預先處理

• 預先處理的目的
  • 為了減少原映像受到的損害，保持原映像的重要特徵，使原映像能被高效的壓縮
    • 雜訊汙染
    • 光照差
    • 抖動
  • 為了進行視頻格式轉換
    • 去隔行
    • 空間縮放
    • 幀率轉換
• 去雜訊處理

• 去隔行（Deinterlace）
  • 隔行掃描的視頻映像在漸進式掃描播放裝置上播放會有隔行效應，降低了主觀品質

3. 去隔行的方法

• 在單場內去隔行
  • 用奇數（偶數）行插值出偶數（奇數）行

• 兩場間去隔行
  • 用兩場的像素值（包括運動向量資訊）插值出一幀象素值

• 運動補償方法
  • 用前後向參考場的運動向量資訊，產生高品質的逐行幀

4. MPEG去隔行處理

• MPEG-2後處理去隔行

5. 空間縮放

• 上採樣（Up sample）方法
  • 最近鄰插值（Nearest-neighbor interpolation ）
    • 用原映像上每一個象素點值作為上採樣映像上對應四個相鄰象素點的值
    • 會產生階梯形狀的效應
  • 線性，雙線性插值

  P(x,y)=P(0,0)xy+P(1,0)(1-x)y+P(0,1)x(1-y)+P(1,1)(1-x)(1-y)

  • 雙立方插值（Bicubic interpolation）
    • 用鄰近的16個象素值插值當前象素
    • 有更平滑的插值效果

• 下採樣（Down sample）方法
  • 縮小原始映像

5. 超解析度

• 光流：象素的運動向量

6. 幀率轉換

• 3：2下拉
  • 24幀/秒電影轉換成60場/秒的電視視頻
  • 24/30=4/5

• 幀率下採樣（跳幀）

• 幀率上採樣

7. 後處理

• 後處理的目的是為了去除解碼映像的各種效應，最大程度恢複損失的映像資料，提高解碼映像的主觀品質
  • 量化方法使變換係數資訊損失導致解碼映像產生失真和塊邊界的不連續性
    • 塊效應（Block Artifact），響鈴效應（Ringing Artifact）
    • 失真（Distortion）
  • 視頻碼流傳輸及解碼導致的解碼映像品質問題
    • 跳幀（Frame Skip）
    • 資料丟失（Data Loss）

8. 塊效應

• 塊效應產生原因
  • 由於塊被獨立的處理

9. 去除塊效應濾波

• 去除塊效應濾波
  • 環外濾波（Out loop filter）：
    • 濾波器在解碼環路外，對顯示緩衝區的映像進行濾波
    • 非標準部分，只有解碼器需要環外濾波
    • MPEG-2，MPEG-4 SP
  • 環路濾波（In loop filter）：
    • 濾波器在解碼環路內，濾波後的映像可以作為參考幀用於運動估計和補償
    • 標準的一部分，轉碼器都需要環路濾波
    • AVS，H.264/AVC

10. 響鈴效應

• 響鈴效應產生原因
  • 由於高頻係數的量化嚴重

11. 資料丟失

• 資料丟失

12. H.264的環路濾波

• 濾波邊界

• 適應性濾波

• 濾波強度

• 濾波決策閾值

• 濾波強度
  • 濾波強度和量化參數QP有關
    • QP越高，量化程度越大，會產生更多的塊效應，需要更強的濾波
    • QP越低，量化程度越小，會產生更少的塊效應，用弱一些的濾波來防止邊界變得模糊
  • 根據濾波強度（Bs）的不同有兩種濾波器
    • 1≤ Bs≤3，基本濾波操作
    • Bs=4，強力濾波操作
  • 邊界濾波計算

• 截斷巨集指令引數C

• Bs=4
• 塊效應更明顯
• 需要更劇烈的濾波，去除塊效應
• 當滿足以下條件對邊界進行強濾波

• 強濾波時修改p0, p1, p2的像素值
• 弱濾波時只修改p0的像素值

 

第11章 視頻編碼通訊協定

1.國際標準組織

• ITU (International Telecommunications Union)：國際電信聯盟
• ISO (International Standardization Organization)：國際標準組織
• IEC (International Electrotechnical Commission)：國際電子電機委員會

2. ITU

• ITU-T (Telecommunication)：電信標準化部門
• ITU-R (Radiocommunication)：無線電通訊部門
• ITU-D (Development)：電信發展部門
• VCEG (Video Coding Experts Group)：視頻編碼專家組，屬於ITU-T的Study Group 16/Question 6 (ITU-T SG16/Q.6)

3. VCEG

• VCEG制訂標準：
  • H.261：第一個視頻編碼通訊協定，用於ISDN（px64Kbps）傳輸的視頻會議，主要採用了基於整象素的運動補償
  • H.262 (MPE-2)：與MPEG合作制定的標準
  • H.263 (H.263+， H.263++)：用於低碼率的視頻編碼，主要用於PSDN低於54Kbps的視頻會議和視頻電話，採用了1/2象素運動補償，考慮了資料損失和錯誤魯棒性的需要
  • H.26L： H.264的前身標準
  • H.264 (MPEG-4 AVC)：目前編碼效率最高的標準

4. ISO/IEC

• JPEG：ISO/IEC JTC1/SC29/WG1
• MPEG：ISO/IEC JTC1/SC29/WG11

5. MPEG

• MPEG制訂標準：
  • MPEG-1 ： H.261+半象素運動補償+雙向預測+條帶結構編碼，用於VCD，LAN視頻（最大1.5Mbps）
  • MPE-2： MPEG-1+隔行視頻編碼+縮放功能，用於HDTV（18Mbps） 、SDTV （2-5Mbps）數字訊號傳輸和DVD（6-8Mbps）儲存，相容MPEG-1標準
  • MPEG-4 ASP (P-2) ：從H.263標準發展而來，基於視頻對象平面編碼，能在解碼端控制視頻對象，合成情境，並有音視頻互動功能
  • MPEG-4 AVC (P-10)（H.264/AVC）：與VECG合作制定的標準

6. 視頻編碼通訊協定

• 國際標準組織及其制定的編碼通訊協定

7. 標準的應用

8. 其他標準組織

• AVS (China Audio and Video Standard)
  • AVS1.0 ：面向高清數字電視廣播
  • AVS-M：面向移動視頻
  • AVS-S：面向監控視頻
• SMPTE (The Society of Motion Picture and Television Engineers )
  • VC-1

9. 視頻編碼通訊協定發展

10. MPEG-1

• 標準文檔：ISO/IEC 11172-2
• 編碼技術：基於H.261
  • B幀編碼：B幀不能被其它幀參考
  • 16x16 ½精度運動補償
  • 碼率控制：宏塊級的碼率控制，調整宏塊的量化參數控制碼率
  • 可使用視訊隨機訪問，回放，碼流編輯，音視頻同步
• 參考軟體：Simulation Model 3（SM3）

11. MPEG-2

• 標準文檔：ISO/IEC 13818-2
• 編碼技術：基於MPEG-1
  • 幀和場運動補償
  • 三種類型的縮放
    • 空間縮放
    • 時間縮放
    • SNR縮放
• 參考軟體：Test Model 5 （TM5）
• Profile：工具集
• Level：參數限制
• 不同的應用使用不同的Profile和Level的組合

12. H.263系列

• H.263編碼技術：基於H.261
  • 半象素精度運動補償
  • 可選的資料流階層
  • 四種高效編碼模式
    • D選項—無限制的運動向量模式
    • E選項—基於文法的算術編碼
    • F選項—進階預測模式，OBMC
    • G選項—PB幀模式
  • 支援更多的視頻映像解析度
  • 參考軟體TMN2.0（Test Model Near-term 2.0）
• H.263+編碼技術：基於H.263
  • 允許自訂視頻映像格式
  • 增加了12個選項提高壓縮效率
    • I選項—進階的幀內預測模式
    • J選項—去塊效應濾波
    • K選項—條帶結構模式
    • L選項—補充增強資訊，用於解碼器的顯示相關的資訊
    • M選項—增強PB幀模式
    • N選項—參考幀選擇
    • O選項—分級，時間分級，空間分級，SNR分級
    • P選項—參考幀重採樣
    • Q選項—減少的解析度更新
    • R選項—獨立的片段解碼
    • S選項—可替代的inter-VLC
    • T選項—改進的量化
• H.263++編碼技術：基於H.263+
  • 增加了三個選項，增強抗誤碼能力
    • U選項—增強型參考幀選擇
    • V選項—資料分區條帶，變換量化係數和運動向量資料分離
    • W選項—增加的補充增強資訊，包括定點IDCT的選項，映像資訊，資訊類型，重複的映像頭，交替場指示，稀疏參考幀識別

13. MPEG-4

• 標準文檔：ISO/IEC 14496-2
• 編碼技術：基於H.263
  • 增加了基於對象的編碼和操作
    • 形狀分割編碼
    • 縮放的靜態紋理小波變換
    • 網格動畫編碼
    • 人臉動畫編碼
    • 內容合成，半合成編碼
    • 10位元，12位元深度採樣
    • 參考軟體VM7（Verification Model 7
• 基於對象編碼
  • 情境被分成多個對象
  • 每個對象用形狀，運動和紋理特徵描述

• Video Object Plane（VOP）

• Sprite編碼
  • 在序列開始編碼整個視頻背景和仿射映射，通過仿射映射將部分背景內容放到解碼映像上顯示

• 網格（Mesh）動畫編碼
  • 對象可由初始的網格和節點的運動向量描述

• Profile

14. H.264/AVC

• 標準文檔：ISO/IEC 14496-10（ITU-T H.264）
• 前身為：H.26L(Long Range)，基於MPEG-2/4
• 參考軟體JM（Joint Model）

15. H.264編碼結構

16. H.264-Intra編碼

• 4個亮度16x16的模式
• 9個亮度4x4的模式
• 4個色度8x8的模式
• 編碼複雜度高
• 不利於錯誤恢複

17. H.264-運動補償

• 可變塊運動補償
• ¼象素精度亮度運動補償
  • ½像素濾波器（1, -5, 20, 20, -5, 1）
• 1/8象素精度色度運動補償
  • 色度採用雙線性濾波
• 映像外運動向量
• 多參考幀
  • 每個宏塊的四個8x8子塊都可以使用不同的參考幀

18. H.264多參考幀

• P幀
  • 只參考一個list的參考幀，List0
• B幀
  • 參考兩個list的參考幀，List0和List1
• 每個List最大可包含16個參考幀
  • List0：以前的參考幀緩衝
  • List1：將來的參考幀緩衝

19. H.274-加權預測

20. H.264-切換映像

• SP/SI幀實現
  • 碼流切換
  • 隨機切入
  • 錯誤恢複
  • 也可以實現快進，快退
• 特點
  • 對於不同的參考映像可以得到完全相同的重構映像
  • SP幀的編碼效率低於P幀但高於I幀
  • SI幀的編碼效率低於I幀

21. H.264-FMO

• 靈活宏塊順序（Flexible MB Order，FMO）
  • 宏塊有不同的組合構成條帶
  • 七種不同的宏塊組合方式
• FMO增強瞭解碼的錯誤恢複能力

22. H.264-資料分區

• 上層的文法元素的丟失會嚴重影響壓縮碼流的解碼
• 將碼流按照重要程度分成三部分
  • A：頭資訊：包括宏塊類型，運動向量等
  • B：Intra係數資訊
  • C：Inter係數資訊
• 用不同的優先順序傳輸不同重要程度的分區來實現錯誤恢複

23. H.264-ASO，RP

• 任意條帶順序（Arbitrary Slice Order，ASO）
  • 條帶之間獨立解碼
  • 條帶可以按任意順序傳輸
  • 丟失的條帶可以被解碼的條帶恢複出來
• 冗餘映像（Redundant Picture）
  • 在碼流裡放入冗餘的映像，如果映像資料丟失了，可以用冗餘映像代替

24. H.264-視頻編碼層

• 網路獨立的編碼層
• VCL層包含：
  • 序列參數集：Sequence Parameter Set（SPS），存放序列頭資訊
  • 映像參數集：Picture Parameter Set（PPS），存放映像頭資訊
  • 條帶以下資料
  • 額外的增強資訊（Supplemental Enhancement Information，SEI）

25. H.264-網路提取層

• 提取的VCL資料
• 適合於傳輸層的資料轉送和媒介的儲存
• NAL單元為資料包和碼流系統定義了一種通用的傳輸格式

• NAL單元串連在一起構成了NAL流
• 面向碼流傳輸的NAL單元

• 面向資料包傳輸的NAL單元

26. H.264-Profiles

• Profile：碼流文法子集

• Fidelity Range Extensions

27. H.264-Levels

• Level：參數限制

28. AVS vs. H.264

29. 效能比較

30. AVS會員