網路媒體流的音視頻同步

標籤：

一、音視頻同步原理介紹      

      在多媒體採樣/編碼時，音頻和視頻都有一個固定的頻率，比如視頻以h264為例，其幀率是15F/S，音頻以AAC為例，其採樣率為44100,每幀含1024個sample,這樣其幀率約為43F/S。這樣，在理論上，每秒鐘需要播放15幀視頻資料和43幀音頻資料。如果有一方播放速度過快或過慢，都會影響使用者體驗，這是音視頻需要同步的原因。

二、實現方案簡介

2.1兩個時間參考點

要實現音視頻同步，需要有兩個時間參考點
（1）、編碼時間參考點

　　　  以第一個到達的視訊框架時間戳記作為編碼參考時間戳記enPreTime

（2）、解碼時間參考點        

          以第一個視訊框架到達時間作為播放參考時間playPreTime

2.2四個緩衝隊列

(1)視頻接收緩衝隊列

(2)音頻接收緩衝隊列

(3)視頻播放緩衝隊列

(4)音頻播放緩衝隊列

2.3同步實現步驟 

   具體實現方案如下：

(1).以第一個到達的視訊框架時間戳記作為編碼參考時間戳記enPreTime，並以到達時間作為播放參考時間playPreTime。在該時間(playPreTime)之前到達的音訊框架,時間戳記大於enPreTime的，放入緩衝，小於enPreTime的，直接丟棄。

(2).周期性的從播放緩衝內讀取音視頻資料，並用當前幀的時間戳記與enPreTime做差，得到編碼時間差，擷取讀取時間與上一播放幀的時間差，得到等待時間。

當等待時間>=編碼時間差時，則，解碼並播放。否則，將資料放到播放緩衝。當播放緩衝已空時，則該從接收緩衝隊列讀取資料。並作與上相同的操作。

三、類似實現方案

本方案是以視頻為驅動的實現方案，還有以音頻為驅動的實現方案和無驅動同步方案，這裡不一一做介紹，感興趣的同仁可以自己研究一下其優缺點和適用情境。

 

網路媒體流的音視頻同步