HTTP Live Streaming直播(iOS直播)技術分析與實現

標籤：

花了一些時間研究了HTTP Live Streaming（HLS）技術，並實現了一個HLS編碼器HLSLiveEncoder，當然，C++寫的。其功能是採集網路攝影機與麥克風，即時進行H.264視頻編碼和AAC音頻編碼，並按照HLS的協議規範，產生分段的標準TS檔案以及m3u8索引檔案。通過我的HLSLiveEncoder和第三方Http伺服器（例如：Nginx），成功實現了HTTP Live Streaming直播，並在iphone上測試通過。我就把這當中的一些收穫寫在這裡。  HLS技術要點分析HTTP Live Streaming（HLS）是蘋果公司(Apple Inc.)實現的基於HTTP的流媒體傳輸協議，可實現流媒體的直播和點播，主要應用在iOS系統，為iOS裝置（如iPhone、iPad）提供音ApsaraVideo for Live和點播方案。HLS點播，基本上就是常見的分段HTTP點播，不同在於，它的分段非常小。要實現HLS點播，重點在於對媒體檔案分段，目前有不少開源工具可以使用，這裡我就不再討論，只談HLS直播技術。 相對於常見的流媒體直播協議，例如RTMP協議、RTSP協議、MMS協議等，HLS直播最大的不同在於，直播用戶端擷取到的，並不是一個完整的資料流。HLS協議在伺服器端將直播資料流儲存為連續的、很短時間長度的媒體檔案（MPEG-TS格式），而用戶端則不斷的下載並播放這些小檔案，因為伺服器端總是會將最新的直播資料產生新的小檔案，這樣用戶端只要不停的按順序播放從伺服器擷取到的檔案，就實現了直播。由此可見，基本上可以認為，HLS是以點播的技術方式來實現直播。由於資料通過HTTP協議傳輸，所以完全不用考慮防火牆或者代理的問題，而且分段檔案的時間長度很短，用戶端可以很快的選擇和切換碼率，以適應不同頻寬條件下的播放。不過HLS的這種技術特點，決定了它的延遲一般總是會高於普通的流媒體直播協議。 根據以上的瞭解要實現HTTP Live Streaming直播，需要研究並實現以下技術關鍵點1.採集視頻源和音頻源的資料2.對未經處理資料進行H264編碼和AAC編碼3.視頻和音頻資料封裝為MPEG-TS包4.HLS分段建置原則及m3u8索引檔案5.HTTP傳輸協議 其中第1點和第2點，我之前的文章中已經提到過了，而最後一點，我們可以藉助現有的HTTP伺服器，所以，實現第3點和第4點是關鍵所在。  程式架構與實現          通過以上分析，實現HLS LiveEncoder直播編碼器，其邏輯和流程基本上很清楚了：分別開啟音頻與視頻編碼線程，通過DirectShow（或其他）技術來實現音視頻採集，隨後分別調用libx264和libfaac進行視頻和音頻編碼。兩個編碼線程即時編碼音視頻資料後，根據自訂的分區策略，儲存在某個MPEG-TS格式分段檔案中，當完成一個分段檔案的儲存後，更新m3u8索引檔案。如所示：中HLSLiveEncoder當收到視頻和音頻資料後，需要首先判斷，當前分區是否應該結束，並建立新分區，以延續TS分區的不斷產生。需要注意的是，新的分區，應當從主要畫面格開始，防止播放器解碼失敗。核心代碼如下所示：TsMuxer的介面也是比較簡單的。  HLS分段建置原則和m3u8   1.分段策略a.HLS的分段策略，基本上推薦是10秒一個分區，當然，具體時間還要根據分好後的分區的實際時間長度做標註。b.通常來說，為了緩衝等方面的原因，在索引檔案中會保留最新的三個分區地址，以類似“滑動視窗”的形式，進行更新。 2.m3u8檔案簡介m3u8，是HTTP Live Streaming直播的索引檔案。m3u8基本上可以認為就是.m3u格式檔案，區別在於，m3u8檔案使用UTF-8字元編碼。 #EXTM3U                                       m3u檔案頭，必須放在第一行#EXT-X-MEDIA-SEQUENCE        第一個TS分區的序號#EXT-X-TARGETDURATION        每個分區TS的最大的時間長度#EXT-X-ALLOW-CACHE              是否允許cache#EXT-X-ENDLIST                          m3u8檔案結束符#EXTINF                                        extra info，分區TS的資訊，如時間長度，頻寬等。一個簡單的m3u8索引檔案  運行效果           在Nginx工作目錄下啟動HLSLiveEncoder，並用VLC播放器串連播放。通過iPhone播放的效果。

HTTP Live Streaming直播(iOS直播)技術分析與實現