C++實現RTMP協議發送H.264編碼及AAC編碼的音視頻

標籤：

http://www.cnblogs.com/haibindev/archive/2011/12/29/2305712.html

RTMP（Real Time Messaging Protocol）是專門用來傳輸音視頻資料的流媒體協議，最初由Macromedia 公司建立，後來歸Adobe公司所有，是一種私人協議，主要用來聯絡Flash Player和RtmpServer，如FMS, Red5, crtmpserver等。RTMP協議可用於實現直播、點播應用，通過FMLE（Flash Media Live Encoder）推送音視頻資料至RtmpServer，可實現網路攝影機即時直播。不過，畢竟FMLE應用範圍有限，想要把它嵌入到自己的程式中，還是要自己來實現RTMP協議的推送。本人實現了一個RTMPLiveEncoder，通過採集網路攝影機視頻和麥克風音頻，並進行H.264和AAC編碼，然後發送到FMS和crtmpserver上，實現即時直播，可以通過flash player正常觀看，目前效果良好，延遲時間在2秒左右。本文就介紹一下RTMPLiveEncoder的主要思路和關鍵點，以期對需要這方面技術的朋友有所協助。

技術分析

　　要實現RTMPLiveEncoder，需要以下四種關鍵技術：

• 採集網路攝影機視頻和麥克風音頻
• H264編碼和AAC編碼
• 視頻和音頻資料封裝為可被流媒體伺服器識別的可播放流
• RTMP協議實現報文發送

　　其中，前兩項技術在我之前的文章“採集音頻和網路攝影機視頻並即時H264編碼和AAC編碼”中已經介紹過了，這裡就不再囉嗦了。

　　把音視頻資料封裝為可播放流，這個是一個痛點。仔細研究一下，你會發現，RTMP Packet中封裝的音視頻資料流，其實和FLV封裝音頻和視頻資料的方式是相同的，所以，我們只需要按照FLV封裝H264和AAC的方式，即可產生可播放流。

　　我們再看一下RTMP協議。Adobe曾經發布過一份文檔《RTMP Specification》，不過wikipedia指出這份文檔隱藏了很多細節，單獨根據它是無法正確實現RTMP的。不過，它還是有參考意義的。其實Adobe發布之前，RTMP協議就已經被破解的差不多了，現在也已經有比較完善的實現，比如：RTMPDump，它提供的是C語言的介面，這意味著可以很方便的在其他語言中調用。

程式架構

　　與我之前寫的“採集音頻和網路攝影機視頻並即時H264編碼和AAC編碼”這篇文章相同，採用DirectShow技術來實現音視頻採集，音頻編碼和視頻編碼，在各自線程（AudioEncoderThread和VideoEncoderThread）中迴圈進行，RTMP的推送另起一個線程（RtmpThread）。兩個編碼線程即時編碼音視頻資料後，將資料交與Rtmp線程，由Rtmp線程迴圈封裝為Rtmp Packet，然後發出去。

　　線程之間的資料交換，通過一個隊列DataBufferQueue來實現。AudioEncoderThread和VideoEncoderThread把資料指標post到DataBufferQueue之後，立即返回，這樣就可以避免因為發送Rtmp報文的而影響到編碼線程的正常執行時間。

    

　　RtmpThread的主要工作就是發送音頻資料流的解碼資訊頭和視頻資料流的解碼資訊頭，並不斷從DataBufferQueue中取出資料，封裝為RTMP Packet，發送出去。流程如下列代碼所示：（process_buf_queue_，即是中的DataBufferQueue）

librtmp一、編譯librtmp

　　下載rtmpdump的代碼，你會發現，它是一個地道的linux項目，除了一個簡單的Makefile，其他什麼都沒有。好像librtmp不依賴於系統，我們可以不用費太多功夫，把它在windows上編譯。不過，librtmp依賴於openssl和zlib，我們需要首先編譯好它們。

　　1. 編譯openssl1.0.0e

　　a) 下載並安裝ActivePerl

　　b) 下載並安裝nasm(http://nasm.sourceforge.net/)

　　c) 解壓openssl壓縮包

　　d) 運行cmd命令列，切到openssl目錄，分別執行以下命令

>perl Configure VC-WIN32 --prefix=c:\some\dir
>ms\do_nasm

　　e) 運行Visual Studio Command Prompt(2010)，切到openssl目錄，分別執行以下命令。

>nmake -f ms\nt.mak
>nmake -f ms\nt.mak install

　　f) 編譯完畢後，即可在第一個命令所指定的目錄下發現編譯好的sdk。

　　2. 編譯zlib

　　a) 解壓zlib壓縮包

　　b) 運行Visual Studio Command Prompt(2010)，切到openssl目錄，分別執行以下命令

>cd contrib\masmx86
>bld_ml32.bat

　　c) 回到zlib目錄，進入contrib\vstudio\vc10目錄，開啟vs2010解決方案檔案，

　　   在zlibstat工程屬性中，去掉先行編譯宏 ZLIB_WINAPI

　　d) 選擇debug或release編譯即可

　　3. 編譯librtmp

　　a) 首先開啟visual studio 2010，建立一個win32 console工程，指定為靜態連結庫

　　b) 將librtmp的代碼匯入工程，把openssl、zlib的標頭檔和librtmp放在一起，把編譯好的openssl和zlib的靜態庫放在一起

        

　　c) 在工程設定中，添加之前編譯好的openssl和zlib的庫，編譯即可。

    

二、librtmp的使用

　　首先初始化RTMP結構

　　開始之後，就要向RTMP Server發起握手串連報文

　　串連成功，就可以開始迴圈發送報文了，這裡需要指定時戳和資料類型（Audio、Video、Metadata）。這裡有一點需要注意的是，在調用Send之前，buf中的資料，必須是已經封裝好的H264或AAC資料流。

　　關閉

　　最後是釋放

 

H264和AAC資料流

　　本文提到過，RTMP推送的音視頻流的封裝形式和FLV格式相似，由此可知，向FMS推送H264和AAC直播流，需要首先發送"AVC sequence header"和"AAC sequence header"，這兩項資料包含的是重要的編碼資訊，沒有它們，解碼器將無法解碼。

　　AVC sequence header就是AVCDecoderConfigurationRecord結構，該結構在標準文檔“ISO-14496-15 AVC file format”中有詳細說明。

    

　　AAC sequence header存放的是AudioSpecificConfig結構，該結構則在“ISO-14496-3 Audio”中描述。AudioSpecificConfig結構的描述非常複雜，這裡我做一下簡化，事先設定要將要編碼的音頻格式，其中，選擇"AAC-LC"為音頻編碼，音頻採樣率為44100，於是AudioSpecificConfig簡化為下表：

    

　　這樣，AVC sequence header和AAC sequence header的內容可以基本確定了，更詳細的資訊，大家可以去翻閱相關文檔。

    

運行效果

　　RtmpLiveEncoder開始運行

    

　　用FMS內建的一個flash播放器播放

    

 

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

  haibindev.cnblogs.com，合作請聯絡QQ。（轉載請註明作者和出處）

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

C++實現RTMP協議發送H.264編碼及AAC編碼的音視頻