iOS直播類APP開發流程解析_IOS

本文為大家分享了iOS直播類APP開發流程，供大家參考，具體內容如下

一 . 音視頻處理的一般流程：

 資料擷取→資料編碼→資料轉送(流媒體伺服器) →解碼資料→播放顯示
1、資料擷取：
攝像機及拾音器收集視頻及音頻資料，此時得到的為未經處理資料
涉及技術或協議：
攝像機：CCD、CMOS
拾音器：聲電轉換裝置（咪頭）、音頻放大電路
2、資料編碼：
使用相關硬體或軟體對音視頻未經處理資料進行編碼處理（數字化）及加工（如音視頻混合、打包封裝等），得到可用的音視頻資料
涉及技術或協議：
編碼方式：CBR、VBR
編碼格式
視頻：H.265、H.264、MPEG-4等，封裝容器有TS、MKV、AVI、MP4等
音頻：G.711μ、AAC、Opus等，封裝有MP3、OGG、AAC等
3、資料轉送：
將編碼完成後的音視頻資料進行傳輸，早期的音視頻通過同軸電纜之類的線纜進行傳輸，IP網路發展後，使用IP網路優傳輸
涉及技術或協議：
傳輸協議：RTP與RTCP、RTSP、RTMP、HTTP、HLS（HTTP Live Streaming）等
控制信令：SIP和SDP、SNMP等
4、解碼資料：
使用相關硬體或軟體對接收到的編碼後的音視頻資料進行解碼，得到可以直接顯示的映像/聲音
涉及技術或協議：
一般對應的編碼器都會帶有相應的解碼器，也有一些第三方解碼外掛程式等
5、播放顯示：
在顯示器（電視、監視屏等）或擴音器（耳機、喇叭等）裡，顯示相應的映像畫面或聲音
涉及技術或協議：
顯示器、擴音器、3D眼鏡等

 （二） 視頻推流與視頻拉流的工作過程解析： 
1.視頻推流端
推流，就是將採集到的音頻，視頻資料通過流媒體協議發送到流媒體伺服器。 
一、選擇流媒體協議 
現在直播應用，採用RTMP協議居多，也有部分使用HLS協議。 
採用RTMP協議，就要看下它與流媒體伺服器互動的過程，RTMP協議的預設連接埠是1935，採用TCP協議。並且需要瞭解FLV的封裝格式。 
採用HLS協議，因為涉及到切片，延時會比較大，需要瞭解TS流。 

二、採集音視頻資料 
做直播，資料的來源不可缺少，就是採集網路攝影機，麥克風的資料。 
iOS平台上採集音視頻資料，需要使用AVFoundation.Framework架構，從captureSession會話的回調中擷取音頻，視頻資料。 

三、寫入程式碼，軟編碼音視頻資料

軟編碼就是利用CPU資源來壓縮音視頻資料，寫入程式碼與之相反。 
軟編碼的話，現在廣泛採用FFmpeg庫結合編碼庫來實現，FFmpeg+X624來編碼視頻資料YUV/RGB輸出H264資料，
FFmpeg+fdk_aac來編碼音頻資料PCM輸出AAC資料。

 四、根據所選流媒體協議封包音視頻資料
 將音頻，視頻打包成packet。 

五、與伺服器互動發送封包資料
根據所選流媒體協議，發送相應指令串連伺服器，串連伺服器成功後，就可以發送packet資料了。 
Part 2. 拉流端 
拉流，就是從流媒體伺服器擷取音頻，視頻資料。 
一）、解析協議 
播放器端根據URL解析所用的流媒體協議（RTMP，HLS）。 
二）、解鎖裝 
解鎖裝，就是demux的過程，從容器格式（FLV，TS）中，分離出音視頻資料。 
三）、解碼 
解碼，就是把擷取到的資料解壓縮，恢複成未經處理資料。解碼就是將H264變成YUV，AAC變成PCM。 
解碼可以使用軟解碼，硬解碼。 
軟解碼就是利用CPU資源去解壓縮資料，採用的方式是FFmpeg解碼。 
硬解碼，對於iOS平台來說，可以使用VideoToolbox.Framework（該架構只能在iOS 8.0及以上系統使用）
硬解碼視頻資料。Android平台上，可以使用MediaCodec來硬解碼視頻資料。 
四）、渲染資料 
採用OpenGL渲染YUV資料，呈現視頻畫面。將PCM送入裝置的硬體資源播放，產生聲音。 
iOS播放流式音頻，使用Audio Queue 的方式，即，利用AudioToolbox.Framework 架構。

三、 iOS開發之iOS直播平台有用的第三方資源共用： 
1.  即時美顏參考網址：http://altitudelabs.com/blog/real-time-filter/ 
2. 直播測試地址： 
HLS：http://live.3gv.ifeng.com/live/hongkong.m3u8 鳳凰衛視香港台 
SMTP：rtmp://live.hkstv.hk.lxdns.com/live/hks 香港衛視 
RSTP：rtsp://rtsp.vdowowza.tvb.com/tvblive/mobileinews200.stream 互動新聞台1 
3.  HLS streaming工具下載，用於處理m3u8音、視頻源的HLS Streaming Tool Download
4. 直播相關SDK
1）. VideoCore 在新浪雲上有文檔說明，可閱讀iOS推流SDK使用文檔
2）. 網易雲信直播SDK 好像是收費的，價格還不便宜，一般公司可能也不會用，不過可以嘗試看看，瞭解一下，有助於學習！
3）. 暴風雲直播   http://www.baofengcloud.com/apisdk/sdk/live/iossdk.html
4）. 融雲直播     http://www.rongcloud.cn/live
5）. 騰訊直播SDK  https://www.qcloud.com/solution/video.html

5. 直播相關開源庫
1）. BeautifyFaceDemo 基於GPUImage的圖片處理，做美顏方面可以參考一下
2）.   lf.swift 開源RTMP Swift版的，可以學習一下！好像作者是日本的，或者是在日本工作的，寫了不少日文！
3）.  PLPlayerKit 一個不依賴FFmpeg的播放器，支援RTMP
4）.  HLS-Demo   https://github.com/yangchao0033/HLS-Demo  HLS播放demo
5）. SmarterStreaming  https://github.com/daniulive/SmarterStreaming  直播SDK（支援私人協議和RTMP推流，如windows推流/android推流/iOS推流/windows播放器/android播放器/iOS播放器） 

四、 iOS開發之 iOS 直播平台 常見的ApsaraVideo for Live相關協議詳解

1、RTMP(Real Time Messaging Protocol，即時訊息傳送協議) 
RTMP是Adobe Systems公司為Flash播放器和伺服器之間音頻、視頻和資料轉送開發的開放協議。它有三種變種： 
1）、工作在TCP之上的明文協議，使用連接埠1935； 
2）、RTMPT封裝在HTTP請求之中，可穿越防火牆； 
3）、RTMPS類似RTMPT，但使用的是HTTPS串連； 
RTMP協議是被Flash用於對象、視頻、音訊傳輸。這個協議建立在TCP協議或者輪詢HTTP協議之上。RTMP協議就像一個用來裝資料包的容器，這些資料既可以是AMF格式的資料，也可以是FLV中的視音頻資料。一個單一的串連可以通過不同的通道傳輸多路網路流，這些通道中的包都是按照固定大小的包傳輸的。 

2、RTSP(Real Time Streaming Protocol，即時資料流傳輸協議) 
RTSP定義了一對多應用程式如何有效地通過IP網路傳送多媒體資料。RTSP提供了一個可擴充架構，資料來源可以包括即時資料與已有的儲存的資料。該協議目的在於控制多個資料發送串連，為選擇發送通道如UDP、組播UDP與TCP提供途徑，並為選擇基於RTP上發送機制提供方法。 
RTSP文法和運作跟HTTP/1.1類似，但並不特彆強調時間同步，所以比較能容忍網路延遲。Proxy 伺服器的緩衝功能也同樣適用於RTSP，並且因為RTSP具有重新導向功能，可根據實際負載情況來切換提供服務的伺服器，以避免過大的負載集中於同一伺服器而造成延遲。 

3、RTP(Real-time Transport Protocol，即時傳輸協議) 
RTP是針對多媒體資料流的一種傳輸層協議，詳細說明了在互連網上傳遞音頻和視頻的標準資料包格式。RTP協議常用於流媒體系統（配合RTCP協議），視頻會議和一鍵通系統（配合H.323或SIP），使它成為IP電話產業的技術基礎。 
RTP是建立在UDP協議上的，常與RTCP一起使用，其本身並沒有提供按時發送機制或其它服務品質（QoS）保證，它依賴於低層服務去實現這一過程。 
RTP 並不保證傳送或防止無序傳送，也不確定底層網路的可靠性，只管發送，不管傳輸是否丟包，也不管接收方是否有收到包。RTP 實行有序傳送，RTP中的序號允許接收方重組發送方的包序列，同時序號也能用於決定適當的包位置，如在視頻解碼中，就不需要順序解碼。 

4、RTCP(Real-time Transport Control Protocol，即時傳輸控制通訊協定） 
RTCP是RTP的配套協議，為RTP媒體流提供通道外的控制。RTCP和RTP一起協作將多媒體資料打包和發送，定期在多媒體流會話參與者之間傳輸控制資料。 
RTCP的主要功能是為RTP所提供的服務品質（QoS）提供反饋，收集相關媒體串連的統計資訊，例如傳輸位元組數，傳輸分組數，丟失分組數，單向和雙向網路延遲等等。網路應用程式可以利用RTCP所提供的資訊來提高服務品質，比如限制流量或改用壓縮比小的轉碼器。

以上就是本文的全部內容，希望對大家的學習有所協助，也希望大家多多支援雲棲社區。