用DirectShow實現QQ的音視訊交談功能

用DirectShow實現QQ的音視訊交談功能

當下比較流行的即時通訊工具，比如MSN，QQ等都實現了視音訊功能，通過視頻，音頻，我們可以更好的和朋友通過網路進行溝通，本文通過DirectShow技術類比QQ實現了視頻和音訊採集，傳輸，基本實現了QQ的視音頻聊天的功能。

　　網路視音頻系統主要功能就在於視音訊採集，網路傳輸兩個方面，通過Video Capture系列API函數，你就可以輕鬆的搞定視頻捕捉，但是對於視頻的網路傳輸，則要費一番功夫了。 對於視音頻資料的傳輸，只簡單地使用資料通訊端傳輸音視頻資料是不可行的，還必須在UDP層上採用RTP（即時傳輸協議）和RTCP（即時傳輸控制通訊協定）來改善服務品質。即時傳輸協議提供具有即時特徵的、端到端的Data Transmission Service。我們在音視頻資料前插入包含有載荷標識、序號、時間戳記和同步源標識符的RTP包頭，然後利用資料通訊端在IP網路上傳輸RTP包，以此改善連續重放效果和音視頻同步。即時傳輸控制通訊協定RTCP用於RTP的控制，它最基本的功能是利用寄件者報告和接收者報告來推斷網路的服務品質，若擁塞狀況嚴重，則改用低速率編碼通訊協定或降低資料轉送位元速率，以減少網路負荷，提供較好的Q.S保證。


　　Directshow對於音視頻的採集提供了很好的介面，利用ICaptureGraphBuilder2介面可以很輕鬆的建立起視頻捕捉的graph圖，通過枚舉音訊裝置Filter，也可以很輕鬆的實現音訊捕捉，有點麻煩的是音視頻資料的傳輸，我們可以自己封裝RTP和RTCP的協議，來自己實現一個filter，用來發送和接收音視頻資料，當然了Directshow也提供了一組支援使用RTP協議的網路傳輸多媒體流的Filters。你也完全可以用Directshow提供的RTP系列的filter實現資料的傳輸。


　　下面分析一下這些RTP Filters。


　　新定義的Filter包括 RTP Source Filter ，RTP Render Filter，RTP Demux Filter，RTP Receive Playload Handler (RPH) filter，RTP Send Payload (SPH) filter，使用這5個filter構建一個通過RTP協議傳輸音視頻資料的Graph是沒有問題的。


　　RTP Source filter被用來從一個單獨的RTP會話中接收RTP和RTCP包。這個filter提供一個指定發送給其它主機RTCP接收器報告和指定網路地址和連接埠介面來接收RTP會話的介面。


　　RTP Rend filter是用來將資料發到網路上的一個filter，這個filter也提供了和RTP source Filter 類似的介面。


　　RTP Demux filter用來多路分離來自 RTP Source filter的RTP 包，這個filter有一個或者多個輸出的pin。這個Filter提供了如何控制多路分離和如何分配到特定輸出pin的介面。


　　RTP RPH Filter 是用來網路過來的RTP包還原成原來的資料格式，主要支援H.261，H.263，Indeo，G.711，G.723和G.729和常見的多種音視頻負載類型。


　　RTP SPH filter則和RPH filter的功能相對，它的任務是將音視頻 壓縮filter輸出的 資料分解為RTP包，它提供的介面有指定最大產生包大小和pt值。


　　下面我們看看如何用這些filter來搭建我們採集和傳輸的graph圖。

　　圖1和圖2展示了DirectShow RTP中定義的filters如何運用。圖1是一個採集本地多媒體資料並使用RTP協議通過網路發送的filter graph。它包含一個輸出原始視訊框架的視頻採集filter，緊跟一個壓縮幀的編碼filter。一旦壓縮，這些幀就會被發送到RTP SPH filter，分區打包，產生RTP包，對應的發送到 RTP Render filter，通過網路傳輸這些包。圖2展現了一個filter graph，用來接收包含視頻流RTP包，播放視頻。這個graph由一個用來接收包的RTP
Source filter，一個根據源和負載類型進行分類的RTP Demux filter，一個把RTP包轉為壓縮視訊框架的RTP RPH filter組成。這些filter隨後的是用來解壓幀的解碼filter，一個顯示未壓縮幀的渲染filter。


　　有了RTP filter的協助我們就可以完成類似qq的功能了，可以實現在網路上進行視頻和音訊互動了，下面我給出在網路上兩個用戶端A和B進行音頻和視頻互動的Graph圖。這裡我對圖1和圖2中的RTP filter進行了自己封裝，將編解碼filter直接封裝到了RTP Source filter 和RTP Render filter中，這樣Graph圖就顯得很簡潔，RTP Source filter只是用來接收網路過來的音視頻資料，然後將資料傳遞給客戶程式，RTP Render filter則是將採集到的音視頻資料發送到網路上的另一個用戶端，編解碼則的工作則封裝到這兩個filter之中。

圖3 網路視頻和音頻互動的Graph圖

　　如果你也想自己封裝自己的Source 和Render filter，首先你要選擇自己的編解碼，視頻編解碼是選擇H261，H263，還是 MEPG4，音頻是選擇G729還是G711，要首先確定好。選好編解碼，封裝的工作就簡單了。


　　不多說了，下面看看我給出的代碼吧。

　　首先要定義一下用到的四個RTP filter的CLSID。

static const GUID CLSID_FG729Render = { 0x3556f7d8, 0x5b5, 0x4015, { 0xb9, 0x40, 0x65, 0xb8, 0x8, 0x94, 0xc8, 0xf9 } }; //音頻發送 static const GUID CLSID_FG729Source = { 0x290bf11a, 0x93b4, 0x4662, { 0xb1, 0xa3, 0xa, 0x53, 0x51, 0xeb, 0xe5, 0x8e } };//音頻接收static const GUID CLSID_FH263Source = { 0xa0431ccf, 0x75db, 0x463e, { 0xb1, 0xcd, 0xe, 0x9d, 0xb6, 0x67, 0xba, 0x72 } };//視頻接收static const GUID CLSID_FH263Render = { 0x787969cf, 0xc1b6, 0x41c5, { 0xba, 0xa8, 0x4e, 0xff, 0xa3, 0xdb, 0xe4, 0x1f } };//視頻發送//發送和接收音視頻資料的filterCComPtr< IBaseFilter > m_pAudioRtpRender ;CComPtr< IBaseFilter > m_pAudioRtpSource ;CComPtr< IBaseFilter > m_pVideoRtpRender ;CComPtr< IBaseFilter > m_pVideoRtpSource ;char szClientA[100];int iVideoPort = 9937;int iAudioPort = 9938;//構建視頻的graph圖,並發送資料CComPtr< IGraphBuilder > m_pVideoGraphBuilder; //視頻圖形管理器 CComPtr< ICaptureGraphBuilder2 > m_pVideoCapGraphBuilder; CComPtr< IBaseFilter > m_pFilterVideoCap;CComPtr< IVideoWindow > m_pVideoWindow;CComPtr< IMediaControl > m_pVideoMediaCtrl ;CComPtr< IBaseFilter > m_pVideoRenderFilter;HRESULT CMyDialog::VideoGraphInitAndSend(){　HRESULT hr;　hr =m_pVideoGraphBuilder.CoCreateInstance( CLSID_FilterGraph );　if(FAILED(hr))　　return hr;　hr =m_pVideoCapGraphBuilder.CoCreateInstance( CLSID_CaptureGraphBuilder2);　if(FAILED (hr))　　return hr;　m_pVideoCapGraphBuilder->SetFiltergraph(m_pVideoGraphBuilder);　m_pVideoGraphBuilder->QueryInterface(IID_IMediaControl, (void **)&m_pVideoMediaCtrl);　m_pVideoGraphBuilder->QueryInterface(IID_IVideoWindow,(void**)&m_pVideoWindow)　FindDeviceFilter(&m_pFilterVideoCap,CLSID_VideoInputDeviceCategory);　if(m_pFilterVideoCap)　　m_pVideoGraphBuilder->AddFilter( m_pFilterVideoCap,T2W("VideoCap") ) ;　　//建立預覽的filter　hr = m_pRenderFilterVideo.CoCreateInstance(CLSID_VideoRenderer);　if(FAILED(hr))　　return hr;　m_pVideoGraphBuilder->AddFilter( m_pRenderFilterVideo, L"VideoRenderFilter" );　Connect(m_pFilterVideoCap ,m_pRenderFilterVideo) ;　//設定預覽的視窗　CRect rc ; 　GetClientRect(m_hOwnerWnd, &rc );　int iWidth = rc.right - rc.left ;　int iHeight = rc.bottom - rc.top ;　int iLeft, iTop;　if((iHeight*1.0)/(iWidth*1.0) >= 0.75)　{　　//按寬度算　　int tmpiHeight = iWidth*3/4;　　iTop = (iHeight - tmpiHeight)/2;　　iHeight = tmpiHeight;　　iLeft = 0;　}　else　{　　//按高度算　　int tmpiWidth = iHeight*4/3;　　iLeft = (iWidth - tmpiWidth)/2;　　iWidth = tmpiWidth;　　iTop = 0;　} 　m_pVideoWindow->put_Owner( (OAHWND) m_hPreviewWnd ) ;　m_pVideoWindow->put_Visible( OATRUE );　m_pVideoWindow->put_WindowStyle( WS_CHILD | WS_CLIPSIBLINGS ) ;　//串連到網路並發送　CComPtr< IRtpOption > pRenderOption; 　CComPtr< IVideoOption > pVideoOption;　tagVideoInfo vif(160,120,24);　int t=((int)(m_iFrameRate/5)*5)+5;　vif.nBitCount=24;　vif.nWidth=160;　vif.nHeight=120;　hr = ::CoCreateInstance(CLSID_FH263Render, NULL, CLSCTX_INPROC, IID_IBaseFilter, (void **)&m_pVideoRtpRender);　if(FAILED(hr))　　return hr;　m_pVideoRtpRender->QueryInterface(IID_IJRTPOption, (void**)&pRenderOption);　m_pVideoRtpRender->QueryInterface(IID_IVideoOption,(void**)&pVideoOption); 　pVideoOption->SetProperty(&vif);　pVideoOption->SetSendFrameRate(m_iFrameRate,1);//1 不發送資料，0 實際發送資料　Connect(m_pFilterVideoCap ,m_pVideoRtpRender) ;　//串連對方　hr= pRenderOption->Connect(szClientA,iVideoPort,1024);　if(FAILED(hr))　　return hr;　m_pVideoMediaCtrl->Run();}//視頻的接收CComPtr< IGraphBuilder > m_pVideoGraphBuilder; //視頻圖形管理器 CComPtr< IBaseFilter > m_pFilterVideoCap;CComPtr< IVideoWindow > m_pVideoWindow;CComPtr< IMediaControl > m_pVideoMediaCtrl ;CComPtr< IBaseFilter > m_pVideoRenderFilter;HWND m_hRenderWnd ;HRESULT VideoRecive(){　HRESULT hr;　hr=CoCreateInstance(CLSID_FilterGraph,NULL,CLSCTX_INPROC,　IID_IFilterGraph,(void**)&m_pVideoGraphBuilder);　m_pVideoGraphBuilder->QueryInterface(IID_IMediaControl, (void **)&m_pVideoMediaCtrl);　m_pVideoGraphBuilder->QueryInterface(IID_IVideoWindow,(void**)&m_pVideoWindow)　　hr = ::CoCreateInstance(CLSID_FH263Source, NULL, CLSCTX_INPROC, IID_IBaseFilter, (void **)&m_pVideoRtpSource);　if(FAILED(hr))　　return hr;　m_pVideoGraphBuilder->AddFilter(m_pVideoRtpSource, L"My Custom Source");　CComPtr< IRtpOption > m_pRtpOption; 　CComPtr< IVideoOption > m_pVideoOption;　m_pVideoRtpSource->QueryInterface(IID_IJRTPOption, (void **)&m_pRtpOption);　m_pVideoRtpSource->QueryInterface(IID_IVideoOption, (void **)&m_pVideoOption);　tagVideoInfo vif(160, 120 ,24);　m_pVideoOption->SetProperty(&vif);　hr= pRenderOption->Connect(szClientA,iVideoPort +1,1024);　if(FAILED(hr))　　return hr;　//建立預覽的filter　hr = m_pRenderFilterVideo.CoCreateInstance(CLSID_VideoRenderer);　if(FAILED(hr))　　return hr;　m_pVideoGraphBuilder->AddFilter( m_pRenderFilterVideo, L"VideoRenderFilter" );　Connect(m_pVideoRtpSource ,m_pRenderFilterVideo) ; 　CRect rc ; 　GetClientRect(m_hOwnerWnd, &rc );　int iWidth = rc.right - rc.left ;　int iHeight = rc.bottom - rc.top ;　int iLeft, iTop;　if((iHeight*1.0)/(iWidth*1.0) >= 0.75)　{　　//按寬度算　　int tmpiHeight = iWidth*3/4;　　iTop = (iHeight - tmpiHeight)/2;　　iHeight = tmpiHeight;　　iLeft = 0;　}　else　{　　//按高度算　　int tmpiWidth = iHeight*4/3;　　iLeft = (iWidth - tmpiWidth)/2;　　iWidth = tmpiWidth;　　iTop = 0;　} 　m_pVideoWindow->put_Owner( (OAHWND) m_hRenderWnd ) ;　m_pVideoWindow->put_Visible( OATRUE );　m_pVideoWindow->put_WindowStyle( WS_CHILD | WS_CLIPSIBLINGS ) ; 　m_pVideoMediaCtrl->Run();　return S_OK;}//HRESULT FindDeviceFilter(IBaseFilter ** ppSrcFilter,GUID deviceGUID){　HRESULT hr;　IBaseFilter * pSrc = NULL;　CComPtr <IMoniker> pMoniker =NULL;　ULONG cFetched;　if (!ppSrcFilter)　　return E_POINTER;　// Create the system device enumerator　CComPtr <ICreateDevEnum> pDevEnum =NULL;　hr = CoCreateInstance (CLSID_SystemDeviceEnum, NULL, CLSCTX_INPROC,　IID_ICreateDevEnum, (void **) &pDevEnum);　if (FAILED(hr))　　return hr;　// Create an enumerator for the video capture devices　CComPtr <IEnumMoniker> pClassEnum = NULL;　hr = pDevEnum->CreateClassEnumerator (deviceGUID, &pClassEnum, 0);　if (FAILED(hr))　　return hr;　if (pClassEnum == NULL)　　return E_FAIL;　if (S_OK == (pClassEnum->Next (1, &pMoniker, &cFetched)))　{　　hr = pMoniker->BindToObject(0,0,IID_IBaseFilter, (void**)&pSrc);　　if (FAILED(hr))　　　return hr;　}　else　　return E_FAIL;　*ppSrcFilter = pSrc;　return S_OK;}//構建音頻Graph圖，並發送CComPtr< IGraphBuilder > m_pAudioGraphBuilder; //音頻圖形管理器 CComPtr< ICaptureGraphBuilder2 > m_pCapAudioGraphBuilder; CComPtr< IBaseFilter > m_pFilterAudioCap;CComPtr< IMediaControl > m_pAudioMediaCtrl ;HRESULT AudioGraphInit(){　HRESULT hr;　hr =m_pAudioGraphBuilder.CoCreateInstance( CLSID_FilterGraph );　if(FAILED(hr))　　return hr;　hr =m_pCapAudioGraphBuilder.CoCreateInstance( CLSID_CaptureGraphBuilder2);　if(FAILED (hr))　　return hr;　m_pAudioGraphBuilder->SetFiltergraph(m_pCapAudioGraphBuilder);　m_pAudioGraphBuilder->QueryInterface(IID_IMediaControl, (void **)&m_pAudioMediaCtrl);　FindDeviceFilter(&m_pFilterVideoCap,CLSID_AudioInputDeviceCategory);　if(m_pFilterAudioCap)　　m_pAudioGraphBuilder->AddFilter( m_pFilterAudioCap,T2W("AudioCap") ) ;　//發送到網路　hr =::CoCreateInstance(CLSID_FG729Render,NULL,CLSCTX_INPROC,　IID_IBaseFilter,(void**)&m_pFilterRtpSendAudio)　if(FAILED(hr))　　return hr;　m_pAudioGraphBuilder->AddFilter(m_pAudioRtpRender, L"FilterRtpSendAudio");　Connect(m_pFilterAudioCap,m_pAudioRtpRender);　CComPtr< IRtpOption > pOption ;　m_pAudioRtpRender->QueryInterface(IID_IJRTPOption,(void**)&pOption)　hr =pOption->Connect(szClientA,iAudioPort,1024);　if(FAILED(hr))　　return hr;　m_pAudioMediaCtrl->Run();　return S_OK;}//音訊接收 CComPtr< IGraphBuilder > m_pAudioGraphBuilder; //音頻圖形管理器 CComPtr< ICaptureGraphBuilder2 > m_pCapAudioGraphBuilder; CComPtr< IBaseFilter > m_pFilterAudioCap;CComPtr< IMediaControl > m_pAudioMediaCtrl ;CComPtr<IBaseFilter> m_pAudioRender;HRESULT AudioRecive(){　HRESULT hr;　hr =m_pAudioGraphBuilder.CoCreateInstance( CLSID_FilterGraph );　if(FAILED(hr))　　return hr;　m_pAudioGraphBuilder->QueryInterface(IID_IMediaControl, (void **)&m_pAudioMediaCtrl);　hr = m_pAudioRtpSource->CoCreateInstance(CLSID_FG729Source) ;　if(FAILED(hr))　　return hr;　m_pAudioGraphBuilder->AddFilter(m_pAudioRtpSource,L"AudioRtp");　//建立音效卡Renderfilter　FindDeviceFilter(&m_pAudioRender,CLSID_AudioRendererCategory);　m_pAudioGraphBuilder->AddFilter(m_pAudioRender,L"AudioRender");　CComPtr< IRtpOption > pRtpOption ;　m_pAudioRtpSource->QueryInterface(IID_IJRTPOption,(void**)&pRtpOption)　hr= pRtpOption->Connect(szClientA,iAudioPort+2,1024);　if(FAILED (hr))　　return hr;　Connect(m_pAudioRtpSource,m_pAudioRender);　　m_pAudioMediaCtrl->Run();　return S_OK;}