ffmpeg入門學習——文檔2：輸出到螢幕

指導2：輸出到螢幕

SDL和視頻

為了在螢幕上顯示，我們將使用SDL.SDL是Simple Direct Layer的縮寫。它是一個出色的多媒體庫，適用於多平台，並且被用在許多工程中。你可以從它的官方網站的網址
http://www.libsdl.org/上來得到這個庫的原始碼或者如果有可能的話你可以直接下載開發包到你的作業系統中。按照這個指導，你將需要 編譯這個庫。（剩下的幾個指導中也是一樣）

SDL庫中有許多種方式來在螢幕上繪製圖形，而且它有一個特殊的方式來在螢幕上顯示映像——這種方式叫做YUV覆蓋。YUV（從技術上來講並不叫YUV而 是叫做YCbCr）是一種類似於RGB方式的儲存原始映像的格式。粗略的講，Y是亮度分量，U和V是色度分量。（這種格式比RGB複雜的多，因為很多的顏 色資訊被丟棄了，而且你可以每2個Y有1個U和1個V）。SDL的YUV覆蓋使用一組原始的YUV資料並且在螢幕上顯示出他們。它可以允許4種不同的 YUV格式，但是其中的YV12是最快的一種。還有一個叫做YUV420P的YUV格式，它和YV12是一樣的，除了U和V分量的位置被調換了以外。
420意味著它以4：2：0的比例進行了二次抽樣，基本上就意味著1個顏色分量對應著4個亮度分量。所以它的色度資訊只有原來的1/4。這是一種節省頻寬 的好方式，因為人眼感覺不到這種變化。在名稱中的P表示這種格式是平面的——簡單的說就是Y，U和V分量分別在不同的數組中。FFMPEG可以把映像格式 轉換為YUV420P，但是現在很多視頻流的格式已經是YUV420P的了或者可以被很容易的轉換成YUV420P格式。

1、初始化

於是，我們現在計劃把指導1中的SaveFrame()函數替換掉，讓它直接輸出我們的幀到螢幕上去。但一開始我們必需要先看一下如何使用SDL庫。首先我們必需先包含SDL庫的標頭檔並且初始化它。

#include <SDL.h> #include <SDL_thread.h> if(SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) { fprintf(stderr, "Could not initialize SDL - %s\n", SDL_GetError()); exit(1); }

SDL_Init()函數告訴了SDL庫，哪些特性我們將要用到。當然SDL_GetError()是一個用來手工除錯的函數。

2、建立一個顯示

現在我們需要在螢幕上的一個地方放上一些東西。在SDL中顯示映像的基本地區叫做面surface。

SDL_Surface *screen; screen = SDL_SetVideoMode(pCodecCtx->width, pCodecCtx->height, 0, 0); if(!screen) { fprintf(stderr, "SDL: could not set video mode - exiting\n"); exit(1); }

這就建立了一個給定高度和寬度的螢幕。下一個選項是螢幕的色彩深度——0表示使用和當前一樣的深度。（這個在OS X系統上不能正常工作，原因請看原始碼）

現在我們在螢幕上來建立一個YUV覆蓋以便於我們輸入視頻上去：

SDL_Overlay *bmp; bmp = SDL_CreateYUVOverlay(pCodecCtx->width, pCodecCtx->height, SDL_YV12_OVERLAY, screen);

正如前面我們所說的，我們使用YV12來顯示映像。

3、顯示映像

前面那些都是很簡單的。現在我們需要來顯示映像。讓我們看一下是如何來處理完成後的幀的。我們將原來對RGB處理的方式，並且替換SaveFrame() 為顯示到螢幕上的代碼。為了顯示到螢幕上，我們將先建立一個AVPicture結構體並且設定其資料指標和行尺寸來為我們的YUV覆蓋服務：

if(frameFinished) { SDL_LockYUVOverlay(bmp); AVPicture pict; pict.data[0] = bmp->pixels[0]; pict.data[1] = bmp->pixels[2]; pict.data[2] = bmp->pixels[1]; pict.linesize[0] = bmp->pitches[0]; pict.linesize[1] = bmp->pitches[2]; pict.linesize[2] = bmp->pitches[1]; // Convert the image into YUV format that SDL uses img_convert(&pict, PIX_FMT_YUV420P, (AVPicture *)pFrame, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height); SDL_UnlockYUVOverlay(bmp); }

首先，我們鎖定這個覆蓋，因為我們將要去改寫它。這是一個避免以後發生問題的好習慣。正如前面所示的，這個AVPicture結構體有一個資料指標指向一 個有4個元素的指標資料。由於我們處理的是YUV420P，所以我們只需要3個通道即只要三組資料。其它的格式可能需要第四個指標來表示alpha通道或 者其它參數。行尺寸正如它的名字表示的意義一樣。在YUV覆蓋中相同功能的結構體是像素pixel和程度pitch。（程度pitch是在SDL裡用來表 示指定行資料寬度的值）。所以我們現在做的是讓我們的覆蓋中的pict.data中的三個指標有一個指向必要的空間的地址。類似的，我們可以直接從覆蓋中
得到行尺寸資訊。像前面一樣我們使用img_convert來把格式轉換成PIX_FMT_YUV420P。

4、繪製映像

但我們仍然需要告訴SDL如何來實際顯示我們給的資料。我們也會傳遞一個表明電影位置、寬度、高度和縮放大小的矩形參數給SDL的函數。這樣，SDL為我們做縮放並且它可以通過顯卡的幫忙來進行快速縮放。

SDL_Rect rect; if(frameFinished) { // Convert the image into YUV format that SDL uses img_convert(&pict, PIX_FMT_YUV420P, (AVPicture *)pFrame, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height); SDL_UnlockYUVOverlay(bmp); rect.x = 0; rect.y = 0; rect.w = pCodecCtx->width; rect.h = pCodecCtx->height; SDL_DisplayYUVOverlay(bmp, &rect); }

現在我們的視頻顯示出來了！

5、事件驅動

讓我們再花一點時間來看一下SDL的特性：它的事件驅動系統。SDL被設定成當你在SDL中點擊或者移動滑鼠或者向它發送一個訊號它都將產生一個事件的驅 動方式。如果你的程式想要處理使用者輸入的話，它就會檢測這些事件。你的程式也可以產生事件並且傳遞給SDL事件系統。當使用SDL進行多線程編程的時候， 這相當有用，這方面代碼我們可以在指導4中看到。在這個程式中，我們將在處理完包以後就立即輪詢事件。現在而言，我們將處理SDL_QUIT事件以便於我 們退出：

SDL_Event event; av_free_packet(&packet); SDL_PollEvent(&event); switch(event.type) { case SDL_QUIT: SDL_Quit(); exit(0); break; default: break; }

讓我們去掉舊的冗餘代碼，開始編譯。如果你使用的是Linux或者其變體，使用SDL庫進行編譯的最好方式為：

gcc -o tutorial02 tutorial02.c -lavutil -lavformat -lavcodec -lz -lm \ `sdl-config --cflags --libs`

這裡的sdl-config命令會列印出用於gcc編譯的包含正確SDL庫的適當參數。為了進行編譯，在你自己的平台你可能需要做的有點不同：請查閱一下SDL文檔中關於你的系統的那部分。一旦可以編譯，就馬上運行它。

當運行這個程式的時候會發生什麼呢？電影簡直跑瘋了！實際上，我們只是以我們能從檔案中解碼幀的最快速度顯示了所有的電影的幀。現在我們沒有任何代碼來計 算出我們什麼時候需要顯示電影的幀。最後（在指導5），我們將花足夠的時間來探討同步問題。但一開始我們會先忽略這個，因為我們有更加重要的事情要處理： 音頻！