Android 音視頻深入 四 錄視頻MP4（附源碼下載）

標籤：surface   util   override   system   混合   bytes   orm   set   one   

本篇項目地址，名字是《錄音視頻（有的播放器不能放，而且沒有時間長度顯示）》，求star

https://github.com/979451341/Audio-and-video-learning-materials
1.MediaMuser說明

MediaMuser：將封裝編碼後的視頻流和音頻流到mp4容器中，說白了能夠將音視頻整合成一個MP4檔案，MediaMuxer最多僅支援一個視頻track和一個音頻track，所以如果有多個音頻track可以先把它們混合成為一個音頻track然後再使用MediaMuxer封裝到mp4容器中。

MediaMuxer muxer = new MediaMuxer("temp.mp4", OutputFormat.MUXER_OUTPUT_MPEG_4);
// More often, the MediaFormat will be retrieved from MediaCodec.getOutputFormat()
// or MediaExtractor.getTrackFormat().
MediaFormat audioFormat = new MediaFormat(...);
MediaFormat videoFormat = new MediaFormat(...);
int audioTrackIndex = muxer.addTrack(audioFormat);
int videoTrackIndex = muxer.addTrack(videoFormat);
ByteBuffer inputBuffer = ByteBuffer.allocate(bufferSize);
boolean finished = false;
BufferInfo bufferInfo = new BufferInfo();

muxer.start();
while(!finished) {
// getInputBuffer() will fill the inputBuffer with one frame of encoded
// sample from either MediaCodec or MediaExtractor, set isAudioSample to
// true when the sample is audio data, set up all the fields of bufferInfo,
// and return true if there are no more samples.
finished = getInputBuffer(inputBuffer, isAudioSample, bufferInfo);
if (!finished) {
int currentTrackIndex = isAudioSample ? audioTrackIndex : videoTrackIndex;
muxer.writeSampleData(currentTrackIndex, inputBuffer, bufferInfo);
}
};
muxer.stop();
muxer.release();

2.錄視頻過程

我先貼個圖，因為我覺得我後面會把自己繞暈，整理一下

先將Camera收集的資料顯示在SurfaceView

    surfaceHolder = surfaceView.getHolder();    surfaceHolder.addCallback(this);@Overridepublic void surfaceCreated(SurfaceHolder surfaceHolder) {    Log.w("MainActivity", "enter surfaceCreated method");    // 目前設定的是，當surface建立後，就開啟網路攝影機開始預覽    camera = Camera.open();    try {        camera.setPreviewDisplay(surfaceHolder);        camera.startPreview();    } catch (IOException e) {        e.printStackTrace();    }}

然後開始錄視頻，開啟兩個線程分別處理音視頻資料

private void initMuxer() {    muxerDatas = new Vector<>();    fileSwapHelper = new FileUtils();    audioThread = new AudioEncoderThread((new WeakReference<MediaMuxerThread>(this)));    videoThread = new VideoEncoderThread(1920, 1080, new WeakReference<MediaMuxerThread>(this));    audioThread.start();    videoThread.start();    try {        readyStart();    } catch (IOException e) {        Log.e(TAG, "initMuxer 異常:" + e.toString());    }}

將兩個track加入MediaMuxer

mediaMuxer.writeSampleData(track, data.byteBuf, data.bufferInfo);

我們再來看看視頻資料如何處理的
MediaCodec初始化和配置

    mediaFormat = MediaFormat.createVideoFormat(MIME_TYPE, this.mWidth, this.mHeight);    mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, BIT_RATE);    mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, FRAME_RATE);    mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar);    mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, IFRAME_INTERVAL);

開啟MediaCodec
mMediaCodec = MediaCodec.createByCodecName(mCodecInfo.getName());
mMediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
mMediaCodec.start();

然後SurfaceView傳入的視訊資料資料匯入

@Overridepublic void onPreviewFrame(byte[] bytes, Camera camera) {    MediaMuxerThread.addVideoFrameData(bytes);}

這個資料MediaMuxerThread又傳給MediaThread

public void add(byte[] data) {    if (frameBytes != null && isMuxerReady) {        frameBytes.add(data);    }}

然後迴圈從frameBytes裡取資料

if (!frameBytes.isEmpty()) {
byte[] bytes = this.frameBytes.remove(0);
Log.e("ang-->", "解碼視頻資料:" + bytes.length);
try {
encodeFrame(bytes);
} catch (Exception e) {
Log.e(TAG, "解碼視頻(Video)資料 失敗");
e.printStackTrace();
}

取出的資料哪去轉換，也就是說mFrameData這個資料才是最後編碼出視頻

    // 將原始的N21資料轉為I420    NV21toI420SemiPlanar(input, mFrameData, this.mWidth, this.mHeight);private static void NV21toI420SemiPlanar(byte[] nv21bytes, byte[] i420bytes, int width, int height) {    System.arraycopy(nv21bytes, 0, i420bytes, 0, width * height);    for (int i = width * height; i < nv21bytes.length; i += 2) {        i420bytes[i] = nv21bytes[i + 1];        i420bytes[i + 1] = nv21bytes[i];    }}

MediaCodec擷取資料從mFrameData

mMediaCodec.queueInputBuffer(inputBufferIndex, 0, mFrameData.length, System.nanoTime() / 1000, 0);

然後又拿出資料給muxer

mediaMuxer.addMuxerData(new MediaMuxerThread.MuxerData(MediaMuxerThread.TRACK_VIDEO, outputBuffer, mBufferInfo));

啊啊啊啊啊啊啊，瘋了，代碼可能看起來很糊，很多，但是絕大多數代碼是為了協調為了判斷當前還在錄視頻，但是真正的在錄視頻的代碼的運行情況就是兩條線，MediaCodec使用queueInputBuffer擷取資料，然後進行編碼dequeueOutputBuffer給MediaMuxer，AudioCodec也是一樣的套路

源碼地址在文章首部，各位多多研究，對了這個代碼有問題，沒有顯示時間長度，有一些播放器不能用，手機內建應該沒問題

Android 音視頻深入 四 錄視頻MP4（附源碼下載）