Android Audio System 之一：AudioTrack如何與AudioFlinger交換音頻資料

引子

Android Framework的音頻子系統中，每一個音頻流對應著一個AudioTrack類的一個執行個體，每個AudioTrack會在建立時註冊到AudioFlinger中，由AudioFlinger把所有的AudioTrack進行混合（Mixer），然後輸送到AudioHardware中進行播放，目前Android的Froyo版本設定了同時最多可以建立32個音頻流，也就是說，Mixer最多會同時處理32個AudioTrack的資料流。

如何使用AudioTrack

AudioTrack的主要代碼位於 frameworks/base/media/libmedia/audiotrack.cpp中。現在先通過一個例子來瞭解一下如何使用AudioTrack，ToneGenerator是android中產生電話撥號音和其他音調波形的一個實現，我們就以它為例子：

 

ToneGenerator的初始化函數：

bool ToneGenerator::initAudioTrack() {<br /> // Open audio track in mono, PCM 16bit, default sampling rate, default buffer size<br /> mpAudioTrack = new AudioTrack();<br /> mpAudioTrack->set(mStreamType,<br /> 0,<br /> AudioSystem::PCM_16_BIT,<br /> AudioSystem::CHANNEL_OUT_MONO,<br /> 0,<br /> 0,<br /> audioCallback,<br /> this,<br /> 0,<br /> 0,<br /> mThreadCanCallJava);<br /> if (mpAudioTrack->initCheck() != NO_ERROR) {<br /> LOGE("AudioTrack->initCheck failed");<br /> goto initAudioTrack_exit;<br /> }<br /> mpAudioTrack->setVolume(mVolume, mVolume);<br /> mState = TONE_INIT;<br /> ......<br /> }<br />

 

可見，建立步驟很簡單，先new一個AudioTrack的執行個體，然後調用set成員函數完成參數的設定並註冊到AudioFlinger中，然後可以調用其他諸如設定音量等函數進一步設定音頻參數。其中，一個重要的參數是audioCallback，audioCallback是一個回呼函數，負責響應AudioTrack的通知，例如填充資料、迴圈播放、播放位置觸發等等。回呼函數的寫法通常像這樣：

void ToneGenerator::audioCallback(int event, void* user, void *info) {<br /> if (event != AudioTrack::EVENT_MORE_DATA) return;<br /> AudioTrack::Buffer *buffer = static_cast<AudioTrack::Buffer *>(info);<br /> ToneGenerator *lpToneGen = static_cast<ToneGenerator *>(user);<br /> short *lpOut = buffer->i16;<br /> unsigned int lNumSmp = buffer->size/sizeof(short);<br /> const ToneDescriptor *lpToneDesc = lpToneGen->mpToneDesc;<br /> if (buffer->size == 0) return;</p><p> // Clear output buffer: WaveGenerator accumulates into lpOut buffer<br /> memset(lpOut, 0, buffer->size);<br /> ......<br /> // 以下是產生音調資料的代碼，略....<br />}

該函數首先判斷事件的類型是否是EVENT_MORE_DATA，如果是，則後續的代碼會填充相應的音頻資料後返回，當然你可以處理其他事件，以下是可用的事件類型：

enum event_type {<br /> EVENT_MORE_DATA = 0, // Request to write more data to PCM buffer.<br /> EVENT_UNDERRUN = 1, // PCM buffer underrun occured.<br /> EVENT_LOOP_END = 2, // Sample loop end was reached; playback restarted from loop start if loop count was not 0.<br /> EVENT_MARKER = 3, // Playback head is at the specified marker position (See setMarkerPosition()).<br /> EVENT_NEW_POS = 4, // Playback head is at a new position (See setPositionUpdatePeriod()).<br /> EVENT_BUFFER_END = 5 // Playback head is at the end of the buffer.<br /> };

開始播放：

mpAudioTrack->start();

停止播放：

mpAudioTrack->stop();

只要簡單地調用成員函數start()和stop()即可。

 

AudioTrack和AudioFlinger的通訊機制

通常，AudioTrack和AudioFlinger並不在同一個進程中，它們通過android中的binder機制建立聯絡。

AudioFlinger是android中的一個service，在android啟動時就已經被載入。下面這張圖展示了他們兩個的關係：

                                                                              圖一 AudioTrack和AudioFlinger的關係

我們可以這樣理解這張圖的含義：

• audio_track_cblk_t實現了一個環形FIFO；
• AudioTrack是FIFO的資料生產者；
• AudioFlinger是FIFO的資料消費者。

 

建立聯絡的過程

下面的順序圖表展示了AudioTrack和AudioFlinger建立聯絡的過程：

                                                              圖二 AudioTrack和AudioFlinger建立聯絡

解釋一下過程：

• Framework或者Java層通過JNI，new AudioTrack();
• 根據StreamType等參數，通過一系列的調用getOutput();
• 如有必要，AudioFlinger根據StreamType開啟不同硬體裝置;
• AudioFlinger為該輸出裝置建立混音線程： MixerThread()，並把該線程的id作為getOutput()的傳回值返回給AudioTrack;
• AudioTrack通過binder機制調用AudioFlinger的createTrack();
• AudioFlinger註冊該AudioTrack到MixerThread中；
• AudioFlinger建立一個用於控制的TrackHandle，並以IAudioTrack這一介面作為createTrack()的傳回值；
• AudioTrack通過IAudioTrack介面，得到在AudioFlinger中建立的FIFO(audio_track_cblk_t);
• AudioTrack建立自己的監控線程：AudioTrackThread；

自此，AudioTrack建立了和AudioFlinger的全部聯絡工作，接下來，AudioTrack可以：

• 通過IAudioTrack介面控制該音軌的狀態，例如start,stop,pause等等；
• 通過對FIFO的寫入，實現連續的音頻播放；
• 監控線程監控事件的發生，並通過audioCallback回呼函數與使用者程式進行互動；

 

FIFO的管理 audio_track_cblk_t

audio_track_cblk_t這個結構是FIFO實現的關鍵，該結構是在createTrack的時候，由AudioFlinger申請相應的記憶體，然後通過IMemory介面返回AudioTrack的，這樣AudioTrack和AudioFlinger管理著同一個audio_track_cblk_t，通過它實現了環形FIFO，AudioTrack向FIFO中寫入音頻資料，AudioFlinger從FIFO中讀取音頻資料，經Mixer後送給AudioHardware進行播放。

audio_track_cblk_t的主要資料成員：

    user             -- AudioTrack當前的寫位置的位移
    userBase     -- AudioTrack寫位移的基準位置，結合user的值方可確定真實的FIFO地址指標
    server          -- AudioFlinger當前的讀位置的位移
    serverBase  -- AudioFlinger讀位移的基準位置，結合server的值方可確定真實的FIFO地址指標

    frameCount -- FIFO的大小，以音頻資料的幀為單位，16bit的音頻每幀的大小是2位元組

    buffers         -- 指向FIFO的起始地址

    out               -- 音頻流的方向，對於AudioTrack，out=1，對於AudioRecord，out=0

audio_track_cblk_t的主要成員函數：

framesAvailable_l()和framesAvailable()用於擷取FIFO中可寫的空閑空間的大小，只是加鎖和不加鎖的區別。

uint32_t audio_track_cblk_t::framesAvailable_l()<br />{<br /> uint32_t u = this->user;<br /> uint32_t s = this->server;<br /> if (out) {<br /> uint32_t limit = (s < loopStart) ? s : loopStart;<br /> return limit + frameCount - u;<br /> } else {<br /> return frameCount + u - s;<br /> }<br />}    

 

framesReady()用於擷取FIFO中可讀取的空間大小。

uint32_t audio_track_cblk_t::framesReady()<br />{<br /> uint32_t u = this->user;<br /> uint32_t s = this->server;<br /> if (out) {<br /> if (u < loopEnd) {<br /> return u - s;<br /> } else {<br /> Mutex::Autolock _l(lock);<br /> if (loopCount >= 0) {<br /> return (loopEnd - loopStart)*loopCount + u - s;<br /> } else {<br /> return UINT_MAX;<br /> }<br /> }<br /> } else {<br /> return s - u;<br /> }<br />}<br />

 

我們看看下面的：

               _____________________________________________

               ^                          ^                             ^                           ^

        buffer_start              server(s)                 user(u)                  buffer_end

 

 很明顯，frameReady = u - s，frameAvalible = frameCount - frameReady = frameCount - u + s

 

 可能有人會問，應為這是一個環形的buffer，一旦user越過了buffer_end以後，應該會發生下面的情況：

                _____________________________________________

               ^                ^             ^                                                     ^

        buffer_start     user(u)     server(s)                                   buffer_end

這時候u在s的前面，用上面的公式計算就會錯誤，但是android使用了一些技巧，保證了上述公式一直成立。我們先看完下面三個函數的代碼再分析：

uint32_t audio_track_cblk_t::stepUser(uint32_t frameCount)<br />{<br /> uint32_t u = this->user;<br /> u += frameCount;<br /> ......<br /> if (u >= userBase + this->frameCount) {<br /> userBase += this->frameCount;<br /> }<br /> this->user = u;<br /> ......<br /> return u;<br />}<br />

bool audio_track_cblk_t::stepServer(uint32_t frameCount)<br />{<br /> // the code below simulates lock-with-timeout<br /> // we MUST do this to protect the AudioFlinger server<br /> // as this lock is shared with the client.<br /> status_t err;<br /> err = lock.tryLock();<br /> if (err == -EBUSY) { // just wait a bit<br /> usleep(1000);<br /> err = lock.tryLock();<br /> }<br /> if (err != NO_ERROR) {<br /> // probably, the client just died.<br /> return false;<br /> }<br /> uint32_t s = this->server;<br /> s += frameCount;<br /> // 省略部分代碼<br /> // ......<br /> if (s >= serverBase + this->frameCount) {<br /> serverBase += this->frameCount;<br /> }<br /> this->server = s;<br /> cv.signal();<br /> lock.unlock();<br /> return true;<br />}

void* audio_track_cblk_t::buffer(uint32_t offset) const<br />{<br /> return (int8_t *)this->buffers + (offset - userBase) * this->frameSize;<br />}

 

stepUser()和stepServer的作用是調整當前位移的位置，可以看到，他們僅僅是把成員變數user或server的值加上需要移動的數量，user和server的值並不考慮FIFO的邊界問題，隨著資料的不停寫入和讀出，user和server的值不斷增加，只要處理得當，user總是出現在server的後面，因此frameAvalible()和frameReady()中的演算法才會一直成立。根據這種演算法，user和server的值都可能大於FIFO的大小：framCount，那麼，如何確定真正的寫指標的位置呢？這裡需要用到userBase這一成員變數，在stepUser()中，每當user的值越過(userBase+frameCount)，userBase就會增加frameCount，這樣，映射到FIFO中的位移總是可以通過(user-userBase)獲得。因此，獲得當前FIFO的寫地址指標可以通過成員函數buffer()返回：

p = mClbk->buffer(mclbk->user);

 

在AudioTrack中，封裝了兩個函數：obtainBuffer()和releaseBuffer()操作FIFO，obtainBuffer()獲得當前可寫的數量和寫指標的位置，releaseBuffer()則在寫入資料後被調用，它其實就是簡單地調用stepUser()來調整位移的位置。

 

IMemory介面

在createTrack的過程中，AudioFlinger會根據傳入的frameCount參數，申請一塊記憶體，AudioTrack可以通過IAudioTrack介面的getCblk()函數獲得指向該記憶體塊的IMemory介面，然後AudioTrack通過該IMemory介面的pointer()函數獲得指向該記憶體塊的指標，這塊記憶體的開始部分就是audio_track_cblk_t結構，緊接著是大小為frameSize的FIFO記憶體。

 

IMemory->pointer() ---->|_______________________________________________________

                                     |__audio_track_cblk_t__|_______buffer of FIFO(size==frameCount)____|

 

 

看看AudioTrack的createTrack()的代碼就明白了：

sp<IAudioTrack> track = audioFlinger->createTrack(getpid(),<br /> streamType,<br /> sampleRate,<br /> format,<br /> channelCount,<br /> frameCount,<br /> ((uint16_t)flags) << 16,<br /> sharedBuffer,<br /> output,<br /> &status);<br /> // 得到IMemory介面<br /> sp<IMemory> cblk = track->getCblk();<br /> mAudioTrack.clear();<br /> mAudioTrack = track;<br /> mCblkMemory.clear();<br /> mCblkMemory = cblk;<br /> // 得到audio_track_cblk_t結構<br /> mCblk = static_cast<audio_track_cblk_t*>(cblk->pointer());<br /> // 該FIFO用於輸出<br /> mCblk->out = 1;<br /> // Update buffer size in case it has been limited by AudioFlinger during track creation<br /> mFrameCount = mCblk->frameCount;<br /> if (sharedBuffer == 0) {<br /> // 給FIFO的起始地址賦值<br /> mCblk->buffers = (char*)mCblk + sizeof(audio_track_cblk_t);<br /> } else {<br /> ..........<br /> }