文本語言模型的參數估計-最大似然估計、MAP及貝葉斯估計

以PLSA和LDA為代表的文本語言模型是當今統計自然語言處理研究的熱點問題。這類語言模型一般都是對文本的產生過程提出自己的機率圖模型，然後利用觀察到的語料資料對模型參數做估計。有了語言模型和相應的模型參數，我們可以有很多重要的應用，比如文本特徵降維、文本主題分析等等。本文主要介紹文本分析的三類參數估計方法-最大似然估計MLE、最大後驗機率估計MAP及貝葉斯估計。

1、最大似然估計MLE

首先回顧一下貝葉斯公式

這個公式也稱為逆機率公式，可以將後驗機率轉化為基於似然函數和先驗機率的計算運算式，即

最大似然估計就是要用似然函數取到最大值時的參數值作為估計值，似然函數可以寫做

由於有連乘運算，通常對似然函數取對數計算簡便，即對數似然函數。最大似然估計問題可以寫成

這是一個關於的函數，求解這個最佳化問題通常對求導，得到導數為0的極值點。該函數取得最大值是對應的的取值就是我們估計的模型參數。

以扔硬幣的伯努利實驗為例子，N次實驗的結果服從二項分布，參數為P，即每次實驗事件發生的機率，不妨設為是得到正面的機率。為了估計P，採用最大似然估計，似然函數可以寫作

其中表示實驗結果為i的次數。下面求似然函數的極值點，有

得到參數p的最大似然估計值為

可以看出二項分布中每次事件發的機率p就等於做N次獨立重複隨機實驗中事件發生的機率。

如果我們做20次實驗，出現正面12次，反面8次

那麼根據最大似然估計得到參數值p為12/20 = 0.6。

2、最大後驗估計MAP

最大後驗估計與最大似然估計相似，不同點在於估計的函數中允許加入一個先驗，也就是說此時不是要求似然函數最大，而是要求由貝葉斯公式計算出的整個後驗機率最大，即

注意這裡P（X）與參數無關，因此等價於要使分子最大。與最大似然估計相比，現在需要多加上一個先驗分布機率的對數。在實際應用中，這個先驗可以用來描述人們已經知道或者接受的普遍規律。例如在扔硬幣的實驗中，每次拋出正面發生的機率應該服從一個機率分布，這個機率在0.5處取得最大值，這個分布就是先驗分布。先驗分布的參數我們稱為超參數(hyperparameter)即

同樣的道理，當上述後驗機率取得最大值時，我們就得到根據MAP估計出的參數值。給定觀測到的樣本資料，一個新的值發生的機率是

下面我們仍然以扔硬幣的例子來說明，我們期望先驗機率分布在0.5處取得最大值，我們可以選用Beta分布即

其中Beta函數展開是

當x為正整數時

Beta分布的隨機變數範圍是[0,1],所以可以產生normalised probability values。給出了不同參數情況下的Beta分布的機率密度函數

我們取,這樣先驗分布在0.5處取得最大值，現在我們來求解MAP估計函數的極值點，同樣對p求導數我們有

得到參數p的的最大後驗估計值為

和最大似然估計的結果對比可以發現結果中多了這樣的pseudo-counts,這就是先驗在起作用。並且超參數越大，為了改變先驗分布傳遞的belief所需要的觀察值就越多，此時對應的Beta函數越聚集，緊縮在其最大值兩側。

如果我們做20次實驗，出現正面12次，反面8次，那麼

那麼根據MAP估計出來的參數p為16/28 = 0.571,小於最大似然估計得到的值0.6，這也顯示了“硬幣一般是兩面均勻的”這一先驗對參數估計的影響。

3 貝葉斯估計

貝葉斯估計是在MAP上做進一步拓展，此時不直接估計參數的值，而是允許參數服從一定機率分布。回顧一下貝葉斯公式

現在不是要求後驗機率最大，這樣就需要求,即觀察到的evidence的機率，由全機率公式展開可得

當新的資料被觀察到時，後驗機率可以自動隨之調整。但是通常這個全機率的求法是貝葉斯估計比較有技巧性的地方。

那麼如何用貝葉斯估計來做預測呢？如果我們想求一個新值的機率，可以由

來計算。注意此時第二項因子在上的積分不再等於1，這就是和MLE及MAP很大的不同點。

我們仍然以扔硬幣的伯努利實驗為例來說明。和MAP中一樣，我們假設先驗分布為Beta分布，但是構造貝葉斯估計時，不是要求用後驗最大時的參數來近似作為參數值，而是求滿足Beta分布的參數p的期望，有

注意這裡用到了公式

當T為二維的情形可以對Beta分布來應用；T為多維的情形可以對狄利克雷分布應用

根據結果可以知道，根據貝葉斯估計，參數p服從一個新的Beta分布。回憶一下，我們為p選取的先驗分布是Beta分布，然後以p為參數的二項分布用貝葉斯估計得到的後驗機率仍然服從Beta分布，由此我們說二項分布和Beta分布是共軛分布。在機率語言模型中，通常選取共軛分布作為先驗，可以帶來計算上的方便性。最典型的就是LDA中每個文檔中詞的Topic分布服從Multinomial分布，其先驗選取共軛分布即Dirichlet分布；每個Topic下詞的分布服從Multinomial分布，其先驗也同樣選取共軛分布即Dirichlet分布。

根據Beta分布的期望和方差計算公式，我們有

可以看出此時估計的p的期望和MLE ，MAP中得到的估計值都不同，此時如果仍然是做20次實驗，12次正面，8次反面，那麼我們根據貝葉斯估計得到的p滿足參數為12+5和8+5的Beta分布，其均值和方差分別是17/30=0.567, 17*13/(31*30^2)=0.0079。可以看到此時求出的p的期望比MLE和MAP得到的估計值都小，更加接近0.5。

綜上所述我們可以可視化MLE,MAP和貝葉斯估計對參數的估計結果如下

個人理解是，從MLE到MAP再到貝葉斯估計，對參數的表示越來越精確，得到的參數估計結果也越來越接近0.5這個先驗機率，越來越能夠反映基於樣本的真實參數情況。

參考文獻

Gregor Heinrich, Parameter estimation for test analysis, technical report 

Wikipedia Beta分布詞條 ,  http://en.wikipedia.org/wiki/Beta_distribution