三種參數估計演算法

標籤：src   貝葉斯公式   和我   auto   通過   原則   定義   例子   tail   

作為一名機器學習中的小白，參數估計方法的學習必不可少，本著邊學習邊記錄的原則，並參考一些其他部落格或資源，作為開啟我開始機器學習的第一扇門。

先說說統計學中的兩大派別：頻率派和貝葉斯學派。

頻率派認為：參數是客觀存在的，不會改變，雖然未知，但卻是固定值。——似然函數

貝葉斯學派認為：參數是隨機值，雖沒有觀察到，但和隨機數一樣，也有自己的分布。——後驗機率，貝葉斯估計

• 在學習參數估計方法前，我覺得還是有必要複習（其實是預習）一下機率中幾種重要的分布，因為在後面的參數估計方法中有用到過。

1. 伯努利分布：伯努利實驗：一次實驗成功：p 一次實驗失敗：（1-p）
2. 二項分布：n次伯努利實驗：X~（n,p）
3. 多項式分布：二項分布的推廣，這裡不重點介紹，需要複習的同學可以看下面的連結。
4. Beta分布：這是本文的重點。舉例：當我們投擲硬幣時，投擲10次，如果投擲結果全部是正面向上（當然這種機率較小，但也是可能出現的），那麼你可能會錯誤的估計投擲硬幣正面向上的結果是100%（這就是極大似然參數估計的結果）。顯然按照“常識”我們都知道，投擲硬幣正面向上的機率是50%（這裡的常識我們可以看成先驗知識）。說了這麼多終於可以引出我們的beta分布了，beta分布就是利用這些先驗知識，將這些先驗資訊用分布表示出來，增加先驗知識來參數估計（最大後驗機率估計-MAP）,消除最大似然估計可能導致的誤差。至於beta分布是什麼，這裡連結一篇我覺得解釋的不錯的知乎，供大家參考。beta分布：https://www.zhihu.com/question/30269898
5. Dirichlet分布：與多項分布是共軛分布，即：與多項分布具有相同的分布形式。

• 預備知識二：獨立同分布（參數估計有一個很重要的假設條件就是獨立同分布採樣）

1. 獨立：P（AB）=P（A）×P（B）——互相之間發生互不影響的兩個時間相互獨立
2. 同分布：分布相同的隨機變數（例如都服從0-1分布）
3. 舉例：從一個裝有紅，黃兩種顏色小球的盒子裡多次有放回的取出一個小球，每次取出小球的事件互不影響，並且小球總數不變（即分布相同）

對於參數估計演算法來說，一般都會引用“模型已定，參數未知”來很好的解釋，即已知變數的機率分布，但其中的參數未知。本文介紹三種參數估計方法：MLE，MAP和貝葉斯估計。首先再次引入貝葉斯公式（這個公式真的是很強大）：

極大似然估計：只考慮likelihood（似然），可能這就是為什麼叫似然估計（不知道這樣理解對不對）

最大後驗估計：同時考慮likelihood×prior來等價於後驗機率

貝葉斯估計：整體考慮等式右邊 

• 極大似然估計（Maximum Likelihood Estimate，MLE）：

極大似然估計，即最大化似然函數來進行參數估計，這裡的似然函數的自變數是參數θ，而不是隨機變數X。

首先介紹什麼是似然函數。先用一個簡單的例子：投擲兩次硬幣，首先給出結果：兩次投擲正面向上，反問：在投擲一次硬幣正面向上的機率為多少時，出現這樣的結果的機率最大（即：似然最大）。當我們取p（H）正面向上的機率為0.6與0.5時，我們可以得出:p(0.6|HH)=0.6×0.6=0.36 > p(0.5|HH)=0.25,所以我們認為p(H)=0.6時，比p(H)=0.5投擲兩次硬幣出現正面向上的似然更大，其實最大時是p(H) = 1,但實際我們都知道p(H) = 0.5，這就是MLE可能出現的誤差。

一般的機率密度（PDF）函數都是將隨機變數自變數（因為參數已知），而似然函數就是在參數未知時，將自變數與參數調換一下位置即為似然函數：L（θ|X）=f(X|θ)。

首先給出MLE演算法的一般步驟：

1. 寫出似然函數
2. 寫出似然函數的對數，並整理（後面解釋為什麼，其實是方便化簡）
3. 求導
4. 求解似然函數

假設（x1,x2,...,xn)為獨立同分布採樣，θ為參數模型，f為函數模型。

其中x1,x2,...,xn已知，θ未知。似然定義：

兩邊取對數得到對數似然：

一般直接求最大似然為平均對數的最大，即：

註：最大似然估計只考慮某個模型產生某個給定的觀察序列的機率，不考慮模型本身，這一點和貝葉斯估計不同。

 例題可以看看：http://blog.csdn.net/leo_xu06/article/details/51222215

下一篇：最大後驗估計（MAP）

因為剛開始寫部落格，排版，公式安排的不是很好，特別是同時是通過mathtype寫出來後上傳的，博友們有更好的v辦法望告知。

最後，請廣大博友和我交流，我一般每天都線上，可以給大家及時回複。

 

 參考：

 

頻率派和貝葉斯學派：http://blog.csdn.net/wzgbm/article/details/51721143

http://blog.csdn.net/whatwho_518/article/details/44855929

http://blog.csdn.net/wzgbm/article/details/51721143

 

三種參數估計演算法