【SR】MAP

標籤：沒有   logs   分享   評估   lan   採樣   The   str   答案   

MAP：最大後驗機率（Maximum a posteriori）

 

估計方法根據經驗資料獲得對難以觀察的量的點估計。它與最大似然估計中的 Fisher方法有密切關係，

但是它使用了一個增大的最佳化目標，這種方法將被估計量的先驗分布融合到其中。所以最大後驗估計可以看作是規則化（regularization）的最大似然估計。

 

 

【轉載自】最大後驗估計(MAP) - 可樂LL - 部落格園 https://www.cnblogs.com/liliu/archive/2010/11/24/1886110.html

 

    最大後驗估計是根據經驗資料獲得對難以觀察的量的點估計。與最大似然估計類似，但是最大的不同時，最大後驗估計的融入了要估計量的先驗分布在其中。故最大後驗估計可以看做規則化的最大似然估計。

    首先，我們回顧上篇文章中的最大似然估計，假設x為獨立同分布的採樣，θ為模型參數,f為我們所使用的模型。那麼最大似然估計可以表示為：

     

現在，假設θ的先驗分布為g。通過貝葉斯理論，對於θ的後驗分布如下式所示：

     

最後驗分布的目標為：

     

　　　　註：最大後驗估計可以看做貝葉斯估計的一種特定形式。

　　舉例來說：

　　假設有五個袋子，各袋中都有無限量的餅乾(櫻桃口味或檸檬口味)，已知五個袋子中兩種口味的比例分別是

　　　　櫻桃 100%

　　　　櫻桃 75% + 檸檬 25%

　　　　櫻桃 50% + 檸檬 50%

　　　　櫻桃 25% + 檸檬 75%

　　　　檸檬 100%

　　如果只有如上所述條件，那問從同一個袋子中連續拿到2個檸檬餅乾，那麼這個袋子最有可能是上述五個的哪一個？

      我們首先採用最大似然估計來解這個問題，寫出似然函數。假設從袋子中能拿出檸檬餅乾的機率為p(我們通過這個機率p來確定是從哪個袋子中拿出來的)，則似然函數可以寫作

　　

　　由於p的取值是一個離散值，即上面描述中的0,25%，50%，75%，1。我們只需要評估一下這五個值哪個值使得似然函數最大即可，得到為袋子5。這裡便是最大似然估計的結果。

上述最大似然估計有一個問題，就是沒有考慮到模型本身的機率分布，下面我們擴充這個餅乾的問題。

假設拿到袋子1或5的機率都是0.1，拿到2或4的機率都是0.2，拿到3的機率是0.4，那同樣上述問題的答案呢？這個時候就變MAP了。我們根據公式

 　　

寫出我們的MAP函數。

 　　

根據題意的描述可知，p的取值分別為0,25%，50%，75%，1，g的取值分別為0.1，0.2,0.4,0.2,0.1.分別計算出MAP函數的結果為：0,0.0125,0.125,0.28125,0.1.由上可知，通過MAP估計可得結果是從第四個袋子中取得的最高。

　　上述都是離散的變數，那麼連續的變數呢？假設為獨立同分布的，μ有一個先驗的機率分布為。那麼我們想根據來找到μ的最大後驗機率。根據前面的描述，寫出MAP函數為：

 　　

　　此時我們在兩邊取對數可知。所求上式的最大值可以等同於求min{}:

　　

　　的最小值。求導可得所求的μ為:

 　　

　　以上便是對於連續變數的MAP求解的過程。

 

在MAP中我們應注意的是：

    MAP與MLE最大區別是MAP中加入了模型參數本身的機率分布，或者說。MLE中認為模型參數本身的機率的是均勻的，即該機率為一個固定值。

【SR】MAP