最大後驗機率（MAP）- maximum a posteriori

原文：http://student.csdn.net/space.php?uid=119638&do=blog&id=11801

在統計學中，最大後驗（英文為Maximum a posteriori，縮寫為MAP）估計方法根據經驗資料獲得對難以觀察的量的點估計。它與最大似然估計中的 Fisher 方法有密切關係，但是它使用了一個增大的最佳化目標，這種方法將被估計量的先驗分布融合到其中。所以最大後驗估計可以看作是規則化（regularization）的最大似然估計。

假設我們需要根據觀察資料 x 估計沒有觀察到的母體參數 θ，讓 f 作為 x 的採樣分布，這樣 f(x | θ) 就是母體參數為 θ 時 x 的機率。函數

即為似然函數，其估計

就是 θ 的最大似然估計。

假設 θ 存在一個先驗分布 g，這就允許我們將 θ 作為 貝葉斯統計（en:Bayesian statistics）中的隨機變數，這樣 θ 的後驗分布就是：

其中 Θ 是 g 的domain，這是貝葉斯定理（en: Bayes' theorem）的直接應用。

最大後驗估計方法於是估計 θ 為這個隨機變數的後驗分布的mode：

= .arg.max_{.theta} .frac{f(x | .theta) ., g(.theta)}
{.int_{.Theta} f(x | .theta') ., g(.theta') ., d.theta'}
= .arg.max_{.theta} f(x | .theta) ., g(.theta)
.!">

後驗分布的分母與 θ 無關，所以在最佳化過程中不起作用。注意當前驗 g 是 uniform（也就是常函數）時最大後驗估計與最大似然估計重和。

最大後驗估計可以用以下幾種方法計算：

1. 解析方法，當後驗分布的模能夠用 closed form 方式表示的時候用這種方法。當使用en:conjugate prior 的時候就是這種情況。
2. 通過如共扼積分法或者牛頓法這樣的數值最佳化方法進行，這通常需要一階或者導數，導數需要通過解析或者數值方法得到。
3. 通過 期望最大化演算法 的修改實現，這種方法不需要後驗密度的導數。

儘管最大後驗估計與 Bayesian 統計共用前驗分布的使用，通常並不認為它是一種 Bayesian 方法，這是因為最大後驗估計是點估計，然而 Bayesian 方法的特點是使用這些分布來總結資料、得到推論。Bayesian 方法試圖算出後驗均值或者中值以及posterior interval，而不是後驗模。尤其是當後驗分布沒有一個簡單的解析形式的時候更是這樣：在這種情況下，後驗分布可以使用 Markov chain Monte Carlo 技術來類比，但是找到它的模的最佳化是很困難或者是不可能的。