【機器學習】先驗機率、後驗機率、貝葉斯公式、 似然函數

Original url:

http://m.blog.csdn.net/article/details?id=49130173

一、先驗機率、後驗機率、貝葉斯公式、 似然函數

在機器學習中，這些概念總會涉及到，但從來沒有真正理解透徹他們之間的聯絡。下面打算好好從頭捋一下這些概念，備忘。 1、先驗機率

先驗機率僅僅依賴於主觀上的經驗估計，也就是事先根據已有的知識的推斷，先驗機率就是沒有經過實驗驗證的機率，根據已知進行的主觀臆測。

如拋一枚硬幣，在拋之前，主觀推斷P（正面朝上） = 0.5。

2、後驗機率

後驗機率是指在得到“結果”的資訊後重新修正的機率，如貝葉斯公式中的。是“執果尋因”問題中的”果”。先驗機率與後驗機率有不可分割的聯絡，後驗機率的計算要以先驗機率為基礎。解釋下來就是，在已知果（B）的前提下，得到重新修正的因（A）的機率P（A|B)，稱為A的後驗機率，也即條件機率。後驗機率可以通過貝葉斯公式求解。 3、貝葉斯公式

貝葉斯公式，用來描述兩個條件機率（後驗機率）之間的關係，比如 P(A|B) 和 P(B|A)。按照乘法法則：

P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)

如上公式也可變形為：

P(A|B)=P(A)P(B|A)/P(B)      P(B)為標準化常量

貝葉斯法則表述如下： 
一般公式 
 
其中 
A1,,,,,,An為完備事件組，即 

舉一個簡單的例子：一口袋裡有3隻紅球、2隻白球，採用不放回方式摸取，求：⑴ 第一次摸到紅球（記作A）的機率；⑵ 第二次摸到紅球（記作B）的機率；⑶ 已知第二次摸到了紅球，求第一次摸到的是紅球的機率。

解： 
⑴ P(A)=3/5，這就是A的先驗機率； 
⑵ P(B)=P(B|A)P(A)+P(B|A逆)P(A逆)=3/5 此稱為準化常量，A與A逆稱為完備事件組 
⑶ P(A|B)=P(A)P(B|A)/P(B)=1/2，這就是A的後驗機率。 4、似然函數 1）概念

在數理統計學中，似然函數是一種關於統計模型中的參數的函數，表示模型參數中的似然性。 
似然函數在統計推斷中有重大作用，如在最大似然估計和費雪資訊之中的應用等等。“似然性”與“或然性”或“機率”意思相近，都是指某種事件發生的可能性，但是在統計學中，“似然性”和“或然性”或“機率”又有明確的區分。 
機率用於在已知一些參數的情況下，預測接下來的觀測所得到的結果，而 
似然性 則是用於在已知某些觀測所得到的結果時，對有關事物的性質的參數進行估計。 
舉例如下：

對於“一枚正反對稱的硬幣上拋十次”這種事件，我們可以問硬幣落地時十次都是正面向上的“機率”是多少；而對於“一枚硬幣上拋十次，落地都是正面向上”這種事件，我們則可以問，這枚硬幣正反面對稱（也就是正反面機率均為0.5的機率）的“似然”程度是多少。

2）定義

給定輸出x時，關於參數θ的似然函數L(θ|x)（在數值上）等於給定參數θ後變數X=x的機率：

L(θ|x)=P(X=x|θ).

公式解釋如下：對參數θ的似然函數求值，（在數值上）等於觀測結果X在給定參數θ下的條件機率，也即X的後驗機率。一般似然函數的值越大表明在結果X=x下，此參數θ越合理。 
因此形式上，似然函數也是一種條件機率函數，但我們關注的變數改變了，關注的是A取值為參數θ的似然值：

θ <---> P(B | A = θ)

因此說貝葉斯公式P(A|B)=P(B|A)P(A)/P(B)在形式上也可以表述為：

A的後驗機率 = (A的似然度 * A的先驗機率)/標準化常量　

也就是說，後驗機率與先驗機率和似然度的乘積成正比。 
注意到這裡並不要求似然函數滿足歸一性：∑P(B | A = θ)= 1 
一個似然函數乘以一個正的常數之後仍然是似然函數。對所有α > 0，都可以有似然函數：

L(θ|x)=αP(X=x|θ).

3）舉例

舉例如下：考慮投擲一枚硬幣的實驗。通常來說，已知投出的硬幣正面朝上和反面朝上的機率各自是pH= 0.5，便可以知道投擲若干次後出現各種結果的可能性。比如說，投兩次都是正面朝上的機率是0.25。用條件機率表示，就是：

P(HH | pH = 0.5) = 0.5^2 = 0.25

其中H表示正面朝上。

在統計學中，我們關心的是在已知一系列投擲的結果時，關於硬幣投擲時正面朝上的可能性的資訊。我們可以建立一個統計模型：假設硬幣投出時會有pH的機率正面朝上，而有1 −pH的機率反面朝上。這時，條件機率可以改寫成似然函數：

L(pH = 0.5 | HH) = P(HH | pH = 0.5) = 0.25

也就是說，對於取定的似然函數，在觀測到兩次投擲都是正面朝上時，pH= 0.5的似然性(可能性)是0.25（這並不表示當觀測到兩次正面朝上時pH= 0.5的機率是0.25）。 
如果考慮pH= 0.6，那麼似然函數的值也會改變。

L(pH = 0.6 | HH) = P(HH | pH = 0.6) = 0.36

注意到似然函數的值變大了。這說明，如果參數pH的取值變成0.6的話，結果觀測到連續兩次正面朝上的機率要比假設pH= 0.5時更大。也就是說，參數pH取成0.6 要比取成0.5 更有說服力，更為“合理”。總之，似然函數的重要性不是它的具體取值，而是當參數變化時函數到底變小還是變大。對同一個似然函數，如果存在一個參數值，使得它的函數值達到最大的話，那麼這個值就是最為“合理”的參數值。 
在這個例子中，似然函數實際上等於：

L(pH = θ | HH) = P(HH | pH = θ) =  θ^2

如果取pH= 1，那麼似然函數達到最大值1。也就是說，當連續觀測到兩次正面朝上時，假設硬幣投擲時正面朝上的機率為1是最合理的。 
類似地，如果觀測到的是三次投擲硬幣，頭兩次正面朝上，第三次反面朝上，那麼似然函數將會是：

L(pH = θ | HHT) = P(HHT | pH = θ) =  θ^2(1- θ)，其中T表示反面朝上，0 <= pH <= 1

這時候，似然函數的最大值將會在pH = 2/3的時候取到。也就是說，當觀測到三次投擲中前兩次正面朝上而後一次反面朝上時，估計硬幣投擲時正面朝上的機率pH = 2/3是最合理的。