關於Likelihood 和 Probability的差別

Maximum likelihood和Bayesian inference是目前譜系分析（phylogenetic analyses）常用的兩種方法。但是由於兩者使用的觀念或多或少都牽涉到機率與統計的範疇，應用這兩種方法的人常常會把兩者相互混淆。

雖然一般教學上都會提到，Maximum likelihood用的是統計方法計算譜系樹的likelihood，搜尋最佳譜系樹；Bayesian inference則是應用Bayes’ theorem來計算譜系樹為真的機率（probability）。但是機率和統計其實只是使用不同的角度探討同一件事而已——甚至在一般英文的定義中，likelihood和probability還是同義字：

Likelihood as a solitary term is a shorthand for likelihood function. In non-technical usage, "likelihood" is a synonym for "probability", but throughout this article only the technical definition is used. Informally, if "probability" allows us to predict unknown outcomes based on known parameters, then "likelihood" allows us to determine unknown parameters based on known outcomes.

（節錄Wikipedia對likelihood function的定義http://en.wikipedia.org/wiki/Likelihood_function）

Likelihood is the hypothetical probability that an event that has already occurred would yield a specific outcome. The concept differs from that of a probability in that a probability refers to the occurrence of future events, while a likelihood refers to past events with known outcomes.

(from http://mathworld.wolfram.com/Likelihood.html)

所以事實上，如果要簡單的區分likelihood和probability，只要看這個方法是用什麼去求什麼就可以了：

Likelihood：用已知的（實驗）資料作出（影響實驗結果的）參數的函數，藉以求取參數的數值。

Probability：用已知的（影響實驗結果的）參數作出（能夠預測實驗結果的）函數，藉以預測實驗的結果。

若從「參數←→函數曲線」的角度看，我們可以藉由函數圖形的性質差異來區分這兩者。

如果我們用已知參數作機率分布曲線，那麼這個曲線和X軸（參數）所包含的面積不會因為這個參數的變換而改變。

例如：

f(x): exponential with mean = 1，令y = 1/x，得f(y): inverse gamma

但是如果我們用已知參數作最大似然曲線，這時參數的變換將不會改變函數的值，也就是曲線到X軸的距離不會改變。

例如：

l(p;x) = 10log(p) +90log(1-p)，令a = p^2，得l(a;x) = 10log(√a) +90log(1-√a)

在p = 0.1和a = 0.01時，l（log likelihood）值相等

為什麼會有這樣的差異？其實只要看到這兩個例子，就能知道原因了。

以Bayesian inference所觀察的後驗機率（posterior probability）來看，它其實是機率分布函數對參數變數所作的積分。從函數圖形的角度看，這就是圖形所包含的面積。而Maximum likelihood觀察的則是函數的log likelihood，以參數變數對log likelihood所作的最大似然曲線，圖形面積並沒有意義。

因此雖然在邏輯上，likelihood和probability關注的是同樣的東西，可是在操作上使用的角度不同，得出的結果也不會一樣。

註：這篇文章是去年年底（嗯，也才上個月嘛），楊子恒老師的計算演化研習課程中提到的一小部份。雖然他的講義中有函數圖形，不過考慮著作權問題某猿沒辦法放上來，網路上暫時也找不到適合解釋的圖。

他在前年出版的＜Computational Molecular Evolution＞中有專門的章節討論Maximum likelihood和Bayesian inference。這裡純粹就最基本的原理去討論兩者間的差異性。如果真要分析兩者的不同，其實還有很多細節（例如本文中所提到的函數，兩者的定義其實會有一點差別）可以討論，不過這不是這篇文章的重點。