最大似然估計（ML）__演算法

1. 說明

　　最大似然估計(Maximum Likelihood Estimation, ML)是一種在給定觀察資料情況下，來評估模型參數的演算法。它屬於一種統計方法，用來求一個樣本集的相關機率密度函數的參數。
　　例如：
　　統計全校人口的身高，我們已知身高服從常態分佈（模型已定），但是分布均值與方差未知（參數未知）。 1.1 演算法概念：

　　“”模型已定，參數未知“”
　　給定：模型（參數全部或者部分未知），樣本集。
　　估計：模型的未知參數。 1.2 核心思想：

　　我們所估計的模型參數，要使得產生這個給定樣本的可能性最大。 1.3 演算法前提（必須滿足）：

　　假設所有的採樣都服從獨立同分布（Independent and identically distributed, i.i.d.）。
　　例如上面例子中，假設我們準備隨機抽取50個樣本，即學生，來測量身高作為樣本集。這裡樣本抽取就要滿足獨立隨機的概念。 2. 似然定義 2.1 似然函數：

　　在最大似然估計中，我們試圖在給定模型下，找到最佳的參數，使得這組樣本出現的可能性最大。似然函數定義如下：
　　 L(θ|x1,x2,...,xn)=f(x1,...xn|θ)=f(x1|θ)⋅f(x2|θ)⋅...⋅f(xn|θ). 　　L(\theta |x_1,x_2,...,x_n) = f(x_1,...x_n|\theta)=f(x_1|\theta)\cdot f(x_2|\theta)\cdot ... \cdot f(x_n|\theta).　　
　　其中：
　　 x1,...,xn x_1,...,x_n 為獨立同分布的樣本採樣，即資料集； f f為所用模型； θ \theta為模型參數，待求。
　　似然函數是用來衡量從模型中產生這組樣本的機率，所以怎樣羅列似然函數的核心是，式子能表達出樣本出現情況的機率，並且包含模型未知參數。當然，我這話說的有點像廢話，實際中自己尋找羅列似然函數還是要下很大功夫的，需要找到問題機率式羅列的本質。

2.2 對數似然：

lnL(θ|x1,...,xn)=∑i=1nlnf(xi|θ) ln L(\theta |x_1,...,x_n)=\sum_{i=1}^n ln f(x_i|\theta)
但是實際應用當中，很少以模型函數式表達，多數以機率形式定義。如下：
lnL(θ|x1,...xn)=∏i=1nP(xi;θ) ln L(\theta |x_1,...x_n)=\prod_{i=1}^n P(x_i;\theta )
平均對數似然則為：
l^=1n