最小二乘法和最大似然估計

標籤：極大似然估計   最小二乘法   機器學習   

 

一：背景：當給出我們一些樣本點，我們可以用一條直接對其進行擬合，如y= a0+a1x1+a2x2,公式中y是樣本的標籤，{x1,x2,x3}是特徵，當我們給定特徵的大小，讓你預測標籤，此時我們就需要事Crowdsourced Security Testing道參數{a1,a2}。而最小二乘法和最大似然估計就是根據一些給定樣本(包括標籤值)去對參數進行估計<參數估計的方法>。一般用於線性迴歸中獲得參數進行擬合。而梯度下降方法主要用於羅吉斯迴歸分類問題中尋找最佳參數。

 

二：最小二乘法：

基本思想：

簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這裡的“二乘”指的是用平方來度量觀測點與估計點的遠近（在古漢語中“平方”稱為“二乘”），“最小”指的是參數的估計值要保證各個觀測點與估計點的距離的平方和達到最小。

 

這裡m是樣本數量，θ表示要求的參數，yi是觀測值, h是估計值

 

最小二乘的作用

用於得到迴歸方程的參數的一個最優估值。在統計學上，該估值可以很好的擬合訓練樣本。並且對於新的輸入樣本，當有了參數估值後，帶入公式可以得到輸入樣本的輸出。

 

如何求解最小二乘

多元函數求極值的方法，對θ求偏導，讓偏導等於0，求出θ值。當θ為向量時，需要對各個θi求偏導計算。

解：

 

三：極大似然估計基本思想

當從模型總體隨機抽取n組樣本觀測值後，最合理的參數估計量應該使得從模型中抽取該n組樣本觀測值的機率最大，而不是像最小二乘估計法旨在得到使得模型能最好地擬合樣本資料的參數估計量。

 

極大似然估計的定義：

注意：一般的擾動項是對立同分布的，符合常態分佈，因此y-hθ(x)也是常態分佈,y就是以hθ(x)為中心的常態分佈。

 

求解極大似然

同樣使用多元函數求極值的方法。

 

四：最小二乘與極大似然估計的區別和理解

區別來自：http://blog.sina.com.cn/s/blog_4b12446d010191ri.html

對於最小二乘法，當從模型總體隨機抽取n組樣本觀測值後，最合理的參數估計量應該使得模型能最好地擬合樣本資料，也就是估計值和觀測值之差的平方和最小。而對於最大似然法，當從模型總體隨機抽取n組樣本觀測值後，最合理的參數估計量應該使得從模型中抽取該n組樣本觀測值的機率最大。顯然，這是從不同原理出發的兩種參數估計方法。

在最大似然法中，通過選擇參數，使已知資料在某種意義下最有可能出現，而某種意義通常指似然函數最大，而似然函數又往往指資料的機率分布函數。與最小二乘法不同的是，最大似然法需要已知這個機率分布函數，這在實踐中是很困難的。一般假設其滿足常態分佈函數的特性，在這種情況下，最大似然估計和最小二乘估計相同。

最小二乘法以估計值與觀測值的差的平方和作為損失函數，極大似然法則是以最大化目標值的似然機率函數為目標函數，從機率統計的角度處理線性迴歸並在似然機率函數為高斯函數的假設下同最小二乘建立了的聯絡。

 

理解來自：http://www.zhihu.com/question/20447622

最大似然估計：現在已經拿到了很多個樣本（你的資料集中所有因變數），這些樣本值已經實現，最大似然估計就是去找到那個（組）參數估計值，使得前面已經實現的樣本值發生機率最大。因為你手頭上的樣本已經實現了，其發生機率最大才符合邏輯。這時是求樣本所有觀測的聯合機率最大化，是個連乘積，只要取對數，就變成了線性加總。此時通過對參數求導數，並令一階導數為零，就可以通過解方程（組），得到最大似然估計值。
最小二乘：找到一個（組）估計值，使得實際值與估計值的距離最小。本來用兩者差的絕對值匯總並使之最小是最理想的，但絕對值在數學上求最小值比較麻煩，因而替代做法是，找一個（組）估計值，使得實際值與估計值之差的平方加總之後的值最小，稱為最小二乘。“二乘”的英文為leastsquare，其實英文的字面意思是“平方最小”。這時，將這個差的平方的和式對參數求導數，並取一階導數為零，就是OLSE。

 

五：為什麼最小二乘法對誤差的估計要用平方？

在區別當中提到了當假設資料滿足常態分佈函數的特性，在這種情況下，最大似然估計和最小二乘估計相同。這也是為什麼最小二乘法對誤差的估計用平方！！下面給出證明。來自：http://www.fuzihao.org/blog/2014/06/13/%E4%B8%BA%E4%BB%80%E4%B9%88%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95%E5%AF%B9%E8%AF%AF%E5%B7%AE%E7%9A%84%E4%BC%B0%E8%AE%A1%E8%A6%81%E7%94%A8%E5%B9%B3%E6%96%B9/

當然上面的公式有誤，少了個σ，但是不影響結果。

 

參考文獻：

1：http://blog.csdn.net/luo86106/article/details/40508455最小二乘和最大似然估計

 

最小二乘法和最大似然估計