機器學習 --- 2. 從最大似然再看線性迴歸_資料採礦

http://blog.csdn.net/ppn029012/article/details/8908104
機器學習 --- 2. 從最大似然再看線性迴歸 分類： 數學 機器學習 2013-05-10 00:34  3672人閱讀  評論(15)  收藏  舉報 MLE 機器學習

目錄(?)[+]

從最大似然再看線性迴歸 1. 線性迴歸的回顧

上一節我們嘗試解決“樓價與房子大小”之間關係的時候，使用了線性迴歸去擬合一個線性方程，使得這個線性方程與所獲得的樓價與房大小資料最大限度地吻合。

所以，我們的問題的解決思路是,

把資料當成事實

用一個特定的模型(e.g.線性方程或非線性方程)去匹配資料

這些資料被當成了上帝，而讓我們用模型去匹配他們。資料就是事實，當誤差很大時，只能說明模型不夠好，仍需努力來匹配我們的資料。
2. 換個角度看線性迴歸

剛才是資料是事實，換個角度來看，資料應該是事實的一個表現。也就是”樓價資料”應該是“樓價與房子大小關係”的一個表現。現在假設北京某地樓價和房子大小之間關係已經確定了

樓價=房子大小*500，

但是我們不知道，現在拿到了5個資料,

(500, 1),   (502, 1), (1510, 3), (1120, 2), (1500, 2). 會發現這5個資料並不符合關係。這是為什麼，這是因為這些資料裡面並不僅僅包含了"樓價”與"房子大小”之間的關係，還很可能包含了, "樓價”與“新舊”，“房屋”與“朝向”，“房屋”與“小區環境”...等等各種因素，而且這些因素很可能是可以觀察到，也有可能是觀察不到的。

所以說想完美準確的預測樓價與房子大小的關係是有可能的!! 只要找出所有影響樓價的因素.

找到所有影響樓價的因素這是不可能的!! 所以我們可能勉為其難，只需要一個最近似的關係就好了，所以只要把其他因素都看成是一些與房子大小無關的小雜訊就好了。於是,

y就是我們的樓價，f(x)就是樓價與房子大小之間的關係，\epsilon就是一些與房子大小無關的小雜訊，當然，因為\epsilon是一個隨機的東西，我們可以用隨機變數E來表示它，

3.最大似然

無論如何, 現在我們有了一串X,Y,就可以嘗試地找出一個最有可能的f(x)去擬合資料了。

什麼叫最有可能?

假如有M個f(x), 那麼我們需要評估哪個模型最有可能產生這一串資料D (Y, X). 可能性應該用機率來表示,

是f(x)的參數, 如果這些資料與資料之間是獨立的，就有

下面這個方程,表示了模型產生資料X,Y的可能性

因為X,Y已經確定了，現在要使得可能性最大，我們只能通過調整的值了。

對任意一個資料,(xi, yi),我們可以計算

現在要計算一個模型產生資料的可能性，我們只要知道這個模型預測值與實際值之間的誤差,和這個雜訊隨機變數E的分布就可以了。 解決最大似然問題的流程

到這，問題已經可以解決了，也就是，對於已有的資料D(X,Y)和任意一個參數為的f(x)，找到最好的參數我們需要，

選擇一個模型f(x), 和初始化其參數

估測雜訊隨機變數Ｅ的分布情況(e.g. 均勻分布，高斯分布...), 得到Likelihood運算式

計算Likelihood函數, 並調整使得Likelihood達到最大

調整的方法可以使用像前一章中介紹的“導數下降法”，當然也可以直接找極值點（導數為０）來得到其極大極小值。

Likelihood 函數會隨著模型f(x)的選擇和雜訊隨機變數E的選擇出現不同的情況。下面就由我展示一下，最大似然怎麼與前面兩位迴歸(線性迴歸(Linear Regression)和分類迴歸(Logistic Regression))聯絡起來的吧!
4. 最大似然變身線性迴歸

這時候，模型我選 f(x) = ax + b,  雜訊隨機變數 E一個常態分佈N(0,2).

要讓Likelihood最大，只需要把最小化就好了。啊啊啊。這個公式熟悉麼? 這正是前麵線性迴歸的cost函數嗎?原來線性迴歸只是最大似然的一種特殊情況!
5. 最大似然與分類

這時候，模型我選f(x)=, 這時隨機雜訊變數的分布就不再是高斯分布了，是一個極其複雜的分布。但是幸運的是，我們可以得到Likelihood的運算式, 因為

統一一下這個式子，

於是有，

最後可以看到，這個Likelihood函數變成了，分類迴歸中的cost函數的取負。所以最大化Likelihood就等同於最小化分類迴歸中的cost函數。

以上兩類問題，線性迴歸和分類迴歸，都可以由最大似然估計法推導而來，說明了最大似然估計法是一種更普適的描述模型匹配的方法。