【機器學習實戰】多元線性迴歸模型

標籤：機器學習   資料採礦   多元線性迴歸   

在許多實際問題中，影響因變數Y的自變數不止一個，通常設為p個，此時無法藉助於圖形的協助來確定模型，這裡則使用一種最為簡單且普遍的模型——多元線性模型來進行迴歸計算。

1、數學模型

當影響Y值的因素不唯一時，我們可以使用多元線性迴歸模型：

當未知參數有兩個時，我們可以畫出此方程的圖形表示（此時是一個平面，）。如果未知數大於2時，則很難把此超平面給畫出來。

如，為了求得等參數的值，我們由各個樣本點（圖中為紅點）做一條平行於Y軸的直線，此直線交平面方程於一點，然後我們求得此線段的程度，並進行平方，最後將所有的這些線段的平方和加到一起，得到殘差平方和，公式如下：

當殘差平方和最小時，此線性迴歸達到最好，所以這裡用RSS分別對等進行求偏導，得到一個m+1方程組，從而可以求得等的值，即可得到對應的線性迴歸方程。

2、R迴歸建模

在R中提供了一個內建的資料集Swiss，這個資料時瑞士1888年影響國民經濟的各個因素資料，關於此資料的具體介紹，可以在R中輸入help(swiss)進行瞭解，或者直接存取http://stat.ethz.ch/R-manual/R-patched/library/datasets/html/swiss.html進行瞭解，swiss的部分資料如下：

下面我們就做一下Fertility和Agriculture、Examination、Education、Catholic、Infant.Mortality五個參數之間的迴歸模型。

使用R的迴歸函數lm進行迴歸如下：

通過summary函數查看迴歸結果：

此時的P值非常小，我們可以得知此模型的正確性很高。從* 的個數來看，Examination的幾乎沒有相關度，所以後續可以考慮將此參數去掉。

【機器學習實戰】多元線性迴歸模型