Python線性迴歸實戰分析，python線性實戰

Python線性迴歸實戰分析，python線性實戰
一、線性迴歸的理論

1）線性迴歸的基本概念

線性迴歸是一種有監督的學習演算法，它介紹的自變數的和因變數的之間的線性相關關係，分為一元線性迴歸和多元的線性迴歸。一元線性迴歸是一個自變數和一個因變數間的迴歸，可以看成是多遠線性迴歸的特例。線性迴歸可以用來預測和分類，從迴歸方程可以看出自變數和因變數的相互影響關係。
線性迴歸模型如下：

對於線性迴歸的模型假定如下：
（1） 誤差項的均值為0，且誤差項與解釋變數之間線性無關

（2） 誤差項是獨立同分布的，即每個誤差項之間相互獨立且每個誤差項的方差是相等的。

（3） 解釋變數之間線性無關

（4） 正態性假設，即誤差項是服從常態分佈的

以上的假設是建立迴歸模型的基本條件，所以對於迴歸結果要進行一一驗證，如果不滿足假定，就要進行相關的修正。

2) 模型的參數求解

（1）矩估計

一般是通過樣本矩來估計總體的參數，常見是樣本的一階原點矩來估計總體的均值，二階中心矩來估計總體的方差。

（2）最小二乘估計

一般最小二乘估計是適用於因變數是連續型的變數，最常用的是普通最小二乘法（ Ordinary Least Square，OLS），它的原理是所選擇的迴歸模型應該使所有觀察值的殘差平方和達到最小。預測值用 表示，對應的實際值 ，殘差平方和 ，最小二乘估計是求得參數的值，使得L最小。對於線性迴歸求得的參數值是唯一的。

（3）極大似然估計

極大似然估計是基於機率的思想，它要求樣本的機率分布是已知的，參數估計的值是使得大量樣本發生的機率最大，用似然函數來度量，似然函數是各個樣本的密度函數的乘積，為方便求解對其求對數，加負號求解極小值，得到參數的估計結果。

3）模型的優缺點

優點：結果易於理解，計算上不複雜

缺點：對於非線性資料擬合不好

二、用Python實現線性迴歸的小例子

資料來源於網路爬蟲，武漢市商品樓價格為因變數和幾個相關關鍵詞的百度指數的搜尋量為自變數。

由於本文的自變數有98個，首先進行自變數的選擇，先是通過相關係數矩陣篩選掉不相關的變數，根據Pearson相關係數矩陣進行變數的選取，一般選取相關係數的值大於0.3的變數進行迴歸分析，由於本文的變數較多，先進行手動篩選然後利用相關係數進行選取，本文選取相關係數大於0.55的變數進行迴歸分析。

經過相關係數的分析選取8個變數進行下一步的分析，分析的Python代碼如下：

# -*- coding: utf-8 -*-#### Required Packagesimport sysreload(sys)sys.setdefaultencoding('utf-8')import matplotlib.pyplot as pltimport numpy as npimport pandas as pdimport statsmodels.api as smdata = pd.read_csv('Hdata.csv')print datadataset = np.array(data)######相關性分析X = dataset[:,1:98]y = dataset[:,0]cor = np.corrcoef(dataset,rowvar=0)[:,0]######輸出相關矩陣的第一列print cor#######篩選後的資料讀取data1 = pd.read_csv('H1data.csv')dataset1 = np.array(data)######篩選後的變數######X1 = dataset1[:,1:8]Y1 = dataset1[:,0]est = sm.OLS(Y1,X1).fit()print est.summary()

貼出線性迴歸的結果如下：

OLS RegressionResults              =======================================================================Dep. Variable:           y  R-squared:            0.978Model:              OLS  Adj. R-squared:         0.974Method:         Least Squares F-statistic:          287.5Date:        Sat, 08 Apr 2017  Prob (F-statistic):      9.35e-36Time:            15:15:14  Log-Likelihood:        -442.82No. Observations:         53  AIC:               899.6Df Residuals:           46  BIC:               913.4Df Model:              7                    Covariance Type:      nonrobust                     =======================================================================         coef  std err     t   P>|t|   [95.0% Conf. Int.]-----------------------------------------------------------------------x1      -0.3691   0.494  -0.747   0.0459    -1.364   0.626x2       0.3249   0.353   0.920   0.0362    -0.386   1.036x3       1.0987   0.837   1.312   0.0196    -0.587   2.784x4       0.7613   0.790   0.964   0.0340    -0.829   2.351x5      -1.5766   1.099  -1.435   0.0158    -3.789   0.636x6      -0.1572   1.077  -0.146   0.0885    -2.325   2.011x7       3.2003   1.603   1.997   0.052    -0.026   6.427=======================================================================Omnibus:            0.413  Durbin-Watson:          1.748Prob(Omnibus):         0.814  Jarque-Bera (JB):        0.100Skew:              0.097  Prob(JB):            0.951Kurtosis:            3.089  Cond. No.             95.5=======================================================================

從迴歸分析的結果可以看出來，模型的擬合優度R-squared=0.978，說明模型的擬合效果很好，據其大小對擬合效果的優劣性進行判定。對模型整體的顯著性可以通過F統計量來看，結果顯示的F統計量對應的P值顯著小於0.05（0.05是顯著性水平,也可以選取0.01），說明模型整體是顯著的，它的顯著性說明被解釋變數能不能由這些解釋變數進行解釋，F檢驗是對整體的檢驗，F檢驗的通過不代表每一個解釋變數是顯著的。對每一個變數的顯著性要看t檢驗統計量的值，t檢驗統計量對應的P值小於0.05（0.01或者0.1也行，具體看情況分析，一般選取0.05）視為是顯著的，從結果可以看出，X6和X7的變數的p是大於0.05的，也就是這兩個變數對被解釋變數的影響是不顯著的要剔除。但是如果你只是關心預測的問題那麼可以不剔除。但是如果有研究解釋變數對被解釋變數的影響的程度的，要做進一步的研究。接下來看DW的值，DW的值為1.748，說明模型不存在自相關性。看JB檢驗統計量的值，JB檢驗統計量是對正態性的假設進行檢驗的，JB的值對應的p值為0.951顯著大於0.05，可以認為模型滿足正態性的假設的。對於參數的實際意義本文就不做解釋了。

對於DW值判斷相關性的依據如下：

DW=0時，殘差序列存在完全正自相關，

DW=（0，2）時，殘差序列存在正自相關，

DW=2時，殘差序列無自相關，

DW=（2，4）時，殘差序列存在負自相關，

DW=4時，殘差序列存在完全負自相關。

對於建立模型的一般步驟簡單描述如下：

（1） 根據資料的表現形式選取合適的模型

（2） 對選取的模型選取適用的參數估計方法

（3） 對參數的結果進行檢驗

（4） 對結果進行解釋