第十二章 多元線性迴歸_多元線性迴歸

1 多元線性迴歸模型 1 多元迴歸模型與迴歸方程

多元迴歸模型：
y=β 0 +β 1 x 1 +β 2 x 2 +...+β k x k +ε 
多元迴歸方程：
E(y)=β 0 +β 1 x 1 +β 2 x 2 +...+β k x k   2 估計的多元迴歸方程

估計的多元迴歸方程：
y ^ =β 0  ^ +β 1  ^ x 1 +β 2  ^ x 2 +...+β k  ^ x k   3 參數的最小二乘估計

迴歸方程中的參數根據最小二乘法求得，即殘差平方和最小，即
Q=∑(y i −y i  ^ ) 2 =∑(y i −β 0  ^ −β 1  ^ x 1 −β 2  ^ x 2 −...−β k  ^ x k )  2 迴歸方程的擬合優度 1 多重判定係數

與一元迴歸中相同，多重迴歸係數是迴歸平方和佔總平方和的比例。但自變數的個數的增加時，會使預測誤差變小，從而減小殘差平方和 SSE，R 2   也會變大。即如果模型中增加自變數，即使這個自變數在統計上不顯著， R 2   也會變大。因此提出用樣本量 n  和自變數的個數 k  去調整 R 2   ，計算出調整的多重判定係數，公式為：
R 2 α =1−(1−R 2 )(n−1n−k−1 ) 
R 2   的平方根稱為多重相關係數，也稱複相關係數，度量因變數同 k  個自變數的關係。 2 估計標準誤差

同一元迴歸一樣，多元迴歸中的估計標準誤差也是對誤差項 ε  的方差 σ 2   的一個估計值，計算公式為：
s e =∑(y i −y i  ^ ) 2 n−k−1  − − − − − − − − − −  √ =SSEn−k−1  − − − − − − − −  √ =MSE − − − − −  √  
含義：根據自變數 x 1 ,x 2 ,...,x k   來預測因變數 y  時的平均預測誤差。 3 顯著性檢驗 1 線性關係檢驗

主要檢驗因變數同多個自變數的線性關係，在 k  個自變數中，只要有一個自變數與因變數的關係顯著即可。步驟為：
(1) 提出假設
H 0 :β 1 =β 2 =...=β k =0 
H 1 :β 1 ,β 2 ,...,β k   至少有一個不等於0
(2) 計算統計量
F=SSR/kSSE/(n−k−1) ∼F(k,n−k−1) 
(3) 作出統計決策
若 F>F α   ，則拒絕原假設；若 F<F α   ，則不拒絕原假設； 2 迴歸係數檢驗和推斷

方法同一元迴歸類似：
(1) 提出假設。對任意參數 β i (i=1,2,...,k)  ，有
H 0 :β i =0H 1 :β i ≠0 
(2) 計算統計量
t i =β i  ^ s β i  ^   ∼t(n−k−1) 
(3) 做出統計決策 4 多重共線性 1 多重共線性及其所產生的問題

當迴歸模型中兩個或兩個以上的自變數彼此相關時，則稱迴歸模型中存在多重共線性。
多重共線性產生的問題：
(1) 變數之間高度相關時，可能會使迴歸結果造成混亂，甚至會把分析引入歧途。
(2) 多重共線性可能對參數估計值的加號或減號產生影響。 2 多重共線性判別

如果出現以下情況，則可能存在多重共線性：
(1) 模型中各對自變數之間顯著相關
(2) 當模型中線性關係檢驗(F檢驗)顯著時，幾乎所有迴歸係數 β i   的 t  檢驗卻不顯著
(3) 迴歸係數的加號或減號與預期的相反 3 多重共線性問題的處理

根據多重共線性嚴重程度，選擇相應的方法：
(1) 將一個或多個相關的自變數從模型中剔除，使保留的自變數儘可能不相關
(2) 如果要在模型中保留所有的自變數，那就應該：
a.避免根據 t  統計量對單個參數 β  進行檢驗
b.對因變數 y  值的推斷（估計或預測）限定在自變數樣本值的範圍內 5 利用迴歸方程進行預測

多依賴於軟體 6 變數選擇與逐步迴歸

如果在建立模型之前就能對所收集到的自變數進行一定的篩選，去掉那些不必要的自變數，這樣，不僅使建立模型變得容易，也使得模型更具有可操作性，也更容易解釋。 1 變數選擇過程

選擇自變數的原則通常是對統計量進行顯著性檢驗，根據是：將一個或一個以上的自變數引入迴歸模型中時，是否使殘差平方和（SSE）有顯著減少。殘差平方和是否減少可引入統計量F。
變數選擇的方法主要有：向前選擇、向後剔除、逐步迴歸、最優子集 2 向前選擇

向前選擇法是從模型中沒有自變數開始，然後按照下列步驟選擇自變數來擬合模型。
(1) 對 k  個自變數分別擬合對因變數 y  的一元線性迴歸模型，找出F統計量最高的模型及其自變數，將其引入模型。
(2) 在已引入 x i   的基礎上，考慮剩下 k−1  個線性迴歸模型，選出最優，反覆進行，直至模型外的自變數均無統計顯著性為止。 3 向後剔除

與向前選擇法相反，其基本過程為：
(1) 先對因變數擬合包括所有k個自變數的線性迴歸模型，然後考慮去掉一個自變數的模型，使得模型的SSE值減小最小的自變數從模型中剔除。
(2) 對剩下的變數進行擬合，再重複(1)，直至剔除一個自變數不會使SSE顯著減小為止。 4 逐步迴歸

向前選擇法和向後剔除法的結合，逐步迴歸過程就是向前選擇方法不停地添加變數並考慮剔除以前增加的變數的可能性，直至增加變數已經不能導致SSE顯著減少。