避免過度學習之正則化

標籤：

避免過度學習之正則化

“越少的假設，越好的結果”

商業情景：

當我們選擇一種模式去擬合資料時，過度學習是常見問題。一般化的模型往往能夠避免過度學習，但在有些情況下需要手動降低模型的複雜度，縮減模型相關屬性。

讓我們來考慮這樣一個模型。在課堂中有10個學生。我們試圖通過他們過去的成績預測他們未來的成績。共有5個男生和5個女生。女生的平均成績為60而男生的平均成績為80.全部學生的平均成績為70.

現在有如下幾種預測方法：

1 用70分作為全班成績的預測

2 預測男生的成績為80分，而女生的成績為60分。這是一個簡單的模型，但預測效果要好於第一個模型。

3 我們可以將預測模型繼續細化，例如用每個人上次考試的成績作為下次成績的預測值。這個分析粒度已經達到了可能導致嚴重錯誤的層級。

從統計學上講，第一個模型叫做擬合不足，第二個模型可能達到了成績預測的最好效果，而第三個模型就存在過度學習了。

接下來讓我們看一張曲線擬合圖

中Y與自變數X之間呈現了二次函數的關係。採用一個階數較高的多項式函數對訓練集進行擬合時可以產生非常精確的擬合結果但是在測試集上的預測效果比較差。接下來，我們將簡要的介紹一些避免過度學習的方法，並將主要介紹正則化的方法。

避免過度學習的方法

1 交叉驗證： 交叉驗證是一輪驗證的最簡單的形式，每次我們將樣本等分為k份，留一份作為測試樣本並將其他作為訓練樣本。通過對訓練樣本的學習得到模型，將模型用於預測測試樣本。迴圈上述步驟，使每一份樣本都曾作為測試集。為了保持較低的方法，k值較大的交叉驗證模型比較受青睞。

2 停止法： 停止法為初學者避免過度學習提供了迴圈次數的指導

3 剪枝法： 剪枝法在GART （決策樹）模型中應用廣泛。它用於去掉對於預測提升效果較小的節點。

4 正則化： 這是我們將詳細介紹的方法。該方法對目標函數的變數個數引入損失函數的概念。也就是說，正則化方法通過使很多變數的係數為0而降低模型的維度，減少損失。

正則化基礎

給定一些自變數X，建立一個簡單的因變數y與X之間的迴歸模型。迴歸方程類似於：

y = a1x1 + a2x2 + a3x3 + a4x4 .......

在上述方程中a1, a2, a3 …為迴歸係數，而x1, x2, x3 ..為自變數。給定自變數和因變數，基於目標函數估計迴歸係數a1, a2 , a3 …。對於線性迴歸模型目標函數為：

如果存在大量的x1 , x2 , x3 因變數，則可能出現過度學習的問題。因此我們引入新的懲罰項構成新的目標函數來估計迴歸係數。在這種修正下，目標函數變為：

方程中的新加項可以是迴歸係數的平方和乘以一個參數λ。 如果λ=0 過度學習上限的情景。λ趨於無窮則迴歸問題變為求y的均值。最佳化λ需要找到訓練樣本和測試樣本的的預測準確性之間的一個平衡點。

理解正則化的數學基礎

存在各種各樣的方法計算迴歸係數。一種非常常用的方法為座標下降法。座標下降是一種迭代方法，在給定初始值後不斷尋找使得目標函數最小的收斂的迴歸係數值。因此我們集中處理迴歸係數的偏導數。在沒有給出更多的導數資訊前，我直接給出最後的迭代方程：

 (1)

這裡的θ是估計的迴歸係數，α為學習參數。現在我們引入損失函數，在對迴歸係數的平方求偏導數以後，將轉化為線性形式。最終的迭代方程如下：

 (2)

如果仔細觀察該方程你會發現，ϑ每次迭代的開始點略小於之前的迭代結果。這是（1）與（2）兩個迭代方程的唯一區別。而迭代方程（2）試圖尋找絕對值最小的收斂的ϑ值。

結束語

在這篇文章中我們簡單的介紹了正則化的思想。當然相關的概念遠比我們介紹的深入。在接下來的一些文章中我們會繼續介紹一些正則化的概念。

原文 TAVISH SRIVASTAVA

翻譯： F.xy

原文連結：http://www.analyticsvidhya.com/blog/2015/02/avoid-over-fitting-regularization/

避免過度學習之正則化