機器學習——過擬合問題

標籤：機器學習   過擬合   正則化   

下面主要總結線性迴歸與羅吉斯迴歸下的過擬合問題。

【過擬合問題的定義】

【過擬合問題的解決方案】
怎樣解決過擬合問題呢？兩個方法：
1. 減少feature個數（人工定義留多少個feature、演算法選取這些feature）
2. 正則化（留下所有的feature，但對於部分feature定義其parameter非常小）
下面我們將對線性迴歸與羅吉斯迴歸的正則化進行詳細的講解。

【一、線性迴歸的正則化】

過擬合現象如圖（右）所示

試想在不改變特徵數的條件下，如何使這些特徵更好的擬合資料呢？？由圖（中）可知，當沒有特徵x3跟x4時，擬合效果更好；那麼如果theta3、theta4都接近於0，特徵x3跟x4的作用將會很小，那麼擬合效果會接近於圖中

因此，我們定義帶有正則項的代價函數如下：

粉線為正則化後的擬合映像。
注意：正則項中不包含theta0，因為theta0一般是一個較大的數；lambda不能太大，太大的話θ（1~n）≈0.

那麼此時線性迴歸的梯度下降更新公式如下：

此外線性迴歸的正則方程如下：

【二、羅吉斯迴歸的正則化】

過擬合現象如圖右所示

帶有正則項的代價函數如下：

那麼此時羅吉斯迴歸的梯度下降更新公式如下：

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

機器學習——過擬合問題