機器學習基礎（六）支援向量機

上節基本完成了SVM的理論推倒，尋找最大化間隔的目標最終轉換成求解拉格朗日乘子變數alpha的求解問 題，求出了alpha即可求解出SVM的權重W，有了權重也就有了最大間隔距離，但是其實上節我們有個假設：就 是訓練集是線性可分的，這樣求出的alpha在[0,infinite]。但是如果資料不是線性可分的呢？此時我們就要 允許部分的樣本可以越過分類器，這樣最佳化的目標函數就可以不變，只要引入鬆弛變數即可，它表示錯分類樣本 點的代價，分類正確時它等於0，當分類錯誤時，其中Tn表示樣本的真實標籤-1或者1 ，回顧上節中，我們把支援向量到分類器的距離固定為1，因此兩類的支援向量間的距離肯定大於1的，當分類 錯誤時 肯定也大於1，如（圖五）所示（這裡公式和表徵圖序號都接上一節）。

（圖五）

這樣有了錯分類的代價，我們把上節（公式四）的目標函數上添加上這一項錯分類代價，得到如（公 式八）的形式：

（公式八）

重複上節的 拉格朗日乘子法步驟，得到（公式九）：

（公式九）

多了一個Un乘子，當然我們的工作就是繼續求解此目標函數，繼續重複上節的步驟，求 導得到（公式十）：

（公式十）

又因為 alpha大於0，而且Un大於0，所以0<alpha<C,為瞭解釋的清晰一些，我們把（公式九）的KKT條件也發出 來（上節中的第三類最佳化問題），注意Un是大於等於0：