支援向量機SVM演算法原理筆記2__svm

上篇部落格介紹了當樣本集是線性可分情況下的SVM演算法原理。接下來介紹不存在一個劃分超平面可以正確分類的問題，比如說“異或問題”。
對於此類問題，可以將樣本空間映射到更高維度空間，這樣映射後的樣本就線性可分了。如{(0,+1),(1,-1),(2,+1)}三個點在一位平面內是不可分的，但是映射到二維平面中{(0,0，+1),(1,1，-1),(2,0，+1)}三個點是線性可分的等等。
令φ(x)表示x映射後的特徵向量，所以在特徵空間中的劃分超平面定義為：f(x)=w^T φ(x)+b。那麼要求解的模型就變為：

公式中需要計算[φ(x_i)]^T φ(x_j)，即樣本映射到特徵空間時的內積。因為其維數很高甚至無窮維，往往很難計算，所以引入核函數進行表示。
所以我們的模型變為：

有了核函數之後，我們不需要再去定義樣本空間到特徵空間的映射φ(x)，也不需要再去計算特徵空間的內積，工作量少了很多。那麼核函數有哪些要求呢。。

定理：設k(#,#)是定義在輸入空間*輸入空間上的對稱函數，則其是核函數的充分必要條件是：對所有樣本（X1,X2,…,XN）而言，k的核矩陣總是半正定的。

所以對於這類問題而言，核函數的選擇就成了問題的關鍵所在，因為核函數隱式的定義了特徵空間。所以核函數的選擇會導致樣本映射到特徵空間時的可分性。常用的核函數如下所示：

至此，我們已經介紹了線性可分支援向量機和非線性支援向量機兩種，分別對應於訓練樣本在樣本空間或者特徵空間中線性可分。那麼對於存在少量樣本無法正確分開的情況應該如何應對呢，在此引入軟間隔的概念，即允許支援向量機在某些樣本上出錯，使原本模型中的約束條件轉化為：
其中ε_i稱為鬆弛變數，並且對每個鬆弛變數需要支付一個代價，是最終的模型變為如下所示，其中C>0稱為懲罰參數，C較大時表明對誤分類的樣本點懲罰增大，反之亦然。所以最小化目標函數有兩個含義，1，前半部分表示間隔盡量大；2,後半部分表示誤分類的點數儘可能小。稱為軟間隔最大化：

其對偶問題可以表示為：

且其需要滿足KKT條件如下所示：

也就是說對於任意樣本，總有α_i=0或者y_i*f(x_i)=1-ε_i，。
1，若α_i=0，則該樣本不會對最後的劃分超平面產生任何影響
2，若C>α_i>0，也即是y_i*f(x_i)=1-ε_i。該樣本是支援向量。又因為C>α_i，所以u_i>0,ε_i=0。所以該樣本恰好在最大間隔邊界上。
3，若C=α_i，則u_i=0，若ε_i<=1，該樣本落在最大間隔內部；若 ε_i>1，該樣本被誤分類。