svm系列之核函數__svm

kernel svm 其實阻礙以上兩種svm進行的原因就是因為在處理非線性情況下我們要把x通過映射函數xPhi x映射到z域裡由於是處理非線性所以是將低維度映射到高位可是映射後變數的特徵會飛快的增加有的時候可能達到無窮有點極端但是通過核函數連無窮的變數也能夠解決由於特徵非常多那麼ynwTx1y_nwT Phi x1 線性svmzTzzTz對偶的svm二者的計算量就會很大很大很大 常見的kernel函數 多項式kernel函數 線性kernel函數 高斯kernel函數 三種核的優缺點 多項式核 線性核 高斯核

kernel svm

我們先對上一講的對偶問題進行回顧．
線性svm的局限

由於線性svm最終的二次規劃求解ＱＰ的複雜度依靠 d+1 d+1個變數和Ｎ個條件的．當對非線性資料進行使用時，要把ｘ域映射的ｚ域裡．ｚ域特徵的維度一定是比ｘ高的．因為你要處理非線性，一定是把低維資料對應到高維資料（ｘ映射到ｚ）．有的時候，這一映射，特徵就增加很多，甚至可以達到無限維的情況．則 d+1 d+1就可能增加到無窮．那麼在用線性svm處理非線性且高維資料時，及時計算到天荒地老也計算不完．
　對偶形式的svm
　為瞭解決線性svm的問題，我們就希望設計一個svm，使得他不依賴轉換後z域的特徵變數數d．
於是我們考慮使用對偶的方法解決這個問題．
　我們最終計算的結果為
　　
　這看起來不想線性svm那樣，沒有明確的ｚ域變數 Φ(x) \Phi (x)，但其實在我們將該公式丟到二次規劃的軟體裡時，他計算的 QD Q_D的運算量其實就很受 d˜ \widetilde{d} 的影響．因為 QD Q_D的每一個元素的計算公式為
　
　這其實就用了z域變數z了．所以當映射後，特徵變得很多，那麼 zTz z^Tz計算量就會很大．即對偶形式的svm其實依然是考慮了ｚ域變數ｚ的特徵數的，即考慮了 d˜ \widetilde{d}的．這其實和線性svm一樣．即 其實阻礙以上兩種svm進行的原因，就是因為在處理非線性情況下，我們要把x通過映射函數 Φ(x) \Phi (x)映射到z域裡．由於是處理非線性，所以是將低維度映射到高位．可是映射後，變數的特徵會飛快的增加，有的時候可能達到無窮（有點極端，但是通過核函數，連無窮的變數也能夠解決）．由於特徵非常多，那麼 yn(wTΦ(x)＋ｂ)>=1 y_n(w^T \Phi (x)＋ｂ)>=1 （線性svm）， zTz z^Tz(對偶的svm)，二者的計算量就會很大。很大。很大。

　有的人問，將x映射到z，特徵能夠增加這麼多嗎。
　我們假設x的維度為d，當我們將其映射到ｚ域，我們就僅僅將１次方映射到２次方，所得的特徵為
　
　多吧。再就是對應相乘再相加就所得計算量非常複雜．
　
　那麼我們現在用　核函數　真正的解決z域特徵問題．

　我們現在解決對偶函數中計算運算量大的問題．
　為了便於表達，我們還是以映射到２次方為例．
　　
　其實可以化簡為
　　
　則我們只需計算維度小的x的內積，再把x的內積代進去，經過一次乘法２個加法就表示了 Φ(x) \Phi (x)的內積．
　x是d維的，那麼複雜度為O(d)，可是 Φ(x) \Phi (x)的內積的複雜度達到 O(D2) O(D^2)
　所以我們就定義這個例子的核函數K為
　我們不僅僅可以用核函數k簡化 qm,n q_{m,n}，還可以簡化ｂ的求解和與w的內積，具體為以下三種情況可以化簡
　　
　這樣就把所有與z域變數發生內積的情況都換成了核函數 k(x,x′) k(x,x').就避免了z域的特徵數目．
　則以上的化簡和其複雜度可以總結為
　
　則kernel SVM 有效避免了ｚ域的自由度