支援向量機（SVM）演算法分析——周志華的西瓜書學習

標籤：決定   www   ima   bar   基本   seq   分析   code   min   

1.線性可分

對於一個資料集：

如果存在一個超平面X能夠將D中的正負樣本精確地劃分到S的兩側，超平面如下：

那麼資料集D就是線性可分的，否則，不可分。

 w稱為法向量，決定了超平面的方向；b為位移量，決定了超平面與原點的距離。

樣本空間中的任意點x到超平面X的距離（不太熟悉的可以複習高數中空間幾何那一章的內容）可以寫為：

使得下面兩式成立的訓練樣本稱為支援向量：

兩個異類支援向量（一個等於+1，一個等於-1）到超平面的距離之和為:

它稱之為“間隔”

 想找到最大間隔的劃分超平面，就是使最大：

等價於：

這就是支援向量機的基本模型。

對偶問題：

上式的拉格朗日函數可寫為：

其中，

對參數w和b求導可得：

將上式帶入到拉格朗日函數中，消去w和b,得到對偶運算式：

採用SMO演算法完成對偶問題的求解：

原始論文地址：http://www-ai.cs.uni-dortmund.de/LEHRE/SEMINARE/SS09/AKTARBEITENDESDM/FOLIEN/Joerg_Nitschke_Sequential_minimal_optimization.pdf

 

支援向量機（SVM）演算法分析——周志華的西瓜書學習