SVM中的間隔最大化

標籤：info   簡單   轉換   get   最佳化問題   sdn   14.   資料集   target   

參考連結：

1.75087742

2.李航《統計學習方法》7.1節 線性可分支援向量機與硬間隔最大化

3.https://zhuanlan.zhihu.com/p/45444502，第三部分 手推SVM

 

本文目標：理解SVM的原始目標，即間隔最大化，並將其表示為約束最佳化問題的轉換道理。

背景知識：假設已經知道了分離平面的參數w和b，函數間隔γ‘，幾何間隔γ，不懂的可以參考書本及其它。

為了將線性可分的資料集徹底分開，並分得最好，SVM的原始目標是找到一個平面（用w,b表示，二維資料中是一條直線，如所示），使得該平面與正負兩類樣本的最近樣本點的距離最大化。簡單的說，就是任給一個平面w,b，總有一個樣本點離它的距離最近（點到平面的距離，可以用來表示），過該樣本點作平行於分割平面的平面，兩個平面形成分隔帶。我們的目標是比較各種平面（無數個），找出一個平面使得“分隔帶最胖”。那麼如何來表述“分隔帶最胖”呢？

假設對於平面w,b來說，距離平面最近的點是，又由於該平面w,b可以將所有樣本點正確分類，即滿足，因此我們可以將上述點到平面的距離改寫為，其中取值為+1或-1。因此我們的目標就是最大化。

因此最佳化

 

 

SVM中的間隔最大化