機器學習基礎（五）支援向量機

做機器學習的一定對支援向量機（support vector machine-SVM）頗為熟悉，因為在深度學習出現之前， SVM一直霸佔著機器學習老大哥的位子。他的理論很優美，各種變種改進版本也很多，比如latent-SVM, structural-SVM等。這節先來看看SVM的理論吧，在（圖一）中A圖表示有兩類的資料集，圖B,C,D都提供了一 個線性分類器來對資料進行分類？但是哪個效果好一些？

（圖一）

可能對這個資料集來說，三個的分類器都一樣足夠好了吧，但是其實不然，這個只是訓練 集，現實測試的樣本分布可能會比較散一些，各種可能都有，為了應對這種情況，我們要做的就是儘可能的使 得線性分類器離兩個資料集都儘可能的遠，因為這樣就會減少現實測試樣本越過分類器的風險，提高檢測精度 。這種使得資料集到分類器之間的間距（margin）最大化的思想就是支援向量機的核心思想，而離分類器距離 最近的樣本成為支援向量。既然知道了我們的目標就是為了尋找最大邊距，怎麼尋找支援向量？如何?？下 面以（圖二）來說明如何完成這些工作。

（圖二）

假設（圖二） 中的直線表示一個超面，為了方面觀看顯示成一維直線，特徵都是超面維度加一維度，圖中也可以看出，特 征是二維，而分類器是一維的。如果特徵是三維的，分類器就是一個平面。假設超面的解析式為

（圖三）