統計學習方法 –> 支援向量機

標籤：

前言

定義: 在特徵空間上間隔最大的線性分類器。

核是SVM非常重要的一個特性。

支援向量機的學習策略就是間隔最大化，可形式化為一個求解凸二次規劃的問題。

分類 1》線性可分支援向量機 2》線性支援向量機 3》非線性支援向量機

如果訓練資料線性可分，那麼可以通過硬間隔最大化，學習一個線性分類器，就是線性可分支援向量機，就是硬間隔支援向量機。

類似，如果訓練資料近似線性可分，那麼可以通過軟間隔最大化來學習一個線性分類器。成為軟間隔支援向量機。

訓練資料線性不可分的時候，就必須動用核函數來處理了。

核函數表示的是將輸入從輸入空間映射到特徵空間得到的特徵向量之間的內積。

線性可分支援向量機

正例 && 負例

分離超平面將特徵空間劃分為兩部分，一部分是正類，一部分是負類。

超平面關於樣本點的函數間隔的幾何距離的公式應該要會寫。

所以目標函數就是間隔r最大化。 見統計學習方法7.9

間隔邊界，很重要的概念。

學習的對偶演算法

為求解SVM的目標函數。可以用拉格朗日對偶性，通過求解對偶問題來得到原始問題的最優解。這就是線性可分支援向量機的對偶演算法。

鬆弛變數，有了鬆弛變數之後，可以使函數間隔加上鬆弛變數大於等於1。

核技巧

用線性分類方法求解非線性分類問題分為兩步：首先使用一個變換將原空間的資料對應到新空間。然後在新空間裡面用線性分類學習方法從訓練資料之中學習分類模型。

統計學習方法 –> 支援向量機