統計學習方法讀書筆記：感知機

標籤：

什麼是感知機

二分類的線性分類模型，輸入是執行個體的特徵向量，輸出是執行個體的類別，取-1和+1兩值。

感知機對應於輸入空間（特徵空間）中將執行個體劃分為正負兩類的分離超平面，屬於判別模型。

感知機是神經網路和支援向量機的基礎。

 

模型的使用條件

資料集需要是線性可分的，同時，如果資料集是線性可分的話，經過一定的迭代次數一定可以得到一個感知機模型，將正負例分離開。

 

損失函數的定義

一個自然的選擇是誤分類點的總數，但是這樣的損失函數不是參數w和b的連續可導函數，不易於最佳化。

感知機所採用的損失函數為誤分類點到超平面S的總距離。

 

 

學習演算法

感知機學習問題轉化為求解損失函數的最佳化問題。

最佳化的方法為隨機梯度下降。

（1）任意選擇一個超平面w0和b0;

（2）梯度下降不斷地極小化目標函數，極小化的過程中每次只隨機地選擇一個誤分類點使其梯度下降。

 

統計學習方法讀書筆記：感知機