【模式識別與機器學習】——3.3分段線性判別函數

標籤：技術   直線   增加   類設計   分享   技術分享   學習   機器學習   圖片   

---恢複內容開始---

出發點：

　　線性判別函數在進行分類決策時是最簡單有效，但在實際應用中，常常會出現不能用線性判別函數直接進行分類的情況。 採用廣義線性判別函數的概念，可以通過增加維數來得到線性判別，但維數的大量增加會使在低維空間裡在解析和計算上行得通的方法在高維空間遇到困難，增加計算的複雜性。 引入分段線性判別函數的判別過程，它比一般的線性判別函數的錯誤率小，但又比非線性判別函數簡單。

圖例：

　　用判別函數分類 可用一個二次判別函數來分類 也可用一個分段線性判別函數來逼近這個二次曲線

分段線性判別函數的設計（1）採用最小距離分類的方法

圖例：分段線性分類設計

3.4 模式空間和權空間

模式空間 ：

　　對一個線性方程w1x1+w2x2+w3x3=0，它在三維空間(x1 x2 x3)中是一個平面方程式，w=(w1 w2 w3)T是方程的係數。 把w向量作為該平面的法線向量，則該線性方程決定的平面通過原點且與w垂直。若x是二維的增廣向量，此時x3=1，則在非增廣的模式空間中即為{x1, x2 }二維座標，判別函數是下列聯立方程的解

（a）增廣向量決定的平面 （b）非增廣向量決定的直線

 

權空間:

若將方程x1w1+x2w2+w3=0繪在權向量w=(w1 w2 w3)T的三維空間中，則x=(x1 x2 1)T為方程的係數。 若以x向量作為法線向量，則該線性方程所決定的平面為通過原點且與法線向量垂直的平面，它同樣將權空間劃分為正、負兩邊。 在係數x不變的條件下，若w值落在法線向量離開平面的一邊，則wTx>0，若w值落在法線向量射向平面的一邊，則wTx <0。

權空間中判別介面的平面

 

【模式識別與機器學習】——3.3分段線性判別函數