模式識別（Pattern Recognition）學習筆記（七）——線性分類器及線性判別函數

標籤：

1.為什麼要設計分類器？

       回顧下前面學習的統計決策，也就是貝葉斯決策，它可以簡單被劃分為兩步，首先根據樣本進行PDF估計，然後根據估計出的PDF來求分類面，因此又經常被叫做兩步貝葉斯決策。如果我們能夠很好地估計出PDF模型，也總可以利用貝葉斯來實現兩類甚至多類的最優分類，但是很多實際情形中，想要精準的估計出PDF模型，並非易事，尤其當樣本存在高維特徵空間，以及樣本數量並不足夠多的情況，本質上來說，模式識別的真正目的並非估計PDF模型，而是在特徵空間中想方設法找到各類的分界線或分介面。因此，如果可以直接根據樣本就能求出分類面，是不是就可以省略估計PDF模型這一步而迴歸本質呢，答案是肯定的，這篇部落格就來學習學習有關基於樣本直接設計分類器的有關知識。

2.設計分類器的三大基本要素

       基於樣本直接設計分類器需要確定以下三個基本要素：

          a.判別函數的類型，即從什麼樣的判別函數（集）中求分類面；

          b.分類器設計的目標或準則，在確定了準則後，分類器設計就是根據樣本從確定好的判別函數（集）中選擇出在該準則下的最優函數，一般來說就是確定函數中的某些特定參數；

          c.前兩個要素都確定好了，剩下的工作就是設計可以搜尋到最優函參的演算法；

       總的來說，就是判別函數、判別準則以及最佳化演算法，為表達簡潔，上述三要素可以用數學形式來描述：在判別函數（集）中確定待定參數，使得準則函數最大化或者最小化。

3.什麼是線性分類器？

       不同的判別函數，不同的判別準則，以及不同的最佳化演算法都決定了不同分類器的設計方法，其中判別函數最為關鍵，因為判別函數就是我們要根據樣本所尋找的各類之間的分類面，找到了最優分類面，分類基本上就很好解決了；當判別函數為線性函數時，這樣設計出的分類器就叫做線性分類器或線性判別方法，線性分類器是最簡單的一種分類器，在一般情況下，線性分類器只能是次優分類器，但是由於其設計簡單，而且在一些情況（例如樣本分布服從常態分佈且各類共變數矩陣相等）下，判別函數可以是最小錯誤率或最小風險意義下的最優分類器 ，因此應用比較廣泛，尤其是在有限樣本的情況下甚至可以做到比非線性分類器效果更好。

4.什麼是線性判別函數？

       首先給出判別函數的一般運算式，兩類情況為：

    （1）

則多類情況為：       （2），c代表共有c類。

       為了簡單起見，仍然採用兩類情況來進行推導。公式（1）中，x是d維的樣本特徵向量，又叫做樣本向量，w是權重向量，分別表示如下：

而w0是個常值，叫做閾值權。對於兩類問題，可以採用如下決策規則：令，如果g(x)>0，則判到1類，如果g(x)<0，則判到2類，如果g(x)=0，則判到任意類或者reject。因此g(x)=0方程定義了一個決策面（或分類面），可以將兩類的點分開，當g(x)是線性時，該決策面就是一個超平面（hyper plane）。下面，來進行判別函數的幾何推導：

       假設有兩個樣本x1和x2，它們同落在決策面H上，那麼有：

明顯，w是分類面H的法向量，它決定了決策面H的方向；因此對於一個被分成兩個半平面R1和R2的H來說，當x落在R1中時，法向量w是指向R1的，即R1中的所有樣本x都在分類面H的正側，於是R2中的所有樣本x都在H的負側，

       此時，線性判別函數g(x)可以看成是樣本特徵空間中某一點x到分類面H的距離的一種代數度量；設中落入R1中的樣本x特徵點到H的距離向量為r，則根據向量性質可得到：

於是，將上式代入我們的一般式（1）中，得到：

因此，，當樣本x=0（原點），可計算出原點到分類面的距離：

    或    

容易知道，w0的值其實就決定了分類面H的位置，如果w0>0，則原點在分類面的正側；w0<0，則原點在H的負側；w0=0，表明判別函數齊次，H過原點。

      由上面的推導可以看出，判別函數g(x)其實就是某一樣本點x到分類面H的代數距離，當x在H正側，g(x)>0；當x在H負側，g(x)<0；當x在H上，g(x)=0。

模式識別（Pattern Recognition）學習筆記（七）——線性分類器及線性判別函數