[讀]統計學習方法

標籤：style   blog   http   使用   ar   資料   2014   div   問題   

這兩天看《統計學習方法》，記錄了一些基本的知識點。

 

1.統計學習的方法

　　從給定的、有限的、用於學習的訓練資料集合出發，假設資料時獨立同分布產生；並且假設要學習的模型術語某個函數的集合，稱為假設空間；應用某個評價準則，從假設空間中選取一個最優的模型，使他對已知訓練資料及未知測試資料在給定的評價準則下有最優的預測；最幽默型的選取由演算法實現。這樣，統計學習方法包括模型的假設空間、模型選擇的準則以及模型學習的演算法，稱其為統計學習方法的三要素，簡稱為模型、策略和演算法。

　　實現統計學習的步驟如下：

　　（1）得到一個有限的訓練資料集合；

　　（2）確定包含所有可能的模型的假設空間，即學習模型的集合；

　　（3）確定模型選擇的準則，即學習的策略；

　　（4）實現求解最優模型的演算法，即學習的演算法；

　　（5）通過學習方法選擇最優模型；

　　（6）利用學習的最優模型對新資料進行預測或分析。

 

2.正則化

　　模型選擇的典型方法是正則化。正則化是結構風險最小化策略的實現，是在經驗風險上加一個正則化項或罰項。正則化項一般是模型複雜度的單調遞增函數，模型越複雜，正則化值就越大。比如，正則化項可以是模型參數向量的範數。

　　正則化一般具有如下形式：

　　其中，第1項是經驗風險，第2項是正則化，λ≥0為調整兩者之間關係的係數。

　　正則化項可以取不同的形式。例如，迴歸問題中，損失函數是平方損失，正則化項可以是參數向量的L2範數：　　正則化項也可以是參數向量的L1範數：

　　第1項的經驗風險較小的模型可能較複雜（有多個非零參數），這時第2項模型複雜度會較大。正則化的作用是選擇經驗風險與模型複雜度同時較小的模型。

　　正則化符合奧卡姆剃刀原理，奧卡姆剃刀原理應用於模型選擇時變為以下想法：在所有可能選擇的模型中，能夠很好的解釋已知資料並且十分簡單才是最好的模型，也就是應該選擇的模型。從貝葉斯估計的角度來看，正則化項對應於模型的先驗機率，可以假設複雜的模型有較大的先驗機率，簡單的模型有較小的先驗機率。

 

3.產生模型和判別模型

　　產生方法由資料學習聯合機率分布P(X,Y)，然後求出條件機率分布P(Y|X)作為預測的模型，即產生模型。這樣的方法之所以成為產生方法，是因為模型表示了給定輸入X產生輸出Y的產生關係。典型的產生模型有：樸素貝葉斯和隱馬爾科夫模型。

　　判別方法由資料直接學習決策函數f(X)或者條件機率分布P(Y|X)作為預測的模型，即判別模型。判別方法關心的是對給定輸入X，應該預測什麼樣的輸出Y。典型的判別模型包括：k近鄰法、感知機、決策樹、羅吉斯迴歸、最大熵模型、支援向量機、提升方法和條件隨機場等。

　　產生方法的特點：產生方法可以還原出聯合機率分布P(X,Y)，而判別方法則不能；產生方法的學習收斂速度更快，即當樣本容量增加的時候，學到的模型可以更快地收斂於真實模型；當存在隱變數時，仍可以用產生方法學習，此時判別方法就不能用。

　　判別方法的特點：判別方法直接學習的是條件機率P(Y|X)或決策函數f(X)，直接面對預測，往往學習的準確率更高；由於直接學習P(Y|X)或f(X)，可以對資料進行各種程度上的抽象、定義特徵並使用特徵，因此可以簡化學習問題。

 

[讀]統計學習方法