統計學習方法–> 決策樹

標籤：

前言：

用途：分類。

類似於if-then集合

優點：速度快。

原則：損失函數最小化，這是所有機器學習演算法的原則。

步驟：1> 特徵選取 2> 決策樹產生 3> 決策樹修剪

決策樹模型

內部結點和葉結點，太好理解了，無需討論。

if-then 集合

if-then 需要保證重要的一點：就是互斥且完備。很好理解。完備保證每個執行個體都有選擇。互斥保證每個執行個體只有一個選擇。

決策樹與條件機率分布

分類時候講結點的執行個體分到機率較大的一方去。

決策樹學習

決策樹要學習的本質上就是各種分類的規則。至少要保證分類獲得的規則要和訓練的資料矛盾不大。

決策樹往往會過擬合(插句嘴，GBDT也往往會過擬合)。越好的分類特徵越先使用。只要有樣本還沒有分類，就繼續構建特徵進行分類。

決策樹產生對應著局部選擇。剪枝的時候就要考慮全域最優了。

常用演算法有ID3，C4.5 CART 三種。

特徵選取

特徵選取的準則：資訊增益和資訊增益比。

資訊增益

g(D,A) = H(D) – H(D|A)

就選擇g(D,A) 最大的那個作為首選特徵。

資訊增益比

gr(D,A) = g(D,A) / H(D)   H(D) 為資訊增益/訓練集關於特徵A的熵。

ID3演算法

決策樹最典型的方法。從根節點開始，選對應的最大資訊增益的特徵作為選擇特徵。建立子結點之後，還是構建對應的最大資訊增益的特徵。

有一種可能會發生的情況。就是能構建樹的所有特徵都用完了。而訓練資料還沒有完全區分開。出現這種情況就不要再想盡辦法去區分了。把留下的訓練資料看哪種結果多，就作為該結點的結果好了。

還有一種情況，就是你構建了特徵，但是資訊增益特別小。小到小於可以忍受的閾值。那也按上面的同樣的方法給定這個葉子結點的值。

C4.5的產生演算法

在ID3的基礎上進行了改進。

特徵的選擇用的是資訊增益比。

其他的一樣。

決策樹的剪枝

剪枝是將樹進行簡化。

剪枝原則：極小化 loss function 或者 cost function。用正則化的極大似然估計進行模型選擇。

損失函數好複雜，就不記了。知道上面這兩句就夠了。

CART演算法 前言

CART： 分類樹 與 迴歸樹。

走三步：特徵選取，產生樹，對樹剪枝。

統計學習方法–> 決策樹