4、決策樹演算法

標籤：建立   演算法   資訊   隨機   歸一化   改進   alt   c4.5   優點   

1、認識決策樹：

      決策樹思想非常樸素，程式設計中的條件就是if-then結構，最早的決策樹就是利用這類結構分割資料的一中分類學習方法。

 

2、資訊理論基礎-銀行貸款分析

      香農在1948年提出資訊理論，單位為位元；

      資訊熵：可以理解為代價；資訊和消除不確定性是相聯絡的；

      資訊增益：當得知特徵x的資訊而使得類y的資訊的不確定性減小的程度，

                        公式：g（D，A）=H（D）- H（D | A）

                     

 

3、決策樹的產生

      1）決策樹的分類依據：資訊增益、ID3、C4.5、CART、基尼係數（劃分更仔細）

 

4、決策樹的優點

      1）簡單的理解和解釋，樹木可視化；

      2）需要很少的資料準備、其他技術通常需要資料歸一化；

 

5、決策樹的缺點

      1）決策樹學習可以建立不能很好推廣的資料過於複雜的樹，這種也被稱為過擬合。

 

6、改進：

      1）剪枝演算法Cart；

      2）隨機森林；

4、決策樹演算法