如何理解C4.5演算法解決了ID3演算法的偏向於選擇取值較多的特徵問題

標籤：splay   rac   如何   markdown   有一個   根據   理解   問題   inline   

如何理解C4.5演算法解決了ID3演算法的偏向於選擇取值較多的特徵問題

考慮一個極端情況，某個屬性（特徵）的取值很多，以至於每一個取值對應的類別只有一個。這樣根據\[H(D) - H(D|A)\]可以得知後面的那一項的值為0。這樣得到資訊增益會很大。C4.5演算法加了一個懲罰項\[H_A(D) = -\sum_{i=1}^n\dfrac{|D_i|}{|D|}\log_2\dfrac{|D_i|}{|D|}\]，如果\(D_i\)越小，那麼該懲罰項的值就越大。這樣便解決了ID3演算法的問題。

如何理解C4.5演算法解決了ID3演算法的偏向於選擇取值較多的特徵問題