機器學習——隨機森林演算法randomForest——原理及python實現__演算法

參考：

http://blog.csdn.net/nieson2012/article/details/51279332

http://www.cnblogs.com/wentingtu/archive/2011/12/22/2297405.html

http://www.cnblogs.com/pinard/p/6156009.html

演算法描述：

1、載入資料（訓練資料和測試資料），假設訓練集總數為N個。

2、去除掉資料集中的某些特徵項（無用的特徵）。

3、將預測標籤從資料集中暫時去除。

4、設定每次選取的特徵數目，比如每個樣本有M個特徵，每次我們只用2個特徵。

4、迴圈建立每棵樹：

每次從M個特徵裡隨機選2個特徵，並將標籤重新加進來

從訓練集中有放回的抽取N個樣本，並且這個N個樣本只包含3個特徵，即建立了一個新的資料子集。

用建立的資料子集建立一棵樹：

對資料子集進行切分：

先得到資料子集的初始基尼係數。

對於2個選取的特徵：

對於特徵裡的每種取值：

根據特徵取值切分資料集。

計算根據特徵取值切分資料集得到的基尼係數。

用初始的基尼係數減去劃分資料集得到的基尼係數得到基尼係數的減少量。

記錄最大的減少量，及獲得對應的切分特徵和特徵值

獲得了基尼減少量及切分特徵和特徵值，如果減少量符合閾值，則對資料子集按照該特徵和特徵值切分

對資料子集切分的結果遞迴調用（用建立的資料子集建立一棵樹）這個步驟。

遞迴完成則完成了一棵樹的建立。

      儲存每一棵樹，組成森林。