【機器學習演算法-python實現】決策樹-Decision tree（2） 決策樹的實現

(轉載請註明出處：http://blog.csdn.net/buptgshengod)

1.背景     接著上一節說，沒看到請先看一下上一節關於資料集的劃分資料集劃分。現在我們得到了每個特徵值得資訊熵增益，我們按照資訊熵增益的從大到校的順序，安排排列為二叉樹的節點。資料集和二叉樹的圖見下。（二叉樹的圖是用python的matplotlib庫畫出來的）
資料集：  

決策樹：



2.代碼實現部分     因為上一節，我們通過chooseBestFeatureToSplit函數已經可以確定當前資料集中的資訊熵最大的那個特徵值。我們將最大的那個作為決策樹的父節點，這樣遞迴下去就可以了。
主要函數：詳見注釋

def createTree(dataSet,labels):    #把所有目標指數放在這個list裡    classList = [example[-1] for example in dataSet]    #下面兩個if是遞迴停止條件，分別是list中都是相同的指標或者指標就剩一個。    if classList.count(classList[0]) == len(classList):         return classList[0]    if len(dataSet[0]) == 1:         return majorityCnt(classList)    #獲得資訊熵增益最大的特徵值    bestFeat = chooseBestFeatureToSplit(dataSet)    bestFeatLabel = labels[bestFeat]       #將決策樹存在字典中    myTree = {bestFeatLabel:{}}    #labels刪除當前使用完的特徵值的label    del(labels[bestFeat])    featValues = [example[bestFeat] for example in dataSet]    uniqueVals = set(featValues)    #遞迴輸出決策樹    for value in uniqueVals:               subLabels = labels[:]       #copy all of labels, so trees don't mess up existing labels               myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value),subLabels)    return myTree

列印出來的決策樹：{'throat': {0: {'mustache': {0: 'women', 1: 'man'}}, 1: 'man'}}

下面就是如何是用建立好的決策樹。我們建立函數

inputTree：是輸入的決策樹對象featLabels：是我們要預測的特徵值得label，如：['throat','mustache']testVec:是要預測的特徵值向量，如[0,0]def classify(inputTree,featLabels,testVec):    #儲存決策樹第一個節點    firstStr = inputTree.keys()[0]    #將第一個節點的值存到secondDict字典中    secondDict = inputTree[firstStr]    #建立索引，知道對應到第幾種特徵值    featIndex = featLabels.index(firstStr)    key = testVec[featIndex]    valueOfFeat = secondDict[key]    #對比，判斷當前的索引值是否是一個dict類型，如果是就遞迴，不是就輸出當前索引值為結果    if isinstance(valueOfFeat, dict):         classLabel = classify(valueOfFeat, featLabels, testVec)    else: classLabel = valueOfFeat    return classLabel

測驗：當我們輸入classify(mtree,['throat','mustache'],[0,0])時，顯示結果是women，表明沒有喉結和鬍子是女人。

3.源碼下載  （DecisionTree）