本文執行個體講述了python實現決策樹演算法。分享給大家供大家參考,具體如下:
from sklearn.feature_extraction import DictVectorizerimport csvfrom sklearn import treefrom sklearn import preprocessingfrom sklearn.externals.six import StringIO# 讀取csv資料,並將資料和特徵值存入字典和類標籤列表allElectronicsData = open(r'AllElectronics.csv', 'rt')reader = csv.reader(allElectronicsData)headers = next(reader)# 原代碼中用的是:# headers = reader.next()# 這句代碼應該是之前的版本用的,現在已經更新了沒有next這個函數# print(headers)featureList = []labelList = []for row in reader: labelList.append(row[len(row) - 1]) rowDict = {} for i in range(1, len(row) - 1): rowDict[headers[i]] = row[i] featureList.append(rowDict)# print(featureList)# 將特徵值向量化,代表將各種參數進行向量化vec = DictVectorizer()dummyX = vec.fit_transform(featureList).toarray()# print("dummyX: " + str(dummyX))# print(vec.get_feature_names())# print("labelList: " + str(labelList))# 將類標籤列表向量化,就是最後的結果lb = preprocessing.LabelBinarizer()dummyY = lb.fit_transform(labelList)# print("dummyY: " + str(dummyY))# 使用決策樹進行分類clf = tree.DecisionTreeClassifier()# clf = tree.DecisionTreeClassifier(criterion = 'entropy')clf = clf.fit(dummyX, dummyY)# print("clf: " + str(clf))# 將模型進行可視化with open("allElectrionicInformationOri.dot", 'w') as f: f = tree.export_graphviz(clf, feature_names = vec.get_feature_names(), out_file = f)oneRowX = dummyX[0, :]# print("oneRowX: " + str(oneRowX))# 接下來改變一些資料進行預測newRowX = oneRowXnewRowX[0] = 0newRowX[1] = 1print("newRowX: " + str(newRowX))predictedY = clf.predict(newRowX.reshape(1, -1)) # 預測的結果需要加上後面的reshape(1, -1),不然會# 報錯:# ValueError: Expected 2D array, got 1D array instead:# array=[0. 1. 1. 0. 1. 1. 0. 0. 1. 0.].# Reshape your data either using array.reshape(-1, 1)# if your data has a single feature or array.reshape(1, -1) if it contains a single sample.print("預測的結果為: " + str(predictedY))
針對人員購買力進行一次分類,以此來對項目進行分類,在最後的過程中,還可以對結果進行一定的預測。代碼見上,有一些優點和缺點
決策樹演算法的優點:
1)簡單直觀,產生的決策樹很直觀。
2)基本不需要預先處理,不需要提前歸一化,處理缺失值。
3)使用決策樹預測的代價是O(log2m)O(log2m)。 m為樣本數。
4)既可以處理離散值也可以處理連續值。很多演算法只是專註於離散值或者連續值。
5)可以處理多維度輸出的分類問題。
6)相比於神經網路之類的黑盒分類模型,決策樹在邏輯上可以得到很好的解釋
7)可以交叉驗證的剪枝來選擇模型,從而提高泛化能力。
8) 對於異常點的容錯能力好,健壯性高。
我們再看看決策樹演算法的缺點:
1)決策樹演算法非常容易過擬合,導致泛化能力不強。可以通過設定節點最少樣本數量和限制決策樹深度來改進。
2)決策樹會因為樣本發生一點點的改動,就會導致樹結構的劇烈改變。這個可以通過整合學習之類的方法解決。
3)尋找最優的決策樹是一個NP難的問題,我們一般是通過啟發學習法方法,容易陷入局部最優。可以通過整合學習之類的方法來改善。
4)有些比較複雜的關係,決策樹很難學習,比如異或。這個就沒有辦法了,一般這種關係可以換神經網路分類方法來解決。
5)如果某些特徵的樣本比例過大,產生決策樹容易偏向於這些特徵。這個可以通過調節樣本權重來改善。
相關推薦:
資料採礦十大演算法之決策樹詳解
決策樹演算法
決策樹演算法原理及案例
決策樹演算法實現