python實現決策樹演算法

來源:互聯網
上載者:User
本文執行個體講述了python實現決策樹演算法。分享給大家供大家參考,具體如下:

from sklearn.feature_extraction import DictVectorizerimport csvfrom sklearn import treefrom sklearn import preprocessingfrom sklearn.externals.six import StringIO# 讀取csv資料,並將資料和特徵值存入字典和類標籤列表allElectronicsData = open(r'AllElectronics.csv', 'rt')reader = csv.reader(allElectronicsData)headers = next(reader)# 原代碼中用的是:# headers = reader.next()# 這句代碼應該是之前的版本用的,現在已經更新了沒有next這個函數# print(headers)featureList = []labelList = []for row in reader:    labelList.append(row[len(row) - 1])    rowDict = {}    for i in range(1, len(row) - 1):        rowDict[headers[i]] = row[i]    featureList.append(rowDict)# print(featureList)# 將特徵值向量化,代表將各種參數進行向量化vec = DictVectorizer()dummyX = vec.fit_transform(featureList).toarray()# print("dummyX: " + str(dummyX))# print(vec.get_feature_names())# print("labelList: " + str(labelList))# 將類標籤列表向量化,就是最後的結果lb = preprocessing.LabelBinarizer()dummyY = lb.fit_transform(labelList)# print("dummyY: " + str(dummyY))# 使用決策樹進行分類clf = tree.DecisionTreeClassifier()# clf = tree.DecisionTreeClassifier(criterion = 'entropy')clf = clf.fit(dummyX, dummyY)# print("clf: " + str(clf))# 將模型進行可視化with open("allElectrionicInformationOri.dot", 'w') as f:    f = tree.export_graphviz(clf, feature_names = vec.get_feature_names(), out_file = f)oneRowX = dummyX[0, :]# print("oneRowX: " + str(oneRowX))# 接下來改變一些資料進行預測newRowX = oneRowXnewRowX[0] = 0newRowX[1] = 1print("newRowX: " + str(newRowX))predictedY = clf.predict(newRowX.reshape(1, -1))  # 預測的結果需要加上後面的reshape(1, -1),不然會# 報錯:# ValueError: Expected 2D array, got 1D array instead:# array=[0. 1. 1. 0. 1. 1. 0. 0. 1. 0.].# Reshape your data either using array.reshape(-1, 1)# if your data has a single feature or array.reshape(1, -1) if it contains a single sample.print("預測的結果為: " + str(predictedY))


針對人員購買力進行一次分類,以此來對項目進行分類,在最後的過程中,還可以對結果進行一定的預測。代碼見上,有一些優點和缺點

決策樹演算法的優點:

    1)簡單直觀,產生的決策樹很直觀。

    2)基本不需要預先處理,不需要提前歸一化,處理缺失值。

    3)使用決策樹預測的代價是O(log2m)O(log2m)。 m為樣本數。

    4)既可以處理離散值也可以處理連續值。很多演算法只是專註於離散值或者連續值。

    5)可以處理多維度輸出的分類問題。

    6)相比於神經網路之類的黑盒分類模型,決策樹在邏輯上可以得到很好的解釋

    7)可以交叉驗證的剪枝來選擇模型,從而提高泛化能力。

    8) 對於異常點的容錯能力好,健壯性高。

    我們再看看決策樹演算法的缺點:

    1)決策樹演算法非常容易過擬合,導致泛化能力不強。可以通過設定節點最少樣本數量和限制決策樹深度來改進。

    2)決策樹會因為樣本發生一點點的改動,就會導致樹結構的劇烈改變。這個可以通過整合學習之類的方法解決。

    3)尋找最優的決策樹是一個NP難的問題,我們一般是通過啟發學習法方法,容易陷入局部最優。可以通過整合學習之類的方法來改善。

    4)有些比較複雜的關係,決策樹很難學習,比如異或。這個就沒有辦法了,一般這種關係可以換神經網路分類方法來解決。

    5)如果某些特徵的樣本比例過大,產生決策樹容易偏向於這些特徵。這個可以通過調節樣本權重來改善。


相關推薦:

資料採礦十大演算法之決策樹詳解

決策樹演算法

決策樹演算法原理及案例

決策樹演算法實現

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.