資料採礦十大經典演算法

標籤：空間   knn   支援度   條件   資料採礦   差距   通過   資料   剪枝   

1、c4.5

c4.5演算法是機器學習演算法中的一種分類決策樹演算法，其核心是ID3演算法，c4.5演算法繼承了ID3演算法的優點，並在一下幾個放米娜對ID3演算法進行了改進：

1）用資訊增益率來選擇屬性，克服了用資訊增益選擇屬性時偏向選擇取值多的屬性的不足。

2）在樹構造過程中進行剪枝。

3）能夠完成對不連續屬性的離散化處理。

4）能夠對不完整資料進行處理。

c4.5演算法有如下優點：產生的分類規則易於理解，準確率高。其缺點是：在構造樹的過程中，需要對資料集進行多次的順序掃描和排序，因而導致演算法的低效。

2、K-means演算法

K-means演算法是一個聚類演算法，把n的對象根據他們的屬性分為k個分割，k<n。它與處理混合正太分布的最大期望演算法很相似，因為他們都試圖找到資料中自然聚類的中心。他假設對象屬性來自於空間向量，並且目標是使各個群組內部的均方誤差綜合最小。

3、SVM

支援向量機，英文為SVM，簡稱SV機。他是一種監督式的學習方法，它廣泛的應用於統計分類以及迴歸分析中。支援向量機將向量映射到一個更高維的空間裡，在空間裡建立一個最大間隔超平面。在分開資料的超平面的兩邊建有兩個相互平行的超平面。分割超平面使兩個平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類器的總誤差越小。

4、Apriori

Apriori演算法是一種最有影響的挖掘布爾關聯規則頻繁項集的演算法。其核心是基於兩階段頻集思想的遞推演算法。該關聯規則在分類上屬於單維、單層、布爾關聯規則。在這裡，所有支援度大於最小支援度的項集稱為頻繁項集，簡稱頻集。

5、EM演算法

在統計計算中，最大期望演算法是在機率模型中尋找參數最大似然估計的演算法，其中機率模型依賴於無法觀測的隱藏變數。最大期望經常用在機器學習和電腦視覺的資料集領域

6、PageRank

PageRank根據網站的外部連結和內部連結的數量和品質平衡網站的價值，PageRank背後的概念是，每個頁面的連結都是對該頁面的一次投票，被連結的越多，就意味這被其他網站投票越多。這個就是所謂的“連結流行度”——衡量多少人願意將他們的網站和你的網站掛鈎。

7、Adaboost

Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器（弱分類器），然後把這些弱分類器集合起來，構成一個更強的最終分了器（強分類器）。其演算法本身是通過改變資料分布來實現的，它根據每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類正確率，，來確定每個樣本的權值。將修改過的權值的新資料集送給下層分類器進行訓練，最後將每次訓練得到的結果融合起來，作為最後的決策分類器。

8、KNN

K最近鄰分類演算法，是一個理論上比較成熟的方法，也是最簡單的機器學習演算法之一。該演算法的思路是：如果一個樣本在特徵空間中k個最相似的（即最近鄰）樣本中，大多數屬於某一個類別，則該樣本也屬於這個類別。

9、樸素貝葉斯

在眾多的分類模型中，應用最為管飯的兩種分類模型是決策樹模型和樸素貝葉斯模型。樸素貝葉斯模型發源於古典數學理論，有著堅實的數學基礎，以及穩定的分類效率。同時該模型所需要估計的參數很少，對缺失資料不太敏感。演算法也比較簡單。理論上，該模型與其他分類相比有最小的誤差率。但是實際上並非如此，因為其假設特徵條件相互獨立，這個假設在實際中往往是不成立的。

10、CART：分類迴歸樹

CART，在分類樹下面的兩個關鍵思想。第一個是關於遞迴的劃分自變數空間的想法；第二個想法是用驗證資料進行剪枝。

 

資料採礦十大經典演算法