優雲軟體資料專家最佳實務：資料採礦與營運分析

標籤：

 

這份研究報告，作者是優雲軟體資料專家陳是維，在耗時1年時間製作的一份最佳實務，今天和大家分享下，關於《資料採礦和營運分析》，共同探討~

 

陳是維，現任職優雲軟體（從監控、到應用體驗，到自動化持續傳遞全棧服務平台）

 

資料採礦（Data Mining）是從大量資料中提取或“挖掘”知識。

 

廣義資料採礦：資料採礦是從存放在資料庫、資料倉儲或其它資訊庫中的大量資料採礦有趣知識的過程。

 

資料採礦技術側重：1）機率與數理統計 2）資料庫技術 3）人工智慧技術 4）機器學習。

 

1. 資料清理：消除噪音或不一致資料

2. Data Integration：多種資料來源可以組合在一起

3. 資料選擇：從資料庫中提取與分析任務相關的資料

4. 資料變換：資料變換或統一成適合挖掘的形式

5. 資料採礦：基本步驟，使用智能方法提取資料模式

6. 模式評估：根據某種興趣度度量，識別提供知識的真正有趣的模式

7. 知識表示：使用可視化和知識表示技術，向使用者提供挖掘的知識

 

資料採礦的過程圖

 

 

優秀的資料採礦軟體工具包

 

OFFICE EXCEL：最為常見的資料分析挖掘工具。

 

SPSS 的一套工具：包括SPSS試算表、SPSS SAS、SPSSClementine。

 

MATLAB：矩陣實驗室，也有各種matlab工具箱。

 

 

關聯規則簡介

 

購物籃分析：啤酒尿布問題，關聯規則挖掘首先找出頻繁項集，項的集合，如A 和B，滿足最小支援度閾值，並滿足最小信賴度閾值，產生形如A  B 的強關聯規則。

 

Apriori演算法是一種有效關聯規則挖掘演算法，它逐級探查，進行串連和剪枝，找出極大頻繁集。性質：頻繁項集的所有非空子集都必須是頻繁的。

 

FP（頻繁模式）樹演算法：頻繁模式增長是一種不產生候選的挖掘頻繁項集方法。它構造一個高度壓縮的資料結構FP-樹，壓縮原來的交易資料庫，聚焦於頻繁模式片段增長，避免了高代價的候選產生，獲得更好的效率。

 

提升度：相關性度量、興趣度：並非所有的強關聯規則都是有趣的。對於統計相關的項，可以挖掘相關規則。

 

Apriori演算法例子

 

  

找出對應強關聯規則

 

 

 

關聯規則在營運方面的應用

 

○警示的關聯挖掘

挖掘警示的頻繁項集，如警示A  警示B，分析警示的連鎖性。有利於警示的預測管理及處理和最佳化。

 

○使用者行為關聯分析

基於日誌資訊的採集分析使用者行為的連鎖相關性，有利於進行功能的位置的調整最佳化，提高使用者的體驗效果。

 

○server請求關聯分析

分析使用者行為的連鎖相關性，有利於進行功能的位置的調整最佳化，提高使用者的體驗效果。

 

○崩潰和錯誤的關聯分析

挖掘引起崩潰或錯誤的原因，即在什麼樣的情形下經常導致崩潰或錯誤，有利於對崩潰或錯誤進行處理，提出改進方案。

 

分類在營運方面的應用

 

分類——有監督學習

 

決策樹：CLS（最基本）、ID3（資訊增益） 、C4.5（資訊增益率）、CART（二叉決策樹）是決策樹歸納的貪心演算法。每種演算法都使用一種資訊理論度量，為樹中每個非樹葉結點選擇測試屬性。剪枝演算法試圖通過剪去反映資料中噪音的分枝，提高準確率。

 

隨機森林（分類和迴歸）：是一個包含多個決策樹的分類器， 並且其輸出的類別是由個別樹輸出的類別的眾數而定。

 

神經網路：是一組串連的輸入/輸出單元，其中每個串連都與一個權重相關聯。多層前饋神經網路由一個輸入層，一個或多個隱藏層和一個輸出層組成。。

 

支援向量機（SVM）：是一種用於線性和非線性資料的分類演算法。它將原資料變換到較高維空間，使用稱作支援向量的基本訓練元組，從中發現分離資料的超平面。

 

關聯分類：關聯挖掘技術在大型資料庫中搜尋頻繁出現的模式，模式可以產生規則，可以分析這些規則，用於分類。

 

貝葉斯分類：基於貝葉斯定理，其假定類條件獨立。樸素貝葉斯分類和貝葉斯信念網路基於後驗機率的貝葉斯定理。貝葉斯信念網路允許在變數子集之間定義類條件獨立性。

 

k最近鄰分類法：基於距離的分類演算法，基於距離的分類演算法，惰性學習方法。

 

決策樹例子

 

1.營運人員是否對警示進行及時處理的決策樹（剪枝後）

2.計算各個不同維度對最後決策的影響（資訊增益率）從高到低進行分支。

3.C4.5也是資料採礦十大演算法之首(J48 in weka)

 

 

分類——有監督學習

 

決策樹：CLS（最基本）、ID3（資訊增益） 、C4.5（資訊增益率）、CART（二叉決策樹）是決策樹歸納的貪心演算法。每種演算法都使用一種資訊理論度量，為樹中每個非樹葉結點選擇測試屬性。剪枝演算法試圖通過剪去反映資料中噪音的分枝，提高準確率。

隨機森林（分類和迴歸）：是一個包含多個決策樹的分類器， 並且其輸出的類別是由個別樹輸出的類別的眾數而定。——迴歸分析中再詳細說。

神經網路：是一組串連的輸入/輸出單元，其中每個串連都與一個權重相關聯。多層前饋神經網路由一個輸入層，一個或多個隱藏層和一個輸出層組成。

支援向量機（SVM）：是一種用於線性和非線性資料的分類演算法。它將原資料變換到較高維空間，使用稱作支援向量的基本訓練元組，從中發現分離資料的超平面。

關聯分類：關聯挖掘技術在大型資料庫中搜尋頻繁出現的模式，模式可以產生規則，可以分析這些規則，用於分類。

貝葉斯分類：基於貝葉斯定理，其假定類條件獨立。樸素貝葉斯分類和貝葉斯信念網路基於後驗機率的貝葉斯定理。貝葉斯信念網路允許在變數子集之間定義類條件獨立性。

k最近鄰分類法：基於距離的分類演算法，基於距離的分類演算法，惰性學習方法。

 

BP神經網路例子

 

BP網路：後向傳播是一種用於分類的神經網路演算法，使用梯度下降方法

 

 

分類——有監督學習

 

決策樹：CLS（最基本）、ID3（資訊增益） 、C4.5（資訊增益率）、CART（二叉決策樹）是決策樹歸納的貪心演算法。每種演算法都使用一種資訊理論度量，為樹中每個非樹葉結點選擇測試屬性。剪枝演算法試圖通過剪去反映資料中噪音的分枝，提高準確率。

隨機森林（分類和迴歸）：是一個包含多個決策樹的分類器， 並且其輸出的類別是由個別樹輸出的類別的眾數而定。

神經網路：是一組串連的輸入/輸出單元，其中每個串連都與一個權重相關聯。多層前饋神經網路由一個輸入層，一個或多個隱藏層和一個輸出層組成。。

支援向量機（SVM）：是一種用於線性和非線性資料的分類演算法。它將原資料變換到較高維空間，使用稱作支援向量的基本訓練元組，從中發現分離資料的超平面。

關聯分類：關聯挖掘技術在大型資料庫中搜尋頻繁出現的模式，模式可以產生規則，可以分析這些規則，用於分類。

貝葉斯分類：基於貝葉斯定理，其假定類條件獨立。樸素貝葉斯分類和貝葉斯信念網路基於後驗機率的貝葉斯定理。貝葉斯信念網路允許在變數子集之間定義類條件獨立性。

k最近鄰分類法：基於距離的分類演算法，基於距離的分類演算法，惰性學習方法。

 

支援向量機例子

 

 

 

通過搜尋maximum marginal hyperplane(MMH)來處理問題

 

分類——有監督學習

 

決策樹：CLS（最基本）、ID3（資訊增益） 、C4.5（資訊增益率）、CART（二叉決策樹）是決策樹歸納的貪心演算法。每種演算法都使用一種資訊理論度量，為樹中每個非樹葉結點選擇測試屬性。剪枝演算法試圖通過剪去反映資料中噪音的分枝，提高準確率。

隨機森林（分類和迴歸）：是一個包含多個決策樹的分類器， 並且其輸出的類別是由個別樹輸出的類別的眾數而定。

神經網路：是一組串連的輸入/輸出單元，其中每個串連都與一個權重相關聯。多層前饋神經網路由一個輸入層，一個或多個隱藏層和一個輸出層組成。。

支援向量機（SVM）：是一種用於線性和非線性資料的分類演算法。它將原資料變換到較高維空間，使用稱作支援向量的基本訓練元組，從中發現分離資料的超平面。

關聯分類：關聯挖掘技術在大型資料庫中搜尋頻繁出現的模式，模式可以產生規則，可以分析這些規則，用於分類。

貝葉斯分類：基於貝葉斯定理，其假定類條件獨立。樸素貝葉斯分類和貝葉斯信念網路基於後驗機率的貝葉斯定理。貝葉斯信念網路允許在變數子集之間定義類條件獨立性。

k最近鄰分類法：基於距離的分類演算法，惰性學習方法。

 

K最近鄰分類法例子

 

5-最近鄰分類

 

將所有訓練元組儲存在模式空間中，一直等到經驗元組出現才進行分類。

 

分類在營運方面的應用

 

由於是有監督，必須已經有一些決策資料後才可以訓練分類的模型

群集在營運方面的應用

 

聚類——無監督學習

 

樣本沒有標記，根據距離把樣本聚為k類

群集是一個活躍的研究領域。

資料類型：資料矩陣：p個變數n個對象

相異度矩陣：相異度（距離）定義需滿足

1)       d(i,j)>=0;

2)       d(i,i)=0;

3)       d(i,j)=d(j,i);

4)       d(i,j)<=d(i,k)+d(k,j).

最常見的距離是歐式距離和曼哈頓距離

常用的距離還有：相似矩陣轉換的距離

 

 

聚類的方法

 

群集許多聚類演算法已經被開發出來，具體可以分為劃分方法，層次方法，基於密度的方法，基於網格的方法。

劃分方法首先得到初始的k 個劃分的集合，這裡的參數k是要構建的劃分的數目；然後它採用迭代重定位技術，試圖通過將對象從一個簇移到另一個來改進劃分的品質。有代表性的劃分方法包括k-means聚類、EM（期望最大化）演算法。

層次方法建立給定資料對象集合的一個層次性的分解。根據層次分解的形成過程，這類方法可以被分為自底向上的，或自頂向下的。有代表性的層次方法包括系統聚類法、模糊聚類方法。

 

K-means聚類

 

K-means聚類演算法是距離平方和最小聚類法

[1] 假設要聚成K 個類。由人為決定K 個類中心。

[2] 在第i 次疊代中，計算每個樣本點到K個類中心的距離，並將它歸     入最近的類。

[3] 計算新類的類中心為每一類的重心，並重新計算每個樣本點到K 個類中心的距離，重新分類。

[4] 直到類中心的變化很小或已到最大迭代為止。

 

聚類的方法

 

群集許多聚類演算法已經被開發出來，具體可以分為劃分方法，層次方法，基於密度的方法，基於網格的方法。

劃分方法首先得到初始的k 個劃分的集合，這裡的參數k是要構建的劃分的數目；然後它採用迭代重定位技術，試圖通過將對象從一個簇移到另一個來改進劃分的品質。有代表性的劃分方法包括k-means聚類、EM（期望最大化）演算法。

層次方法建立給定資料對象集合的一個層次性的分解。根據層次分解的形成過程，這類方法可以被分為自底向上的，或自頂向下的。有代表性的層次方法包括系統聚類法、模糊聚類方法。

 

系統聚類法

 

系統聚類法即譜系聚類法或分層聚類法。

 

譜系圖

 

 

 

聚類在營運方面的應用

 

離群點檢測在營運方面的應用

 

離群點檢測

 

離群點（outlier）分析也叫異常檢測。

離群點是一個資料對象，它顯著不同於其他資料對象。

 

離群點類型

 

 

離群點檢測的方法

 

 

 

離群點檢測在營運方面的應用

 

 

統計分析在營運方面的應用

 

統計分析方法

 

 

▲主成分分析:是將多個指標化為少數指標的一種統計方法。（降維）

 

應用：（1）解釋,在心理學與社會學中的應用（2）綜合評價,如衡量企業的指標有很多，各種指標對不同企業來說，差異很大，通過主成分分析，用很少的綜合指標進行評價。（3）分類:用兩個主成分，在圖上可以分類。聚在一起的屬於同一類，離得很遠，說明差別很大。

 

步驟：1）標準化資料矩陣，2）計算相關係數陣R，3）計算特徵根排序，4）確定主成分，5）計算單位特徵向量，6）寫出主成分。

 

▲因子分析：主成分分析的推廣。

 

目的：（理論）是研究原始變數的內部關係，簡化原變數的共變數結構，分析變數中存在的複雜關係；（應用）是尋找眾多變數的公用因子，即探討多個能直接測量且有相關性的指標是如何受少數幾個不能直接測量的相對獨立的因子支配的。

基本思想：根據相關性的大小把變數分組，使得同組內的變數間相關性（共性）較高，而不同組的變數相關性較低。

 

步驟：1）標準化資料矩陣，2）計算相關係數陣R（共變數），3）求R特徵根及特徵向量，4）計算得到因子載荷A，5）因子旋轉（方差極大旋轉）、6）計算因子得分

 

■兩者區別：主成分分析所著重的在於如何轉換原來變數使之成為一些綜合性的新指標。與主成分分析不同的是因子分析重視的是如何解釋變數之間的共同變異問題。

 

▲典型相關分析：研究兩組隨機變數之間的相關關係

 

應用：（1）解釋相互之間關係：如：y表示體重，x表示身高，年齡。身高，年齡對體重是否有影響？（2）預測與控制在1的基礎上，利用x變數預測或控制y變數。如在西方，股票市場情況不太好，則銀行降息，促進股市繁榮；若股票升得太厲害，銀行就會上調利息。一般地，控制應建立在很好的預測基礎上。（3）尋找結構聯絡：通過線性函數解釋內部結構機理。

 

▲判別分析：當得到一個新樣品（或個體）的關於指標X的觀測值時，要判斷該樣品屬於哪一個類型，即為判別分析。

 

1.距離判別：通過定義樣品指標X的觀測值x(p維）到各總體的距離，以其大小判定樣品屬於哪個總體。

2.Bayes判別 ：對給定的樣品x，計算兩總體的機率密度函數在x處的值。

3.Fisher判別：基本思想是投影，即把K類的m維資料投影（變換）到某個方向，使得變換後的資料，同類別的點“儘可能聚在一起”，不同類的點“儘可能分離”，以達到分類的目的。

 

迴歸分析

 

迴歸分析（預測）：研究相關性關係的最基本、應用最廣泛的方法。就是在掌握大量觀察資料基礎上，利用數理統計方法建立因變數與自變數之間的迴歸關係函數式。

 

1）  線性迴歸分析，方法：最小二乘法。

2）  非線性迴歸分析：拋物線模型、雙曲線模型、冪函數模型、指數函數模型、對數函數模型、邏輯曲線模型，多項式模型等。方法：非線性模型線性化，最小二乘法。

3）  二項羅吉斯迴歸分析：因變數Y=0,1，可以用於分類決策。

4）基於隨機森林模型的迴歸：真實情況自變數既可能包含因子（factor），也可能包含數值的連續性變數，又要考慮自變數對因變數的重要性程度，還可以對將來的情況進行預測。

 

隨機森林迴歸在營運方面的例子

 

新增裝置數影響因素及預測：時間、周幾、新版本發布、廣告宣傳、前一天的活躍裝置數、當天的活躍裝置數等等。

 

可以通過兩個指標判斷自變數對因變數的重要程度：

1）%IncMSE：均方誤差遞減意義下的重要性，若此指標值越大則說明此自變數對因變數的影響程度越大，若為0則說明此自變數對因變數沒有任何關係，若為負值則說明此自變數對因變數的變化可能有起到誤導的作用。

2）IncNodePurity：精確度遞減意義下的重要性。計算方法是殘差的平方和（非負），若此指標值越大則說明此自變數對因變數的影響程度越大，若為0則說明此自變數對因變數沒有任何關係。

 

 

新增裝置數與其他因素影響的資料集範例

 

new_date  week new_ver advertising yestoday_act today_act new_device

636147 星期日       0           0          884       459         79

636148 星期一       0           0          459       701         45

636149 星期二       0         2.8          701       185         13

636150 星期三       0         3.6          185       112         12

636151 星期四       6         3.2          112       827         87

636152 星期五       8         2.8          827       892         32

636153 星期六       9           2          892       716         89

636154 星期日       8         0.8          716       204         98

636155 星期一       7           0          204       157         39

636156 星期二       5           0          157       484         72

636157 星期三       3           0          484       595         42

636158 星期四       1           0          595       592         70

636159 星期五       0           0          592        93         42

636160 星期六       2           0           93       451         89

636161 星期日       5           0          451       582         54

636162 星期一       4           0          582       140         97

636163 星期二       3           0          140       741         61

636164 星期三       1           0          741       809         30

636165 星期四       0           0          809       440         91

636166 星期五       0           0          440       108         65

636167 星期六       0           0          108       304         75

 

統計分析在營運方面的應用

 

 

 

資料採礦其他方法在營運方面的應用

 

資料採礦其他方法

 

 

▲遺傳演算法：是類比達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過類比自然進化過程搜尋最優解的方法。

 

一、編碼，不能直接處理問題空間的參數，必須把它們轉換成遺傳空間的由基因按一定結構組成的染色體或個體。這一轉換操作就叫做編碼，也可以稱作(問題的)表示。（C）

 

二、適應度函數：進化論中的適應度，是表示某一個體對環境的適應能力，也表示該個體繁殖後代的能力。遺傳演算法的適應度函數也叫評價函數，是用來判斷群體中的個體的優劣程度的指標，它是根據所求問題的目標函數來進行評估的。（E）

條件：1.單值、連續、非負、最大化；2.合理、一致性；3.計算量小；4.通用性強。

 

三、基本運算過程如下：簡單遺傳演算法：SGA=（C,E,P(0),N,F,G,Y,T）

 

1.初始化:設定進化代數計數器t=0，設定最大進化代數T，隨機產生N個個體作為初始群體P(0)。（P(0),N）

 

2.個體評價：計算群體P(t)中各個個體的適應度。

 

3.選擇運算（F）:將選擇運算元作用於群體。目的是把最佳化的個體直接遺傳到下一代或通過配對交叉產生新的個體再遺傳到下一代。選擇操作是建立在群體中個體的適應度評估基礎上的

 

4.交叉運算（G）；將交叉運算元作用於群體。所謂交叉是指把兩個父代個體的部分結構加以替換重組而產生新個體的操作。遺傳演算法中起核心作用的就是交叉運算元。

 

5.變異運算（Y）：將變異運算元作用於群體。即是對群體中的個體串的某些基因座上的基因值作變動。

 

■群體P(t)經過選擇、交叉、變異運算之後得到下一代群體P(t+1)。

 

6.終止條件判斷（T）:若t=T,則以進化過程中所得到的具有最大適應度個體作為最優解輸出，終止計算。

 

▲粗糙集理論：已成為人工智慧領域中一個較新的學術熱點, 在機器學習,知識擷取,決策分析,過程式控制制等許多領域得到了廣泛的應用.

 

▲模糊集方法：就是指具有某個模糊概念所描述的屬性的對象的全體。由於概念本身不是清晰的、界限分明的，因而對象對集合的隸屬關係也不是明確的、非此即彼的。設A是集合X到[0，1]的一個映射，A：X→[0，1]，x→A(x) 則稱A是X上的模糊集，A(x)稱為模糊集A的隸屬函數，或稱A(x)為x對模糊集A的隸屬度。

 

▲流資料採礦：一組順序、大量、快速、連續到達的資料序列,一般情況下,資料流可被視為一個隨時間延續而無限增長的動態資料集合。

 

▲圖挖掘：用於挖掘大型圖資料集的頻繁圖模式，進行特徵化、區分、分類和群集。應用於化學資訊學，生物資訊學，電腦視覺，視頻索引，文本檢索，Web分析等。

 

▲複雜資料類型的挖掘，包括對象資料，空間資料，多媒體資料，時序資料，文本資料和Web 資料。空間資料挖掘是指從大資料量的地理空間資料庫中發現有意義的模式；多媒體資料採礦是指從多媒體資料庫中發現有意義的模式；文本資料是指從文本資料中抽取有價值的資訊和知識的電腦處理技術，文本資料採礦是從文本中進行資料採礦；Web 挖掘是指從大量的Web文檔集合中發現蘊涵的、未知的、有潛在應用價值的、非平凡的模式，它所處理的對象包括靜態網頁、Web資料庫、Web結構、使用者使用記錄等資訊。

 

在營運方面的應用

 

 

 

陳是維，現任職優雲軟體（從監控、到應用體驗，到自動化持續傳遞全棧服務平台）

優雲軟體資料專家最佳實務：資料採礦與營運分析