資料採礦系列（3）關聯規則評價

前面我們討論的關聯規則都是用支援度和自信度來評價的，如果一個規則的自信度高，我們就說它 是一條強規則，但是自信度和支援度有時候並不能度量規則的實際意義和業務關注的興趣點。

一個誤導我們的強規則

看這樣一個例子，我們分析一個購物籃資料中購買遊戲光碟和購買影片光碟之間的關聯關係。交易 資料集共有10,000條記錄，其中購買6000條包含遊戲光碟，7500條包含影片光碟，4000條既包含遊戲 光碟又包含影片光碟。資料集如下表所示：

假設我們設定得最小支援度為30%，最小自信度為60%。從上面的表中，可以得到：support(買遊戲 光碟—>買影片光碟)=4000/10000=40%，confidence(買遊戲光碟—>買影片光碟) =4000/7500*100%=66%。這條規則的支援度和自信度都滿足要求，因此我們很興奮，我們找到了一條強 規則，於是我們建議超市把影片光碟和遊戲光碟放在一起，可以提高銷量。

可是我們想想，一個喜歡的玩遊戲的人會有時間看影片麼，這個規則是不是有問題，事實上這條規 則誤導了我們。在整個資料集中買影片光碟的機率p(買影片)=7500/10000=75%，而買遊戲的人也買影 片的機率只有66%，66%<75%恰恰說明了買遊戲光碟抑制了影片光碟的購買，也就是說買了遊戲光碟 的人更傾向於不買影片光碟，這才是符合現實的。

從上面的例子我們看到，支援度和自信度並不能過成功濾掉那些我們不感興趣的規則，因此我們需 要一些新的評價標準，下面介紹六中評價標準：相關性係數，卡方指數，全自信度、最大自信度、 Kulc、cosine距離。

相關性係數lift

從上面遊戲和影片的例子中，我們可以看到遊戲和影片不是正相關的，因此用相關性度量關聯規則 可以過濾這樣的規則，對於規則A—>B或者B—>A，lift(A,B)=P(A交B)/(P(A)*P(B)) ，如果lift(A,B)>1表示A、B呈正相關，lift(A,B)&lt;1表示A、B呈負相關，lift(A,B)=1表示 A、B不相關（獨立）。實際運用中，正相關和負相關都是我們需要關注的，而獨立往往是我們不需要 的，兩個商品都沒有相互影響也就是不是強規則，lift(A,B)等於1的情形也很少，一般只要接近於1我 們就認為是獨立了。

注意相關係數只能確定相關性，相關不是因果，所以A—>B或者B—>A兩個規則的 相關係數是一樣的，另外lift(A,B)=P(A交B)/(P(A)*P(B))=P(A)*P(B|A)/(P(A)*P(B))=P(B|A)/P(B) =confidence(A—>B)/support(B)=confidence(B—>A)/support(A)。

卡方係數

卡方分布是數理統計中的一個重要分布，利用卡方係數我們可以確定兩個變數是否相關。卡方係數 的定義:

公式中的observed表示資料的實際值,expected表示期望值,不理解沒關係,我們看一個例子就明白 了。

上面表格的括弧中表示的是期望值，(買影片，買遊戲)的期望值E=6000*(7500/10000)=4500，總體 記錄中有75%的人買影片，而買遊戲的有6000人，於是我們期望這6000人中有75%(即4500)的人買影片 。其他三個值可以類似計算得到。現在我們計算一下，買遊戲與買影片的卡方係數：

卡方係數X=(4000-4500)^2/4500+(3500-3000)^2/3000+(2000-1500)^2/1500+(500-1000) ^2/1000=555.6。

卡方係數需要查表才能確定值的意義，基於置信水平和自由度(r-1)*(c-1)=(行數-1)*(列數-1)=1 ，查表得到自信度為(1-0.001)的值為6.63，555.6大於6.63，因此拒絕A、B獨立的假設，即認為A、B 是相關的，而expected(買影片，買遊戲)=4500>4000,因此認為A、B呈負相關。這裡需要一定的概 率統計知識。如果覺得不好理解，可以用其他的評價標準。