【資料分析/挖掘必備知識】統計學之卡方分布

標籤：

統計學之卡方分布

作者 白寧超
2015年8月9日22:33:00

摘要:本文針對統計學之卡方分布的學習總結。本文首先介紹什麼是卡方分布，以及卡方分布到底有何用處。然後根據其主要作用和特點進行剖析。採用題引方式進入卡方介紹,為了對概念深刻理解,則採用問題解決方式，遇到問題，首先介紹其概念以及實際使用的情境。主線採用卡方的兩個主要用途檢驗擬合優度與檢驗兩個變數的獨立性，如果第一次聽到此概念，也不用擔心隨後展開介紹。最後根據概念適應作以總結。再次基礎上對核心內容進行擴充並對必要部分進行代碼實現或者實驗驗證。本文原創，轉載標明出處。

文章導航：

統計學之幾何分布、二項分布及泊松分布

目錄：

• 題引和基本知識介紹
• 卡方檢驗擬合優度
• 卡方檢驗兩個變數的獨立性
• 本章小結
• 內容擴充
• 參考文獻

一、題引和基本知識介紹什麼是卡方分布?

  若n個相互獨立的隨機變數ξ?、ξ?、……、ξn ，均服從標準常態分佈（也稱獨立同分佈於標準常態分佈），則這n個服從標準常態分佈的隨機變數的平方和$$Q=\sum_{i=1}^{n}ξ_i^2$$構成一新的隨機變數，其卡方分布規律稱為x^2,分布（chi-square distribution），其中參數n稱為自由度，正如常態分佈中均值或方差不同就是另一個$x^2$常態分佈一樣，自由度不同就是另一個分布。記為 Q~x^2(k).卡方分布是由常態分佈構造而成的一個新的分布，當自由度n很大時，X^2分布近似為常態分佈。對於任意正整數k， 自由度為 k的卡方分布是一個隨機變數X的機率分布。

為什麼要引用卡方分布?

  以特定機率分布為某種情況建模時，事物長期結果較為穩定，能夠清晰進行把握。但是期望與事實存在差異怎麼辦？偏差是正常的小幅度波動？還是建模錯誤？此時，利用卡方分布分析結果，排除可疑結果。【事實與期望不符合情況下使用卡方分布進行檢驗】

生活中又怎樣的案例（抽獎機之謎）會出現這種現象呢？

  抽獎機，肯定都不陌生，現在一些商場超市門口都有放置。正常情況下出獎機率是一定的，基本商家收益。倘若突然某段時間內總是出獎，甚是反常，那麼到底是某階段是小機率事件還是有人進行操作了？抽獎機怎麼了？針對這種現象或者類似這種現象問題則可以藉助卡方進行檢驗，暫且不著急如何檢驗，還是補充一下基礎知識，再逐步深入解決問題。【常規事件中出現非常規現象，如何檢查問題所在的情況下使用卡方分布】

問題描述：抽獎機之謎？問題一：卡方檢驗擬合優度案例

下面是某台抽獎機的期望分布，其中X代表每局遊戲的淨收益（每局獨立事件）：

  
實際中人們收益的頻數為：
  
在5%的顯著性水平下，看看能否有足夠證據證明判定抽獎機被人動了手腳。

1、算出每個x值的實際頻率與根據機率分布得出的期望頻率進行比較？
2、利用抽獎機的觀察頻率和期望頻率表計算檢驗統計量？
3、要檢驗的原假設是什嗎？備擇假設是什嗎？
4、自由度為4且5%水平的拒絕域是多少？
5、檢驗統計量是多少？
6、檢驗統計量是在拒絕域以內還是拒絕域以外？
7、你將接受還是拒絕原假設？

問題二：卡方檢驗獨立性案例

下表顯示各位莊家的觀察頻數，
      
以1%的顯著性水平進行假設檢驗，看看賭局結果是否獨立於坐莊莊家。

1、你是任務是算出所有期望頻數。
2、根據上面所求期望頻數，計算檢驗統計量X^2.
3、確定要進行檢驗的假設以及備擇假設。
4、求出期望頻率和自由度？
5、確定用於做決策的拒絕域。
6、計算檢驗統計量X^2
7、看看檢驗統計量是否位於拒絕域內。
8、作出決策。

二、卡方檢驗擬合優度（問題一）

問題簡述:抽獎機平常收益者總是商家，突然一段時間總是出獎。本來小機率事件頻發，我們利用卡方的檢驗擬合優度看看能否有足夠證據證明判定抽獎機被人動了手腳

知識儲備：期望頻數計算

期望頻數=（觀察頻數之和（1000）） X （每種結果的機率） 如：X=(-2)的期望頻數：977=（0.977）X（1000）
利用卡方假設檢驗觀察頻數和期望頻數之間的差別。

• 1、算出每個x值的實際頻率與根據機率分布得出的期望頻率進行比較？
  解答：
      

知識儲備：卡方檢驗評估差異

卡方分布：通過一個檢驗統計量來比較期望結果和實際結果之間的差別，然後得出觀察頻數極值的發生機率。
計算統計量步驟： （期望頻數總和與觀察頻數總和相等）
  1、表裡填寫相應的觀察頻數和期望頻數
  2、利用卡方公式計算檢驗統計量：（O代表觀察期望，E代表期望頻數）
  $$ x^2=\sum_{}^{}\frac{(O-E)^2}{E} $$
  注釋： 其中x^2表示檢驗統計量，O表示觀察頻數，E代表期望頻數。
  即：對於機率分布的每一個機率，取期望頻數和實際頻數的差，求差的平方數，再除以期望頻數，然後將所有結果相加。
檢驗統計量意義：O與E之間差值越小，檢驗統計量越小。以E為除數，令差值與期望頻數成比例。
卡方檢驗的標準：如果統計量值（X^2）很小，說明觀察頻數和期望頻數之間的差別不顯著，統計量越大，差別越顯著。

• 2、利用抽獎機的觀察頻率和期望頻率表計算檢驗統計量？
  解答：
      

知識儲備：卡方假設檢驗

卡方分布的用途：檢查實際結果與期望結果之間何時存在顯著差異。
  1、檢驗擬合優度：也就是說可以檢驗一組給定資料與指定分布的吻合程度。如：用它檢驗抽獎機收益的觀察頻數與我們所期望的吻合程度。
  2、檢驗兩個變數的獨立性：通過這個方法檢查變數之間是否存在某種關係。
自由度V:用於計算檢驗統計量的獨立變數的數目。
  1、自由度希臘字母V，讀作“紐”，v影響機率分布
  2、當v等於1或者2時：卡方分布先高後低的平滑曲線，檢驗統計量等於較小值的機率遠遠大於較大值的機率，即觀察頻數有可能接近期望頻數。圖形：
    
  3、當v大於2時：卡方分布先低後高再低，其外形沿著正向扭曲，但當v很大時，圖形接近常態分佈。圖形：
     
  4、特定參數v（繆）的卡方分布以及檢驗統計量可以記作：
    
  5、v的計算： (如例子：v=5-1)
     v=(組數) - (限制數)
顯著性： 卡方分布指出觀察頻數與期望頻數之間差異顯著性，和其他假設一樣，這取決於顯著性水平。

  1、顯性水平α進行檢驗，則寫作：（常用的顯著性水平1%和5%）
    

  2、檢測標準：卡方分布檢驗是單尾檢驗且是右尾，右尾被作為拒絕域。於是通過查看檢驗統計量是否位於右尾的拒絕域以內，來判定期望分布得出結果的可能性。
      
  3、卡方機率表的使用：卡方臨界值表是給定可以查詢的
     

 

 

例如： 5%的顯著性水平，8的自由度進行檢驗。查出15.51，因此只要檢驗統計量大於15.51，檢驗統計量就位於拒絕域內。  

       

卡方分布假設檢驗： （總是使用右尾）
步驟：
  1、確定要進行檢驗的假設（H0）及其備擇假設H1.
  2、求出期望E和自由度V.
  3、確定用於做決策的拒絕域（右尾）.
  4、計算檢驗統計量.
  5、查看檢驗統計量是否在拒絕域內.
  6、做出決策.
卡方分布檢驗其實就是假設檢驗的特殊形式。

• 3、要檢驗的原假設是什嗎？備擇假設是什嗎？
  解答：
    

知識儲備：拒絕域求解

  

例如： 5%的顯著性水平，8的自由度進行檢驗。查出15.51，因此只要檢驗統計量大於15.51，檢驗統計量就位於拒絕域內。          

• 4、自由度為4,5%水平的拒絕域是多少？
  解答：
    

知識儲備:計算檢驗統計量

前面已經求過。

• 5、檢驗統計量是多少？
  解答：
    

知識儲備：檢驗統計量拒絕域內外判定

1、求出檢驗統計量a
2、通過自由度和顯著性水平查到拒絕域臨界值b
3、a>b則位於拒絕域內，反之，位於拒絕域外。

• 6、檢驗統計量是在拒絕域以內還是拒絕域以外？
  解答：
    

知識儲備：決策原則

如果位於拒絕域內我們拒絕原假設H0，接受H1。
如果不在拒絕域內我們接受原假設H0，拒絕H1

• 7、你將接受還是拒絕原假設？
  解答：
    

註：只有能得到一組觀察頻數且算出期望頻數，卡方可以檢驗任何機率分布的擬合優度。

揭曉謎底：抽獎機被人動了手腳！！！！！

三、卡方檢驗兩個變數的獨立性（問題二）

【問題簡述】:抽獎機被人動過手腳，經過技術人員處理得以解決，但是現在新問題出現了，因為老闆發現負責二十一點賭桌的莊家佩服的錢高於合理值。懷疑莊家是內鬼。究竟賭局結果是否取決於坐莊的莊家，即莊家是否暗箱操作，賭局結果與莊家是否有關？此問題需要卡方分布檢查獨立性破案。

【問題二】下表顯示各位莊家的觀察頻數，
    
以1%的顯著性水平進行假設檢驗，看看賭局結果是否獨立於坐莊莊家。

知識儲備：利用機率求期望頻數

1、獨立性檢驗：用於判斷兩種因素是否相互獨立，或者兩者是否有聯絡。
2、期望機率求解步驟：
  1、算出賭局結果和莊家頻數以及各項總和，如下表稱為列聯表
    
  2、算出莊家A的贏局期望。
    a、求出贏局機率：P(贏)=贏局合計/總和
    b、莊家A坐莊機率：P(A)=合計A/總和
    c、假設莊家A和賭局結果獨立，其坐莊出現贏局機率：P(A坐莊贏局)=P(贏) X P(A)
    c、贏局的期望頻數=總和*P(A坐莊贏局)
    即：
    
3、推廣：期望頻數= 行合計 X 列合計 / 總和
4、求出檢驗統計量：（與前面一樣）
  $$x^2=\sum_{}^{}\frac{(O-E)^2}{E}$$

• 1、你是任務是算出所有期望頻數。
  解答：
  

• 2、根據上面所求期望頻數，計算檢驗統計量X^2.
  解答：
      

• 3、確定要進行檢驗的假設以及備擇假設。
  解答：
    
• 4、求出期望頻率和自由度？
  解答：
     
• 5、確定用於做決策的拒絕域。
  解答：
     

• 6、計算檢驗統計量X^2
  解答：
     

• 7、看看檢驗統計量是否位於拒絕域內。
  解答：
     

• 8、作出決策。
  解答：
     

自由度計算方法歸納：

列聯表自由度計算，表如下k列，h行
v=(h-1) X (k-1)注釋：每行計算到最後一個，用總數-其他之後，故一個數限制，同列一列限制。故如上式。

註：

1、在擬合優度檢驗中，v=組數 - 限制數
2、在兩個變數獨立性檢驗中，如列聯表為h行k列則：v=(h-1) X (k-1)

四、本章小結為什麼要引用卡方分布?

  以特定機率分布為某種情況建模時，事物長期結果較為穩定，能夠清晰進行把握。但是期望與事實存在差異怎麼辦？偏差是正常小幅度波動或是在建模錯誤如何判別？此時，利用卡方分布分析結果，排除可疑結果。【事實與期望不符合情況下使用卡方分布進行檢驗】

卡方檢驗擬合優度案例

期望計算：

期望頻數=（觀察頻數之和（1000）） X （每種結果的機率） 如：-2：977=（0.977）X（1000）

卡方分布

通過一個檢驗統計量來比較期望結果和實際結果之間的差別，然後得出觀察頻數極值的發生機率。

計算統計量步驟：（期望頻數總和與觀察頻數總和相等）

  1、表裡填寫相應的觀察頻數和期望頻數
  2、利用卡方公式計算檢驗統計量：（O代表觀察期望，E代表期望頻數）

   $$x^2=\sum_{}^{}\frac{(O-E)^2}{E}$$

   即：對於機率分布的每一個機率，取期望頻數和實際頻數的差，求差的平方數，再除以期望頻數，然後將所有結果相加。

檢驗統計量意義

  O與E之間差值越小，檢驗統計量越小。以E為除數，令差值與期望頻數成比例。卡方檢驗的標準：如果統計量值（X^2）很小，說明觀察頻數和期望頻數之間的差別不顯著，統計量越大，差別越顯著。

卡方分布的用途

  檢查實際結果與期望結果之間何時存在顯著差異。
    1、檢驗擬合優度：也就是說可以檢驗一組給定資料與指定分布的吻合程度。如：用它檢驗抽獎機收益的觀察頻數與我們所期望的吻合程度。    2、檢驗兩個變數的獨立性：通過這個方法檢查變數之間是否存在某種關係。

自由度V

    用於計算檢驗統計量的獨立變數的數目。
     1、自由度希臘字母V，讀作“紐”，v影響機率分布
     2、當v等於1或者2時：卡方分布先高後低的平滑曲線，檢驗統計量等於較小值的機率遠遠大於較大值的機率，即觀察頻數有可能接近期望頻數。     3、當v大於2時：卡方分布先低後高再低，其外形沿著正向扭曲，但當v很大時，圖形接近常態分佈。
     4、特定參數v（繆）的卡方分布以及檢驗統計量
     5、v的計算： (如例子：v=5-1)
        v=(組數) - (限制數)

顯著性

   卡方分布指出觀察頻數與期望頻數之間差異顯著性，和其他假設一樣，這取決於顯著性水平。

    1、顯性水平α進行檢驗，則寫作：（常用的顯著性水平1%和5%）
    2、檢測標準：卡方分布檢驗是單尾檢驗且是右尾，右尾被作為拒絕域。於是通過查看檢驗統計量是否位於右尾的拒絕域以內，來判定期望分布得出結果的可能性。
    3、卡方機率表的使用：卡方臨界值表是給定可以查詢的

卡方分布假設檢驗步驟： 總是使用右尾

  1、確定要進行檢驗的假設（H0）及其備擇假設H1.
  2、求出期望E和自由度V.
  3、確定用於做決策的拒絕域（右尾）.
  4、計算檢驗統計量.
  5、查看檢驗統計量是否在拒絕域內.
  6、做出決策.
卡方分布檢驗其實就是假設檢驗的特殊形式。

決策原則

如果位於拒絕域內我們拒絕原假設H0，接受H1。 如果不在拒絕域內我們接受原假設H0，拒絕H1

卡方檢驗兩個變數的獨立性（問題二）

獨立性檢驗：

用於判斷兩種因素是否相互獨立，或者兩者是否有聯絡。

期望機率求解步驟：

  1、算出賭局結果和莊家頻數以及各項總和，如下表稱為列聯表
    
  2、算出莊家A的贏局期望。
    a、求出贏局機率：P(贏)=贏局合計/總和
    b、莊家A坐莊機率：P(A)=合計A/總和
    c、假設莊家A和賭局結果獨立，其坐莊出現贏局機率：P(A坐莊贏局)=P(贏) X P(A)
    c、贏局的期望頻數=總和*P(A坐莊贏局)
    即：
    

推廣：

期望頻數= (行合計 X 列合計) / 總和

求出檢驗統計量：（與前面一樣）

  $$x^2=\sum_{}^{}\frac{(O-E)^2}{E}$$

自由度計算方法歸納：

  列聯表自由度計算，表如下k列，h行
          

v=(h-1) X (k-1)

注釋：每行計算到最後一個，用總數-其他之後，故一個數限制，同列一列限制。故如上式。

註：

1、在擬合優度檢驗中，v=組數 - 限制數
2、在兩個變數獨立性檢驗中，如列聯表為h行k列則：v=(h-1) X (k-1)

五、內容擴充

統計檢驗量Java代碼實現

/** * 檢驗統計量計算公式  * x^2=\sum\frac{(O-E)^2}{E} * 其中x^2表示檢驗統計量，O表示觀察頻數，E代表期望頻數 * @param O int，表示觀察頻數 * @param E int，表示期望頻數 * @return TS=x^2 double型保留兩位小數，檢驗統計量 */public static double TestStatistic(double[][] data){    int len = data[0].length;    double TS = 0;//檢驗統計量    //迴圈疊加計算期望值    for (int i = 0; i < len; i++) {        TS += (Math.pow((data[0][i]-data[1][i]),2))/data[1][i];//根據檢驗統計量公式x^2=\sum\frac{(O-E)^2}{E}計算    }    //並將結果保留3位小數    TS=NumFormat.DecFormat(3,TS);    System.out.println("檢驗統計量:"+TS);    return TS;}

 

卡方獨立性之期望頻數Java代碼實現

/* * 卡方獨立性之期望頻數 * 公式：期望頻數=((行合計)*(列合計))/總和 * @param sum1 double，行合計 * @param sum2 double，列合計 * @param sum  double，總和 * @return Enum   double，期望頻數 */public static double ExpFre(double sum1,double sum2,double sum){    double Enum=0;    Enum=(sum1*sum2)/sum;    NumFormat.DecFormat(2,Enum);    System.out.println("獨立性期望頻數:Enum="+Enum);    return Enum;}

 

計算自由度Java代碼實現

/* * 計算自由度： 用於計算檢驗統計量的獨立變數的數目。 * 公式：v=（h-1）-（k-1） * h表示表示表格行，k表示列 * @param h int，組數 * @param k int，限制數：影響計算結果的數目 * @return V   int，擬合自由度 */public static int NiheFreeNum(int h,int k){    int v=0;    v=(h-1)*(k-1);    System.out.println("擬合自由度:V="+v);    return v;}

 

卡方的期望和方差

分布的均值為自由度 n，記為 $$ E(X^2) = n$$
分布的方差為2倍的自由度(2n)，記為$$ D(x^2) = 2n$$

性質

 1)分布在第一象限內，卡方值都是正值，呈正偏態（右偏態），隨著參數 n 的增大，分布趨近於常態分佈；卡方分布密度曲線下的面積都是1.
 2)分布的均值與方差可以看出，隨著自由度n的增大，χ2分布向正無窮方向延伸（因為均值n越來越大），分布曲線也越來越低闊（因為方差2n越來&越大）。
 3）不同的自由度決定不同的卡方分布，自由度越小，分布越偏斜。

六、參考文獻

1、卡方分布
2、四個表卡方檢驗
3、卡方檢驗百分比與理論值差異
4、相關樣本卡方檢驗
5、卡方檢驗分類變數是否相關
6、分層卡方檢驗
7、幾種常見的濫（亂）用卡方檢驗的情況
8、智庫百科----卡方檢驗
9、智庫
10、卡方檢驗的SPSS操作

 

【資料分析/挖掘必備知識】統計學之卡方分布