機率與統計 知識回顧(一) 事件的機率

標籤：style   blog   http   color   2014   ar   問題   log   

一、機率是什麼

機率是表示某種情況（事件）出現的可能性大小的一種數量指標，它介於0與1之間。

1.1 主觀機率

憑著經驗和知識對事件發生的可能性作出的一種主觀估計，主觀機率可以理解為一種心態或傾向性。

1.2 等可能實驗

假定某個實驗有有限個可能的結果$e_1,e_2,\dots,e_N$。假定從該實驗的條件及實施方法去分析，我們找不到任何理由認為其中某一結果，例如$e_i$，比任一其他結果，例如$e_j$，更具有優勢（即更傾向於易發生），則我們只好認為，所有結果$e_1,e_2,\dots,e_N$在實驗中有同等可能的出現機會，即$1/N$的出現機會。常常把這樣的實驗結果稱為“等可能的”。

1.3 古典機率的定義

設一個實驗有$N$個等可能的結果，而事件$E$恰包含中的$M$個結果，則事件$E$的機率，記為$P(E)$，定義為：

$$P(E)=M/N$$

上面的古典定義它只能用於全部實驗結果為有限個，且等可能性成立的情況，某些情況下，這個概念可以引申到實驗結果有無限多的情況。

1.4 幾何機率

甲、乙二人約定1點到2點之間在某處碰頭，約定先到者等候10分鐘即離去。設想甲、乙二人各自隨意地在1-2點之間選一個時刻到達該處，問“甲乙二人能碰上”這事件$E$的機率是多少？

如果我們以一個座標系來代表所有事件發生的平面，則$x$軸代表甲出發的時刻，$y$軸代表乙出發的時刻，如果甲乙能碰上則必須滿足：

$$|x-y|<10$$

可以計算在座標軸平面上，滿足上面不等式的地區的面積。

1.5 機率的頻率定義方法

1）與考察事件A有關的隨機現像可大量重複進行

2）在$n$次重複實驗中，記$n(A)$為事件$A$出現的次數，又稱$n(A)$為事件$A$的頻數。稱$f_n(A)=\frac{n(A)}{n}$為事件$A$出現的頻率。

3）人們的長期實踐表明：隨著實驗重複次數$n$的增加，頻率$f_n(A)$會穩定在某一常數$a$附近，我們稱這個常數為頻率的穩定值。這個頻率的穩定值就是我們所求的機率。

二、古典機率的計算2.1 兩個原理

1）乘法原理

如果某件事需經過$k$個步驟才能完成，做第一步有$m_1$種方法，做第二步有$m_2$種方法……做第$k$步有$m_k$種方法，那麼完成這件事共有$m_1\times m_2\times\dots\times m_k$種方法。

2）加法原理

如果某件事可由$k$類不同途徑之一去完成，在第一類途徑中有$m_1$種完成的方法，在第二類途徑中有$m_2$種完成的方法……在第$k$類途徑中有$m_k$種完成的方法，那麼完成這件事共有$m_1+m_2+\dots+m_k$種方法。

2.2 排列與組合

按照古典機率公式的定義，古典機率的計算歸結為計算兩個數$M$和$N$。這種計算大多數涉及排列組合。二者的區別在於，排列要計較次序而組合不計較：ab和ba是不同的排列，但是是相同的組合。

定義1：$n$個相異物件取$r$個($1\le r \le n$)的不同排列總數為

$$P_{r}^{n}=n(n-1)(n-2)\dots (n-r+1)$$

特別地，當$n=r$時，得到$P_{r}^{r}=r(r-1)\dots 1=r!$，稱為$r$的一個全排列。

定義2：$n$個相異物件取$r$個($1\le r \le n$)的不同組合總數為

$$C_r^n=P_r^n/r!=n!/(r!(n-r)!)$$

有些書中把記號$C_r^n$寫為$C_n^r$。$C_r^n$的一個更通用的記號是$\begin{pmatrix}n\\r\\ \end{pmatrix}$。我們後面將用$\begin{pmatrix}n\\r\\ \end{pmatrix}$取代$C_r^n$。我們很容易推匯出$\begin{pmatrix}n\\0\\ \end{pmatrix}=1$且有，

$$\begin{pmatrix}n\\r\\ \end{pmatrix}=n(n-1)\dots (n-r+1)/r!$$

2.3 與二項式展開的關係

組合係數$\begin{pmatrix}n\\r\\ \end{pmatrix}$又常稱為二項式係數，因為它出現在下面熟知的二項式展開的公式中：

$$(a+b)^n=\sum_{i=0}^n\begin{pmatrix}n\\r\\ \end{pmatrix}a^ib^{n-i}$$

這面這個公式的證明很簡單：因為，$(a+b)^n=(a+b)(a+b)\dots(a+b)$.為了產生$a^ib^{n-i}$這一項，在這$n$個$(a+b)$中，要從其中的$i$個取出$a$，另$n-i$個取出$b$。從$n$個中取出$i$個的不同取法為$\begin{pmatrix}n\\r\\ \end{pmatrix}$，這也就是$a^ib^{n-i}$這一項的係數。

2.4 分堆問題

$n$個相異物件分成$k$堆，各堆物體數分別為$r_1,r_2,\dots,r_k$的分法是

$$\frac{n!}{r_1!\dots r_k!}$$

此處$r_1,r_2,\dots,r_k$都是非負整數，其和為$n$

三、事件的運算3.1 事件的蘊含、包含及相等

在同一實驗下的兩事件$A$和$B$，如果當$A$發生時$B$必發生，則稱$A$蘊含$B$，或者說$B$包含$A$，記為$A\subset B$。若$A,B$互相蘊含，即$A\subset B$且$B\subset A$，則稱$A,B$兩事件相等，記為$A=B$。

如中所示，方框如果是一個靶，則如果擊中了A，則一定擊中了B。A和B相比A更難發生一些，因而其機率就必然小於至多等於B的機率。

3.2 事件的互斥和對立

若兩件事A和B不能在同一次實驗中都發生（但可以都不發生），則稱它們是互斥的。如果一些事件中任意兩個都互斥，則稱這些事件是兩兩互斥的，或簡稱互斥的。

如擲一個骰子時，擲出1點和擲出2點這兩個事件就是互斥的，它兩不可能同時發生，但可以都不發生。

互斥事件一個重要的情況是“對立事件”，若A為一事件，則事件$B=\{A不發生\}$稱為A的對立事件，多記為$\bar{A}$（也記為$A_c$）。

如擲一個骰子時，擲出是奇數點與擲出是偶數點就是對立事件。

3.3 事件的和

設有兩事件A，B，定義一個新事件C如下：

$C=\{A發生，或B發生\}=\{A,B至少發生一個\}$

這樣定義的事件C稱為A與事件B的和，記為$C=A+B$。

推廣到多個事件的情形，設有若干個事件$A_1,A_2,\dots,A_n$。它們的和A，定義為事件

$A=\{A_1發生，或A_2發生，\dots，或A_n發生\}=\{A_1,A_2,\dots,A_n至少發生一個\}$

3.4 機率的加法定理

公理

若干個互斥事件之和的機率，等於各事件的機率之和：

$$P(A_1+A_2+\dots)=P(A_1)+P(A_2)+\dots$$

推論

以$\bar{A}$表示A的對立事件，則

$$P(\bar{A})=1-P(A)$$

3.5 事件的積、事件的差

設有兩件事A，B，則如下定義的事件C

$$C=\left\{A,B都發生\right\}$$

多個事件$A_1,A_2,\dots$（有限或無限個都可以）的積的定義類似：$A=\{A_1,A_2,\dots都發生\}$，記為$A=A_1A_2\dots$，或$\prod_{i=1}^{n}A_i$

兩個事件A,B之差，記為$A-B$，定義為：

$$A-B=\{A發生，B不發生\}=A\bar{B}$$

四、條件機率與獨立性4.1 條件機率的定義

設有兩事件A,B而$P(B)\ne 0$。則“在給定B發生的條件下A的條件機率”，記為$P(A|B)$，定義為

$$A(A|B)=P(AB)/P(B)$$

4.2 事件的獨立性，機率乘法定理

設有兩事件$A,B$，$A$的無條件機率$P(A)$與其在給定$B$發生之下的條件機率$P(A|B)$，一般是有差異的。這反映了這兩事件之間存在著一些關聯。例如，若$P(A|B)>P(A)$，則B的發生使A發生的可能性增大了：B促進了A的發生。

反之，若$P(A|B)=P(A)$，則B的發生與否對A發生可能性毫無影響。這時在機率論上就稱A，B兩事件獨立。我們很容易得到

$$P(AB)=P(A)P(B)$$

對於滿足上面公式的兩件事件A，B，稱A，B獨立。上面的公式也即為機率的乘法定理。

判斷事件是相互獨立，有時並不是通過上面的公式去判定。

假設擲3個骰子，定義下面兩個事件A和Ｂ。A＝{至少有一個骰子擲出１}，事件B＝｛三個骰子擲出的點數中至少有兩個一樣｝，問A，B是否獨立？

初看往往會覺得A與B獨立，因為一個關心的是擲出的點數，另一個是擲出的同樣性（不關心點數是多少）。也就是有沒有擲出1好像對事件B沒有利也沒有害。

換一個角度，考慮A的對立事件，即沒有一個骰子擲出1，說明三個骰子擲出的點數為{2,3,4,5,6}那麼，事件B中，每個骰子最多隻有5個結果了，相比原來少了一種可能性，那麼顯然B事件發生最終的機率也變了。

若干個獨立事件$A_1,A_2,\dots$為有限或無限個事件。如果從其中任意取出有限個$A_{i_1},A_{i_2},\dots,A_{i_m}$都成立

$$ P(A_{i_1} A_{i_2}\dots A_{i_m})=P(A_{i_1})P(A_{i_2})\dots P(A_{i_m})$$

則稱事件$A_1,A_2,\dots$相互獨立。也就是說，對一任意一件事A，其他事件的發生與否對事件A的發生沒有影響。

若干個獨立事件$A_1,\dots,A_n$之積的機率，等於各事件機率的乘積：

$$P(A_1\dots A_n)=P(A_1)\dots P(A_n)$$

乘法定理的作用與加法定理一樣：把複雜事件的機率的計算歸結為更簡單的事件機率的計算，這當然要有條件，相加是互斥，相乘是獨立。

4.3 全機率公式與貝葉斯公式

全機率公式

設$B_1,B_2,\dots$為有限個或無限個事件，它們兩兩互斥且在每次實驗中至少發生一個，用式表示之，即

$$B_iB_j=\varnothing（不可能事件），當i \ne j \\ B_1+B_2+\dots=\Omega（必然事件）$$

有時把具有這些性質的一組事件稱為一個“完備事件群”。注意，任一事件B及其對立事件組成一個完備事件群。

現在考慮任一事件A，因為$\Omega$為必須事件，有$A=A\Omega=AB_1+AB_2+\dots$。因為$B_1B_2,\dots$兩兩互斥，顯然$AB_1,AB_2,\dots$也兩兩互斥。根據加法定理有

$$P(A)=P(AB_1)+P(AB_2)+\dots$$

再由條件機率的定義，有$P(AB_i)=P(B_i)P(A|B_i)$，代入上式得

$$P(A)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+\dots$$

上面的公式即為全機率公式。

實用意義：在較複雜的情況下直接算$P(A)$不易，但A總是隨著某個$B_i$伴出，適當去構造這一組$B_i$往往可以簡化計算。

貝葉斯公式

在全機率公式的假定之下，有

$$P(B_i|A)=P(AB_i)/P(A)=\frac{P(B_i)P(A|B_i)}{\sum_jP(B_j)P(A|B_j)}$$

上面就是著名的貝葉斯公式。

意義：先看$P(B_1),P(B_2),\dots$，它是沒有進一步的資訊（不知事件A是否發生）的情況下，人們對事件$B_1,B_2,\dots$發生可能性大小的認識。現在有了新的資訊（知道A發生），人們對$B_1,B_2,\dots$發生可能性大小有了新的估價。

如果我們把事件A看成“結果”，把諸事件$B_1,B_2,\dots$看成導致這結果的可能的“原因”，則可以形象地把全機率公式看作為“由原因推廣結果”；而貝葉斯公式則恰好相反，其作用在於“由結果推原因”：現在有一個“結果A已發生了”，在眾多可能的原因中，到底哪一個導致了這結果？貝葉斯公式說，各原因可能性大小與$P(B_i|A)$成比例。