Stanford機率圖模型（Probabilistic Graphical Model）— 第一講 貝葉斯網路基礎

機率圖模型（Probabilistic Graphical Model）系列來自Stanford公開課Probabilistic Graphical Model中Daphne Koller 老師的講解。（https://class.coursera.org/pgm-2012-002/class/index）

主要內容包括（轉載請註明原始出處http://blog.csdn.net/yangliuy）

1.    貝葉斯網路及馬爾可夫網路的機率圖模型表示及變形。

2.    Reasoning 及Inference 方法，包括exact inference (variable elimination, clique trees) 和 approximate inference(belief propagation message passing, Markov chain Monte Carlo methods)。

3.    機率圖模型中參數及結構的learning方法。

4.    使用機率圖模型進行統計決策建模。

第一講. 貝葉斯網路基礎

1、貝葉斯網路的定義

        貝葉斯網路是一個有向非循環圖，其中結點代表了隨機變數，邊代表了隨機變數之間的機率關係，其聯合機率分布可以用貝葉斯鏈式法則來表示

其中ParG(Xi)表示結點Xi在圖G中的父節點對應的隨機變數。

2、貝葉斯網路中機率影響的流動（Flow of Probabilistic Influence）

機率影響的流動性反應了貝葉斯網路中隨機變數條件獨立性關係，如所示

圖中貝葉斯網路模型反映如下四個隨機變數之間的關係

Difficulty 課程難度

Intelligence 學生聰明程度

Grade 學生課程成績

SAT 學生高考成績

Letter 學生是否可以得到教授工作推薦信

在左邊對應的六種情況下，只有最後一種情況X→W←Y下X的機率不會影響到Y的機率。這是因為W不是被觀察變數，其值是未知的，因此隨機變數X的值不會影響隨機變數Y的取值。有趣的是，當中間W變數成為被觀察變數，上述結論就會發生變化。如所示

當WєZ時，即W為觀察變數時，所有判斷會變得相反。仍然以 X→W← Y 為例，此時W的值已知，比如已知某個學生Grade為B，那麼此時學生的聰明程度Intelligence和課程難度Difficulty就不再條件獨立了。比如，這種情況下如果課程比較容易，那邊學生很聰明的機率較小；反之，若課程很難，則學生很聰明的機率較大。其他情況可以採用右邊這個貝葉斯網路例子來理解。

3 Active Trails

   經過第2部分的分析，我們可以歸納如下結論

Atrail X1 ─ … ─ Xn is active if:

it has no v-structures

Atrail X1 ─ … ─ Xn is active given Z if:

– for any v-structure Xi-1 → Xi← Xi+1 we have that Xi or one of its descendants ∈Z

– no other Xi is in Z

顯然如果X1 ─ … ─Xn is active，那麼X1和Xn就不再條件獨立。

 

4 Independence in Graph

    這裡先總結D-separate 的情況，如所示

有了2-3部分的基礎，容易得出如下結論

練習題

答案選1和3。解析：由於G被觀察，那麼2中IGL這條路徑就不再active，因為給定G後，I無法影響L的機率。而4中SJL這個v結構不是active的，因為J是未觀察變數，S不能影響L的機率。 故而2和4都錯誤。1和3都是active的。

如果兩個結點之間不存在任何Active Trails, 那麼我們稱這兩個結點 d-separation 。有了d-separation 的概念，下面我們給出I-Map的定義

本課程最後給出了Naïve Bayes演算法的介紹，這個演算法可以參見我的博文資料採礦-基於貝葉斯演算法及KNN演算法的newsgroup18828文本分類器的JAVA實現（上）

有給演算法的詳細介紹和實現。

好了，第一講到此結束，下一講我們介紹Template Model及條件機率分布模型CPD。