Markov Random Feilds

標籤：機器學習   mkf   

由於映像分割中經常用到MRF，條件隨機場，一直不明白，寫個部落格學習一下。

一、Probabilistic Graph Models 機率圖模型

講到MRF，首先要介紹一下機率圖模型的概念，即採用圖表達機率分布模型PGM，PGM主要有如下優點：

• 提供一個機率模型結構可視化簡單方法，且能夠用來設計和驅動新的模型；
• 更深入的理解模型的屬性，包括條件獨立的屬性；
• 複雜的推理和學習的計算可以用PGM進行表達；

一個圖有如下屬性：

• 圖包括node（也稱vertices）和links（也稱edges），每個node代表一個隨機變數，link代表變數之間的機率關係；
• 圖涵蓋了所有隨機變數的聯合分布；

圖的各種類包括有向圖模型和無向圖模型，例如：

• 貝葉斯網路：有向的圖模型；
• MRF：無向的圖模型。

二、貝葉斯網路

假設有三個變數a、b、c，他們的聯合分布p(a, b, c) = p(c|a, b) * p(a, b) = p(c|a, b) * p(b|a) * p(a)，則表示為圖模型為，a稱作b的父結點，b稱作a的子結點。

假設有K個變數，聯合分布如所示

如所示，每對結點之間都有links，稱作全串連（fully connected）

如缺少某些links的情況

其聯合機率分布

K個nodes的圖的聯合分布可以寫成如下形式：

其中，pak表示xk的父結點集合，x={x1, ..., xk}，上述公式表示一個有向圖模型的聯合分布因式分解的屬性。

舉個多項式曲線擬合的例子協助理解

則Bayesian多項式迴歸模型用圖模型表示如下，w是係數，tn是樣本標籤值

一個更簡潔的形式採用plate（標記為N的方框）表示N個結點，圖中只顯式的標記了tn。

如中陰影的結點集合{tn}表示相關的隨機變數已經被設定為觀測值（樣本集）。

講述一下條件獨立的例子

例1：一個變數a在給定條件c的情況下，條件獨立於變數b的運算式

p(a|b, c) = p(a|c)

或 p(a, b|c) = p(a|b, c) * p(b|c) = p(a|c) * p(b|c)

例2：若給定變數c的情況下，變數a和b統計上獨立的表示為

例1中表示為圖模型為

圖中的聯合機率表示為：

p(a, b, c) = p(a|c) * p(b|c) * p(c)

如果圖中所有變數都是未觀測變數，則

公式中並不是簡單的因式分解為p(a)*p(b)，則a和b並不獨立

如中，假設把c當作條件，則a和b在條件c下是獨立的

三、Markov鏈

就是一個簡單的有三個變數的Markov鏈模型，其聯合分布如下：

同樣的p(a, b)不等於p(a)*p(b)，則a和b並不相互獨立

在給定變數c的條件下，則利用貝葉斯公式推導，a和b是條件獨立的。

四、Markov Random Fields

上面介紹了很多理論的東西，下面開始進入主題，講述Markov隨機場。

是一個無向圖的例子，所有集合A中的結點要到集合B都需要至少經過集合C中的一個結點，則A和B中的結點在條件C的結點下是獨立的。

我們定義clique（團）為圖中結點子集，該子集中的任意兩個結點存在邊。

最大團：如果團不能再添加結點並保證其仍然為團，這樣的團稱作最大團。

存在兩個最大團：{x1, x2, x3}和{x2, x3, x4}，而{x1, x2}則只是團，並不是最大團，因為還可以增加x3並保證仍然是團。

定義C表示一個團，Xc表示團中的變數集合，聯合分布表示為最大團的potential function（勢能函數）的乘積。

其中，Z是標準化常數，保證這p(x)符合機率0-1。與有向圖相比，對於邊緣機率分布和條件機率分布來說，並不限制勢能函數的類型。

但是，勢能函數必須是嚴格的大於0的。則一般把勢能函數表達為指數函數更加方便

其中，E(Xc)稱作能量函數。

對於MKF的簡介基本就到這裡，如果有不足的地方，還望大家批評指正！

Markov Random Feilds