自然語言處理4-最大熵馬爾科夫模型（MEMM）

最大熵馬爾科夫模型（MEMM）

定義：

MEMM是這樣的一個機率模型，即在給定的觀察狀態和前一狀態的條件下，出現目前狀態的機率。

                                                                                      

MEMM依賴圖

Ø  S表示狀態的有限集合

Ø  O表示觀察序列集合

Ø  Pr(s|s’,o):觀察和狀態轉移機率矩陣

Ø  初始狀態分布：Pr0(s)

HMM vs. MEMM

任務	HMM	MEMM
評估	計算 P(OT|M)
解碼/預測	找到ST 使得P(OT| ST , M)的值最大	找到ST使得P(ST|OT, M)的值最大
學習	給定 O, 找到M 使得 P(O| M) 的值最大 (由於S未知，需要用EM演算法)	給定O和S, 找到M 使得 P(S| O, M) 的值最大 (可以通過最大似然估計演算法)

註：O表示觀察集合，S表示狀態集合，M表示模型

最大熵馬爾科夫模型（MEMM）的缺點：

看，由觀察狀態O和隱藏狀態S找到最有可能的S序列：

路徑：s1-s1-s1-s1的機率：0.4*0.45*0.5=0.09

路徑s2-s2-s2-s2的機率:0.2*0.3*0.3=0.018

路徑s1-s2-s1-s2的機率:0.6*0.2*0.5=0.06

路徑s1-s1-s2-s2的機率:0.4*0.55*0.3=0.066

由此可得最優路徑為s1-s1-s1-s1

 

實際上，在中，狀態1偏向於轉移到狀態2，而狀態2總傾向於停留在狀態2，這就是所謂的標註偏置問題，由於分支數不同，機率的分布不均衡，導致狀態的轉移存在不公平的情況。

由上面的兩幅圖可知，最大熵隱馬爾科夫模型（MEMM）只能達到局部最優解，而不能達到全域最優解，因此MEMM雖然解決了HMM輸出獨立性假設的問題，但卻存在標註偏置問題。