EM演算法（4）：EM演算法證明

標籤：為什麼   訓練   em演算法   size   關注   這就是我   blog   step   迭代   

目錄

EM演算法（1）：K-means 演算法

EM演算法（2）：GMM訓練演算法

EM演算法（3）：EM演算法運用

EM演算法（4）：EM演算法證明

 

　　　　　　　　

　　　　　　　　　　　　　　　　　　EM演算法（4）：EM演算法證明

1. 概述

　　上一篇部落格我們已經講過了EM演算法，EM演算法由於其普適性收到廣泛關注，高頻率地被運用在各種最佳化問題中。但是EM演算法為什麼用簡單兩步就能保證使得問題最佳化呢？下面我們就給出證明。

2. 證明

　　現在我們已經對EM演算法有所瞭解，知道其以兩步（E-step和M-step）為周期，迭代進行，直到收斂為止。那問題就是，在一個周期內，目標函數的值是否增加了？如果能保證其每個周期都在增加的話，那麼其必然收斂到一個局部最大值處。這就是我們EM演算法所需要證明的，即：

　　　　　　　　　　　　$Q(\theta;\theta^{(i+1)}) \geqslant Q(\theta;\theta^{(i)})$

　　首先我們的目標函數$lnp(\mathbf{X}|\theta)$可以用包含確實資訊的機率表示，即：

　　　　　　　　　　　　$lnp(\mathbf{X}|\theta) = \sum_Ylnp(\mathbf{X},\mathbf{Y}|\theta)$

　　利用

EM演算法（4）：EM演算法證明