GMM：高斯混合模型的數學推導筆記（下）

標籤：

§第三部分，GMM的另一種解法

在本部分，講義中利用簡森不等式（Jensen‘s Inequality）來實現GMM的求解。

在開始之前，首先對該不等式進行說明。由於對數函數f(x)=ln(x)是一個凹函數，可得到下面的不等式

ln[λxi+(1-λ)x2]>=λln(x1)+(1-λ)ln(x2)

推廣該式可得到簡森不等式（ Jensen‘s Inequality）

其中λi必須滿足之和為1。

假設現有的參數為Θ(下面的公式中出現θ上面有~符號的文字中使用Θ來表示))現在想找出新的θ值，使得J(θ)>J(Θ),同樣假設m=3為例，那麼J(θ)可以表示為：

因此：

在上一篇文章中的推導中βj(xi)的計算是根據Θ，而且

因為βj(xi)之和為1，因此套用簡森不等式可得J(θ)>J(Θ)>=Q(θ),因此如果Q(θ)>0,那麼J(θ)>J(Θ)則成立。同時我們希望J(θ)-J(Θ)差值越大越好（見圖一），

故使用微分的方式計算Q(θ)的最值。由於Q(θ)是θ的函數，因此其他的作為常量:

由拉格朗日乘數法：

對aj微分：

以上三式相加：

所以：

最後的結果：

其中βi的計算是根據Θ得到。因此該方法和上一篇文章中的解法所得結果一致。

GMM：高斯混合模型的數學推導筆記（下）