多元高斯分布

標籤：

　　直接給出多元高斯分布和單元高斯分布的機率密度函數：

　　

　　μ是一個D維均值向量，Σ是一個D×D的共變數矩陣，我們只考慮正定矩陣（所有特徵值都是正數），即|Σ|>0；多元高斯分布和單態量高斯分布儘管在形式上不同，但實際上單態高斯是維數為1的多元高斯分布：當D=1時，Σ是一個1×1的矩陣（即退化為一個數），|Σ|1/2=σ（即標準差），Σ-1=σ-2，(x-μ)T=(x-μ)，我們能夠把這兩個公式很好的對應起來。

　　在共變數矩陣Σ中，(i,j)元素是X向量中第i個和第j個元素的共變數：　　

　　我們這裡考慮的共變數矩陣都是實對稱矩陣。根據線性代數理論，所有N×N的實對稱矩陣都有N個線性無關的特徵向量，並且這些特徵向量都可以正交單位化而得到一組正交且模為1的向量（參考wiki譜分解），以二維矩陣為例：

　　

　　因此，共變數矩陣可以表示為以下形式(x,u一樣，都是特徵向量的單位正交形式)：

　　

　　又因為中間的是對角矩陣，我們很容易的就可以得到它的逆矩陣：

　　

　　我們現在回到高斯分布的公式上，定義以下的二次型：

　　

　　將我們推導的共變數矩陣的擬帶入上式，可得： 　　　　

　　其中再定義：

　　

　　==》

　　

　　其中U是一個正交矩陣；以二維資料為例，高斯分布為一個橢圓曲面（所有特徵值為正的情況下），橢圓中心為μ，橢圓軸的方向沿著ui，縮放因子為λ1/2.如下：

　　

 

多元高斯分布