判別模型和產生模型的區別

原文網址：http://www.zhan5zhan.com/post/14.html

    什麼是判別模型(Discriminative Model)和產生模型(Generative Model)？ 一個通俗易懂的解釋判別模型和產生模型可以點擊這裡查看，這裡我摘錄如下：

    Let's say you have input data x and you want to classify the data into labels y. A generative model（產生模型） learns the joint probability distribution（聯合機率分布） p(x,y) and adiscriminative model（判別模型） learns the conditional probability distribution（條件機率分布） p(y|x) - which you should read as 'the probability of y given x'.

 

    關於產生模型和判別模型，我發現的另外一個解釋我摘錄如下，原文點擊這裡：

    判別模型Discriminative Model，又可以稱為條件模型，或條件機率模型。估計的是條件機率分布(conditional distribution)， p(class|context)。

    產生模型Generative Model，又叫產生式模型。估計的是聯合機率分布（joint probability distribution），p(class, context)=p(class|context)*p(context)。

 

    另外對於產生模型和判別模型，總結如下：
    1.產生模型和判別模型的定義

      記o為觀察序列，s為狀態序列。對o和s進行統計建模，通常有兩種方式：

      (1) 產生模型 （又叫產生模型）： 構建o和s的聯合分布p(s,o)

      (2) 判別模型 （又叫條件機率模型， 也叫條件模型）： 構建o和s的條件分布p(s|o)

    2.判別模型和產生模型的對比

      (1) 訓練時，二者最佳化準則不同：產生模型最佳化訓練資料的聯合分布機率，而判別模型最佳化訓練資料的條件分布機率。從這裡可以看出，判別模型與序列標記問題有較好的對應性。

      (2) 對於觀察序列的處理不同：產生模型中，觀察序列作為模型的一部分，而判別模型中，觀察序列只作為條件，因此可以針對觀察序列設計靈活的特徵。

      (3) 訓練複雜度不同：由於需要歸一化，判別模型訓練複雜度較高。

      (4) 是否支援無指導訓練：產生模型支援無指導訓練，而判別模型不支援。

    3. 二者的本質區別是：判別模型（discriminative model ）估計的是條件機率分布(conditional distribution)p(class|context)，而產生模型（generative model） 估計的是聯合機率分布（joint probability distribution）

    通常來講，（該部分援引自這裡）常見的產生模型（Generative Model）主要有：

    – Gaussians, Naive Bayes, Mixtures of multinomials

    – Mixtures of Gaussians, Mixtures of experts, HMMs

    – Sigmoidal belief networks, Bayesian networks

    – Markov random fields

    常見的Discriminative Model主要有：

    – logistic regression

    – SVMs

    – traditional neural networks

    – Nearest neighbor