判別式模型和產生式模型 (discriminative model and generative m

標籤：

最經典的莫過於

Andrew Ng在NIPS2001年有一篇專門比較判別模型和產生式模型的文章：
On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes
(http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf) 

轉：

判別式模型和產生式模型 (discriminative model and generative model)  

	判別式模型（discriminative model）	產生式模型（generative model）
特點	尋找不同類別之間的最優分類面，反映的是異質資料之間的差異	對後驗機率建模，從統計的角度表示資料的分布情況，能夠反映同質資料本身的相似性
區別(假定輸入x,類別標籤y)	估計的是條件機率分布(conditional distribution) :  P(y|x)	估計的是聯合機率分布（joint probability distribution: P(x, y),
聯絡	由產生式模型可以得到判別式模型，但由判別式模型得不到產生式模型。
常見模型	– logistic regression – SVMs – traditional neural networks – Nearest neighbor	–Gaussians, Naive Bayes  –Mixtures of Gaussians, Mixtures of experts, HMMs –Sigmoidal belief networks, Bayesian networks – Markov random fields
優點	1）分類邊界更靈活，比使用純機率方法或產生式模型更進階； 2）能清晰的分辨出多類或某一類與其他類之間的差異特徵； 3）在聚類、viewpoint changes, partial occlusion and scale variations中的效果較好； 4）適用於較多類別的識別； 5）判別模型的效能比產生式模型要簡單，比較容易學習。	1）實際上帶的資訊要比判別模型豐富； 2）研究單類問題比判別模型靈活性強； 3）模型可以通過增量學習得到； 4）能用於資料不完整（missing data）情況。
缺點	1）不能反映訓練資料本身的特性。能力有限，可以告訴你的是1還是2，但沒有辦法把整個情境描述出來； 2）Lack elegance of generative: Priors,結構, 不確定性； 3）Alternative notions of penalty functions, regularization, 核函數； 4）黑盒操作: 變數間的關係不清楚，不可視。	1) Tend to produce a significant number of false positives. This is particularly true for object classes which share a high visual similarity such as horses and cows； 2) 學習和計算過程比較複雜。
效能	較好（效能比產生模型稍好些，因為利用了訓練資料的類別標識資訊，缺點是不能反映訓練資料本身的特性）	較差
主要應用	Image and document classification Biosequence analysis Time series prediction	NLP(natural language processing) Medical Diagnosis

轉：http://www.cnblogs.com/liliu/archive/2010/11/21/1882984.html

判別式模型和產生式模型 (discriminative model and generative m