機器學習基礎（三）樸素貝葉斯

貝葉斯決策一直很有爭議，今年是貝葉斯250周年，曆經沉浮，今天它的應用又開始逐漸活躍，有興趣的可 以看看斯坦福Brad Efron大師對其的反思，兩篇文章：“Bayes'Theorem in the 21st Century”和 “A250-YEAR ARGUMENT:BELIEF, BEHAVIOR, AND THE BOOTSTRAP”。俺就不參合這事了，下面來看看樸素貝葉 斯分類器。

有時我們想知道給定一個樣本時，它屬於每個類別的機率是多少,即P(Ci|X),Ci表示類別 ，X表示測試樣本，有了機率後我們可以選擇最大的機率的類別。要求這個機率要用經典貝葉斯公式，如（公 式一）所示：

（公式一）

（公式一 ）中的右邊每項一般都是可以計算出的，例如（圖一）中兩個桶中分別裝了黑色（Black）和灰色(Grey)的球 。

（圖一）

假設Bucket A 和BucketB是類別，C1和C2，當給定一個球時，我們想判斷它最可能從哪個桶裡出來的，換句話說是什麼類別 ？這就可以根據（公式一）來算，（公式一）的右邊部分的每項都可以計算出來，比如P(gray|bucketA)=2/4 ，P(gray|bucketB)=1/3，更嚴格的計算方法是:

P(gray|bucketB) = P(gray andbucketB)/P (bucketB),

而P(gray and bucketB) = 1/7，P(bucketB)= 3/7

那麼P(gray|bucketB)=P(gray and bucketB)/ P(bucketB)=(1/7)/(3/7)=1/3

這就是樸素貝葉斯的原理，根據後驗機率來判斷，選擇 P(Ci|X)最大的作為X的類別Ci,另外樸素貝葉斯只所以被稱為樸素的原因是，它假設了特徵之間都是獨立的， 如（圖二）所示：

（圖二）

儘管這個假設 很不嚴密，但是在實際應用中它仍然很有效果，比如文本分類，下面就來看下文本分類實戰，判斷聊天資訊是 否是辱罵（abusive）資訊(也就是類別為兩類，是否辱罵資訊)，在此之前，先強調下，樸素貝葉斯的特徵向 量可以是多維的，上面的公式是一維的，二維的如（公式二）所示，都是相同的計算方法：

（ 公式二）