樸素貝葉斯法

標籤：

樸素貝葉斯法是基於貝葉斯定理與特徵條件獨立假設的分類方法。，對於給定的訓練資料集，首先基於特徵條件獨立假設學習輸入與輸出的聯合機率分布；然後基於此模型，對給定的輸入x，利用貝葉斯定理求出後驗機率最大的輸出y，樸素貝葉斯方法實現簡單，學習與預測的效率都很高，是一種常用的方法。

下面主要說一下樸素貝葉斯的學習方法與分類。

基本方法：

設輸入空間X包含於Rn為n維向量的集合，輸出空間為類標記的集合Y={c1,c2,...ck},輸入空間為特徵向量x屬於X，輸出為類標記y屬於Y。X是定義在輸入空間X上的隨機向量，y是定義在輸出空間Y上的隨機變數，P（X,Y）是X,Y的聯合機率分布，訓練資料集為：

T={（x1,y1）,（x2,y2）,...（xN,yN）}

樸素貝葉斯法通過訓練資料集學習聯合機率分布P（X,Y）。具體地，學習以下先驗機率分布及條件機率分布，先驗機率分布：

P（Y=ck）,    k=1,2,...K.

條件機率分布：

P（X=x|Y=ck）=P(X(1)=x(1),X(2)=x(2),...X(n)=x(n)|Y=ck),   k=1,2,...K.

於是學習到聯合機率分布P（X,Y），樸素貝葉斯法對條件機率分布作了特徵條件獨立假設，由於這個較強的假設，使得

P（X=x|Y=ck）=P(X(1)=x(1),X(2)=x(2),...X(n)=x(n)|Y=ck)=聯乘（j=1-j=n）P（X(j)=x(j)|Y=ck）,這一假設使得樸素貝葉斯法簡單了很多。

樸素貝葉斯法