機器學習筆記（4）——樸素貝葉斯

Naive Bayes

樸素貝葉斯網路是貝葉斯分類器的一種，貝葉斯分類演算法是統計學的一種分類方法，利用機率論和統計知識進行分類。其原理是利用貝葉斯公式根據樣本的先驗機率來計算其後驗機率（即樣本屬於某一類的機率），然後選擇具有最大後驗機率的類作為該對象所屬的類別。樸素貝葉斯分類以機率論為基礎，有堅實的數學基礎，以及穩定的分類效率，其優點是演算法簡單，在資料較少的情況下仍然準確。理論上樸素貝葉斯分類有最小的誤差率，但實際貝葉斯假設樣本之間的各個特徵相互獨立往往不成立，從而影響分類正確性。 1.貝葉斯理論

在貝葉斯理論中，假設X,Y兩個事件：
P(X) P(X) 是 X X 的先驗機率。
P(Y|X) P(Y|X) 是已知 X X 發生後 Y Y 發生的條件機率，也稱之為 Y Y的後驗機率。
貝葉斯理論中，常用公式：
乘法公式： P(XYZ)=P(Z|XY)P(Y|X)P(X) P(XYZ)=P(Z|XY)P(Y|X)P(X)
全機率公式： P(X)=∑kP(X|Yi)P(Yi) P(X)=\sum_kP(X|Y_i)P(Y_i)
貝葉斯公式： P(Yi|X)=P(X|Yi)P(X) P(Y_i|X)=\frac{P(X|Y_i)}{P(X)} 2.樸素貝葉斯法的學習與分類

設輸入空間 X⊆Rn \mathcal{X}\subseteq R^n為 n n 維特徵向量的集合，輸出空間為分類標記集合 Y={c1,c2,…,ck} \mathcal{Y}=\{c_1,c_2,\ldots, c_k\}。 樸素貝葉斯分類器的輸入為特徵向量 x∈X x\in\mathcal{X},輸出為預測類標記 y∈