第二章 朴素贝叶斯算法

朴素贝叶斯
Naive Bayes
朴素贝叶斯
主要内容 贝叶斯简介 朴素贝叶斯分类 基本决策规则 基于最小错误率 基于最小风险 总结扩展（了解） 贝叶斯与分类的简单应用
Company Logo
贝叶斯简介
贝叶斯(Thomas Bayes,1701—1761)英国牧 师、业余数学家。在《论机会学说中一个问题的求 解》中给出了贝叶斯定理。 具有讽刺意味的是，当初贝叶斯发明概率统计理论 是为了证明上帝的存在，而至死这个愿望都没有实 现，不过感谢伟大的贝叶斯，因为他的无心插柳， 才有了今天的贝叶斯公式，并列于数据挖掘十大经 典算法： P B , A
Compan女生，女生 穿裤子的人数和穿裙子的人数相等，所有男生穿裤子，一个人 在远处看到了一个穿裤子的学生。这个学生是女生的概率是多 少? 使用贝叶斯定理，事件A是看到女生，事件B是看到一个穿 裤子的学生。我们所要计算的是P(A|B) P(A)是忽略其它因素，看到女生的概率，在这里是0.4 P(A')是忽略其它因素，看到不是女生(即看到男生)的概率， 在这里是0.6 P(B|A)是女生穿裤子的概率，在这里是0.5 P(B|A')是男生穿裤子的概率，在这里是1 P(B)是忽略其它因素，学生穿裤子的概率，P(B) = P(B|A)P(A) + P(B|A')P(A')，在这里是0.5×0.4 + 1×0.6 = 0.8 根据贝叶斯定理，我们计算出后验概率P(A|B): P(A|B)=P(B|A)*P(A)/P(B)=0.25
Company Logo
基于最小错误率的贝叶斯决策
朴素贝叶斯算法： 步骤： 计算连续变量的均值、标准差的极大似然估计
1 ( j) j ,c Nc xi uj , c uj , c Nc ， i 1 j 1,2,3,...,n; k 1,2,3,...,K
P B P APB | A P A | B P B
P A | B
它解决了两个事件条件概率的转换问题
Company Logo
贝叶斯简介
先验概率：由以往的数据分析得到的概率 后验概率：得到"结果"的信息后重新修正的概率
简单地说，贝叶斯定理是基于假设的先验概率、给 定假设下观察到不同数据的概率，提供了一种计算 后验概率的方法 在人工智能领域，贝叶斯方法是一种非常具有代表 性的不确定性知识表示和推理方法
ajl是第j个特征可能取第l个值 j 1,2,3,...,n; l 1,2,3,...,Sj; yi ck , k 1,2,3,...,K

输出：实例x的分类
Company Logo
基于最小错误率的贝叶斯决策
朴素贝叶斯算法： 步骤： 计算先验概率和离散变量条件概率
Company Logo
基于最小错误率的贝叶斯决策
x(j)表示样本的第j个特征，其 ( j ) xi 取值集合为{aj1,aj2,aj3,...,ajSj}, 极大似然估计进行参数估计： 先验概率的极大似然估计： 表示第i个样本的第j个特征的 取值；ajl是第j个特征的第l个 N 取值；I为指示函数 I yi ck
Company Logo
基于最小错误率的贝叶斯决策
计算先验概率和条件概率
4 5 PY 1 , PY 1 9 9 1 1 2 (1) (1) (1) PX 1 | Y 1 , PX 2 | Y 1 , P X 3 | Y 1 4 4 4 2 2 1 (1) (1) (1) X 1 | Y 1 , PX 2 | Y 1 , PX 3 | Y 1 5 5 5 1 2 1 ( 2) ( 2) ( 2) PX S | Y 1 , PX M | Y 1 , PX L | Y 1 4 4 4 2 2 1 ( 2) ( 2) ( 2) X S | Y 1 , PX M | Y 1 , PX L | Y 1 5 5 5
Company Logo
基于最小错误率的贝叶斯决策
简单的示例：由下表的训练数据学习得到一个朴素 贝叶斯分类器并确定x=（2，S）的类标记y，表中 X（1),X（2)为特征，取值集合分别为A1={1,2,3}， A2={S,M,L}，Y为类标记，Y∈C={1,-1}
1 X（1) X（2) Y 1 S -1 2 1 M -1 3 1 M 1 4 2 S 1 5 2 S -1 6 2 M -1 7 3 L -1 8 3 M 1 9 3 L 1
Company Logo
基于最小错误率的贝叶斯决策
对于所有的类别，我们发现分母都是相同的，所以 我们只需要考虑分子：
y arg maxP X x | Y ck PY ck
ck , ck У
先验概率通过领域专家知识得到，即通过经验数据 （训练数据得到） P Yc k ,k 1 ,2 ,3 ,..., K 条件概率：基于条件独立性假设
P X x | Y ck PX (1) x (1) ,..., X ( n ) x ( n ) | Y ck
n j 1
PX ( j ) x ( j ) | Y ck
Company Logo
基于最小错误率的贝叶斯决策
因此，基于最小错误率的朴素贝叶斯的公式可写为：
Company Logo
贝叶斯简介
贝叶斯定理 P(A)是A的先验概率或边沿概率，之所以 称为先验，是因为它不考虑任何B方面的 因素 P(A|B)是已知B发生后A的条件概率，也 由于得自B的取值而被称为A的后验概率 P(B|A)是已知A发生后B的条件概率，也 由于得自B的取值而被称为B的后验概率 P(B)是B的先验概率或边沿概率,之所以称 为先验，是因为它不考虑任何A方面的因 素
PY ck
Iy
i 1
N
i
ck , k 1,2,3,..., K
( j) I x i ajl, yi ck N i 1
N
P X ( j ) x ( j ) | Y ck
Iy
i 1
N
i
ck
j 1,2,3,.., n; l 1,2,3,...Sj; k 1,2,3,...,K
PY ck

i 1
N
, k 1,2,3,...,K
离散特征变量的条件概率的极大似然估计
P X ( j ) x ( j ) | Y ck
( j) I x i ajl, yi ck N i 1
Iy
i 1
N
i
ck
j 1,2,3,.., n; l 1,2,3,...Sj; k 1,2,3,..., K
n ( j) ( j) y arg maxPY ck PX x | Y ck ck , ck У j 1
因此，我们需要学习得到先验概率分布和条件概率 分布
PY ck , k 1,2,3,...,K
P X ( j ) x ( j ) | Y ck , j 1,2,3,...,n
y arg maxPY ck | X x
ck , ck У
Company Logo
基于最小错误率的贝叶斯决策
转化
y arg maxPY ck | X x
ck , ck У
根据贝叶斯公式
P (Y ck , X x ) P( X x) P X x | Y ck P Y ck P X x P X x | Y ck P Y ck k P X x | Y ck PY ck P Y ck | X x
Company Logo
基于最小错误率的贝叶斯决策
连续特征变量的条件概率的极大似然估计： 假设特征是连续、独立于其他特征，概率密度函 数符合正态分布：
P( X ( j ) x ( j ) | Y ck ) ~ N (u j , k , 2 j ,k ) j 1,2,3,...,n; k 1,2,3,...,K

则第k类样本在第j个特征上的方差和标准差的极 大似然估计为
j, c
u
Company Logo

x
i 1
Nc
( j) i


2 j ,c
Nc
1 ( j) xi uj , c Nc i 1
Nc
2
基于最小错误率的贝叶斯决策
连续特征变量的条件概率的极大似然估计： 则条件概率可写为：
Company Logo
基本决策规则
基于最小错误率的Bayes决策 基于最小风险的Bayes决策 Neyman-Pearson决策 最小最大决策 序贯分类方法
Company Logo
基本的决策规则
基于最小错误率的贝叶斯决策 已知条件 设输入空间X∈Rn为n维向量集合，输出空间为类 别标记集合У={c1，c2，...，ck}，输入为特征 向量x∈X，输出为类标记y∈У。训练数据集 T={(xi,yi),i=1,2,...,N}，样本表示： x=(x(1),x(2),...,x(n)) 求解计算
Company Logo
贝叶斯分类
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假 设的分类方法。结合样本输入输出的联合概率分布 和输出的概率分布，对于给定的输入x，利用贝叶 斯定理求解后验概率的过程。朴素贝叶斯简单，学 习与预测效率较高，比较常用。 其基本思想：对于给定的待分类项x，求解在此样 本出现的条件下各个类别出现的概率，计算出每一 个类别的P(yi|x),i=1,2,...,k，根据一定的决策 规则，决定此样本归属于哪个类别