贝叶斯分类器.ppt
合集下载
朴素贝叶斯文本分类器PPT25页
55、 为 中 华 之 崛起而 读书。 ——周 恩来
谢谢！
51、 天 下 之 事 常成 于困约 ，而败 于奢靡 。——陆 游 52、 生 命 不 等 于是呼 吸，生 命是活 动。——卢 梭
53、 伟 大 的 事 业，需 要决心 ，能力 ，组 朽。——乔 特
朴素贝叶斯文本分类器
6、法律的基础有两个，而且只有两个……公平和实用。——伯克 7、有两种和平的暴力，那就是法律和礼节。——歌德
8、法律就是秩序，有好的法律才有好的秩序。——亚里士多德 9、上帝把法律和公平凑合在一起，可是人类却把它拆开。——查·科尔顿 10、一切法律都是无用的，因为好人用不着它们，而坏人又不会因为它们而变得规矩起来。——德谟耶克斯
谢谢！
51、 天 下 之 事 常成 于困约 ，而败 于奢靡 。——陆 游 52、 生 命 不 等 于是呼 吸，生 命是活 动。——卢 梭
53、 伟 大 的 事 业，需 要决心 ，能力 ，组 朽。——乔 特
朴素贝叶斯文本分类器
6、法律的基础有两个，而且只有两个……公平和实用。——伯克 7、有两种和平的暴力，那就是法律和礼节。——歌德
8、法律就是秩序，有好的法律才有好的秩序。——亚里士多德 9、上帝把法律和公平凑合在一起，可是人类却把它拆开。——查·科尔顿 10、一切法律都是无用的，因为好人用不着它们，而坏人又不会因为它们而变得规矩起来。——德谟耶克斯
基于贝叶斯决策理论的分类器(精选)PPT文档60页
45、法律的制定是为了保证每一个人 自由发 挥自己 的才能 ，而不 是为了 束缚他 的才能 。—— 罗伯斯 庇尔
谢谢
11、越是没有本领的就越加自命不凡。——邓拓 12、越是无能的人，越喜欢挑剔别人的错儿。——爱尔兰 13、知人者智，自知者明。胜人者有力，自胜者强。——老子 14、意志坚强的人能把世界放在手中像泥块一样任意揉捏。——歌德 15、最具挑战性的挑战莫过于（精选）
41、实际上，我们想要的不是针对犯 罪的法 律，而 是针对 疯狂的 法律。 ——马 克·吐温 42、法律的力量应当跟随着公民，就 像影子 跟随着 身体一 样。— —贝卡 利亚 43、法律和制度必须跟上人类思想进 步。— —杰弗 逊 44、人类受制于法律，法律受制于情 理。— —托·富 勒
谢谢
11、越是没有本领的就越加自命不凡。——邓拓 12、越是无能的人，越喜欢挑剔别人的错儿。——爱尔兰 13、知人者智，自知者明。胜人者有力，自胜者强。——老子 14、意志坚强的人能把世界放在手中像泥块一样任意揉捏。——歌德 15、最具挑战性的挑战莫过于（精选）
41、实际上，我们想要的不是针对犯 罪的法 律，而 是针对 疯狂的 法律。 ——马 克·吐温 42、法律的力量应当跟随着公民，就 像影子 跟随着 身体一 样。— —贝卡 利亚 43、法律和制度必须跟上人类思想进 步。— —杰弗 逊 44、人类受制于法律，法律受制于情 理。— —托·富 勒
贝叶斯分类器（3）朴素贝叶斯分类器
贝叶斯分类器（3）朴素贝叶斯分类器根据，我们对贝叶斯分类器所要解决的问题、问题的求解⽅法做了概述，将贝叶斯分类问题转化成了求解P(x|c)的问题，在上⼀篇中，我们分析了第⼀个求解⽅法：极⼤似然估计。
在本篇中，我们来介绍⼀个更加简单的P(x|c)求解⽅法，并在此基础上讲讲常⽤的⼀个贝叶斯分类器的实现：朴素贝叶斯分类器（Naive Bayes classifier）。
1 朴素贝叶斯分类原理1.1 分类问题回顾我们的⽬标是通过对样本的学习来得到⼀个分类器，以此来对未知数据进⾏分类，即求后验概率P(c|x)。
在中，我们描述了贝叶斯分类器是以⽣成式模型的思路来处理这个问题的，如下⾯的公式所⽰，贝叶斯分类器通过求得联合概率P(x,c)来计算P(c|x)，并将联合概率P(x,c)转化成了计算类先验概率P(c)、类条件概率P(x|c)、证据因⼦P(x)。
h∗(x)=\argmax c∈Y P(c|x)=\argmax c∈Y P(x,c)P(x)=\argmaxc∈YP(c)∗P(x|c)P(x)其中的难点是类条件概率P(x|c)的计算，因为样本x本⾝就是其所有属性的联合概率，各种属性随意组合，变幻莫测，要计算其中某⼀种组合出现的概率真的是太难了，⽽朴素贝叶斯的出现就是为了解决这个问题的。
要想计算联合概率P(a,b)，我们肯定是希望事件a与事件b是相互独⽴的，可以简单粗暴的P(a,b)=P(a)P(b)，多想对着流星许下⼼愿：让世界上复杂的联合概率都变成简单的连乘！1.2 朴素贝叶斯朴素贝叶斯实现了我们的梦想！朴素贝叶斯中的朴素就是对多属性的联合分布做了⼀个⼤胆的假设，即x的n个维度之间相互独⽴：P([x1,x2,...,x n]|c)=P(x1|c)P(x2|c)...P(x1|c)朴素贝叶斯通过这⼀假设⼤⼤简化了P(x|c)的计算，当然，使⽤这个假设是有代价的，⼀般情况下，⼤量样本的特征之间独⽴这个条件是弱成⽴的，毕竟哲学上说联系是普遍的，所以我们使⽤朴素贝叶斯会降低⼀些准确性；如果实际问题中的事件的各个属性⾮常不独⽴的话，甚⾄是⽆法使⽤朴素贝叶斯的。
贝叶斯分类器2
p(3 =0|y=1, 1 =1)=
2
6
p(1 =1|y=0)= =
1
3
p(2 =1|y=0, 1 =1)=
p(3 =0|y=0, 1 =1)=
2
3
1
3
1
2
1
2
3.半朴素贝叶斯分类器
3 2 1
p(y=1)=0.4* * * =0.067
p(y=0)=
4 3 3
1 1 1
0.6* * * =0.050
其中， 是第个属性可能的取值数，c, 是类别为c且在第个属性上取值
为 的样本集合，c,, 是类别为c且在第和第个属性上分别取值为 和j
的样本集合。
如上面例题中
3+1 4
= 1，1 = 1 =10+2=12=0.33
2+1 3
2 = 1 = 1，1 = 1 =3+2=5=0.6
若其父属性 已知，就可以估计概率值 ȁ, ，所以问题的关键就转化为
如何确定每个属性的父属性，不同的做法产生不同的独依赖分类器。
SPODE（Super-Parent ODE)
假设所有属性都依赖于同一个属性，称为“超父”，然后通过交叉
验证等模型选择方法来确定超父属性（分别假设每个属性都是超父时，
= ȁ, ȁ ȁ
ȁ =
条件独立 ൞ ȁ = ȁ, ,
ȁ = ȁ, , ,
为了分析有向图中变量间的条件独立性，可使用“有向分离”（D-separation)。
我们先把有向图转变为为一个无向图：
条件独立
随机变量a,b在给定c的条件下条件独立，如果满足：
P(a,b|c)=P(a|c)P(b|c),
2
6
p(1 =1|y=0)= =
1
3
p(2 =1|y=0, 1 =1)=
p(3 =0|y=0, 1 =1)=
2
3
1
3
1
2
1
2
3.半朴素贝叶斯分类器
3 2 1
p(y=1)=0.4* * * =0.067
p(y=0)=
4 3 3
1 1 1
0.6* * * =0.050
其中， 是第个属性可能的取值数，c, 是类别为c且在第个属性上取值
为 的样本集合，c,, 是类别为c且在第和第个属性上分别取值为 和j
的样本集合。
如上面例题中
3+1 4
= 1，1 = 1 =10+2=12=0.33
2+1 3
2 = 1 = 1，1 = 1 =3+2=5=0.6
若其父属性 已知，就可以估计概率值 ȁ, ，所以问题的关键就转化为
如何确定每个属性的父属性，不同的做法产生不同的独依赖分类器。
SPODE（Super-Parent ODE)
假设所有属性都依赖于同一个属性，称为“超父”，然后通过交叉
验证等模型选择方法来确定超父属性（分别假设每个属性都是超父时，
= ȁ, ȁ ȁ
ȁ =
条件独立 ൞ ȁ = ȁ, ,
ȁ = ȁ, , ,
为了分析有向图中变量间的条件独立性，可使用“有向分离”（D-separation)。
我们先把有向图转变为为一个无向图：
条件独立
随机变量a,b在给定c的条件下条件独立，如果满足：
P(a,b|c)=P(a|c)P(b|c),
十大经典算法朴素贝叶斯讲解PPT
在人工智能领域，贝叶斯方法是一种非常具有 代表性的不确定性知识表示和推理方法。
贝叶斯定理：
P(A)是A的先验概率或边缘概率。之所以称为“先验”是因为它不考 虑任何B方面的因素。 P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称 作A的后验概率。 P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称 作B的后验概率。 P(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）.
购买电脑实例：
购买电脑实例：
P(X | buys_computer = “no”) P(buys_computer = “no”) = 0.019×0.357 = 0.007
因此，对于样本X，朴素贝叶斯分类预测 buys_computer =”yes” 特别要注意的是：朴素贝叶斯的核心在于它假设向量 的所有分量之间是独立的。
扩展：
该算法就是将特征相关的属性分成一组，然后假设不 同组中的属性是相互独立的，同一组中的属性是相互 关联的。 （3）还有一种具有树结构的TAN（tree augmented naï ve Bayes）分类器，它放松了朴素贝叶斯中的独 立性假设条件，允许每个属性结点最多可以依赖一个 非类结点。TAN具有较好的综合性能。算是一种受限 制的贝叶斯网络算法。
Thank you!
贝叶斯算法处理流程：
第二阶段——分类器训练阶段： 主要工作是计算每个类别在训练样本中出现 频率以及每个特征属性划分对每个类别的条件 概率估计。输入是特征属性和训练样本，输出 是分类器。 第三阶段——应用阶段：
Hale Waihona Puke 这个阶段的任务是使用分类器对待分类项进行分类 ，其输入是分类器和待分类项，输出是待分类项与类 别的映射关系。
贝叶斯决策理论课件(PPT90页)
Some about Bayes(2)
一所学校里面有 60% 的男生，40% 的女生。男生总是穿长 裤，女生则一半穿长裤一半穿裙子。假设你走在校园中， 迎面走来一个穿长裤的学生（很不幸的是你高度近似，你 只看得见他（她）穿的是否长裤，而无法确定他（她）的 性别），你能够推断出他（她）是女生的概率是多大吗？
要决策分类的类别数是一定的
引言
在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围构 成了d维特征空间。
称向量 x x1, x2, , xd T x Rd 为d维特征向量。
假设要研究的分类问题有c个类别，类型空间表示
为：
1,2 , ,i ,c
P(B|LB)∝P(LB|B)P(B)∝0.75P(B) P(~B|LB)∝P(LB|~B)P(~B)∝0.25(1-P(B)) 而西安的出租车10辆中有9辆是绿色的，则给出了先验概率P(B)=0.1，于 是有 P(B|LB)∝0.75×0.1=0.075 P(~B|LB)∝0.25(1-P(B))=0.25×0.9=0.225 P(B|LB)=0.075/0.072+0.225=0.25 P(~B|LB)=0.225/0.072+0.225=0.75 因此肇事车辆为绿色。
Neyman-Pearson准则
问题：先验概率和损失未知
通常情况下，无法确定损失。 先验概率未知，是一个确定的值 某一种错误较另一种错误更为重要。
基本思想：
要求一类错误率控制在很小，在满足此条件的 前提下再使另一类错误率尽可能小。
用lagrange乘子法求条件极值
Neyman-Pearson准则
和绿色的区分的可靠度是75%； 假设随后你又了解到第3条信息：（3）西安的出租车10辆
模式识别 ：贝叶斯分类
2013-11-10 3
贝叶斯公式
• 贝叶斯公式提供了从先验概率P(h)、P(D)和 P(D|h)计算后验概率P(h|D)的方法
P ( D | h) P ( h ) P(h | D) P ( D)
• P(h|D)随着P(h)和P(D|h)的增长而增长，随 着P(D)的增长而减少，即如果D独立于h时 被观察到的可能性越大，那么D对h的支持 度就越小。
• 改进的方法当然就是最大限度地释放朴素贝叶 斯网络的属性条件独立假设。具体方法分三类： 1）选择属性子集，如SBC、WRAP和ENB等； 2）拓展朴素贝叶斯网络的结构，用有向边来 表达属性之间的依赖关系，如TAN、SP-TAN和 ODANB等； 3）利用局部学习的原理，在整个训练实例的 局部构建朴素贝叶斯网络分类器，如NBTree、 LWNB和SNNB等。
2013-11-10
11
NB图
2013-11-10
12
朴素贝叶斯网络分类的例子
• 已知PlayTennis数据库中的14个训练样例，则给新 实例<sunny, cool, high, strong>分类用公式：
vNB arg max P(v j ) P(ai | v j ) arg max P(v j ) P(sunny| v j ) P(cool | v j ) P(high| v j ) P(strong | v j )
• 为避免估计P(a1,...an|vj)遇到的困难，朴素贝叶斯 网络分类器引入了一个简单的假定：在给定目标 值时，属性值之间相互条件独立。这个假设被广 泛第称作属性条件独立假设。 • 所以有 P(a1 ,...,an | v j ) P(ai | v j ) 成立。
i
2013-11-10
贝叶斯公式
• 贝叶斯公式提供了从先验概率P(h)、P(D)和 P(D|h)计算后验概率P(h|D)的方法
P ( D | h) P ( h ) P(h | D) P ( D)
• P(h|D)随着P(h)和P(D|h)的增长而增长，随 着P(D)的增长而减少，即如果D独立于h时 被观察到的可能性越大，那么D对h的支持 度就越小。
• 改进的方法当然就是最大限度地释放朴素贝叶 斯网络的属性条件独立假设。具体方法分三类： 1）选择属性子集，如SBC、WRAP和ENB等； 2）拓展朴素贝叶斯网络的结构，用有向边来 表达属性之间的依赖关系，如TAN、SP-TAN和 ODANB等； 3）利用局部学习的原理，在整个训练实例的 局部构建朴素贝叶斯网络分类器，如NBTree、 LWNB和SNNB等。
2013-11-10
11
NB图
2013-11-10
12
朴素贝叶斯网络分类的例子
• 已知PlayTennis数据库中的14个训练样例，则给新 实例<sunny, cool, high, strong>分类用公式：
vNB arg max P(v j ) P(ai | v j ) arg max P(v j ) P(sunny| v j ) P(cool | v j ) P(high| v j ) P(strong | v j )
• 为避免估计P(a1,...an|vj)遇到的困难，朴素贝叶斯 网络分类器引入了一个简单的假定：在给定目标 值时，属性值之间相互条件独立。这个假设被广 泛第称作属性条件独立假设。 • 所以有 P(a1 ,...,an | v j ) P(ai | v j ) 成立。
i
2013-11-10