贝叶斯分类器ppt课件
合集下载
贝叶斯分类器介绍课件
1
自然语言处理： 文本分类、情 感分析、机器
翻译等
2
计算机视觉： 图像分类、目 标检测、人脸
识别等
3
推荐系统：商 品推荐、电影 推荐、音乐推
荐等
4
金融风控：信 用评分、欺诈 检测、风险评
估等
5
医疗诊断：疾 病预测、药物 研发、基因数
据分析等
贝叶斯分类器的未来研究方向
深度学习与贝叶斯分类器的结合：利用深度学习技术提高贝叶斯分类器的性 能和泛化能力。
贝叶斯分类器与强化学习的结合：利用强化学习技术提高贝叶斯分类器的自 适应能力和在线学习能力。
贝叶斯分类器与迁移学习的结合：利用迁移学习技术提高贝叶斯分类器的跨 领域泛化能力。
贝叶斯分类器与数据挖掘技术的结合：利用数据挖掘技术提高贝叶斯分类器 的数据预处理能力和特征选择能力。
谢谢
贝叶斯分类器介绍课件
演讲人
目录
01. 贝叶斯分类器概述 02. 贝叶斯分类器的应用 03. 贝叶斯分类器的实现 04. 贝叶斯分类器的发展趋势
1
贝叶斯分类器概述
基本概念
01
贝叶斯分类器： 一种基于贝叶斯
定理的分类器
02
贝叶斯定理：一 种概率论中的基 本定理，用于计
算条件概率
03
特征向量：表示 样本特征的向量
技术挑战：口音、噪音、多语言等 复杂环境的处理
3
贝叶斯分类器的实现
训练数据准备
数据收集：从各 种来源收集与分 类任务相关的数
据
数据清洗：处理 缺失值、异常值、 重复值等，保证
数据质量
数据标注：对数 据进行标注，明 确每个样 验证集和测试集， 用于模型训练、 参数调整和性能
贝叶斯分类 ppt课件
P(w)的计算：
因为利用贝叶斯进行分类时，我们只要比较概率的大小即可， 而P(w)对于所有的类别都是一样的，因此无须计算
= 0.0298 P(阳性)= P(cancer 阳性) + P(无cancer阳性) = 0.0078 + 0.0298
P(cancer| 阳 性 )= P(cancer 阳 性 ) / P( 阳 性 )= 0.0078/(0.0078 + 0.0298 )=0.207
P（无cancer |阳性）=1-P(癌症|阳性)= 1- 0.207 = 0.793
贝叶斯所采用的许多术语被沿用至今。贝叶斯思想 和方法对概率统计的发展产生了深远的影响。今天， 贝叶斯思想和方法在许多领域都获得了广泛的应用。
条件概率
在实际问题中，往往会遇到求在事件B已经发生的条件下， 事件A的概率
这时由于附加了条件，它与事件A的概率P(A)的意义是不 同的
我们把这种概率记为P(A|B)
如何计算P(Ci|X)?
贝叶斯分类基Βιβλιοθήκη 思路：假设有两种类别C1和C2，给定实例X，要求得到X所属的类别是C1还是C2。 计算 P(C1|X) 和 P(C2|X)，如果 P(C1|X) > P(C2|X)，则实例X属于C1，否 则属于C2。 简单的说，就是去计算在X出现的情况下，X属于哪种类别的概率更高。
朴素贝叶斯分类(Naive Bayes)
假设有n个类别C1,，给定一个实例的特征向量w， 则此实例属于类Ci的概率为
P(Ci |w)P(w|P C (iw )P )(Ci)
P(Ci)的计算：
将训练样本中属于类Ci的实例数量除以训练样本数量即P(Ci)， 例如动物图片识别中，假设有100个训练实例，其中有15张为猫，则 P(猫) = 15 / 100 = 0.15
因为利用贝叶斯进行分类时，我们只要比较概率的大小即可， 而P(w)对于所有的类别都是一样的，因此无须计算
= 0.0298 P(阳性)= P(cancer 阳性) + P(无cancer阳性) = 0.0078 + 0.0298
P(cancer| 阳 性 )= P(cancer 阳 性 ) / P( 阳 性 )= 0.0078/(0.0078 + 0.0298 )=0.207
P（无cancer |阳性）=1-P(癌症|阳性)= 1- 0.207 = 0.793
贝叶斯所采用的许多术语被沿用至今。贝叶斯思想 和方法对概率统计的发展产生了深远的影响。今天， 贝叶斯思想和方法在许多领域都获得了广泛的应用。
条件概率
在实际问题中，往往会遇到求在事件B已经发生的条件下， 事件A的概率
这时由于附加了条件，它与事件A的概率P(A)的意义是不 同的
我们把这种概率记为P(A|B)
如何计算P(Ci|X)?
贝叶斯分类基Βιβλιοθήκη 思路：假设有两种类别C1和C2，给定实例X，要求得到X所属的类别是C1还是C2。 计算 P(C1|X) 和 P(C2|X)，如果 P(C1|X) > P(C2|X)，则实例X属于C1，否 则属于C2。 简单的说，就是去计算在X出现的情况下，X属于哪种类别的概率更高。
朴素贝叶斯分类(Naive Bayes)
假设有n个类别C1,，给定一个实例的特征向量w， 则此实例属于类Ci的概率为
P(Ci |w)P(w|P C (iw )P )(Ci)
P(Ci)的计算：
将训练样本中属于类Ci的实例数量除以训练样本数量即P(Ci)， 例如动物图片识别中，假设有100个训练实例，其中有15张为猫，则 P(猫) = 15 / 100 = 0.15
贝叶斯分类器ppt课件
对不相关属性的鲁棒性
各类在不相关属性上具有类似分布
类条件独立假设可能不成立
使用其他技术，如贝叶斯信念网络（ Bayesian Belief Networks，BBN）
贝叶斯误差率
13
贝叶斯分类器最小化分类误差的概率 贝叶斯分类使决策边界总是位于高斯分布下两类
1和2的交叉点上
类C2 类C1
计算P(X| No)P(No)和P(X| Yes)P(Yes)
P(X| No)P(No)=0.0024 0.7=0.00168 P(X| Yes)P(Yes)=0 0.3=0
因为P(X| No)P(No)>P(X| Yes)P(Yes), 所以X分类为No
贝叶斯分类器
10
问题
如果诸条件概率P(Xi=xi |Y=yj) 中的一个为0，则它 们的乘积（计算P(X |Y=yj)的表达式）为0
设C=0表示真实账号，C=1表示不真实账号。
15
1、确定特征属性及划分
区分真实账号与不真实账号的特征属性， 在实际应用中，特征属性的数量是很多的，划分也会比
较细致 为了简单起见，用少量的特征属性以及较粗的划分，并
对数据做了修改。
16
选择三个特征属性：
a1：日志数量/注册天数 a2：好友数量/注册天数 a3：是否使用真实头像。
P( y j | X) P( yi | X), 1 i k, i j
根据贝叶斯定理, 我们有
P(y j
|
X)
P(X
| y j )P( y j ) P(X)
由于P(X) 对于所有类为常数, 只需要最大化P(X|yj)P(yj)即可.
朴素贝叶斯分类(续)
4
估计P(yj) 类yj的先验概率可以用 P (yj)=nj/n 估计
各类在不相关属性上具有类似分布
类条件独立假设可能不成立
使用其他技术，如贝叶斯信念网络（ Bayesian Belief Networks，BBN）
贝叶斯误差率
13
贝叶斯分类器最小化分类误差的概率 贝叶斯分类使决策边界总是位于高斯分布下两类
1和2的交叉点上
类C2 类C1
计算P(X| No)P(No)和P(X| Yes)P(Yes)
P(X| No)P(No)=0.0024 0.7=0.00168 P(X| Yes)P(Yes)=0 0.3=0
因为P(X| No)P(No)>P(X| Yes)P(Yes), 所以X分类为No
贝叶斯分类器
10
问题
如果诸条件概率P(Xi=xi |Y=yj) 中的一个为0，则它 们的乘积（计算P(X |Y=yj)的表达式）为0
设C=0表示真实账号，C=1表示不真实账号。
15
1、确定特征属性及划分
区分真实账号与不真实账号的特征属性， 在实际应用中，特征属性的数量是很多的，划分也会比
较细致 为了简单起见，用少量的特征属性以及较粗的划分，并
对数据做了修改。
16
选择三个特征属性：
a1：日志数量/注册天数 a2：好友数量/注册天数 a3：是否使用真实头像。
P( y j | X) P( yi | X), 1 i k, i j
根据贝叶斯定理, 我们有
P(y j
|
X)
P(X
| y j )P( y j ) P(X)
由于P(X) 对于所有类为常数, 只需要最大化P(X|yj)P(yj)即可.
朴素贝叶斯分类(续)
4
估计P(yj) 类yj的先验概率可以用 P (yj)=nj/n 估计
贝叶斯分类器讲义 PPT
特征选择
特征选择可以看作是一个（从最差的开始）不断删去无 用特征并组合有关联特征的过程，直至特征的数目减少至易 于驾驭的程度，同时分类器的性能仍然满足要求为止。例如， 从一个具有M个特征的特征集中挑选出较少的N个特征时， 要使采用这N个特征的分类器的性能最好。
特征方差 类间距离 降维
二、概率论基本知识
样本空间的划分 定义 设 为试验E的样本空间, B1, B2 ,L , Bn 为 E 的一组事件,若
1 0 Bi Bj , i, j 1, 2,L , n;
20 B1 U B2 UL U Bn , 则称 B1, B2 ,L , Bn 为样本空间 的一个划分.
全概率公式
定义 设为试验E的样本空间, A为E的事件, B1, B2 ,L , Bn为的一个划分,且P(Bi ) 0 (i 1, 2,L , n),则
基本方法：用一组已知的对象来训练分类器 目的的区分：1. 分类错误的总量最少
2. 对不同的错误分类采用适当的加权 使分类器的整个“风险”达到最低 偏差：分类错误
分类器的性能测试
已知类别的测试集；已知对象特征PDF的测试集 PDF的获取：画出参数的直方图，并计算均值和方差，
再规划到算法面积，需要的话再做一次平滑，就可将 这个直方图作为相应的PDF设计 独立每一类的测试集 使用循环的方法
概率论基本知识
确定事件：概念是确定的，发生也是确定的； 随机事件：概念是确定的，发生是不确定的； 模糊事件：概念本身就不确定。
联合概率和条件概率
联合概率：设A，B是两个随机事件，A和B同时发生 的概率称为联合概率，记为：P(AB)；
条件概率：在B事件发生的条件下，A事件发生的概率 称为条件概率，记为：P(A|B), P(A|B) = P(AB) / P(B) ；
贝叶斯算法ppt课件
f ( x i 1 , x i 2 , x i 3 ,......, x in ) y i
Q3 分类的方法
对数据挖掘中心的可信技术分类算法的内 容及其研究现状进行综述。认为分类算法大体 可以分为传统分类算法和基于软件计算的分类 法两类，主要包括相似函数，关联规则分类算 法，K近邻分类算法，决策树分类算法，贝叶斯 分类算法和基于模糊逻辑，遗传算法，粗糙集 和神经网络的分类算法。 分类的算法有很多种，他们都有各自的优缺 点和应用范围，本次我就贝叶斯分类算法展开 我的演讲。
有腿
否
类别 哺乳动物 非哺乳动物 非哺乳动物 哺乳动物 非哺乳动物 非哺乳动物 哺乳动物 非哺乳动物 哺乳动物 非哺乳动物 非哺乳动物 非哺乳动物 哺乳动物 非哺乳动物 非哺乳动物 非哺乳动物 哺乳动物 非哺乳动物 哺乳动物 非哺乳动物
类别
？
Q2 分类问题
税号 1 2 3 4 5 6 7 8 9 10 去年退税 是 否 否 是 否 否 是 否 否 否 婚姻状况 单身 婚姻中 单身 婚姻中 离婚 婚姻中 离婚 单身 婚姻中 单身 可征税收入 125k 100k 70k 120k 95k 60k 220k 85k 75k 90k 逃税 否 否 否 否 是 否 否 是 否 是
动物A
动物B
大
中
0
2
2
2
是
否
无
是
？
？
• 根据现有的知识，我们得到了一些关于爬行动物和鸟类的信息， 我们能否对新发现的物种，比如动物A，动物B进行分类？
Q2 分类的流程
• 步骤一：将样本转化为等维的数据特征（特征提取）。
– 所有样本必须具有相同数量的特征 – 兼顾特征的全面性和独立性
动物种类 体型 翅膀数量 脚的只数 是否产蛋 是否有毛 类别
西瓜书PPT 07贝叶斯分类器
半朴素贝叶斯分类器
为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用
的属性条件独立性假设；对属性条件独立假设记性一定程度的放松， 由此产生了一类称为“半朴素贝叶斯分类器” (semi-naïve Bayes classifiers)
半朴素贝叶斯分类器
为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用
对离散属性而言，令
表示 中在第 个属性上取值为 的样
本组成的集合，则条件概率
可估计为
对连续属性而言可考虑概率密度函数，假定
，其
中 和 分别是第 类样本在第 个属性上取值的均值和方差，
则有
朴素贝叶斯分类器
例子：用西瓜数据集3.0训练一个朴素贝叶斯分类器，对测试例
“测1”进行分类 (p151, 西瓜数据集 p84 表4.3)
贝叶斯网
贝叶斯网 (Bayesian network)亦称“信念网”(brief network)，
它借助有向无环图 (Directed Acyclic Graph, DAG)来刻画属性 间的依赖关系，并使用条件概率表 (Conditional Probability Table, CPT)来表述属性的联合概率分布。
此时条件风险
于是，最小化分类错误率的贝叶斯最有分类器为
即对每个样本 ，选择能使后验概率
最大的类别标记。
贝叶斯决策论
不难看出，使用贝叶斯判定准则来最小化决策风险，首先要获得后验
概率
。
然而，在现实中通常难以直接获得。机器学习所要实现的是基于有限
的训练样本尽可能准确地估计出后验概率
。
主要有两种策略：
计算任意两个属性之间的条件互信息 (conditional mutual information)
贝叶斯决策理论课件(PPT90页)
Some about Bayes(2)
一所学校里面有 60% 的男生，40% 的女生。男生总是穿长 裤，女生则一半穿长裤一半穿裙子。假设你走在校园中， 迎面走来一个穿长裤的学生（很不幸的是你高度近似，你 只看得见他（她）穿的是否长裤，而无法确定他（她）的 性别），你能够推断出他（她）是女生的概率是多大吗？
要决策分类的类别数是一定的
引言
在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围构 成了d维特征空间。
称向量 x x1, x2, , xd T x Rd 为d维特征向量。
假设要研究的分类问题有c个类别，类型空间表示
为：
1,2 , ,i ,c
P(B|LB)∝P(LB|B)P(B)∝0.75P(B) P(~B|LB)∝P(LB|~B)P(~B)∝0.25(1-P(B)) 而西安的出租车10辆中有9辆是绿色的，则给出了先验概率P(B)=0.1，于 是有 P(B|LB)∝0.75×0.1=0.075 P(~B|LB)∝0.25(1-P(B))=0.25×0.9=0.225 P(B|LB)=0.075/0.072+0.225=0.25 P(~B|LB)=0.225/0.072+0.225=0.75 因此肇事车辆为绿色。
Neyman-Pearson准则
问题：先验概率和损失未知
通常情况下，无法确定损失。 先验概率未知，是一个确定的值 某一种错误较另一种错误更为重要。
基本思想：
要求一类错误率控制在很小，在满足此条件的 前提下再使另一类错误率尽可能小。
用lagrange乘子法求条件极值
Neyman-Pearson准则
和绿色的区分的可靠度是75%； 假设随后你又了解到第3条信息：（3）西安的出租车10辆
模式识别贝叶斯分类器多功能应用领域演示报告PPT
对于上面的两个概率，我们通过肉眼也基本可以判定，P(垃圾|邮件内容) > P(正常|邮件内容) ，所以可以判 定邮件 Q 是垃圾邮件。
第8页
什么是先验概率？什么是后验概率？
先验概率：基于已有知识对随机事件进行概率预估，但不考虑任何相关因素(P(c))。 后验概率：基于已有知识对随机事件进行概率预估，并考虑相关因素(P(c|x))。
被胖揍一顿：70% 被简单地数落一下：20% 被温情的鼓励：10%
被胖揍一顿：0% 被简单地数落一下：0% 被温情的鼓励：100%
第2页
简介 医疗中应用 AI中应用 科学研究中应用 自然语言处理
应用于：肝脏疾病的诊断，还被应用到包含癌症等疾病诊断中。
贝叶斯能起到帮助医生诊断的作用。医生会把患者的病历、饮酒历史、各种检查的数值、症状等输入
到贝叶斯网络里去查询，这样原本不明的肝脏疾病的先验概率就会被更新成可信度更高的后验概率。
随之会给出精度很高的诊断结果，判断出是肝脏疾病还是其他疾病，也可以帮助医生更加容易地选择
第8页
简介 医疗中应用 AI中应用 科学研究中应用 自然语言处理
2.计算各词语在不同类别的概率 首先计算“购买”单词在正常和垃圾邮件中出现的概率 P(购买|正常) = 1/(20*10) = 1/100 P(购买|垃圾) = 10/(8*10) = 1/8 再计算“通知”单词分别出现的概率 P(通知|正常) = 4/(20*10) = 1/50 P(通知|垃圾) = 4/(20*10) = 1/50 最后计算“物品”单词分别出现的概率 P(物品|正常) = 1/(20*10) = 1/200 P(物品|垃圾) = 20/(20*10) = 1/10
2.P(感冒|打喷嚏x建筑工人)= P(打喷嚏|感冒) x P(建筑工人|感冒) x P(感冒)/ P(打喷嚏) x P(建筑工人)
第8页
什么是先验概率？什么是后验概率？
先验概率：基于已有知识对随机事件进行概率预估，但不考虑任何相关因素(P(c))。 后验概率：基于已有知识对随机事件进行概率预估，并考虑相关因素(P(c|x))。
被胖揍一顿：70% 被简单地数落一下：20% 被温情的鼓励：10%
被胖揍一顿：0% 被简单地数落一下：0% 被温情的鼓励：100%
第2页
简介 医疗中应用 AI中应用 科学研究中应用 自然语言处理
应用于：肝脏疾病的诊断，还被应用到包含癌症等疾病诊断中。
贝叶斯能起到帮助医生诊断的作用。医生会把患者的病历、饮酒历史、各种检查的数值、症状等输入
到贝叶斯网络里去查询，这样原本不明的肝脏疾病的先验概率就会被更新成可信度更高的后验概率。
随之会给出精度很高的诊断结果，判断出是肝脏疾病还是其他疾病，也可以帮助医生更加容易地选择
第8页
简介 医疗中应用 AI中应用 科学研究中应用 自然语言处理
2.计算各词语在不同类别的概率 首先计算“购买”单词在正常和垃圾邮件中出现的概率 P(购买|正常) = 1/(20*10) = 1/100 P(购买|垃圾) = 10/(8*10) = 1/8 再计算“通知”单词分别出现的概率 P(通知|正常) = 4/(20*10) = 1/50 P(通知|垃圾) = 4/(20*10) = 1/50 最后计算“物品”单词分别出现的概率 P(物品|正常) = 1/(20*10) = 1/200 P(物品|垃圾) = 20/(20*10) = 1/10
2.P(感冒|打喷嚏x建筑工人)= P(打喷嚏|感冒) x P(建筑工人|感冒) x P(感冒)/ P(打喷嚏) x P(建筑工人)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(
xi ij
2
2 ij
)
2
2 ij
其中, ij,ij分别为给定yj类的训练样本在属性Ai上的均值和标准差
朴素贝叶斯分类
6
朴素贝叶斯分类器所需要的信息
计算每个类的先验概率P(yj) : P(yj)=nj/n 其中, nj是yi类的训练样本数,而n是训练样本总数
对于离散属性Ai，设的不同值为ai1, ai2, …,ail ，
年收入： 类=No：样本均值=110
样本方差=2975 类=Yes：样本均值=90
样本方差=25
7
How to Estimate Probabilities from Data?
Tid 有 房
1是 2否 3否 4是 5否 6否 7是 8否 9否 10 否
婚姻 状况
单身 已婚 单身 已婚 离婚 已婚 离婚 单身 已婚 单身
贝叶斯分类器
贝叶斯定理
每个记录用一个d 维特征向量X = (x1, x2, …, xd)表示 假定有k 个类 y1, y2, …, yk.
给定X, X属于yj 类的后验概率P(yj|X) 满足贝叶斯
( Bayes)定理
P(
y
j
|
X
)
P(
X
| y j)P( P(X )
y
j)
MAP (maximum posteriori hypothesis, 最大后验假设)
其中, nj是类yj中的训练样本数,而n是训练样本总数
估计P(X|yj)
为便于估计P(X|yj), 假定类条件独立----给定样本的类 标号, 假定属性值条件地相互独立.
于是, P(X|Y=yj)可以用下式估计
d
P(X | y j ) P(xi | y j ) i 1
其中, P(x |yj)可以由训练样本估值
P128数据
Name
For (年收入, Class=No):
If Class=No
样本均值= 110 样本方差= 2975
P(年收入 120 | No)
1
(120110)2
e 2(2975) 0.0072
2 (54.54)
贝叶斯分类器: 例(续)
9
X=（有房=否，婚姻状况=已婚，年收入=$120K）
朴素贝叶斯分类(续)
5
估计P(xi |yj)
设第i个属性Ai是分类属性, 则 P(xi|yj) = nij/nj
其中nij是在属性Ai上具有值xi的yj类的训练样本数, 而nj是yj类 的训练样本数
设第i个属性Ai是连续值属性
把Ai离散化
假定Ai服从高斯分布
P(xi | y j )
1
e
P( y j | X) P( yi | X), 1 i k, i j
根据贝叶斯定理, 我们有
P(y j
|
X)
P(X
| y j )P( y j ) P(X)
由于P(X) 对于所有类为常数, 只需要最大化P(X|yj)P(yj)即可.
朴素贝叶斯分类(续)
4
估计P(yj) 类yj的先验概率可以用 P (yj)=nj/n 估计
计算P(X| No)P(No)和P(X| Yes)P(Yes)
P(X| No)P(No)=0.0024 0.7=0.00168 P(X| Yes)P(Yes)=0 0.3=0
因为P(X| No)P(No)>P(X| Yes)P(Yes), 所以X分类为No
贝叶斯分类器
10
问题
如果诸条件概率P(Xi=xi |Y=yj) 中的一个为0，则它 们的乘积（计算P(X |Y=yj)的表达式）为0
1是 2否 3否 4是 5否 6否 7是 8否 9否 10 否
单身 已婚 单身 已婚 离婚 已婚 离婚 单身 已婚 单身
125K 100K 70K 120K 95K 60K 220K 85K 75K 90K
拖欠贷款
No No No No Yes No No Yes No Yes
P(Yes)=3/10 P(No)=7/10 P(有房=是|No) =3/7 P(有房=否|No) =4/7 P(有房=是|Yes) =0 P(有房=否|Yes) =1 P(婚姻状况=单身|No) =2/7 P(婚姻状况=离婚|No) =1/7 P(婚姻状况=已婚|No) =4/7 P(婚姻状况=单身|Yes) =2/3 P(婚姻状况=离婚|Yes) =1/3 P(婚姻状况=已婚|Yes) =0
将X指派到具有最大后验概率P(yj|X)的类yj，即
将X指派到P(X|yj)P(yj) 最大的类yj
朴素贝叶斯分类
3
朴素贝叶斯分类 (Naïve Bayes Classifier)工作原理
给定一个未知的数据样本X, 分类法将预测X属于具有最高后验 概率的类. 即, 未知的样本分配给类yj, 当且仅当
年收 入
125K 100K 70K 120K 95K 60K 220K 85K 75K 90K
拖欠 贷款
No No No No Yes No No Yes No Yes
Normal distribution:
P(A | c )
i
j
1
e(
Ai ij
2
2 ij
)2
2 2
ij
One for each (Ai,ci) pair
计算P(X| No)和P(X| Yes)
P(X| No) = P(有房=否|No) P(婚姻状况=已婚|No) P(年收入= $120K|No) = 4/74/70.0072=0.0024
P(X|Yes) = P(有房=否|Yes) P(婚姻状况=已婚|Yes) P(年收入=$120K|Yes) =101.2109 = 0
对于每个类yj，计算后验概率P(aik|yj), 1 k l P(aik|yj)= nikj/nj
其中nikj 是在属性Ai上具有值aik 的yj类的训练样本数, 而nj是yj类 的训练样本数
对于连续属性Ai 和每个类yj，计算yj类样本的均值ij,标 准差ij
贝叶斯分类器: 例
例:
Tid 有房 婚姻状况 年收入
很可能每个P(X |Y=yj)都为0
解决方法
使用m估计、Laplace 估计:
原估计: P(Xi=xi |Y=yj) = nij/nj
m-estimate:P( xi
|
yj)
nc mp nm
Laplac e :
P( X i
xi
|Y
Байду номын сангаас
yi )
nij nj
1 k
Example of Naïve Bayes Classifier