第三讲 贝叶斯分类器
医学中的贝叶斯
• 朴素贝叶斯分类器则是更进一步，假设所有特征都彼此独立，因此： P(F1F2...Fn|C)P(C) = P(F1|C)P(F2|C) ... P(Fn|C)P(C)
P(感冒|打喷嚏x建筑工人) = 0.66 x 0.33 x 0.5 / 0.5 x 0.33 = 0.66
朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基 础，以 及稳定的分类效率。同时，NBC模型所需估计的参数很 少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模 型与其他分类方法相比具有最小的误差率。但是朴素贝叶斯分 类有一个限制条件，就是特征属性必须有条件独立或基本独立 （实际上在现实应用中几乎不可能做到完全独立）。
贝叶斯算法
1.2 贝叶斯分类概述
贝叶斯分类基于贝叶斯定理，贝叶斯定理 是由18世纪概率论和决策论的早起研究者 Thomas Bayes发明的，故用其名字命名为贝叶 斯定理。
分类算法的比较研究发现，一种称为朴素
贝叶斯分类法的简单贝叶斯分类法可以与决策 树和经过挑选的神经网络分类器相媲美。用于 大型数据库，贝叶斯分类法也已表现出高准确 率和高速度。
两者是有确定的关系，贝叶斯定理就是这种关系的 陈述。
贝叶斯公式
贝叶斯公式提供了从先验概率P(A)、P(B) 和P(B|A)计算后验概率P(A|B)的方法：
P(A|B)=P(B|A)*P(A)/P(B) ，P(A|B)随着P(A) 和P(B|A)的增长而增长，随着P(B)的增长而 减少，即如果B独立于A时被观察到的可能性 越大，那么B对A的支持度越小。
P(X )
P(X )
贝叶斯分类
详解贝叶斯分类器1.贝叶斯决策论贝叶斯分类器是一类分类算法的总称，贝叶斯定理是这类算法的核心，因此统称为贝叶斯分类。
贝叶斯决策论通过相关概率已知的情况下利用误判损失来选择最优的类别分类。
“风险”(误判损失)= 原本为cj的样本误分类成ci产生的期望损失，期望损失可通过下式计算：为了最小化总体风险，只需在每个样本上选择能够使条件风险R(c|x)最小的类别标记。
最小化分类错误率的贝叶斯最优分类器为：即对每个样本x，选择能使后验概率P(c|x)最大的类别标记。
利用贝叶斯判定准则来最小化决策风险，首先要获得后验概率P(c|x)，机器学习要实现的是基于有限的训练样本集尽可能准确的估计出后验概率P(c|x)。
主要有两种模型：一是“判别式模型”：通过直接建模P(c|x)来预测，其中决策树，BP神经网络，支持向量机都属于判别式模型。
另外一种是“生成式模型”：通过对联合概率模型P(x，c)进行建模，然后再获得P(c|x)。
对于生成模型来说：基于贝叶斯定理，可写为下式（1）通俗的理解：P(c)是类“先验”概率，P(x|c)是样本x相对于类标记c的类条件概率，或称似然。
p(x)是用于归一化的“证据”因子，对于给定样本x，证据因子p(x)与类标记无关。
于是，估计p(c|x)的问题变为基于训练数据来估计p(c)和p(x|c)，对于条件概率p(x|c)来说，它涉及x所有属性的联合概率。
2.极大似然估计假设p(x|c)）具有确定的形式并且被参数向量唯一确定，则我们的任务是利用训练集估计参数θc，将P（x|c）记为P（x|θc）。
令Dc表示训练集D第c类样本的集合，假设样本独立同分布，则参数θc对于数据集Dc的似然是对进行极大似然估计，就是去寻找能最大化P（Dc|θc）的参数值。
直观上看，极大似然估计是试图在θc所有可能的取值中，找到一个能使数据出现的“可能性”最大的值。
上式的连乘操作易造成下溢，通常使用对数似然：此时参数θc的极大似然估计为在连续属性情形下，假设概率密度函数，则参数和的极大似然估计为：也就是说，通过极大似然法得到的正态分布均值就是样本均值，方差就是的均值，在离散情况下，也可通过类似的方式估计类条件概率。
贝叶斯的原理和应用
贝叶斯的原理和应用1. 贝叶斯原理介绍贝叶斯原理是基于概率论的一种推理方法，它被广泛地应用于统计学、人工智能和机器学习等领域。
其核心思想是通过已有的先验知识和新的观察数据来更新我们对于某个事件的信念。
2. 贝叶斯公式贝叶斯公式是贝叶斯原理的数学表达方式，它可以用来计算在观察到一些新的证据后，更新对于某个事件的概率。
贝叶斯公式的表达如下：P(A|B) = (P(B|A) * P(A)) / P(B)其中，P(A|B)表示在观察到事件B之后，事件A发生的概率；P(B|A)表示在事件A发生的前提下，事件B发生的概率；P(A)和P(B)分别是事件A和事件B的先验概率。
3. 贝叶斯分类器贝叶斯分类器是基于贝叶斯原理的一种分类算法。
它利用已有的训练数据来估计不同特征值条件下的类别概率，然后根据贝叶斯公式计算得到新样本属于不同类别的概率，从而进行分类。
贝叶斯分类器的主要步骤包括：•学习阶段：通过已有的训练数据计算得到类别的先验概率和特征条件概率。
•预测阶段：对于给定的新样本，计算得到其属于不同类别的概率，并选择概率最大的类别作为分类结果。
贝叶斯分类器的优点在于对于数据集的要求较低，并且能够处理高维特征数据。
但是，贝叶斯分类器的缺点是假设特征之间相互独立，这在实际应用中可能不符合实际情况。
4. 贝叶斯网络贝叶斯网络是一种用有向无环图来表示变量之间条件依赖关系的概率图模型。
它可以用来描述变量之间的因果关系，并通过贝叶斯推理来进行推断。
贝叶斯网络的节点表示随机变量，边表示变量之间的条件概率关系。
通过学习已有的数据，可以构建贝叶斯网络模型，然后利用贝叶斯推理来计算给定一些观察值的情况下，其他变量的概率分布。
贝叶斯网络在人工智能、决策分析和医学诊断等领域有广泛的应用。
它可以通过概率推断来进行决策支持，帮助人们进行风险评估和决策分析。
5. 贝叶斯优化贝叶斯优化是一种用来进行参数优化的方法。
在参数优化问题中，我们需要找到使得某个性能指标最好的参数组合。
周志华 机器学习 西瓜书 全书16章 ppt Chap07贝叶斯分类器
P X x1, x2, , xm | Y=ci P X1 x1 | Y=ci P X2 x2 | Y=ci PX3 x3 | Y=ci P Xm xm | Y=ci
朴素贝叶斯分类器
估计后验概率
主要困难：类条件概率
上的联合概率难以从有限的训练样本估计获得。
假设有 种可能的类别标记，即
， 是将
一个真实标记为 的样本误分类为 所产生的损失。基于后验概
率
可获得将样本 分类为 所产生的期望损失
（expected loss）或者称条件风险（conditional risk）
N
R Y ci | X x1, x2, , xm ij P Y c j | X x1, x2, , xm j 1
施决策的基本方法。
在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记。
贝叶斯决策论
贝叶斯决策论（Bayesian decision theory）是在概率框架下实
施决策的基本方法。
在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记。
计算任意两个属性之间的条件互信息 (CMI：conditional mutual information)
以属性为结点构建完全图，任意两个结点之间边的权重设为 构建此完全图的最大带权生成树
朴素贝叶斯分类器
朴素贝叶斯分类器
由于对所有类别来说 定准则有
相同，因此基于式 (7.6)的贝叶斯判
这就是朴素贝叶斯分类器的表达式
朴素贝叶斯分类器
朴素贝叶斯分类器的训练器的训练过程就是基于训练集 估计类
朴素贝叶斯分类器及其改进算法研究
朴素贝叶斯分类器及其改进算法研究朴素贝叶斯分类器是一种基于贝叶斯定理和特征条件独立假设的概率分类器。
它通过计算给定特征条件下类别的后验概率来进行分类。
朴素贝叶斯分类器假设特征之间相互独立，从而简化了分类器的计算和模型的构建过程。
朴素贝叶斯分类器的主要步骤包括：1. 计算每个类别的先验概率：- 先验概率表示在没有任何特征信息的情况下，每个类别发生的概率。
2. 计算每个特征在每个类别下的条件概率：- 条件概率表示在给定特征条件下，某个类别发生的概率。
3. 根据贝叶斯定理计算后验概率：- 后验概率表示在给定特征条件下，某个类别发生的概率。
4. 根据后验概率进行分类：- 选择具有最大后验概率的类别作为分类结果。
朴素贝叶斯分类器的改进算法主要集中在几个方面：1. 多项式朴素贝叶斯分类器：- 多项式朴素贝叶斯分类器适用于特征是离散计数值的情况，它通过计算每个特征的条件概率来进行分类。
2. 高斯朴素贝叶斯分类器：- 高斯朴素贝叶斯分类器适用于特征是连续值的情况，它假设特征的概率分布服从高斯分布，通过计算每个特征的均值和方差来进行分类。
3. 多变量朴素贝叶斯分类器：- 多变量朴素贝叶斯分类器考虑特征之间的相关性，不再假设特征之间相互独立，通过计算特征之间的协方差矩阵来进行分类。
4. 半朴素贝叶斯分类器：- 半朴素贝叶斯分类器是对朴素贝叶斯分类器的改进，它通过考虑特征之间的依赖关系来提高分类器的性能。
5. 基于特征选择的朴素贝叶斯分类器：- 基于特征选择的朴素贝叶斯分类器通过选择最相关的特征来构建分类器，从而降低了特征维度和计算复杂度。
这些改进算法在实际应用中根据不同的数据特点和分类任务选择使用，可以提高朴素贝叶斯分类器的性能和准确率。
机器学习课件 三,贝叶斯学习
贝叶斯理论例
• 后验概率：
P(cancer / ) 0.0078 0.21 0.0078 0.0298
P(cancer / ) 0.0298 0.79 0.0078 0.0298
P（+ ） Cancer
非Cancer
Brute-Force MAP学习器
蛮力
• 对H中每个h，计算：
学习任务的先验 知识，任意概率
em算法在许多实际的学习问题框架中相关实例特征中只有一部分可观察到比如如果某些变量有时能观察到有时不能那么可以用观察到该变量的实例去预测未观察到的实例中的变量的值em算法是存在隐含变量时广泛使用的一种学习方法可用于变量的值从来没有被直接观察到的情形只要这些变量所遵循的概率分布的一般形式已知用于马尔可夫模型的训练估计k个高斯分布的均值考虑d是一个实例集合它由k个不同正态分布的混合所得分布生成单个正态分布的选择基于均匀的概率进行且k个正态分布有相同的方差描述k个分布中每个分布的均值找到极大似然假设即使得pdh最大化的假设估计k个高斯分布的均值2然而现在的问题涉及k个不同正态分布而且不知道哪个实例是哪个分布产生的
|H |
Brute-Force MAP学习器
P(D) P(D | hi )P(hi ) hi H
1 1
0 1
hiVSH ,S
| H | hiVSH ,S
|H |
| VSH ,S | |H |
1
P(h
|
D)
| VSH ,S
|
, h与D一致
0，其他
Brute-Force MAP学习器
未加入训 练数据， 假设概率 相等
朴素贝叶斯分类器
• 决策树、神经网络、最近邻方法之外，最 实用的学习方法
贝叶斯分类器在机器学习中的研究
贝叶斯分类器在机器学习中的研究摘要：贝叶斯分类器作为机器学习中的一种分类算法，在有些方面有着其优越的一面，在机器学习中有着广泛的应用，本文通过对机器学习中贝叶斯分类器的解析，指出了贝叶斯分类器在机器学习中的适用方面和不足之处。
使其能更加清楚认识了解贝叶斯算法，并能在适合的方面使用贝叶斯算法。
关键词：机器学习贝叶斯算法适用1. 引言机器学习是计算机问世以来，兴起的一门新兴学科。
所谓机器学习是指研究如何使用计算机来模拟人类学习活动的一门学科，研究计算机获得新知识和新技能，识别现有知识，不断改善性能，实现自我完善的方法，从而使计算机能更大性能的为人类服务。
机器学习所适用的范围广阔，在医疗、军事、教育等各个领域都有着广泛的应用，并发挥了积极的作用。
而分类是机器学习中的基本问题之一，目前针对不同的分类技术，分类方法有很多，如决策树分类、支持向量机分类、神经网络分类等。
贝叶斯分类器作为机器学习分类中的一种，近年来在许多领域也受到了很大的关注，本文对贝叶斯分类器进行总结分析和比较，提出一些针对不同应用对象挑选贝叶斯分类器的方法。
2. 贝叶斯公式与贝叶斯分类器：2.1贝叶斯公式：在概率论方面的贝叶斯公式是在乘法公式和全概率公式的基础上推导出来的，它是指设■是样本空间Ω的一个分割，即■互不相容，且，如果■，■，■，则，■这就是贝叶斯公式，■称为后验概率，■为先验概率，一般是已知先验概率来求后验概率，贝叶斯定理提供了“预测”的实用模型，即已知某事实，预测另一个事实发生的可能性大小。
2.2 机器学习中的贝叶斯法则：在机器学习中，在给定训练数据D时，确定假设空间H中的最佳假设，我们用■来代表在没训练数据前假设■拥有的初始概率。
■为■的先验概率，用■代表将要观察训练数据D的先验概率，以■代表假设■成立的情况下观察到数据D的概率，以■为给定训练数据D时■成立的概率，■称为■的后验概率，机器学习中的贝叶斯公式为：学习器考虑候选假设集合H并在其中寻找给定数据D时可能性最大的假设，称为MAP假设，记为■，则■2.3 贝叶斯分类器贝叶斯分类器是用于分类的贝叶斯网络。
贝叶斯分类器（3）朴素贝叶斯分类器
贝叶斯分类器（3）朴素贝叶斯分类器根据，我们对贝叶斯分类器所要解决的问题、问题的求解⽅法做了概述，将贝叶斯分类问题转化成了求解P(x|c)的问题，在上⼀篇中，我们分析了第⼀个求解⽅法：极⼤似然估计。
在本篇中，我们来介绍⼀个更加简单的P(x|c)求解⽅法，并在此基础上讲讲常⽤的⼀个贝叶斯分类器的实现：朴素贝叶斯分类器（Naive Bayes classifier）。
1 朴素贝叶斯分类原理1.1 分类问题回顾我们的⽬标是通过对样本的学习来得到⼀个分类器，以此来对未知数据进⾏分类，即求后验概率P(c|x)。
在中，我们描述了贝叶斯分类器是以⽣成式模型的思路来处理这个问题的，如下⾯的公式所⽰，贝叶斯分类器通过求得联合概率P(x,c)来计算P(c|x)，并将联合概率P(x,c)转化成了计算类先验概率P(c)、类条件概率P(x|c)、证据因⼦P(x)。
h∗(x)=\argmax c∈Y P(c|x)=\argmax c∈Y P(x,c)P(x)=\argmaxc∈YP(c)∗P(x|c)P(x)其中的难点是类条件概率P(x|c)的计算，因为样本x本⾝就是其所有属性的联合概率，各种属性随意组合，变幻莫测，要计算其中某⼀种组合出现的概率真的是太难了，⽽朴素贝叶斯的出现就是为了解决这个问题的。
要想计算联合概率P(a,b)，我们肯定是希望事件a与事件b是相互独⽴的，可以简单粗暴的P(a,b)=P(a)P(b)，多想对着流星许下⼼愿：让世界上复杂的联合概率都变成简单的连乘！1.2 朴素贝叶斯朴素贝叶斯实现了我们的梦想！朴素贝叶斯中的朴素就是对多属性的联合分布做了⼀个⼤胆的假设，即x的n个维度之间相互独⽴：P([x1,x2,...,x n]|c)=P(x1|c)P(x2|c)...P(x1|c)朴素贝叶斯通过这⼀假设⼤⼤简化了P(x|c)的计算，当然，使⽤这个假设是有代价的，⼀般情况下，⼤量样本的特征之间独⽴这个条件是弱成⽴的，毕竟哲学上说联系是普遍的，所以我们使⽤朴素贝叶斯会降低⼀些准确性；如果实际问题中的事件的各个属性⾮常不独⽴的话，甚⾄是⽆法使⽤朴素贝叶斯的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《模式识别》讲义 2011 版：第三讲 贝叶斯分类器
存在的概率，它是在结果出现后才能计算得到的，因此称为“后验” ；
P ( A | B j ) 称为类条件概率， 表示在各条件 Bi 存在时， 结果事件 A 发生的概率； P ( B j ) 称为先验概率，表示各不相容的条件 Bi 出现的概率，它与结果 A 是否
一、 贝叶斯分类
1、 概率推理
贝叶斯分类的基础是概率推理，就是在各种条件的存在不确定，仅知 其出现概率的情况下，如何完成推理和决策任务。概率推理是与确定性推 理相对应的。所谓确定性推理是指类似如下的推理过程： 如有条件 B ，就一定会有结果 A，如条件 B 不存在，则结果 A 一定不 成立；现出现了结果 A，则条件 B 一定存在。 在这一推理过程中，条件和结果之间的关系是确定的，条件自身和推 理结果也是确定的。 而概率推理是不确定性推理，它的一种推理形式可以表示为： 如有条件 B ，则可能会出现结果 A；现出现了结果 A，则条件 B 就有 存在的可能。 在这个推理过程中，时间之间的因果关系是一种概率关系，推理是在 结果已知的情况下，反推其条件出现的概率，也称为“逆概率推理” 。如果 对上述概率推理过程的内容用条件概率来表示，即为： 已知条件 B 出现时结果 A 会发生的条件概率 P( A | B) 果 A 已经发生时，条件 B 存在的概率，即 P( B | A) ?
2、 最大似然比贝叶斯分类器
类条件概率 P ( x | i ) 也称为类 i 对特征向量 x 的似然函数，表达了某类中的 样本取某个特征值的可能性。 由最小错误率贝叶斯分类可知： 对于两类问题，当 P ( x | i ) P(i ) P( x | j ) P( j ) 时，判决 x i 即当
图 2 随机性分类决策
对于随机性分类决策， 可以利用贝叶斯公式来计算样本属于各类的后 验概率： 设 i , i 1, 2, c 是特征空间 中不同 的类 ， 每类都 有其出 现的先验 概率
P ( j ) ；在每类中，样本特征向量的取值服从一定的概率分布，其类条件概率密
度为 P ( x | j ) ； 当有待识别的特征向量 x 时， 其属于各类的后验概率 P( i | x) 为：
第 2 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@
《模式识别》讲义 2011 版：第三讲 贝叶斯分类器
图 1 确定性分类决策
随机性分类决策： 特征空间中有多个类， 当样本属于某类时，其特征向量会以一定的概 率取得不同的值；现有待识别的样本特征向量取了某 值，则它按不同概率 有可能属于不同的类，分类决策将它按概率的大小划归到某一类别中。
P (i | x ) P ( j | x)
图 3 最小错误率贝叶斯分类器的分类决策边界
但是，其分类决策边界不一定是线性的，也不一定是连续的。
图 4 最小错误率贝叶斯分类器的非线性分类决策边界
例题： 地震预报是比较困难的一个课题， 可以根据地震与生物异常反应之间的联系 来进行研究。根据历史记录的统计，地震前一周内出现生物异常反应的概率为
二、 各种贝叶斯分类器
根据分类决策规则的不同，贝叶斯分类有多种形式，下面介绍比较常见的几 种贝叶斯分类器。
1、 最小错误率贝叶斯分类器
当已知类别出现的先验概率 P (i ) 和每个类中的样本分布的类条件概率 密度 P ( x | i ) 时 ，可以求得一个待分类样本属于每类的后验概率 P( i | x) ， 将其划归到后验概率最大的那一类中， 真正分类器称为最小错误率贝叶斯分 类器，其分类决策规则可表示为： 两类问题中，当 P (i | x ) P ( j | x) 时，判决 x i ； 对于多类情况，则当 P(i | x) max P( j | x) 时，判决 x i 。
P( AB) ， 需要推导结 P( B )
2、 贝叶斯公式
进行逆概率推理的数学方法是贝叶斯于 1763 年提出的贝叶斯定理，它 的表述为： 设试验 E 的样本空间为 S ， A 为 E 的事件， B 1 ， B2 ， … ， B c 为 S 的一 个划分，且 P(A)>0 ， P(B i)>0(i=1,2,……,c)，则
自动化学院 模式识别与智能系统研究所 高琪 gaoqi@
《模式识别》讲义 2011 版：第三讲 贝叶斯分类器
由此可见，在进行分类决策时，可通过计算某个特征向量的似然比，把它与 两类之间的判决门限值进行比较，就可以完成分类决策。 对于多类问题，分类决策规则为：
若Lij ( x) ij , 对于任意的i, j 1, 2, c，i j成立，则x i
3、 贝叶斯分类
如果把样本属于某个类别作为条件，样本的特征向量取值作为结果， 则模式识别的分类决策过程也可以看作是一种根据结果推测条件的推理过 程。它可以分为两种类型： 确定性分类决策： 特征空间由决策边界划分为多个决策区域，当样本属于某类时， 其特 征向量一定落入对应的决策区域中， 当样本不属于某类时，其特征向量一 定不会落入对应的决策区域中；现有待识别的样本特征向量落入了某决策 区域中，则它一定属于对应的类。
《模式识别》讲义 2011 版：第三讲 贝叶斯分类器
c
而 P(error | x) P( j | x) max P( j | x )
i 1 1 j c
因此， P(error | x) 取得了最小值， P(e) 也取得了最小值， “最大后验概率分 类器”与“最小错误率分类器”是等价的。 对于最小错误率贝叶斯分类器，其分类决策规则也同时确定了分类决策边 界，为：
如果根据样本属于各类的后验概率及其他因素对该样本进行分类决策，就 称为贝叶斯分类。 贝叶斯分类具有以下特点： 需要知道先验概率 先验概率是计算后验概率的基础。在传统的概率理论中，先验 概率可以由大量的重复实验 所获得的各类样本出现的频率来近似 获得，其基础是“大数定律” ，这一思想称为“频率主义” 。而在称 为“贝叶斯主义”的数理统计学派中，他们认为时间是单向的，许 多事件的发生不具有可重复性，因此先验概率只能根据对置信度的 主观判定来给出，也可以说由“信仰”来确定。这一分歧直接导致 了对贝叶斯公式应用范围和合理性的争议。 按照获得的信息对先验概率进行修正 在没有获得任何信息的时候，如果要进行分类判别，只能依据 各类存在的先验概率，将样本划分到先验概率大的一类中。而在获 得了更多关于样本特征的信息后，可以依照贝叶斯公式对先验概率 进行修正，得到后验概率，提高了分类决策的准确性和置信度。 分类决策存在错误率 由于贝叶斯分类是在样本取得某特征值时对它属于各类的概 率进行推测，并无法或者样本真实的类别归属情况，所以分类决策 一定存在错误率，即时错误率很低，分类错误的情况也可能发生。
出现无关，仅表示根据先验知识或主观推断，认为总体上各条件之间的出现可能 性有什么差别；
c
P率计算得到，它表达了结果
j 1
A 在各种条件下出现的总体概率，称为结果 A 的全概率。 贝叶斯公式给出了根据结果推测原因的数学方法， 在许多方面都有广泛的应 用，并在数理统计领域产生了基于该理论的贝叶斯学派。 贝叶斯及贝叶斯公式 托 马 斯 · 贝 叶 斯 （ Thomas Bayes ） (1702 ～ 1763) ， 是 一 位 伟 大 的 英 国 数 学 家，他是英国皇家学会会员，也是一位长 老会牧师，其主要数学成就体现在概率论 和数理统计方面。贝叶斯公式发表于 1763 年其去世之后， 首次将归纳推理法用于概率 论基础理论，对于后续的统计决策、概率推 理和参数估计等领域的发展起到了重要的促 进作用，其影响延续至今，在信息时代的经 济学理论、数据处理与知识挖掘、信息检索、 人工智能等方面都能看到贝 叶 斯 公式 深入 和广泛的应用。 由于其宗教身份， 后人普遍猜测贝叶斯提出贝叶斯公式的目的是为了从理论 上对上帝是否存在进行证明（并且美国的斯蒂芬·安文在 2003 年出版的《上帝 的概率》一书中确实利用贝叶斯公式对上帝存在的概率进行了计算） 。但由于贝 叶斯公式中先验概率的获得有“主观主义”和“频率主义”两大派别，对于贝叶 斯公式的应用范围和合理性存在很大的争议。
1 j c
可以发现，上述分类决策规则实为“最大后验概率分类器” ，它与“最小错 误率分类器”的关系可以简单分析如下： 当采用最大后验概率分类器时，分类错误的概率为
P (e )
P(error, x )dx P(error | x) P( x ) dx
第 4 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@
P( x | i ) P( j ) 时，判决 x i P( x | j ) P(i )
Lij ( x)
P( x | i ) 称为似然比，它与待识别的特征向量有关； P( x | j )
称为判决门限，它仅与两类的先验概率有关。
第 6 页
ij
P( j ) P(i )
P ( Bi | A) P ( A | Bi ) P ( Bi )
c
j
P( A | B ) P ( B )
j j 1
P ( A | Bi ) P ( Bi ) P ( A)
该公式称为“贝叶斯公式” ，其中： P( Bi | A) 称为后验概率，表示事件 A （结果 A ）出现后，各不相容的条件 Bi
第 5 页 自动化学院 模式识别与智能系统研究所 高琪 gaoqi@
《模式识别》讲义 2011 版：第三讲 贝叶斯分类器
50％，而一周内没有发生地震但也出现了生物异常反应的概率为 10％。假设某 一个地区属于地震高发区，发生地震的概率为 20％。问： 如果某日观察到明显的生物异常反应现象， 是否应当预报一周内将发生地震？ 解： 把地震是否发生设成两个类别：发生地震为ω1，不发生地震为ω2； 则两个类别出现的先验概率 P1=0.2，P2=1－0.2=0.8； 设地震前一周是否出现生物异常反应这一事件设为 x，当 x＝1 时表示出现了， x＝0 时表示没出现； 则根据历史记录统计可得， ；p(x＝1|ω1)＝0.5， p(x＝1|ω2)＝0.1 所以，某日观察到明显的生物异常反应现象，此时可以得到将发生地震的概率 为： p(ω1|x＝1)=（P1×p(x＝1|ω1)）/（P1×p(x＝1|ω1)＋P2×p(x＝1|ω2)） ＝（0.2×0.5）/（0.2×0.5+0.8*0.1）＝5/9 而不发生地震的概率为： p(ω2|x＝1)=（P2×p(x＝1|ω2)）/（P1×p(x＝1|ω1)＋P2×p(x＝1|ω2)） ＝（0.8×0.1）/（0.2×0.5+0.8*0.1）＝4/9 因为 p(ω1|x＝1)> p(ω2|x＝1)，所以在观察到明显的生物异常反应现象时， 发生地震的概率更高，所以应当预报一周内将发生地震。