最小错误概率贝叶斯(2章)

合集下载

第2章 贝叶斯决策完整版.ppt

第2章 贝叶斯决策完整版.ppt
精选
最小风险准则
❖ 最小风险贝叶斯决策:考虑各种错误造成损失不
同而提出的一种决策规则。
❖ 条件风险:
精选
最小风险准则
❖ 期望风险:对于x的不同观察值,采取决策αi时,
其条件风险大小是不同的。所以究竟采取哪一种决 策将随x的取值而定。这样,决策α可以看成随机向 量x的函数,记为α(x)。可以定义期望风险Rexp为:
假言:如果鱼的长度 x 大于45cm,则该鱼为 鲈鱼 1,否则该鱼为鲑鱼 2
前提:现在某条鱼 x 38cm
结论:该鱼为鲑鱼 2
❖ 概率推理(不确定性推理)
P i x 精选
最小错误率准则
❖ 例子:
给定
P
y
1
P
y
2
1 2
,类条件概率密度如图。
现有一条鱼 x=38cm, 若采用最小错误率决策,该鱼应该为哪一类?
R2
R1
a p 1 b
❖ 一旦 R1 和 R2 确定,a和b为常数
❖ 一旦 R1 和 R2 确定, R 与 P(ω1) 成线性关系
❖ 选择使 b=0 的R1 和 R2 ,期望风险与P(ω1) 无关!
精选
R* C’ C
最小最大决策准则
D
R1 ,R2不变
A
R*B
D’
B
R1 ,R2改变
b=0
此时最大 风险最小,
P i
x
Px
i P i
Px
则: P1 x P2 x
等价于:
p x 1 P 1 p x 2 P 2
p x 1 p x 2
p 2 p 1
精选
似然比公式
最小错误率准则
❖ 特例1:

第2章 贝叶斯决策理论_正态分布

第2章 贝叶斯决策理论_正态分布

2) 观测数据白细胞浓度分别在两种情况 下的类条件分布: 下的类条件分布: P(x|ω1) ~ N(2000,1000) P(x|ω2) ~ N(7000,3000)
– P(3100|ω1) = 2.1785e-004 – P(3100|ω2) = 5.7123e-005 – P(ω1|3100)=1.9% – P(ω2|3100)=98.1%
– 观测值通常是很多种因素共同作用的结果,根据 观测值通常是很多种因素共同作用的结果,
中心极限定理,服从正态分布。 中心极限定理,服从正态分布。 – 计算、分析最为简单的模型。 计算、分析最为简单的模型。
一元正态分布
一元正态分布及其两个重要参数: 一元正态分布及其两个重要参数:
– 均值(中心) 均值(中心) – 方差(分散度) 方差(分散度)
医生的判断: 医生的判断:正常
作业
设有两类服从二维正态分布的样本如下(前两 设有两类服从二维正态分布的样本如下 前两 个一类,后两个一类): 个一类,后两个一类 : 1 2 2 4 x1 = x2 = x3 = x4 = 1 2 4 4 其协方差相同, 其协方差相同,可用两类样本的协方差的 均值来估计。 均值来估计。 设两类的先验概率之比为4:6。 设两类的先验概率之比为 。 求其判别边界,写出计算过程。 求其判别边界,写出计算过程。
判别边界是各种二次曲线。 判别边界是各种二次曲线。
例1:二次曲线边界
3 1/ 2 0 µ1 = ; Σ1 = 6 0 2 3 2 0 µ2 = ; Σ 2 = −2 0 2
g i ( x ) = x Wi x + w x + wi 0
[
]
判别边界仍是一条直线,但不垂直于均值的连线。 判别边界仍是一条直线,但不垂直于均值的连线。

最小风险的Bayes决策

最小风险的Bayes决策

0-1·损失函数
c
P(j X ) j1, ji
两种判决方式等价! 9
3.3 Bayes分类器和判别函数
分类器设计:利用决策规则对观察向量 X 进行分类
d 维特征空间
决策规则
c 个决策域
决策面:划分决策域的边界面 决策面方程:决策面的数学解析形式 判别函数:表达决策规则的函数
用正态分布模型描述训练样本集与测试样本集在数 学上实现起来也比较方便
23
物理上的合理性 如果同一类样本在特征空间 内的确较集中地分布在其类均值的附近,远离 均值处分布较少,那么一般情况下以正态分布 模型近似往往是比较合理的
人们也往往因数学分析复杂程度考虑而不得不 采用这种模型,当然使用时应注意结果是否合 理或关注其可接受的程度
A [1 ,. . . ,a ] T ,1 ,. . . ,a为 a 个 决 策 状 态
损失函数 (i ,j ) : 真 实 状 态 为 j 而 判 断 为 i 的 损 失 ( i j )
期望损失(条件风险)
c
R (i|X )E [(i,j)] (i,j)P (j|X ) j 1
分割它们的决策面方程应满足:
gi(x) gj(x)
11
最小错误概率决策
判别函数的不同形式:
gi(x)P(i |x)
gi(x)P(xi)P(i)
g i(x ) lo g P (xi) lo g P (i)
12
最小风险决策
判别函数
gi(x)R(i |x)
判别函数不唯一,更一般地,f ( gi ( x)) (其中 f ( x ) 为 单调增函数)均可作为判别函数
18
后验概率:

第二章 贝叶斯决策理论—第三次课

第二章 贝叶斯决策理论—第三次课
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响: 类条件概率密度函数p(x|ωi) ; 先验概率P(ωi) ; 损失(代价)函数λ(αj, ωi) 。 在实际应用中遇到的情况: – 各类先验概率不能精确知道; – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳,实际分类器的平均损 失要变大,甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件?
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件?
N-P准则在实施时既不需要知道风险函数,也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx

第二章 贝叶斯决策理论与统计判别方法

第二章 贝叶斯决策理论与统计判别方法

第二章贝叶斯决策理论与统计判别方法课前思考1、机器自动识别分类,能不能避免错分类,如汉字识别能不能做到百分之百正确?怎样才能减少错误?2、错分类往往难以避免,因此就要考虑减小因错分类造成的危害损失,譬如对病理切片进行分析,有可能将正确切片误判为癌症切片,反过来也可能将癌症病人误判为正常人,这两种错误造成的损失一样吗?看来后一种错误更可怕,那么有没有可能对后一种错误严格控制?3、概率论中讲的先验概率,后验概率与概率密度函数等概念还记得吗?什么是贝叶斯公式?4、什么叫正态分布?什么叫期望值?什么叫方差?为什么说正态分布是最重要的分布之一?学习目标这一章是模式识别的重要理论基础,它用概率论的概念分析造成错分类和识别错误的根源,并说明与哪些量有关系。

在这个基础上指出了什么条件下能使错误率最小。

有时不同的错误分类造成的损失会不相同,因此如果错分类不可避免,那么有没有可能对危害大的错分类实行控制。

对于这两方面的概念要求理解透彻。

这一章会将分类与计算某种函数联系起来,并在此基础上定义了一些术语,如判别函数、决策面(分界面),决策域等,要正确掌握其含义。

这一章会涉及设计一个分类器的最基本方法——设计准则函数,并使所设计的分类器达到准则函数的极值,即最优解,要理解这一最基本的做法。

这一章会开始涉及一些具体的计算,公式推导、证明等,应通过学习提高这方面的理解能力,并通过习题、思考题提高自己这方面的能力。

本章要点1、机器自动识别出现错分类的条件,错分类的可能性如何计算,如何实现使错分类出现可能性最小——基于最小错误率的Bayes决策理论2、如何减小危害大的错分类情况——基于最小错误风险的Bayes决策理论3、模式识别的基本计算框架——制定准则函数,实现准则函数极值化的分类器设计方法4、正态分布条件下的分类器设计5、判别函数、决策面、决策方程等术语的概念6、 Bayes决策理论的理论意义与在实践中所遇到的困难知识点§2.1 引言在前一章中已提到,模式识别是一种分类问题,即根据识别对象所呈现的观察值,将其分到某个类别中去。

模式识别总结

模式识别总结
13
模式识别压轴总结
另外,使用欧氏距离度量时,还要注意模式样本测量值的选取,应该是有效 反映类别属性特征(各类属性的代表应均衡) 。但马氏距离可解决不均衡(一个 多,一个少)的问题。例如,取 5 个样本,其中有 4 个反映对分类有意义的特征 A,只有 1 个对分类有意义的特征 B,欧氏距离的计算结果,则主要体现特征 A。
信息获取 预处理 特征提取与选择 聚类 结果解释
1.4 模式识别系统的构成 基于统计方法的模式识别系统是由数据获取, 预处理, 特征提取和选择, 分类决策构成
2
模式识别压轴总结
1.5 特征提取和特征选择 特征提取 (extraction):用映射(或变换)的方法把原始特征变换为较少 的新特征。 特征选择(selection) :从原始特征中挑选出一些最有代表性,分类性能最 好的特征 特征提取/选择的目的,就是要压缩模式的维数,使之便于处理。 特征提取往往以在分类中使用的某种判决规则为准则,所提取的特征使在 某种准则下的分类错误最小。为此,必须考虑特征之间的统计关系,选用 适当的变换,才能提取最有效的特征。 特征提取的分类准则:在该准则下,选择对分类贡献较大的特征,删除贡 献甚微的特征。 特征选择:从原始特征中挑选出一些最有代表性、分类性能最好的特征进 行分类。 从 D 个特征中选取 d 个,共 CdD 种组合。 - 典型的组合优化问题 特征选择的方法大体可分两大类: Filter 方法:根据独立于分类器的指标 J 来评价所选择的特征子集 S,然后 在所有可能的特征子集中搜索出使得 J 最大的特征子集作为最优特征子 集。不考虑所使用的学习算法。 Wrapper 方法:将特征选择和分类器结合在一起,即特征子集的好坏标准 是由分类器决定的,在学习过程中表现优异的的特征子集会被选中。

第2章贝叶斯决策理论[1]

第2章贝叶斯决策理论[1]
•决 策
•ω1
•ω2
•根据条件风险公式:
•α•1(正常) •0
•1
•α•(2 异常) •1
•0
•则两类决策的风险为
•(将 判决为第 类的风险 )
•(将 判决为第 类的错误率)
PPT文档演模板
•因此两种决策规则等价 (理论推导见教材P16)
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例:细胞识别
•类
•类
• 假设在某个局部地区细胞识别中, 正常( )和异常( )两类的先验概 率分别为
• 正常状态:
P ( ) =0.9;
• 异常状态:
P ( ) =0.1.
•现有一待识别的细胞,其观察值为 ,从类条件概率密度分布曲线上
• 正常状态:
P ( ) =0.9;
• 异常状态:
P ( ) =0.1.
•现有一待识别的细胞,其观察值为 ,从类条件概率密度分布曲线上
查得

P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解:利用贝叶斯公式,分别计算出 及 的后验概率。

P( | x)=

P( |x)=1- P( |x)=0.182
•(2)多元正态分布
•均值向量: •协方差矩阵:
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识(续)
•(3)多元正态分布的协方差矩阵
区域中心由均值决定,区域形状由协方差矩阵决定;且主轴方向是 协方差矩阵的特征向量方向;

第2章 贝叶斯决策理论PPT课件

第2章 贝叶斯决策理论PPT课件

令每一个x都取使P( P (e | x) p ( x)dx
P(e
|
x)
P P
(1 ( 2
| |
x) x)
P ( 2 | x) P (1 | x) P (1 | x) P ( 2 | x)
最小的值,则所有x产生
的平均错误率最小。
结论可推广至多类
t
P (e) P ( 2 | x) p ( x)dx t P (1 | x) p ( x)dx
t
p ( x | 2 ) P ( 2 )dx t p ( x | 1 ) P (1 )dx
P ( 2 ) P2 (e) P (1 ) P1 (e)
12
基于最小错误率的贝叶斯决策
使误判概率 P (最e ) 小,等价于使正确分类识别的概率 P ( c ) 最大。
贝叶斯决策理论研究了模式类的概率结构完全知道的 理想情况。这种情况实际中极少出现,但提供了一个对 比其它分类器的依据,即“最优”分类器。
5
2.1 引言
符号规定
分类类别数:c
类别状态: i,i1,2, ,c
特征空间维数:d
d维特征空间中的特征向量:x[x1,x2, ,xd]T
先验概率:P (表i ) 示 类出i 现的先验概率,简称为 类的 概i 率
P(1| x)
p(x|1)P(1)
2
p(x|j)P(j)
0.20.9 0.818 0.20.90.40.1
j1
P(2 | x)1P(1| x)0.182 P(1|x)0.818P(2| x)0.182 x1
11
基于最小错误率的贝叶斯决策
关于错误率最小的讨论(一维情况)
错误率是指平均错误率P(e)
2.1 引言
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

������ ������ =
0.07 0.06
������ ������=1
������ ������������ p(������|������������ )
0.05
0.04
������ ������ ������(������2 )p(������ |������2 )
0.03
0.02
������(������1 )p(������|������1 )
统计判别基本概念 统计决策的概念: 根据样本的统计特性将样本划分到其最有可能(先 验概率最大或者后验概率最大)属于的类别。 如果P(������1 )> P(������2 ),则������ ∈ ������1 ,反之������ ∈ ������2 。 如果P(������1 |������) > P(������2 |������) ,则������ ∈ ������1 ,反之������ ∈ ������2 。
统计判别基本概念ห้องสมุดไป่ตู้
基于统计判别的分类应用很广泛
类别: ������1 :垃圾邮件 ������2 :非垃圾邮件 邮件中的字符代码为: ������1 , ������2 , … , ������������
统计判别基本概念 分类e-mails {垃圾邮件,非垃圾邮件} 分类文章主题 {文章的主题是什么?} 分类网页 {学校网页, 个人网页, 公司网页, …} 输入的特征������是什么? 文本!
统计判别基本概念 后验概率常常作为决策的依据
P(������1 |������) P(������2 |������)
主要内容 1. 2. 3. 4. 5. 6. 统计判别基本概念 贝叶斯判别原则 正态分布模式的贝叶斯决策 Bayes最小风险判别准则 聂曼-皮尔逊判别准则 最小最大损失准则
最小错误概率贝叶斯 最小错误概率贝叶斯 问题:设样本集合 ������1 , … , ������������ 有C个类别,已知各个类 别的先验概率P(������������ )和似然函数p(������|������������ )。 当观测样本������出现时,如何将样本������划归为某一类别?
时,出现模式������的条件概率密度,即似然函数。
p(������ |������2 )
p(������ |������1 )
统计判别基本概念 例如:已知一个班级女生(������1 )和男生(������2 )的身 高数据,并且假设它们都符合正态分布: ������ 为女生身高的类条件概率密度为: p(������ |������1 )~������(156,25) ������为男生身高的类条件概率密度为: p(������|������2 )~������(170,25)
(2)如果������ ������ ������������ ������(������������ ) = ������������������������=1,2 ������ ������ ������������ ������(������������ ), ������ ∈ ������������ ������1 ������ ������|������1 > ������ ������2 (3)如果������ ������ = , ������ ∈ ������ ������ ������|������2 < ������ ������1 2 (4)如果h ������ = −������������������ ������ ������1 < ������ ������1 = −������������������ ������ ������1 + ������������������ ������ ������2 ������������ → ������ ∈ ������ ������ ������ > 2 2
统计判别基本概念
例:某学校男生和女生的先验概率 ������1 :女生 ������2 :男生 选取10000位同学,若2000位为女生,8000位为男 生,则: P(������1 )=2000/10000=0.2; P(������2 ) = 1 - P(������1 ) = 0.8
统计判别基本概念 p(������ |������������ )—类条件概率密度,即类别状态为������������ 类
统计判别基本概念 例: P(������������ )的估计 在垃圾邮件识别系统中,我们常常需要知道任意一 封邮件为垃圾邮件的先验概率P(������������ ),这常常可以通 过统计一定数量的以往样本计算得到。 ������1 :接受邮件为垃圾邮件 ������2 :接受邮件为非垃圾邮件 统计10000封邮件,若经过人工辨识得到其中1000封 为垃圾邮件,剩下9000封为非垃圾邮件,则我们可 以估计: P(������1 )=1000/10000=0.1; P(������2 ) = 1 - P(������1 ) = 0.9
统计判别 Statistic Discriminant
主要内容 1. 2. 3. 4. 5. 6. 统计判别基本概念 贝叶斯判别原则 正态分布模式的贝叶斯决策 Bayes最小风险判别准则 聂曼-皮尔逊判别准则 最小最大损失准则
统计判别基本概念 简单示例: 把一枚硬币记作������,把一角和五角这两类分别记作������1 和������2 ,用P(������1 )和P(������2 )分别表示两类出现的概率,当 出现新的一枚硬币时可以做决策 如果P(������1 )> P(������2 ),则������ ∈ ������1 ,反之������ ∈ ������2 。 只利用先验概率做出判断存在不合理,利用后验概率 P(������������ |������) 更合理
0.01 0 130 140 150 160 170 180 190 200
贝叶斯判别原则 P(������������ |������)—后验概率,即给定输入模式������时,该模式属 于������������ 的条件概率。 例如:������为某个同学的身高 ������1 :女生 ������2 :男生 P(������1 |������ ):已知一个同学的身高,该同学是女生(������1 ) 的概率。 P(������2 |������):已知一个同学的身高,该同学是男生(������2 ) 的概率。
最小错误概率贝叶斯 已知一个班级女生和男生的身高和体重数据都符合正 态分布,具体统计参数如下: 25 0 ������ 女生, 均值������1 : 156,48 ,协方差������1 : 0 25 25 0 ������ 男生, 均值������2 : 170,65 ,协方差������2 : 0 25 并且已知类别先验������ ������1 =0.2, ������ ������2 = 0.8,当给定一 个新的样本 180,75 ������ ,应该判别为男生还是女生?
最小错误概率贝叶斯 新样本������ = 180,75 ������ ������1 : 女生 ������ ������|������1 = ������ ������|������1 , ������1 = 9.63 × 10−16 ������2 : 男生 , ������ ������|������2 = ������ ������|������2 , ������2 = 1.16 × 10−4 已知类别先验������ ������1 =0.2, ������ ������2 = 0.8 判别规则: 如果������(������1 |������) > ������(������2 |������), ������ ∈ ������1 如果������ ������1 ������ < ������(������2 |������), ������ ∈ ������2
最小错误概率贝叶斯 后验概率:
������ ������1 |������ ������ ������2 |������
最小错误概率贝叶斯 最小错误概率贝叶斯决策的等价形式:
(1)如果������ ������������ ������ = ������������������������=1,2 ������ ������������ ������ , ������ ∈ ������������
0.08 0.07 0.06
p(������ |������1 )~������(156,25)
0.05 0.04 0.03
p(������|������2 )~������(170,25)
0.02
0.01
0 130
140
150
160
170
180
190
200
统计判别基本概念 p(������)—全概率密度。
统计判别基本概念 场景理解:
统计判别基本概念 场景理解:
统计判别基本概念 场景理解:
统计判别基本概念 物体识别:
统计判别基本概念 医学诊断:
统计判别基本概念 大脑活跃性分析
统计判别基本概念 P(������������ )—类别������������ 出现的先验概率
p(������|������������ )—类条件概率密度,即类别状态为������������ 类
时,出现模式������的条件概率密度,也称似然函数。
p(������)—全概率密度。
P(������������ | ������)—后验概率,即给定输入模式������时,该模式 属于������������ 的条件概率。
P(������������ , ������)—联合概率。
统计判别基本概念 P(������������ )—类别������������ 出现的先验概率 先验概率(prior probability)是指根据以往经验和 分析得到的概率。 先验概率P(������������ )的估计举例
相关文档
最新文档