关于贝叶斯决策理论1(韩宇畴14212816)
合集下载
贝叶斯决策理论
P(1 | x) if we decide 2 P(error | x) P( 2 | x) if we decide1
显然，对于某个给定的x，采用上述规则可以使错误概率最
小。 问题是，这一规则能够使得平均错误概率最小吗？
2最小错误率的贝叶斯决策
平均错误概率：
P(error) P(error, x)dx P(error | x) p( x)dx
1 引言
后验概率：一个具体事物属于某种类别的概率， 例如一个学生用特征向量x表示，它是男性或女 性的概率表示成P(男生|x)和P(女生|x)，这就是 后验概率。由于一个学生只可能为两个性别之一， 因此有P(男生|x)+P(女生|x)=1的约束，这一点是 与类分布密度函数不同的。后验概率与先验概率 也不同，后验概率涉及一个具体事物，而先验概 率是泛指一类事物，因此P(男生|x)和P(男生)是 两个不同的概念。
4贝叶斯决策的评价
局限性：
（1）它需要的数据多，分析计算比较复杂，特别在解决 复杂问题时，这个矛盾就更为突出。 （2）有些数据必须使用主观概率，有些人不太相信，这 也妨碍了贝叶斯决策方法的推广使用。
R R( (x) | x) p (x)dx
显然，如果对于每个x 我们都选择 小，则总风险将被最小化
(x) 使得
R(i | x)
最
3最小风险的贝叶斯决策
相关数学表达
3最小风险的贝叶斯决策
一般损失函数可由决策表给出：
3最小风险的贝叶斯决策
步骤
• 计算后验概率： P(i | x)
贝叶斯决策理论
2014年12月15日
1 引言
把x分到哪一类最合理？理论基础之一是统 计决策理论。 决策：是从样本空间S，到决策空间Θ的一 个映射 贝叶斯决策就是在不完全情报下，对部分 未知的状态用主观概率估计，然后用贝叶 斯公式对发生概率进行修Байду номын сангаас，最后再利用 期望值和修正概率做出最优决策。
第2章贝叶斯决策理论[1]
![第2章贝叶斯决策理论[1]](https://img.taocdn.com/s3/m/6575d6a814791711cd791720.png)
•决 策
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
贝叶斯决策理论
两类分类器的功能：计算判别函数，再根据计算 结果的符号将 x 分类
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
《贝叶斯决策理论》PPT课件
常表示为
p (x )~ N (, )
多元正态分布的性质
等密度点的轨迹是超椭球面
R 1
R 2
R 22 (12 22) p(x2)dx
R 1
P ( 1)(11 22) (21 11) p(x 1)dx (12 22) p(x2)dx
R 2
R 1
一旦R 1 和 R 2 确定，风险 R 就是先验概率 P (1 ) 的线性函数，可表
示为
RabP(1)
a22(1222) p(x2)dx
R 11P(1x)12P(2 x)p(x)dx
R1
21P(1x)22P(2 x)p(x)dx
R2
R11P(1)p(x1)12P(2)p(x2)dx
R 1
21P(1)p(x1)22P(2)p(x2)dx
R2
P (2 ) 1 P (1 ) p ( x 1 ) d x p ( x 1 ) d x 1
2.3 正态分布时的统计决策
贝叶斯分类器的结构可由条件概率密度 和先验概率来决定
最受青睐的密度函数——正态分布，也称 高斯分布
合理性：中心极限定理表明，在相当一般的 条件下，当独立随机变量的个数增加时，其 和的分布趋于正态分布
简易性
2.3.1 正态分布的定义及性质
单变量正态分布由两个参数完全确定，即 均值和方差
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类
可以通过对被识别对象的多次观察和测
量，构成特征向量，并将其作为某一个
判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形
p (x )~ N (, )
多元正态分布的性质
等密度点的轨迹是超椭球面
R 1
R 2
R 22 (12 22) p(x2)dx
R 1
P ( 1)(11 22) (21 11) p(x 1)dx (12 22) p(x2)dx
R 2
R 1
一旦R 1 和 R 2 确定，风险 R 就是先验概率 P (1 ) 的线性函数，可表
示为
RabP(1)
a22(1222) p(x2)dx
R 11P(1x)12P(2 x)p(x)dx
R1
21P(1x)22P(2 x)p(x)dx
R2
R11P(1)p(x1)12P(2)p(x2)dx
R 1
21P(1)p(x1)22P(2)p(x2)dx
R2
P (2 ) 1 P (1 ) p ( x 1 ) d x p ( x 1 ) d x 1
2.3 正态分布时的统计决策
贝叶斯分类器的结构可由条件概率密度 和先验概率来决定
最受青睐的密度函数——正态分布，也称 高斯分布
合理性：中心极限定理表明，在相当一般的 条件下，当独立随机变量的个数增加时，其 和的分布趋于正态分布
简易性
2.3.1 正态分布的定义及性质
单变量正态分布由两个参数完全确定，即 均值和方差
模式识别的目的就是要确定某一个给定 的模式样本属于哪一类
可以通过对被识别对象的多次观察和测
量，构成特征向量，并将其作为某一个
判决规则的输入，按此规则来对样本进 行分类
作为统计判别问题的模式分类
在获取模式的观测值时，有些事物具有 确定的因果关系，即在一定的条件下， 它必然会发生或必然不发生
例如识别一块模板是不是直角三角形，只要 凭“三条直线边闭合连线和一个直角”这个 特征，测量它是否有三条直线边的闭合连线 并有一个直角，就完全可以确定它是不是直 角三角形
贝叶斯决策论讲义(PPT 79页)
c
那么，特征x与行动i 相关联的损失为: R(i|x)(i|j)P(j|x) j1
因此，R(i | x) 称为条件风险。
借助 R(i | x) 可以提供一个总风险的优化过程，即遇到特征x， 我们可以选择最小化风险的行为来使预期的损失达到最小。 假设对于特征x，决策的行为是 (x) ，则总风险可表示为：
如果
P P((xx|| 1 2))((12,2 ,1 2 1,,12))P P(( 1 2))
则判为 1 ； 否则，判决为 2
（18）
注意公式(18)的右边是与x无关的常数，因此可以视为左边
的似然比超过某个阈值，则判为 1
16
左图说明，如果
b
引入一个0-1损失
或分类损失，那么
6
在先验概率 P (w 1 ) 2 /3 ,P (w 2 ) 1 /3及图2-1给出的后验概率图.此情况下,假定一
个模式具有特征值 x14 , 那么它属于 2 类的概率约为0.08, 属于 1 的概率
约为0.92.在每个x 处的后验概率之和为1.0
7
• 基于后验概率的决策准则
(x 表示观察值)
R 1,1P(1)p(x|1)1,2P(2)p(x|2))dx R1
2,1P(1)p(x|1)2,2P(2)p(x|2))dx R2
判为1 判为2
20
结合公式 P(2)1P(1)与 p(x|1)d x1p(x|1)dx
R1
R2
可以得到
概述
1. 允许利用多于一个的特征 2. 允许多于两种类别状态的情形 3. 允许有其它行为而不仅是判定类别。 4. 引入损失函数代替误差概率。
11
考察损失函数对判定准则的影响
那么，特征x与行动i 相关联的损失为: R(i|x)(i|j)P(j|x) j1
因此，R(i | x) 称为条件风险。
借助 R(i | x) 可以提供一个总风险的优化过程，即遇到特征x， 我们可以选择最小化风险的行为来使预期的损失达到最小。 假设对于特征x，决策的行为是 (x) ，则总风险可表示为：
如果
P P((xx|| 1 2))((12,2 ,1 2 1,,12))P P(( 1 2))
则判为 1 ； 否则，判决为 2
（18）
注意公式(18)的右边是与x无关的常数，因此可以视为左边
的似然比超过某个阈值，则判为 1
16
左图说明，如果
b
引入一个0-1损失
或分类损失，那么
6
在先验概率 P (w 1 ) 2 /3 ,P (w 2 ) 1 /3及图2-1给出的后验概率图.此情况下,假定一
个模式具有特征值 x14 , 那么它属于 2 类的概率约为0.08, 属于 1 的概率
约为0.92.在每个x 处的后验概率之和为1.0
7
• 基于后验概率的决策准则
(x 表示观察值)
R 1,1P(1)p(x|1)1,2P(2)p(x|2))dx R1
2,1P(1)p(x|1)2,2P(2)p(x|2))dx R2
判为1 判为2
20
结合公式 P(2)1P(1)与 p(x|1)d x1p(x|1)dx
R1
R2
可以得到
概述
1. 允许利用多于一个的特征 2. 允许多于两种类别状态的情形 3. 允许有其它行为而不仅是判定类别。 4. 引入损失函数代替误差概率。
11
考察损失函数对判定准则的影响
贝叶斯决策理论
P(x 2 ) P(1)
2、决策规则：
(1) P(1
x) P(2
x) x 1 2
(2)P( x
1)P(1) P( x
2 )P(2 )
x 1 2
(3) P(x
1 )
P(x
P(2 )
2 )
P(1 )
x 1 2
(4) ln
P(x
gi (x) g j (x)
1 [ 2
x j
1 j
x j
x i T
1 i
x
i
ln
二、最小错误率(Bayes)分类器：
j i
] ln
P(i ) P( j )
0
从最小错误率这个角度来分析Bayes 分类器
1.第一种情况：各个特征统计独立，且同方差情况。(最简单
ln P(i ) P( j )
2019/5/8
13
讨论：
(a二 ) :因类为情况i 下2iI , 协方1差, 为2零。所以等概率面是一个圆形。
(b) :因W与(x x0)点积为0，因此分界面H与W垂直
又因为W i j 1 2，所以W与1 2同相(同方向)
xn
n
x1 1 x1 1 ...x1 1 xn n
E ......
2019/5/8
xn
n x1
1 ...xn
n xn
n
9
Ex1 1 x1 1 ...Ex1 1 xn n
贝叶斯决策理论课件(PPT90页)
Some about Bayes(2)
一所学校里面有 60% 的男生，40% 的女生。男生总是穿长 裤，女生则一半穿长裤一半穿裙子。假设你走在校园中， 迎面走来一个穿长裤的学生（很不幸的是你高度近似，你 只看得见他（她）穿的是否长裤，而无法确定他（她）的 性别），你能够推断出他（她）是女生的概率是多大吗？
要决策分类的类别数是一定的
引言
在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围构 成了d维特征空间。
称向量 x x1, x2, , xd T x Rd 为d维特征向量。
假设要研究的分类问题有c个类别，类型空间表示
为：
1,2 , ,i ,c
P(B|LB)∝P(LB|B)P(B)∝0.75P(B) P(~B|LB)∝P(LB|~B)P(~B)∝0.25(1-P(B)) 而西安的出租车10辆中有9辆是绿色的，则给出了先验概率P(B)=0.1，于 是有 P(B|LB)∝0.75×0.1=0.075 P(~B|LB)∝0.25(1-P(B))=0.25×0.9=0.225 P(B|LB)=0.075/0.072+0.225=0.25 P(~B|LB)=0.225/0.072+0.225=0.75 因此肇事车辆为绿色。
Neyman-Pearson准则
问题：先验概率和损失未知
通常情况下，无法确定损失。 先验概率未知，是一个确定的值 某一种错误较另一种错误更为重要。
基本思想：
要求一类错误率控制在很小，在满足此条件的 前提下再使另一类错误率尽可能小。
用lagrange乘子法求条件极值
Neyman-Pearson准则
和绿色的区分的可靠度是75%； 假设随后你又了解到第3条信息：（3）西安的出租车10辆
关于贝叶斯决策理论课件.pptx
这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
P(*|#)与P(*)不同
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
贝叶斯决策理论前提
各类别总体的概率分布是已知的; 要决策分类的概率分布是已知的。
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
P(*|#)与P(*)不同
例:*表示中国人，#表示在中国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
后验概率: P(ω1|x)和P(ω２|x)
同一条件x下，比较ω1与ω2出现的概率 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，
事件ω1出现的可能性大
类条件概率: P(x|ω1)和P(x|ω2)
是在不同条件下讨论的问题 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω2)≠1 P(x|ω1)与P(x|ω2)两者没有联系
先验概率与类条件概率密度相联系的形 式
C类别情况下最小错误率 贝叶斯决策
多类别决策过程中的错误率
把特征空间分割成R1，R2，…，Rc个区域 统计将所有其它类错误划为该区域对应的i类
的概率 计算是很繁琐
计算平均正确分类概率P(c)即
2.2.2基于最小风险的贝叶斯决策
基本思想
使错误率最小并不一定是一个普遍适用的最 佳选择。
已知d维特征空间的统计分布，如何对某一样 本分类最合理
§2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 最小最大决策 序贯分类方法
2.2.1基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？
当某一特征向量值X只为某一类物体所特有， 即
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
癌细胞分类
两种错误:
癌细胞→正常细胞 正常细胞→癌细胞
两种错误的代价(损失)不同
基于最小风险的贝叶斯决策
基本思想
宁可扩大一些总的错误率，但也要使总的 损失减少。
引进一个与损失有关联的，更为广泛的概 念——风险。
在作出决策时，要考虑所承担的风险。 基于最小风险的贝叶斯决策规则正是为了
基于最小错误率的贝叶斯决策
概率密度函数
利用对细胞作病理分析所观测到的信息，也 就是所抽取到的d维观测向量。
为简单起见，我们假定只用其一个特征进行 分类，即d=1
得到两类的类条件概率密度函数分布
P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布
基于最小错误率的贝叶斯决策
引入一个期望风险R
基于最小风险的贝叶斯决策
最小风险贝叶斯决策步骤：
(1)计算出后验概率
已知P(ωi)和P(X|ωi)，i=1,…，c，获得观测到的 特征向量X
根据贝叶斯公式计算
j=1,…，x
基于最小风险的贝叶斯决策
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
P (ω1 |X )
当观测向量为X值时, 该细胞属于正常细胞的概
率。
P (ω2 |X )
当观测向量为X值时, 该细胞属于异常细胞的概
率。
基于最小错误率的贝叶斯决策
后验概率
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的后验 概率
基于最小错误率的贝叶斯决策
类条件概率和后验概率区别
试对细胞x进行分类。
基于最小错误率的贝叶斯决策
例2.1 解：利用贝叶斯公式，分别计算出状态
为x时ω1与ω２的后验概率
基于最小错误率的贝叶斯决策
例2.1
根据贝叶斯决策有 P(ω1|x)＝0.818＞P(ω２|x)＝0.182
分析:错误概率是多少？
判断为正常细胞，错误率为0.182 判断为异常细胞，错误率为0.81国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
显然这个决策意味着，对观测值x有P(w1|x)概率 的错误率。
上例中所作的w1决策，实际上包含有 P(w2|x)=0.182的错误概率
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
在两类别的情况下，可以将p(e|x)表示成当
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可
搜集到大量样本 对某一特定事件(如x)要搜集大量样本是不
太容易 只能借助Bayes公式来计算得到
基于最小错误率的贝叶斯决策
问题
根据最小错误率，如何利用先验概率、类条 件概率密度函数和后验概率进行分类？
基于最小错误率的贝叶斯决策
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的先验 概率
P(ωsalmon) P(ωsea bass)
基于最小错误率的贝叶斯决策
先验概率
根据先验概率决定
P(1) P(2 ), x 1
P(1 )
P(2
),
x
2
这种分类决策没有意义 表明由先验概率所提供的信息太少
如果我们把作出w1决策的所有观测值区域 称为R1，则在R1区内的每个x值，条件错误 概率为p(w2|x)。
另一个区R2中的x,条件错误概率为p(w1|x)。
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
因此平均错误率P(e)可表示成
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
基于最小风险的贝叶斯决策
(3)损失函数λ(αi|ωj)(或λ(αi,ωj))
这就是前面我们引用过的λj (i) 表示对自然状态ωj ，作出决策αj时所造成
的损失
(4)观测值X条件下的期望损失R(αi|X)
这就是前面引用的符号Ri，也称为条件风险。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则可写成：
两类情况:有没有癌细胞
另外为了使式子写的更方便，我们也可以定 义λ1 (1)和λ2 (2)
是指正确判断也可有损失
基于最小风险的贝叶斯决策
两类情况:有没有癌细胞
X判作ω1引进的损失应该为
将X判为ω2的风险就成为
作出哪一种决策就要看是R1(X)小还是R2(X)小
这就是基于最小风险的贝叶斯决策的基本出发点
如果
则x归为ω1 ， 否则x归为ω2
基于最小错误率的贝叶斯决策
几种等价形式：
对数形式 若
则x归为ω1 ， 否则x归为ω2
基于最小错误率的贝叶斯决策
例2.1
假设在某地区切片细胞中正常(ω1)和异常(ω ２)两类的先验概率分别为P(ω1)=0.9， P(ω2)=0.1。
现有一待识别细胞呈现出状态x，由其类条 件概率密度分布曲线查得p(x|ω1)=0.2， p(x|ω２)=0.4，
对其作出决策是容易的，也不会出什么差错
问题在于出现模棱两可的情况 任何决策都存在判错的可能性。
基于最小错误率的贝叶斯决策
基本思想
使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策
条件概率
P(*|#)是条件概率的通用符号
即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率
因此判定该细胞为正常细胞比较合理。
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
从平均的意义上的错误率 在连续条件下，平均错误率，以P(e)表示，应
有:
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
分析两类别问题
按贝叶斯决策规则，当P(w2|x)＞p(w1|x)时决策 为w2。
两类情况:有没有癌细胞
ω1表示正常，ω2表示异常 P(ω1|X)与P(ω2|X)分别表示了两种可能性的
大小 X是癌细胞(ω2)，但被判作正常(ω1)，则会
有损失，这种损失表示为:λ2 (1) X确实是正常(ω1)，却被判定为异常(ω2)，
则损失表示成: λ1 (2)
基于最小风险的贝叶斯决策
体现这一点而产生的。
基于最小风险的贝叶斯决策
最小错误率贝叶斯决策规则：
最小错误率目标函数: P (ωj|X) 为了考虑不同决策的不同损失，构造如
同一条件x下，比较ω1与ω2出现的概率 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，
事件ω1出现的可能性大
类条件概率: P(x|ω1)和P(x|ω2)
是在不同条件下讨论的问题 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω2)≠1 P(x|ω1)与P(x|ω2)两者没有联系
先验概率与类条件概率密度相联系的形 式
C类别情况下最小错误率 贝叶斯决策
多类别决策过程中的错误率
把特征空间分割成R1，R2，…，Rc个区域 统计将所有其它类错误划为该区域对应的i类
的概率 计算是很繁琐
计算平均正确分类概率P(c)即
2.2.2基于最小风险的贝叶斯决策
基本思想
使错误率最小并不一定是一个普遍适用的最 佳选择。
已知d维特征空间的统计分布，如何对某一样 本分类最合理
§2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 最小最大决策 序贯分类方法
2.2.1基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？
当某一特征向量值X只为某一类物体所特有， 即
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
癌细胞分类
两种错误:
癌细胞→正常细胞 正常细胞→癌细胞
两种错误的代价(损失)不同
基于最小风险的贝叶斯决策
基本思想
宁可扩大一些总的错误率，但也要使总的 损失减少。
引进一个与损失有关联的，更为广泛的概 念——风险。
在作出决策时，要考虑所承担的风险。 基于最小风险的贝叶斯决策规则正是为了
基于最小错误率的贝叶斯决策
概率密度函数
利用对细胞作病理分析所观测到的信息，也 就是所抽取到的d维观测向量。
为简单起见，我们假定只用其一个特征进行 分类，即d=1
得到两类的类条件概率密度函数分布
P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布
基于最小错误率的贝叶斯决策
引入一个期望风险R
基于最小风险的贝叶斯决策
最小风险贝叶斯决策步骤：
(1)计算出后验概率
已知P(ωi)和P(X|ωi)，i=1,…，c，获得观测到的 特征向量X
根据贝叶斯公式计算
j=1,…，x
基于最小风险的贝叶斯决策
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
而后验概率需要通过计算获得？
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ？
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
P (ω1 |X )
当观测向量为X值时, 该细胞属于正常细胞的概
率。
P (ω2 |X )
当观测向量为X值时, 该细胞属于异常细胞的概
率。
基于最小错误率的贝叶斯决策
后验概率
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的后验 概率
基于最小错误率的贝叶斯决策
类条件概率和后验概率区别
试对细胞x进行分类。
基于最小错误率的贝叶斯决策
例2.1 解：利用贝叶斯公式，分别计算出状态
为x时ω1与ω２的后验概率
基于最小错误率的贝叶斯决策
例2.1
根据贝叶斯决策有 P(ω1|x)＝0.818＞P(ω２|x)＝0.182
分析:错误概率是多少？
判断为正常细胞，错误率为0.182 判断为异常细胞，错误率为0.81国大陆的人 则P(*|#)与P(*)不同含义不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
假设总共有c类物体，用ωi (i=1,2,…,c)标记
显然这个决策意味着，对观测值x有P(w1|x)概率 的错误率。
上例中所作的w1决策，实际上包含有 P(w2|x)=0.182的错误概率
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
在两类别的情况下，可以将p(e|x)表示成当
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可
搜集到大量样本 对某一特定事件(如x)要搜集大量样本是不
太容易 只能借助Bayes公式来计算得到
基于最小错误率的贝叶斯决策
问题
根据最小错误率，如何利用先验概率、类条 件概率密度函数和后验概率进行分类？
基于最小错误率的贝叶斯决策
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的先验 概率
P(ωsalmon) P(ωsea bass)
基于最小错误率的贝叶斯决策
先验概率
根据先验概率决定
P(1) P(2 ), x 1
P(1 )
P(2
),
x
2
这种分类决策没有意义 表明由先验概率所提供的信息太少
如果我们把作出w1决策的所有观测值区域 称为R1，则在R1区内的每个x值，条件错误 概率为p(w2|x)。
另一个区R2中的x,条件错误概率为p(w1|x)。
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
因此平均错误率P(e)可表示成
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
基于最小风险的贝叶斯决策
(3)损失函数λ(αi|ωj)(或λ(αi,ωj))
这就是前面我们引用过的λj (i) 表示对自然状态ωj ，作出决策αj时所造成
的损失
(4)观测值X条件下的期望损失R(αi|X)
这就是前面引用的符号Ri，也称为条件风险。
基于最小风险的贝叶斯决策
最小风险贝叶斯决策规则可写成：
两类情况:有没有癌细胞
另外为了使式子写的更方便，我们也可以定 义λ1 (1)和λ2 (2)
是指正确判断也可有损失
基于最小风险的贝叶斯决策
两类情况:有没有癌细胞
X判作ω1引进的损失应该为
将X判为ω2的风险就成为
作出哪一种决策就要看是R1(X)小还是R2(X)小
这就是基于最小风险的贝叶斯决策的基本出发点
如果
则x归为ω1 ， 否则x归为ω2
基于最小错误率的贝叶斯决策
几种等价形式：
对数形式 若
则x归为ω1 ， 否则x归为ω2
基于最小错误率的贝叶斯决策
例2.1
假设在某地区切片细胞中正常(ω1)和异常(ω ２)两类的先验概率分别为P(ω1)=0.9， P(ω2)=0.1。
现有一待识别细胞呈现出状态x，由其类条 件概率密度分布曲线查得p(x|ω1)=0.2， p(x|ω２)=0.4，
对其作出决策是容易的，也不会出什么差错
问题在于出现模棱两可的情况 任何决策都存在判错的可能性。
基于最小错误率的贝叶斯决策
基本思想
使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策
条件概率
P(*|#)是条件概率的通用符号
即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率
因此判定该细胞为正常细胞比较合理。
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
从平均的意义上的错误率 在连续条件下，平均错误率，以P(e)表示，应
有:
最小错误率的证明
最小错误率贝叶斯准则使得错误率最小 证明:
分析两类别问题
按贝叶斯决策规则，当P(w2|x)＞p(w1|x)时决策 为w2。
两类情况:有没有癌细胞
ω1表示正常，ω2表示异常 P(ω1|X)与P(ω2|X)分别表示了两种可能性的
大小 X是癌细胞(ω2)，但被判作正常(ω1)，则会
有损失，这种损失表示为:λ2 (1) X确实是正常(ω1)，却被判定为异常(ω2)，
则损失表示成: λ1 (2)
基于最小风险的贝叶斯决策
体现这一点而产生的。
基于最小风险的贝叶斯决策
最小错误率贝叶斯决策规则：
最小错误率目标函数: P (ωj|X) 为了考虑不同决策的不同损失，构造如