第2章 贝叶斯决策理论
合集下载
第2章 贝叶斯决策理论_正态分布
2) 观测数据白细胞浓度分别在两种情况 下的类条件分布： 下的类条件分布： P(x|ω1) ~ N(2000,1000) P(x|ω2) ~ N(7000,3000)
– P(3100|ω1) = 2.1785e-004 – P(3100|ω2) = 5.7123e-005 – P(ω1|3100)=1.9% – P(ω2|3100)=98.1%
– 观测值通常是很多种因素共同作用的结果，根据 观测值通常是很多种因素共同作用的结果，
中心极限定理，服从正态分布。 中心极限定理，服从正态分布。 – 计算、分析最为简单的模型。 计算、分析最为简单的模型。
一元正态分布
一元正态分布及其两个重要参数： 一元正态分布及其两个重要参数：
– 均值（中心） 均值（中心） – 方差（分散度） 方差（分散度）
医生的判断： 医生的判断：正常
作业
设有两类服从二维正态分布的样本如下(前两 设有两类服从二维正态分布的样本如下 前两 个一类，后两个一类)： 个一类，后两个一类 ： 1 2 2 4 x1 = x2 = x3 = x4 = 1 2 4 4 其协方差相同， 其协方差相同，可用两类样本的协方差的 均值来估计。 均值来估计。 设两类的先验概率之比为4:6。 设两类的先验概率之比为 。 求其判别边界，写出计算过程。 求其判别边界，写出计算过程。
判别边界是各种二次曲线。 判别边界是各种二次曲线。
例1：二次曲线边界
3 1/ 2 0 µ1 = ; Σ1 = 6 0 2 3 2 0 µ2 = ; Σ 2 = −2 0 2
g i ( x ) = x Wi x + w x + wi 0
[
]
判别边界仍是一条直线，但不垂直于均值的连线。 判别边界仍是一条直线，但不垂直于均值的连线。
第2章 贝叶斯决策理论
P e
p e x P x dx
t
p 2 x pe x p 1 x
x 1 x 2
P e
全概率公式
p p(x 1|x) x dx p x P x dx P
p(X|1)、p(X|2)分别表示男女生身高分布情况。
由于男女生身高分布之间没有任何关系，一般情况下对某个学
生的特征向量X：p(X|1)+p(X|2)1
主要内容
2.1 几种常用的决策规则
2.2 分类器的设计
2.3 正态分布时的统计决策
2.4 概率密度函数估计 2.5 应用实例
t
t
多类问题的错误率
特征空间被分割成 1, …, c 个区域，每个区域有c-1个
p(e|X)，则P(e)由c(c-1)项构成，计算量很大。
常通过计算平均正确分类概率来求解错误率： P(e)=1P(c)
两类错误率
两类决策问题中，（可以是一维或多维）
错误率 采取决策1时，实际自 然状态是2 采取决策2时，实际自 然状态是1
p(x|1) 自然状态下观察的类条件概率密度函数
p(x|2)
x0
x
现有一待识别细胞，其观察值为x0，从类条件概率曲线上查得： p(x0|1)=0.2 p(x0|2)=0.4
试对该细胞进行分类。（以下x0简记为x）
例2.1 癌细胞识别
贝叶斯公式： p i X
p X i P i
1 X 2
错误率P(e)
分类错误率的简称。在最小错误率贝叶斯决策规则中，
─ 错误率是针对特征空间中所有的特征向量x，根据决策规则 分类的平均错误率。 ─ 不是指已知某一个具体的特征向量x，根据该规则分类后的 错误率。
p e x P x dx
t
p 2 x pe x p 1 x
x 1 x 2
P e
全概率公式
p p(x 1|x) x dx p x P x dx P
p(X|1)、p(X|2)分别表示男女生身高分布情况。
由于男女生身高分布之间没有任何关系，一般情况下对某个学
生的特征向量X：p(X|1)+p(X|2)1
主要内容
2.1 几种常用的决策规则
2.2 分类器的设计
2.3 正态分布时的统计决策
2.4 概率密度函数估计 2.5 应用实例
t
t
多类问题的错误率
特征空间被分割成 1, …, c 个区域，每个区域有c-1个
p(e|X)，则P(e)由c(c-1)项构成，计算量很大。
常通过计算平均正确分类概率来求解错误率： P(e)=1P(c)
两类错误率
两类决策问题中，（可以是一维或多维）
错误率 采取决策1时，实际自 然状态是2 采取决策2时，实际自 然状态是1
p(x|1) 自然状态下观察的类条件概率密度函数
p(x|2)
x0
x
现有一待识别细胞，其观察值为x0，从类条件概率曲线上查得： p(x0|1)=0.2 p(x0|2)=0.4
试对该细胞进行分类。（以下x0简记为x）
例2.1 癌细胞识别
贝叶斯公式： p i X
p X i P i
1 X 2
错误率P(e)
分类错误率的简称。在最小错误率贝叶斯决策规则中，
─ 错误率是针对特征空间中所有的特征向量x，根据决策规则 分类的平均错误率。 ─ 不是指已知某一个具体的特征向量x，根据该规则分类后的 错误率。
第2章 贝叶斯决策理论
P (2 ) P2 (e) P (1 ) P 1 ( e)
基于最小错误率的贝叶斯决策
多类情况下的贝叶斯决策规则
(1) P(i | x) max P( j | x)
j 1, ,c j 1, ,c
x i x i
(2) p( x | i ) P(i ) max p( x | j ) P( j )
基于最小错误率的贝叶斯决策
考虑贝叶斯公式
P(i | x) p( x | i ) P(i ) i 1, 2,
p( x | ) P( )
j 1 j j
c
,c
癌细胞识别问题中c=2
p( x) p( x | j ) P( j )为一因子
j 1 c
贝叶斯公式通过类条件概率密度形式的观察值，将先验 概率转化为后验概率。
R(i | x) (i , j ) P( j | x), i 1,2, , a
j 1 c
（3）取（2）中条件风险最小的决策，采取该行动。
基于最小风险的贝叶斯决策
例：在最小错误率例题基 础上，利用决策表按最小 风险贝叶斯决策进行分类。
1
1
2
0 1
2
6 0
解：前例已计算出P(1 | x) 0.818, P(2 | x) 0.182
基于最小风险的贝叶斯决策
直观上对数字信号的判断如下图
x 0.5
1 x 0
2 1
信号受0均值高斯噪声影响，输入为0时，幅值的概率密度为
p( x | 1 ) 1 ( x 0)2 exp[ ] 2 2 2
输入为1时，幅值的概率密度为
p( x | 2 ) 1 ( x 1)2 exp[ ] 2 2 2
贝叶斯决策理论课件(PPT 88页)
[计算]0.323
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率，即平均错误率， 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小，因为P(e/x)始终取 最小
这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类
似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判
设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995
现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验，其结果为 “阳性”和“阴性”两种反应
元素含义：对角线和非对角线
协方差：用来度量变量之间“协同变异”大小的总体参数， 即二者相互影响大小的参数；绝对值越大，相互影响越大
对角阵情形；去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
的最小平均损失R*，从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线？
正常人试验反应为阳性的概率=0.01，即 p(x=阳|ω2)=0.01
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率，即平均错误率， 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小，因为P(e/x)始终取 最小
这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类
似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判
设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995
现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验，其结果为 “阳性”和“阴性”两种反应
元素含义：对角线和非对角线
协方差：用来度量变量之间“协同变异”大小的总体参数， 即二者相互影响大小的参数；绝对值越大，相互影响越大
对角阵情形；去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
的最小平均损失R*，从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线？
正常人试验反应为阳性的概率=0.01，即 p(x=阳|ω2)=0.01
第2章贝叶斯决策理论
R1 | x R2 | x 所以 x w2
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
损 失状态（正常类）（异常类）
决策
ω1
ω2
α1（正常）0
6
α（2 异常）1
0
这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以 宁肯将之判别为异常类血细胞。
2.2.3 基于最小风险的贝叶斯决策应用实例
例：细胞识别
w1类
w2类
x
假设在某个局部地区细胞识别中， 率分别为
则 x wi
w1类 w3 类
w2 类
x
2.2 基于最小风险的贝叶斯决策
2.2.1 为什么要引入基于风险的决策
基于最小错误率的贝叶斯决策
错误率
如果 P w1 | x P w2 | x 则 x w1 如果 P w2 | x P w1 | x 则 x w2
误判为：x w2 误判为：x w1
正常(1)和异常(
2)两类的先验概
正常状态： 异常状态：
P P
((21))
=0.9; =0.1.
现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上
查得
P(x | 1 )=0.2, P(x | 2)=0.4.
且因误判而带来的风险如下页表所表示，试对该细胞x进行分类。
解： （1）利用贝叶斯公式，分别计算出 1及 2的后验概率。
wi
PD | wi Pwi
n
PD | wi Pwi
i 1
2.1.1 预备知识（续）
贝叶斯公式：
Pwi | D
PD | wi Pwi PD
（1763年提出）
贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数 学公式之一 ；
由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等 诸多理论体系，进而形成一个贝叶斯学派；
贝叶斯决策
超曲面。相邻的两个类别在决策面上的判别函数
值是相等的。如果ωi和ωj是相邻的，则分割它们 的决策面就应为
– di(x)=dj(x) 或 di(x)-dj(x)=0 – 对于两类问题，决策面方程：
– P(x|ω1)P(ω1)-P(x|ω2)P(ω2)=0
§2.2 基于贝叶斯公式的几种判别规则
一、基于最小风险的贝叶斯决策
ωi所受损失。因为这是错误判决，故损失最大。
表示：在决策论中，常以决策表表示各种 情况下的决策损失。
状态
ω
ω
…ω
…ω
损失
1
2
j
m
决策
α1
…
…
α2
…
…
…
…
αi
…
…
…
…
αα
…
…
2.风险R（期望损失）：
对未知x采取判决行动α(x)所付出的代价（损耗）
➢行动αi：表示把模式x判决为ωi类的一次动作。
➢条件风险：
密度，考虑误判的损失代价。决策应是统计意义
上使由于误判而蒙受的损失最小。
–
如果在采取每一个决策或行动时，都使
其条件风险最小，则对所有的x作出决策时，其期
望风险也必然最小。（条件平均损失最小的判决
也必然使总的平均损失最小。）
–5.最小风险贝叶斯决策规则
–如果 ：
–6.判决实施步骤：
–（1）在已知P(ωj),P(x|ωj),j=1,2,…m，并给出待 识别的x的情况下，根据贝叶斯公式计算出后验概
决策表很不容易，往往要根据所研究的具体问题， 分析错误决策造成损失的严重程度来确定。
–7.错误率最小的贝叶斯决策规则与风险最小的贝 叶斯决策规则的联系 – 在采用0-1损失函数时，最小风险贝叶斯决 策就等价于最小错误率贝叶斯决策。
第二章贝叶斯决策理论
利用贝叶斯公式(1)还可以得到几种最小错 误率贝叶斯决策规则的等价形式：
⑵如果 p(x|ωi) P(ωi )= mj1a,2xp(x|ωj) P(ωj)，
则
x∈ωi
⑶若
l(x) p(x | 1) P(2 )
p(x | 2 ) < P(1)
，则x∈
ω1 ω2
⑷对上式的l(x)取自然对数的负值，可写为
2
p(x | i )P(i )
i 1
2.2.1基于最小错误率的贝叶斯决策
❖ 条件概率P(ωi|x)称为状态的后验概率 ❖ 贝叶斯公式实质上是通过观察x把状态的先验
概率P(ωi) 转化为状态的后验概率P(ωi|x)，如图 2.2所示。
图2.2 P(ω1) =2/3和P(ω2)=1/3 及图2.1下的后验 概率图
若h(x)=－ln[l(x)]=－lnp(x|ω1)+ lnp(x|ω2) <>
则 x∈ ω1
ln P(2 ) P(1 )
ω2
2.2.1基于最小错误率的贝叶斯决策
举例
❖ 假设在某个局部地区细胞识别中正常(ω1) 和异常(ω2)两类先验概率分别为正常状态： P(ω1)=0.9；异常状态：P(ω2)=0.1。现有 一待识的细胞，其观察值为x，从类条件 概率密度分布曲线上查得p(x|ω1)=0.2， p(x|ω2)=0.4。试对该细胞x进行分类。
一次判别，这种分类可能是合理的；如果多次 判别，则根本未达到要把鲈鱼与鲑鱼区分开的 目的。
2.2.1基于最小错误率的贝叶斯决策
解决方法
❖ 利用对鱼观察到的光泽度提高分类器的性 能。不同的鱼产生不同的光泽度，将其表 示为概率形式的变量，设x是连续的随机变 量，其分布取决于类别状态，表示为p(x|ω)， 即类条件概率分布(class-conditional probability density)函数，则 p(x|ω1)与p(x|ω2) 之间的区别就表示为鲈鱼与鲑鱼间光泽度 的区别，如图2.1所示：
模式识别课件-第二章 贝叶斯决策理论
如果使得 > 对于一切的 ≠ 均成
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
线性分类器
• 两类问题，高维特征，先验概率不同时：
情况三： 任意
• 判别函数可以写成：
• 判别函数为二次判别函数，分类界面为2次 曲线（面）。
二次分类曲线
• 以一个化验结果作为特征x: {阳性，阴性}，患癌
症的人和正常人化验结果为阳性的概率分别为：
•
判别代价： λ11 = 0, λ22 = 0, λ12 = 100, λ21
= 25
• 现有一人化验结果为阳性，问此人是否患癌症 ？
2.3 贝叶斯分类器的其它版本
• 先验概率P(ωi)未知：极小化极大准则； • 约束一定错误率（风险）：Neyman-
Pearson准则； • 某些特征缺失的决策： • 连续出现的模式之间统计相关的决策：
2.4 正态分布的贝叶斯分类器
• 单变量正态分布密度函数（高斯分布）：
多元正态分布函数
正态分布的判别函数
• 贝叶斯判别函数可以写成对数形式：
• 类条件概率密度函数为正态分布时：
情况一：
• 判别函数可以写成：
• 判别准则： •则 ：
贝叶斯最小错误率准则
•Bayes判别准则： •，则
贝叶斯分类器的错误率估计
例2.1
• 症对，一ω大2批类人代进表行正癌常症人普。查已，知设先ω验1概类率代：表患癌
• 以一个化验结果作为特征x: {阳性，阴性}，患
癌症的人和正常人化验结果为阳性的概率分别为：
• 现有一人化验结果为阳性，问此人是否患癌症 ？
• 此分类器称为距离分类器，判别函数可以用 待识模式x与类别均值μi之间的距离表示：
情况二：
• 判别函数可以写成： • 可以简化为： • 称为线性分类器
线性分类器
• 两类问题，1维特征，先验概率相同时 ：
线性分类器
• 两类问题，高维特征，先验概率相同时 ：
线性分类器
• 两类问题，1维特征，先验概率不同时：
第2章 贝叶斯决策理论
2020年6月6日星期六
2.1 最小错误率准则
各种概率及其关系
• 先验概率： • 后验概率： • 类条件概率： • 贝叶斯公式：
两个类别，一维特征
两类问题的错误率
• 观察到特征x时作出判别的错误率：
• 两类问题最小错误率判别x属于ωi的错误率：
2.2 最小平均风险准则贝叶斯分 类器
•问题的提出: 有c个类别ω1, ω2 ,... , ωc, 将ωi类的样本
判别为ωj类的代价为λij。
•将未知模式x判别为ωj类的平均风险：
最小平均风险判别准则
• 利用Bayes公式，构造判别函数：
贝叶斯分类器
例2.2
• ω对2一类大代批表人正进常行人癌。症已普知查先，验设概ω率1：类代表患癌症，