02 17PR-第二章 贝叶斯决策理论 partI
第2章 贝叶斯决策完整版.ppt
最小风险准则
❖ 最小风险贝叶斯决策：考虑各种错误造成损失不
同而提出的一种决策规则。
❖ 条件风险：
精选
最小风险准则
❖ 期望风险：对于x的不同观察值，采取决策αi时，
其条件风险大小是不同的。所以究竟采取哪一种决 策将随x的取值而定。这样，决策α可以看成随机向 量x的函数，记为α(x)。可以定义期望风险Rexp为：
假言：如果鱼的长度 x 大于45cm，则该鱼为 鲈鱼 1，否则该鱼为鲑鱼 2
前提：现在某条鱼 x 38cm
结论：该鱼为鲑鱼 2
❖ 概率推理（不确定性推理）
P i x 精选
最小错误率准则
❖ 例子：
给定
P
y
1
P
y
2
1 2
，类条件概率密度如图。
现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？
R2
R1
a p 1 b
❖ 一旦 R1 和 R2 确定，a和b为常数
❖ 一旦 R1 和 R2 确定， R 与 P(ω1) 成线性关系
❖ 选择使 b=0 的R1 和 R2 ，期望风险与P(ω1) 无关！
精选
R* C’ C
最小最大决策准则
D
R1 ,R2不变
A
R*B
D’
B
R1 ,R2改变
b=0
此时最大 风险最小,
P i
x
Px
i P i
Px
则： P1 x P2 x
等价于：
p x 1 P 1 p x 2 P 2
p x 1 p x 2
p 2 p 1
精选
似然比公式
最小错误率准则
❖ 特例1：
第2章 贝叶斯决策理论
p e x P x dx
t
p 2 x pe x p 1 x
x 1 x 2
P e
全概率公式
p p(x 1|x) x dx p x P x dx P
p(X|1)、p(X|2)分别表示男女生身高分布情况。
由于男女生身高分布之间没有任何关系，一般情况下对某个学
生的特征向量X：p(X|1)+p(X|2)1
主要内容
2.1 几种常用的决策规则
2.2 分类器的设计
2.3 正态分布时的统计决策
2.4 概率密度函数估计 2.5 应用实例
t
t
多类问题的错误率
特征空间被分割成 1, …, c 个区域，每个区域有c-1个
p(e|X)，则P(e)由c(c-1)项构成，计算量很大。
常通过计算平均正确分类概率来求解错误率： P(e)=1P(c)
两类错误率
两类决策问题中，（可以是一维或多维）
错误率 采取决策1时，实际自 然状态是2 采取决策2时，实际自 然状态是1
p(x|1) 自然状态下观察的类条件概率密度函数
p(x|2)
x0
x
现有一待识别细胞，其观察值为x0，从类条件概率曲线上查得： p(x0|1)=0.2 p(x0|2)=0.4
试对该细胞进行分类。（以下x0简记为x）
例2.1 癌细胞识别
贝叶斯公式： p i X
p X i P i
1 X 2
错误率P(e)
分类错误率的简称。在最小错误率贝叶斯决策规则中，
─ 错误率是针对特征空间中所有的特征向量x，根据决策规则 分类的平均错误率。 ─ 不是指已知某一个具体的特征向量x，根据该规则分类后的 错误率。
贝叶斯决策理论课件(PPT 88页)
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率，即平均错误率， 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小，因为P(e/x)始终取 最小
这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类
似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判
设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995
现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验，其结果为 “阳性”和“阴性”两种反应
元素含义：对角线和非对角线
协方差：用来度量变量之间“协同变异”大小的总体参数， 即二者相互影响大小的参数；绝对值越大，相互影响越大
对角阵情形；去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
的最小平均损失R*，从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线？
正常人试验反应为阳性的概率=0.01，即 p(x=阳|ω2)=0.01
第2章_贝叶斯决策
R1
R1
21 p 1 p x 1 dx 22 p 2 p x 2 dx
R2
R2
11 p 1 (1 p x 1 dx) 21 p 1 p x 1 dx 12 (1 p 1 ) p x 2 dx
R2
R2
R1
22(1 p 1 )(1 p x 2 dx)
R1
最小最大决策准则
Neyman-Pearson准则
❖ 对两分类问题，错误率可以写为：
Pe p x R1, x 2 p x R2, x 1
p x | 2 p2 dx p x | 1 p1 dx
R1
R2
p x | 2 dx p2 p x | 1 dx p1
R1
R2
p2 e p2 p1 e p1
策即为最小风险贝叶斯决策
最小风险准则
最小风险准则
❖ 对于贝叶斯最小风险决策，如果损失函数为“01损失”，即取如下的形式：
i wj
0, 1,
for i j ; i, j 1,
for i j
,c
那么，条件风险为：
c
R i x i j P j x P j x 1 P i x
❖ 贝叶斯决策的两个要求
各个类别的总体概率分布 (先验概率和类条件概 率密度) 是已知的
要决策分类的类别数是一定的
引言
❖ 在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围 构成了d维特征空间。
❖ 称向量 x x1, x2, , xd T x Rd 为d维特征向量。
p 2 p 1
似然比公式
最小错误率准则
❖ 特例1：
最小错误率准则
第2章贝叶斯决策理论[1]
![第2章贝叶斯决策理论[1]](https://img.taocdn.com/s3/m/6575d6a814791711cd791720.png)
•ω1
•ω2
•根据条件风险公式：
•α•1（正常） •0
•1
•α•（2 异常） •1
•0
•则两类决策的风险为
•（将 判决为第 类的风险 ）
•（将 判决为第 类的错误率）
PPT文档演模板
•因此两种决策规则等价 （理论推导见教材P16）
第2章贝叶斯决策理论[1]
•2.3 正态分布时的贝叶斯统计决策
PPT文档演模板
第2章贝叶斯决策理论[1]
•2.2.3 基于最小风险的贝叶斯决策应用实例
•例：细胞识别
•类
•类
• 假设在某个局部地区细胞识别中， 正常( )和异常( )两类的先验概 率分别为
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
• 正常状态：
P ( ) =0.9;
• 异常状态：
P ( ) =0.1.
•现有一待识别的细胞，其观察值为 ，从类条件概率密度分布曲线上
查得
•
P(x | )=0.2, P(x | )=0.4.
•试对该细胞x进行分类。
•解：利用贝叶斯公式，分别计算出 及 的后验概率。
•
P( | x)=
•
P( |x)=1- P( |x)=0.182
•（2）多元正态分布
•均值向量： •协方差矩阵：
PPT文档演模板
•多元正态分布
•左图的投影
第2章贝叶斯决策理论[1]
•2.3.1 预备知识（续）
•（3）多元正态分布的协方差矩阵
区域中心由均值决定，区域形状由协方差矩阵决定；且主轴方向是 协方差矩阵的特征向量方向；
第2章 贝叶斯决策理论PPT课件
令每一个x都取使P( P (e | x) p ( x)dx
P(e
|
x)
P P
(1 ( 2
| |
x) x)
P ( 2 | x) P (1 | x) P (1 | x) P ( 2 | x)
最小的值，则所有x产生
的平均错误率最小。
结论可推广至多类
t
P (e) P ( 2 | x) p ( x)dx t P (1 | x) p ( x)dx
t
p ( x | 2 ) P ( 2 )dx t p ( x | 1 ) P (1 )dx
P ( 2 ) P2 (e) P (1 ) P1 (e)
12
基于最小错误率的贝叶斯决策
使误判概率 P (最e ) 小，等价于使正确分类识别的概率 P ( c ) 最大。
贝叶斯决策理论研究了模式类的概率结构完全知道的 理想情况。这种情况实际中极少出现，但提供了一个对 比其它分类器的依据，即“最优”分类器。
5
2.1 引言
符号规定
分类类别数：c
类别状态： i,i1,2, ,c
特征空间维数：d
d维特征空间中的特征向量：x[x1,x2, ,xd]T
先验概率：P (表i ) 示 类出i 现的先验概率,简称为 类的 概i 率
P(1| x)
p(x|1)P(1)
2
p(x|j)P(j)
0.20.9 0.818 0.20.90.40.1
j1
P(2 | x)1P(1| x)0.182 P(1|x)0.818P(2| x)0.182 x1
11
基于最小错误率的贝叶斯决策
关于错误率最小的讨论（一维情况）
错误率是指平均错误率P(e)
2.1 引言
模式识别课件-第二章 贝叶斯决策理论
立，则将x归于 类。
几种常见的决策规则
判别函数
相对应于贝叶斯决策的判别函数
(1) = |
(2) = (│ )( )
(3) = ln + ln ( )
= , =
= , =
几种常见的决策规则
基于最小风险的贝叶斯决策
利用贝叶斯公式，分别计算后验概率
(│ )( )
=
σ= (│ )( )
. ∗ .
=
= .
. ∗ . + . 4 ∗ . 1
且对应于各类别的 i 出现的先验概率 P(i )
及类条件概率密度 p ( x | i )已知
如果在特征空间已经观察到某一个向量x, 应
该把x分到哪一类？
引言
基本符号与定义
例：医生要根据病人血液中白细胞的浓度来
判断病人是否患血液病。（两分类问题）
根据以往医生的经验知道：
患病的人，白细胞的浓度与正常人不同
正态分布函数定义及性质
概率密度函数应满足下面关系：
≥ 0 −∞ < < +∞
+∞
න
−∞
() = 1
正态分布时的统计决策
正态分布函数定义及性质
多元正态分布
1
−1
−1
=
exp{
(
−
)
Σ ( − )}
/2
1/2
2
(2) |Σ|
其中
= [ , , … , ] 是d维列向量，
= [ , , … , ] 是d维均值向量，
贝叶斯决策理论
第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。
第二章 贝叶斯决策理论
ωc } αa}
对x可能采取的决策： Α = {α1 α 2
决策表
损失 状态 决策
ω1
ω2
…
ωj
λ (α 2 , ω j ) λ (α i , ω j ) λ (α a , ω j ) λ (α1 , ω j )
…
ωc
λ (α1 , ωc ) λ (α 2 , ωc ) λ (α i , ωc ) λ (α a , ωc )
⎧0 i = j 假设损失函数为0 - 1函数 ： λ (α i , ω j ) = ⎨ ⎩1 i ≠ j
条件风险为 ：R(α i | x ) = ∑ λ (α i , ω j )P (ω j | x ) =
c j =1 j =1, j ≠ i
∑ P(ω
c
j
| x)
等式右边的求和过程表示对x采取决策 ωi 的条件错 误概率。
贝叶斯公式 设试验E的样本空间为S，A为E的事件， B1,B2,…,Bn为S的一个划分
且 P ( A ) > 0 , P (B i ) > 0 , 则 P (B i | A ) =
n
P ( A | B i ) ⋅ P (B i )
j j
∑ P (A | B )⋅ P (B )
j =1
, j = 1, 2 ,..., n
分析 根据后验概率，发现这个细胞不正常的可能性
利用Bayes公式求后验概率 P(ωi | x )
增大了。 ∵ P (ω1 | x ) > P (ω 2 | x ) 所以判断该细胞为正常的。 实际中仅这个结论不能确诊的，需要更有效的化验。
（2）最小错误率的贝叶斯决策规则
⎧ω1 > 若P(ω1 | x ) < P(ω2 | x )，则x ∈ ⎨ ⎩ω2 ⎧ω1 > 若P(ω1 ) ⋅ p (x | ω1 ) < P(ω2 ) ⋅ p( x | ω2 )，则x ∈ ⎨ ⎩ω2 ⎧ω1 p( x | ω1 ) > P(ω2 ) ∈ x 若l ( x ) = ，则 ⎨ < p( x | ω2 ) P(ω1 ) ⎩ω2
第二章贝叶斯决策理论
第⼆章贝叶斯决策理论第⼆章贝叶斯决策理论●引⾔统计模式识别⽅法以样本特征值的统计概率为基础：（1）先验概率()i P ω、类（条件）概率密度函数(/)i p ωx 和后验概率(/)i P ωx 。
（2） Bayes 公式体现这三者关系的公式。
本章讨论的内容在理论上有指导意义，代表了基于统计参数这⼀类的分类器设计⽅法，结合正态分布使分类器设计更加具体化。
模式识别算法的设计都是强调“最优”，即希望所设计的系统在性能上最优。
是指对某⼀种设计原则讲的，这种原则称为准则。
使这些准则达到最优，如最⼩错误率准则，基于最⼩风险准则等,讨论⼏种常⽤的决策规则。
设计准则,并使该准则达到最优的条件是设计模式识别系统最基本的⽅法。
●思考？机器⾃动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？错分类往往难以避免，因此就要考虑减⼩因错分类造成的危害损失，有没有可能对⼀种错分类严格控制？●贝叶斯决策理论与⽅法基本概念给定⼀个m 模式类(,,....,)m ωωω12的分类任务以及各类在这n 维特征空间的统计分布, 要区分出待识别样本x 属于这m 类样本中的哪⼀类问题。
假设⼀个待识别的样本⽤n 个属性观察值描述，称之为n 个特征，从⽽组成⼀个n 维的特征向量，⽽这n 维征向量所有可能的取值范围则组成了⼀个n 维的特征空间。
特征空间的统计分布 (1) i ω, i =1,2,…,m 的先验概率：()i P ω(2)类条件概率密度函数：(|)i p ωx （可解释为当类别i ω已知的情况下，样本x 的概率分布密度函数）(3)后验概率：⽣成m 个条件后验概率(|)i P ωx ，i =1，2，…，m 。
也就是对于⼀个特征向量x ，每⼀个条件后验概率(|)iP ωx 都代表未知样本属于某⼀特定类i ω的概率。
第⼀节基于最⼩错误率的贝叶斯判别⽅法 (⼀).两类情况两类情况是多类情况的基础，多类情况往往是⽤多个两类情况解决的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模式识别Bayesian Decision TheoryXIDIAN UNIVERSITY2017/03/15第章第一章绪论复习模式识别的含义——机器自动识别与分类模式识别的过程——从样本到类别的映射特特征选择模类征空和提取分类决策式空型空2间间间引言12内容几种常用的决策规则3判别函数、决策面与分类器设计4正态分布时的统计决策知识拓展5引言12内容几种常用的决策规则3判别函数、决策面与分类器设计4正态分布时的统计决策知识拓展521引言2-1 引言在连续情况下假设对要识别的◆在连续情况下，假设对要识别的物理对象有d 种特征观察量x ,x ,…x ，这些特征的所有可能的1,2,d ，取值范围构成了d 维特征空间。
T dx x x R =∈x x ◆称向量为d 维特征向量。
个类别[]12,,,,d ◆假设要研究的分类问题有c 个类别，类型空间表示为：{}12,,,,i c ωωωωΩ= 把x分到哪类去才更合理？5x →Ω把x分到哪一类去才更合理？21引言2-1 引言贝叶斯◆托马斯·贝叶斯(ThomasBayes,17011761)英国牧师、业余数Bayes,1701-1761)英国牧师、业余数学家。
贝叶斯在数学方面主要研究概率论,创立了贝叶斯统计理论。
逆概问题◆所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章。
在此之前，人们已经能概”问题写的篇文章在此之前人们已经能够解决“正向概率”问题。
621引言2-1 引言◆贝叶斯方法的重要性●贝叶斯方法是机器学习的核心方法之一现实世界本身就是不确定的人类的●深刻原因：现实世界本身就是不确定的，人类的观察能力是有局限性的●比如：我们往往只能知道从里面取出来的球是什么颜色，而并不能直接看到袋子里面实际的情况。
这个时候，就需要提供一个猜测/假设。
（后验概率）1.算出各种不同猜测的可能性大小算出各种不同猜测的可能性大小2算出最可靠的猜测是什么2.算出最可靠的猜测是什么（决策分类）72-1 引言21引言◆贝叶斯决策理论贝叶斯决策理论是统计模型决策中的一个基本方法，是处理模式分类问题的基本理论之一，对方法是处理模式分类问题的基本理论之一对模式分析和分类器（Classifier）的设计起指导作用其基本思想是：作用。
其基本思想是：1、先验概率和类条件概率密度是已知的；2、要决策分类的类别数是一定的；3、利用贝叶斯公式转换成后验概率；4、根据后验概率大小进行决策分类。
821引言2-1 引言X P ΩΩ◆贝叶斯公式先验概率()()()()X X p P P Ω=后验概率类条件概率密度●先验概率：根据大量统计数据确定某类事物出现的比例由先验知识在识别前就得到的概率的比例，由先验知识在识别前就得到的概率。
921引言2-1 引言X Ω◆贝叶斯公式●类条件概率密度/类分布概率密度同一类事物的各个属性都有一定的变化范围，在这些变化范围内的分布密度用一种函数形式表示称为类分布概率密度()p 围内的分布密度用种函数形式表示，称为类分布概率密度函数。
为了强调是同一类事物内部，因此这种分布密度函数往往表示成条件概率的形式这种分布密度只对同一类事物往往表示成条件概率的形式。
这种分布密度只对同一类事物而言，与其它类事物没有关系。
●后验概率：一个具体事物(属性)属于某种类别的概率(在同一条件X下，()X p Ω10个具体事物(属性)属于某种类别的概率(在同条件X下，某类别出现的概率)。
2-1 引言21引言◆贝叶斯公式几点说明：p(*|#)是条件概率的通用符号，在“|”●(|#)是条件概率的通用符号，在|后边出现的#为条件，之前的*为某个事件，即在某条件#下出现某个事件*的概率。
一个事物在某条件下出现的的概率一个事物在某条件下出现的概率p(*|#)与该事件在不带任何条件下出现的概率写成P(*)是不相同的。
是不相同的●各类别先验概率之和应满足总和为1的约束。
●类条件概率不满足总和为1的约束●后验概率满足总和为1的约束。
1121引言2-1 引言一个贝叶斯决策的例子◆个贝叶斯决策的例子●已知：在夏季，某公园男性穿凉鞋的概率为1/2，女性穿凉鞋的概率为2/3并且该公园中男女比例通常为2:1穿凉鞋的概率为2/3，并且该公园中男女比例通常为2:1，●问题：若你在公园中随机遇到一个穿凉鞋的人，请问它的性别为男性或女性的概率分别为多少？概率论只不过是把常识用数学公式表达了出来。
拉普拉斯——拉普拉斯12 == =ωω男性，女性；设鞋：穿凉x 12:=23=13=12=2P P ωω⎧⎨x x 先验概率（），（） 已知：1212||3p p ωω⎩类条件概率（），（）12|=|=P P ωωx x 后验概率 （），（题？问）：？第二章第章贝叶斯决策理论引言12内容几种常用的决策规则3判别函数、决策面与分类器设计4正态分布时的统计决策知识拓展522几种常用的决策规则2-2 几种常用的决策规则●一般说来，般说来，c 类不同的物体应该具有各不相同的属性，在d 维特征空间，各自有不同的分布。
当某一特只为某一类物体所特有，对其作出决策是征向量值x 只为某类物体所特有，对其作出决策是容易的，也不会出什么差错。
c ⎧()10c i P c iω==⎨≠⎩x ●关键在于经常出现模棱两可的情况。
此时，任何决策都存在判错的可能性。
●不同的决策规则反映了分类器设计者的不同考虑，14对决策结果有不同的影响。
2-2 几种常用的决策规则22几种常用的决策规则基于最小错误率的最小最大决策贝叶斯决策01040203N‐P（Neyman‐Pearson）基于最小风险的决策贝叶斯决策152-2 几种常用的决策规则22几种常用的决策规则基于最小错误率的最小最大决策贝叶斯决策01040203N‐P（Neyman‐Pearson）基于最小风险的决策贝叶斯决策1622几种常用的决策规则2-2 几种常用的决策规则◆基于最小错误率的贝叶斯决策●主要思想：已知先验分布和观测值的类条件概率分布，就可以用贝叶斯公式求得x 属于哪一类的后验概率：()i P ωx ()i i p P ωωx c 其中()()()i P P ω=x x ()()()1i i i P p P ωω==∑x x 其中：lik lih d i P likelihood prior evidence posterior ⨯=称为关于x 的似然函数，或简称为“似然”(likelyhood )。
()i ωx i ω后验概率主要是由先验概率和似然函数的乘积所决定的证据(id 可仅仅看成是个标量因子17的，证据(evidence )因子P (x )可仅仅看成是一个标量因子，以保证各类别的后验概率总和为1，从而满足概率条件。
22几种常用的决策规则2-2 几种常用的决策规则基于最小错误率的贝叶斯决策◆●决策规则(Decision Rules)：几种等价的决策规则：()(), , . i j i P P j i ωωω>∀≠∈x x x 若则判定(1) ()() max , .i j i jP P ωωω=∈⎡⎤⎣⎦x x x (2) 若则判定()若（后验概率形式）()()()() , , .i i j j iP P P P j i ωωωωω>∀≠∈x x x (3) 若则判定i P P ωωx (4)若（条件概率形式）()()()() , , .j i j i j i P P ωωω>∀≠∈x x (4) 若则判定l l l l (5)若（似然比形式）18()()()() ln ln , , .ln ln i i j j i P P P P j i ωωωωω>∀≠∈++x x x (5) 若 则判定（条件概率的对数形式）22几种常用的决策规则2-2 几种常用的决策规则基于最小错误率的贝叶斯决策◆●实现过程：先验概率类•以先验概率、类条件概率密度、特征值（向量）为输入•以后验概率作为类别判断的依据•贝叶斯公式保证了错误率最小19（证明过程见边肇祺《模式识别》p11）22几种常用的决策规则2-2 几种常用的决策规则基于最小错误率的贝叶斯决策◆●特例1：202-2 几种常用的决策规则22几种常用的决策规则基于最小错误率的贝叶斯决策◆●特例2：2122几种常用的决策规则2-2 几种常用的决策规则◆基于最小错误率的贝叶斯决策●形式逻辑（经典确定性推理）形式逻辑（典确定性推）以鲈鱼和鲑鱼分类为例：假言：如果鱼的长度x 小于45cm ，则该鱼为否则该鱼为鲈鱼==鲑鱼，否则该鱼为鲈鱼前提：现在某条鱼的长度x = 38cm2ωΩ1ωΩ结论：该鱼为鲑鱼1ωΩ=2222几种常用的决策规则2-2 几种常用的决策规则◆基于最小错误率的贝叶斯决策●概率推理（不确定性推理）概率推（不确定性推）给定：先验概率：()()1212P y P y ωω====12::ωω，鲑鱼鲈鱼类条件概率密度如图有条问题：现有一条鱼x =38cm ，若采用最小错误率决策，采用最错率策，该鱼应该为哪一类？2322几种常用的决策规则2-2 几种常用的决策规则◆基于最小错误率的贝叶斯决策●概率推理（不确定性推理）12::ωω，鲑鱼鲈鱼概率推（不确定性推）已知：求解()()1212P y P y ωω====求解：3801605x y P y ===()()()()1110.160.5380.8380.160.50.040.5p P y x p x ωωω⨯======⨯+⨯24()2380.2P y x ω===1y ω=故判决：2-2 几种常用的决策规则22几种常用的决策规则基于最小错误率的最小最大决策贝叶斯决策01040203N‐P（Neyman‐Pearson）基于最小风险的决策贝叶斯决策252-2 几种常用的决策规则22几种常用的决策规则基于最小风险的贝叶斯决策◆●主要思想：上述最小错误率决策中，使错误率达到最小是重要的。
上最错率决策中使错率达到最是重的但实际上，有时候需要考虑一个比错误率更广泛的概念—风险，而风险又是和损失紧密相连的。
我们对样本的分类不仅要考虑到尽可能作出正确的判断，而且还要考虑到作出错误判断时会带来什么后果。
最小风险贝叶斯决策正是考虑各种错误造成损失不同而提出的一种决策规则。
2622几种常用的决策规则2-2 几种常用的决策规则基于最小风险的贝叶斯决策◆●决策论的观点：般决策表()损失状态自然状态ω一般决策表(1) x 是d 维随机向量12[,,]T d x x x =x 1…ωc α1λ(α1, ω1)…λ(α1, ωc ),决策(2) 状态空间Ω由c 个自然状态c 类组成……λ(αi , ωj )…αa λ(αa , ω1)…λ(αa , ωc )()12{,,}cωωωΩ= (3)决策/行动(3) 决策/行动αi 指将模式x 判定为ωi 或者是拒判。