贝叶斯决策-PPT
合集下载
基于最小风险的贝叶斯决策PPT(共19页)
•
3、命运给你一个比别人低的起点是想告 诉你， 让你用 你的一 生去奋 斗出一 个绝地 反击的 故事， 所以有 什么理 由不努 力!
•
4、心中没有过分的贪求，自然苦就少。 口里不 说多余 的话， 自然祸 就少。 腹内的 食物能 减少， 自然病 就少。 思绪中 没有过 分欲， 自然忧 就少。 大悲是 无泪的 ，同样 大悟无 言。缘 来尽量 要惜， 缘尽就 放。人 生本来 就空， 对人家 笑笑， 对自己 笑笑， 笑着看 天下， 看日出 日落， 花谢 花开， 岂不自 在，哪 里来的 尘埃!
2.2.2 基于最小风险的贝叶斯决策
问题的提出：风险的概念
风险与损失紧密相连，如病情诊断、商品销售、股 票投资等问题
日常生活中的风险选择，即所谓的是否去冒险
最小风险贝叶斯决策正是考虑各种错误造成损 失不同而提出的一种决策规则
对待风险的态度：“宁可错杀一千，也不放走 一个”
以决策论的观点
决策空间：所有可能采取的各种决策所 组成的集合，用A表示
•
55、不积小流无以成江海，不积跬步无 以至千 里。
•
56、远大抱负始于高中，辉煌人生起于 今日。
•
57、理想的路总是为有信心的人预备着 。
•
58、抱最大的希望，为最大的努力，做 最坏的 打算。
•
59、世上除了生死，都是Hale Waihona Puke 事。从今天 开始， 每天微 笑吧。
•
60、一勤天下无难事，一懒天下皆难事 。
•
•
67、心中有理想 再累也快乐
•
68、发光并非太阳的专利，你也可以发 光。
•
69、任何山都可以移动，只要把沙土一 卡车一 卡车运 走即可 。
•
第四章-贝叶斯决策分析课件
这就要通过科学试验、调查、统计分析等方法获 得较为准确的补充倍息，以修正先验概率，并据以确 定各个方案的期望损益值，拟定出可供选择的决策方 案，协助决策者作出正确的决策。
一般来说，利用贝叶斯定理求出后验概率，据以 进行决策的方法，称为贝叶斯决策方法。
第四章 贝叶斯决策分析
4.1 先验分布 4.2 贝叶斯定理与后验分析 4.3 决策法则 4.4 风险函数、贝叶斯风险和贝叶斯原则 4.5 反序分析 4.6 完全信息价值与最佳样本容量 4.7 关于贝叶斯决策的典型案例分析 4.8 贝叶斯决策方法的优缺点
4.2.3 后验分析
该问题的自然状态有两种，即设备正常和设备不 正常，分别用 1 和 2 表示，假设我们对该设备以往 的生产情况一无所知，那么判断设备是否正常的可能 性相等，即先验概率为：
P10.5 P20.5
4.2.3 后验分析
由于两者的概率相等，实际上无法判断出设备究竟 是否正常。但如果我们从某时刻的产品中抽取一件产 品，若发现为合格品，即抽样的结果X＝“合格品”， 这就得到了一种补充的信息，容易算出：
P 合 合 / 1 P 合 / 1 P 合 / 1 0 . 8 0 . 8 0 . 6 4
P 合 合 / 2 P 合 / 2 P 合 / 2 0 . 3 0 . 3 0 . 0 9
4.2.3 后验分析
由贝叶斯定理得：
P 1 / 合 合 P 合 合 / P 1 P 合 合 1 / P 1 合 P 合 1 / 2 P 2
对这些自然状态的先验概率的估计或指定，是 根据某些客观的情报或证据得出的，故称其为客观 先验分布。
4.1.2 主观的先验分布
把决策者这种知识、经验以及建立在这些基 础上的判断，定量地概括在状态参数的概率分布 中，这样得到的概率称为主观概率。
第二章 贝叶斯决策理论—第三次课
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx
贝叶斯决策理论课件
R R x | xpxdx
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e) P(2 )P2 (e)
对应图中黄色和 橘红色区域面积
px
|
1
dx
px
|
2
dx
R2
R1
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一：
如果P( x) max P( x)，则x
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
(i
,
j
)
0 1
i j i j
i, j 1, 2, , c
此时的条件风险为：
c
c
R(i x) (i , j )P( j x) P( j x)
j1
j1
i j
表示对x采取决策i的条件错误概率
所以在0-1损失函数时，使
贝叶斯决策分析培训教材(PPT39页)
若不作进一步调查研究，则采用方案1（即采用新产品）可获期望利润3.
同理可计算得：P(B2|A)=0. 经财务部门预算，进行一次试销调查花费60万元。 因亏损的先验概率较大，故该厂还要研 若进一步调查研究，则可获期望利润值6. 经过必要的风险估计后，他们估计出：
第一节 引言
一、问题的提出
在实际进行决策时，我们一直强调要调查研究， 注意预测，以掌握机会，制订对策，明确结果， 改进决策过程，提高决策水平。
这种对验前概率分布要否采取一些方法、途径 和手段以获取新信息来进行修正，其效果如何， 是否值得等一系列分析就称为后验预分析。
3.验后分析
根据预后验分析，如果认为采集信息和 进行调查研究是值得的，那么就应该决 定去做这项工作。
验后分析就是根据实际发生的调查结果 的信息修正验前概率的方法。
4.序贯分析
贝叶斯定理：
设B1，B2，……Bn是一组互斥的完备事件集， 即所有Bi互不相容，∪Bi=Ω，且P(Bi)>0，则 对任一事件有：
P(Bi
|
A)
P(Bi A) P( A)
P(Bi )P( A | Bi )
n
P(Bi )P( A | Bi )
i 1
其中：
P(Bi)为试验前就已知道了的概率，称为验前概率或先验概率； P(A)为边际概率，它按全概率公式求得； P(Bi|A)表示试验发生后，由于事件A发生而引起Bi发生的条件概率， 它是对先验概率P(Bi)的一种修正，故称验后概率或修正概率。
P(A| B) P(AB) P(B)
乘法公式： 对任意两个事件A与B，有： P(AB)=P(A|B)P(B)=P(B|A)P(A) 对任意三个事件A1，A2，A3，有： P(A1A2A3)=P(A1)P(A2|A1)P(A3|A1A2) 依次可以推广到四个或更多的事件上去。
同理可计算得：P(B2|A)=0. 经财务部门预算，进行一次试销调查花费60万元。 因亏损的先验概率较大，故该厂还要研 若进一步调查研究，则可获期望利润值6. 经过必要的风险估计后，他们估计出：
第一节 引言
一、问题的提出
在实际进行决策时，我们一直强调要调查研究， 注意预测，以掌握机会，制订对策，明确结果， 改进决策过程，提高决策水平。
这种对验前概率分布要否采取一些方法、途径 和手段以获取新信息来进行修正，其效果如何， 是否值得等一系列分析就称为后验预分析。
3.验后分析
根据预后验分析，如果认为采集信息和 进行调查研究是值得的，那么就应该决 定去做这项工作。
验后分析就是根据实际发生的调查结果 的信息修正验前概率的方法。
4.序贯分析
贝叶斯定理：
设B1，B2，……Bn是一组互斥的完备事件集， 即所有Bi互不相容，∪Bi=Ω，且P(Bi)>0，则 对任一事件有：
P(Bi
|
A)
P(Bi A) P( A)
P(Bi )P( A | Bi )
n
P(Bi )P( A | Bi )
i 1
其中：
P(Bi)为试验前就已知道了的概率，称为验前概率或先验概率； P(A)为边际概率，它按全概率公式求得； P(Bi|A)表示试验发生后，由于事件A发生而引起Bi发生的条件概率， 它是对先验概率P(Bi)的一种修正，故称验后概率或修正概率。
P(A| B) P(AB) P(B)
乘法公式： 对任意两个事件A与B，有： P(AB)=P(A|B)P(B)=P(B|A)P(A) 对任意三个事件A1，A2，A3，有： P(A1A2A3)=P(A1)P(A2|A1)P(A3|A1A2) 依次可以推广到四个或更多的事件上去。
第2章 贝叶斯决策理论PPT课件
令每一个x都取使P( P (e | x) p ( x)dx
P(e
|
x)
P P
(1 ( 2
| |
x) x)
P ( 2 | x) P (1 | x) P (1 | x) P ( 2 | x)
最小的值，则所有x产生
的平均错误率最小。
结论可推广至多类
t
P (e) P ( 2 | x) p ( x)dx t P (1 | x) p ( x)dx
t
p ( x | 2 ) P ( 2 )dx t p ( x | 1 ) P (1 )dx
P ( 2 ) P2 (e) P (1 ) P1 (e)
12
基于最小错误率的贝叶斯决策
使误判概率 P (最e ) 小，等价于使正确分类识别的概率 P ( c ) 最大。
贝叶斯决策理论研究了模式类的概率结构完全知道的 理想情况。这种情况实际中极少出现，但提供了一个对 比其它分类器的依据，即“最优”分类器。
5
2.1 引言
符号规定
分类类别数：c
类别状态： i,i1,2, ,c
特征空间维数：d
d维特征空间中的特征向量：x[x1,x2, ,xd]T
先验概率：P (表i ) 示 类出i 现的先验概率,简称为 类的 概i 率
P(1| x)
p(x|1)P(1)
2
p(x|j)P(j)
0.20.9 0.818 0.20.90.40.1
j1
P(2 | x)1P(1| x)0.182 P(1|x)0.818P(2| x)0.182 x1
11
基于最小错误率的贝叶斯决策
关于错误率最小的讨论（一维情况）
错误率是指平均错误率P(e)
2.1 引言
关于贝叶斯决策理论共80页PPT
13、遵守纪律的风气的培养，只有领 导者本 身在这 方面以 身作则 才能收 到成效 。—— 马卡连 柯 14、劳动者的组织性、纪律性、坚毅 精神以 及同全 世界劳 动者的 团结一 致，是 取得最 后胜利 的保证 。—— 列宁 摘自名言网
的阅读
❖ 知识就是财富 ❖ 丰富你的人生
71、既然我已经踏上这条道路，那么，任何东西都不应妨碍我沿着这条路走下去。——康德 72、家庭成为快乐的种子在外也不致成为障碍物但在旅行之际却是夜间的伴侣。——西塞罗 73、坚持意志伟大的事业需要始终不渝的精神。——伏尔泰 74、路漫漫其修道远，吾将上下而求索。——屈原 75、内外相应，言行相称。——韩非
关于贝叶斯决策理论
11、战争满足了，或曾经满足过人的 好斗的 本能， 但它同 时还满 足了人 对掠夺 ，破坏 以及残 酷的纪 律和专 制力的 欲望。 ——查·埃利奥 特 12、不应把纪律仅仅看成教育的手段 。纪律 是教育 过程的 结果， 首先是 学生集 体表现 在一切 生活领 域—— 生产、 日常生 活、学 校、文 化等领 域中努 力的结 果。— —马卡 连柯(名 言网)
的阅读
❖ 知识就是财富 ❖ 丰富你的人生
71、既然我已经踏上这条道路，那么，任何东西都不应妨碍我沿着这条路走下去。——康德 72、家庭成为快乐的种子在外也不致成为障碍物但在旅行之际却是夜间的伴侣。——西塞罗 73、坚持意志伟大的事业需要始终不渝的精神。——伏尔泰 74、路漫漫其修道远，吾将上下而求索。——屈原 75、内外相应，言行相称。——韩非
关于贝叶斯决策理论
11、战争满足了，或曾经满足过人的 好斗的 本能， 但它同 时还满 足了人 对掠夺 ，破坏 以及残 酷的纪 律和专 制力的 欲望。 ——查·埃利奥 特 12、不应把纪律仅仅看成教育的手段 。纪律 是教育 过程的 结果， 首先是 学生集 体表现 在一切 生活领 域—— 生产、 日常生 活、学 校、文 化等领 域中努 力的结 果。— —马卡 连柯(名 言网)
第四章 贝叶斯决策
第四章贝叶斯决策决策的科学化就是90%的信息加上10%的判断，信息必须要全面、准确、及时，否则就会造成决策的失误，只有最大限度地获取信息和利用信息，才能最大限度地提高决策的正确性。
在风险型决策中，假设各个结局R的发生概率是已知的，一j总是根据历史经验，统计资般Pj料由决策者估计的，又称为“先验概率”。
●某水利工程公司拟对大江截流的施工工期做出决策。
可供选择的方案有两种：一是在9月份施工；二是在10月份施工。
●假定其他条件都具备，影响截流的唯一因素是天气与水文状况。
10月份的天气与水文状况肯定可以保证截流成功。
而9月份的天气水文状况有两种可能。
如果天气好，上游没有洪水，9月底前截流成功，可使整个工程的工期提前，从而能比10月施工增加利润1000万元；如果天气坏，上游出现洪水，截流失败，则比10月施工增加500万元的损失。
●根据以往经验，9月份天气好的可能性是0.6，天气坏的可能性是0.4。
●是否应在9月份施工？为该公司选择合适的行动方案。
●某水利工程公司拟对大江截流的施工工期做出决策。
可供选择的方案有两种：一是在9月份施工；二是在10月份施工。
●假定其他条件都具备，影响截流的唯一因素是天气与水文状况。
10月份的天气与水文状况肯定可以保证截流成功。
而9月份的天气水文状况有两种可能。
如果天气好，上游没有洪水，9月底前截流成功，可使整个工程的工期提前，从而能比10月施工增加利润1000万元；如果天气坏，上游出现洪水，截流失败，则比10月施工增加500万元的损失。
●根据以往经验，9月份天气好的可能性是0.6，天气坏的可能性是0.4。
●是否应在9月份施工？为该公司选择合适的行动方案。
●先验概率，即前述给出的自然状态出现的概率只是一种比较粗糙地调研而获得的自然状态的概率分布。
●解：（1）先验分析根据题意可列出该问题的收益矩阵表：E(Q(a 1))＝1000×0.6－500×0.4＝400万元；E(Q(a 2))＝0表1 收益矩阵表j θ：天气状况 天气好 天气坏先验概率P(j θ)0.6 0.4 方案9月施工 a 1 10月施工 a 2 1000 －500 0 0●【例】某水利工程公司拟对大江截流的施工工期做出决策。