2.3最小风险贝叶斯判决准则-Read
实验一贝叶斯决策教材
实验一贝叶斯决策一、 实验原理1. 最小错误率贝叶斯决策规则：对于两类问题，最小错误率贝叶斯决策有以下裁决规则：P( 1 | x) P( 2 | x),则 x 1 ; 反之，则 x 2。
因为先验概率 P( i ）可以确立，与当前样本 x 没关，因此决策规则也可整理成下边的形式：若l (x) P( x | 1 ) P( 2 ) ，则 x1 ,不然 x 。
P(x |2 ) P( 1) 22. 均匀错误率决策界限把 x 轴切割成两个地域，分别称为第一类和第二类的决策地域 .样本在中但属于第二类的错误概率和样本在中但属于第一类的错误概率就是出现错误的概率， 再考虑到样本自己的分布后就是均匀错误率：t P( 2 | x) p( x)dx P( 1 | x) p( x)dxP(e)t tp( x | 2 ) P( 2 )dx p( x | 1 ) P( 1 )dx t3. 此实验中的裁决门限和均匀错误率（1）裁决门限假设随机脉冲信号 f 中 0 的概率为 ,高斯噪声信号 n 服从,信号叠加时的放大倍数为 a ，叠加后的信号为s f * a n 。
由最小错误率贝叶斯决策可得：P( 1 ) p( x | 1 )P( 2 ) p( x |2)a2 2a2 2 (ln(1 p0 ) ln p0 )化简计算得： t2a（2）均匀错误率由上述积分式可计算。
二、实验内容1、已知均值和方差，产生高斯噪声信号，计算其统计特征实验中利用 MATLAB产生均值为 0，方差为 1 的高斯噪声信号，信号统计分布的程序和结果以下：%产生高斯噪声并统计其特征x=0;%均值为 0y=1;%方差为 1n=normrnd(x,y,[1 1000000]);%产生均值为 0，方差为 1 的高斯噪声m1=mean(n);%高斯噪声的均值v1=var(n); %高斯噪声的方差figure(1)plot(n(1:400)); title( '均值为 0，方差为 1 的高斯噪声 ');figure(2)hist(n,10000); title('高斯噪声的统计特征 ');获得 m1=-4.6534e-005 ；v1= 0.9971 。
基于最小风险的贝叶斯决策PPT(共19页)
•
3、命运给你一个比别人低的起点是想告 诉你， 让你用 你的一 生去奋 斗出一 个绝地 反击的 故事， 所以有 什么理 由不努 力!
•
4、心中没有过分的贪求，自然苦就少。 口里不 说多余 的话， 自然祸 就少。 腹内的 食物能 减少， 自然病 就少。 思绪中 没有过 分欲， 自然忧 就少。 大悲是 无泪的 ，同样 大悟无 言。缘 来尽量 要惜， 缘尽就 放。人 生本来 就空， 对人家 笑笑， 对自己 笑笑， 笑着看 天下， 看日出 日落， 花谢 花开， 岂不自 在，哪 里来的 尘埃!
2.2.2 基于最小风险的贝叶斯决策
问题的提出：风险的概念
风险与损失紧密相连，如病情诊断、商品销售、股 票投资等问题
日常生活中的风险选择，即所谓的是否去冒险
最小风险贝叶斯决策正是考虑各种错误造成损 失不同而提出的一种决策规则
对待风险的态度：“宁可错杀一千，也不放走 一个”
以决策论的观点
决策空间：所有可能采取的各种决策所 组成的集合，用A表示
•
55、不积小流无以成江海，不积跬步无 以至千 里。
•
56、远大抱负始于高中，辉煌人生起于 今日。
•
57、理想的路总是为有信心的人预备着 。
•
58、抱最大的希望，为最大的努力，做 最坏的 打算。
•
59、世上除了生死，都是Hale Waihona Puke 事。从今天 开始， 每天微 笑吧。
•
60、一勤天下无难事，一懒天下皆难事 。
•
•
67、心中有理想 再累也快乐
•
68、发光并非太阳的专利，你也可以发 光。
•
69、任何山都可以移动，只要把沙土一 卡车一 卡车运 走即可 。
•
最小风险的Bayes决策
0-1·损失函数
c
P(j X ) j1, ji
两种判决方式等价！ 9
3.3 Bayes分类器和判别函数
分类器设计：利用决策规则对观察向量 X 进行分类
d 维特征空间
决策规则
c 个决策域
决策面：划分决策域的边界面 决策面方程：决策面的数学解析形式 判别函数：表达决策规则的函数
用正态分布模型描述训练样本集与测试样本集在数 学上实现起来也比较方便
23
物理上的合理性 如果同一类样本在特征空间 内的确较集中地分布在其类均值的附近，远离 均值处分布较少，那么一般情况下以正态分布 模型近似往往是比较合理的
人们也往往因数学分析复杂程度考虑而不得不 采用这种模型，当然使用时应注意结果是否合 理或关注其可接受的程度
A [1 ,. . . ,a ] T ,1 ,. . . ,a为 a 个 决 策 状 态
损失函数 (i ,j ) : 真 实 状 态 为 j 而 判 断 为 i 的 损 失 ( i j )
期望损失（条件风险）
c
R (i|X )E [(i,j)] (i,j)P (j|X ) j 1
分割它们的决策面方程应满足：
gi(x) gj(x)
11
最小错误概率决策
判别函数的不同形式：
gi(x)P(i |x)
gi(x)P(xi)P(i)
g i(x ) lo g P (xi) lo g P (i)
12
最小风险决策
判别函数
gi(x)R(i |x)
判别函数不唯一，更一般地，f ( gi ( x)) （其中 f ( x ) 为 单调增函数）均可作为判别函数
18
后验概率：
贝叶斯决策理论课件(PPT 88页)
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率，即平均错误率， 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小，因为P(e/x)始终取 最小
这个图在哪见过？ 与图像分割中最优阈值对应的错误分割结果类
似，最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想，即判
设被试验的人中患有癌症的概率为0.005，即 P(ω1)=0.005，当然P(ω2)=1-0.005=0.995
现任意抽取一人，要判断他是否患有癌症。显然， 因为P(ω2)> P(ω1)，只能说是正常的可能性大。如 要进行判断，只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验，其结果为 “阳性”和“阴性”两种反应
元素含义：对角线和非对角线
协方差：用来度量变量之间“协同变异”大小的总体参数， 即二者相互影响大小的参数；绝对值越大，相互影响越大
对角阵情形；去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定，
取若干个不同的P(1)值，并分别按最小损失准则确
定相应的最佳决策类域R1、R2，然后计算出其相应
的最小平均损失R*，从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线？
正常人试验反应为阳性的概率=0.01，即 p(x=阳|ω2)=0.01
第二章 贝叶斯决策理论—第三次课
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
本章内容
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 2.6 本章小结
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则 (基于最小错误率的贝叶斯决策准则)
第2章 贝叶斯决策理论
2.5
第2章 贝叶斯决策理论
最小风险贝叶斯判决受三种因素的影响： 类条件概率密度函数p(x|ωi) ； 先验概率P(ωi) ； 损失（代价）函数λ(αj, ωi) 。 在实际应用中遇到的情况： – 各类先验概率不能精确知道； – 在分析过程中发生变动。 这种情况使判决结果不能达到最佳，实际分类器的平均损 失要变大，甚至变得很大。
第2章 贝叶斯决策理论
2.4 Neyman-Person
第2章 贝叶斯决策理论
最小风险贝叶斯判决准则使分类的平均风险最小, 该准则需要什么条件？
最大后验概率判决准则使分类的平均错误率最小, 该准则需要什么条件？
N-P准则在实施时既不需要知道风险函数，也不需 要知道先验概率。
第2章 贝叶斯决策理论
最大后验概率判决准则使分类的平均错误概率最小。 最小风险贝叶斯判决准则使分类的平均风险最小。 可是, 在实际遇到的模式识别问题中有可能出现这样 的问题: 对于两类情形, 不考虑总体的情况, 而只关注某 一类的错误概率, 要求在其中一类错误概率小于给定阈 值的条件下, 使另一类错误概率尽可能小。
因为两类情况下, 先验概率满足:
P(1) P(2 ) 1
第2章 贝叶斯决策理论
R R1 [(1,1)P(1) p(x | 1) (1,2 )P(2 ) p(x | 2 )]dx R2 {(2 ,1)P(1) p(x | 1) (2,2 )P(2 ) p(x | 2 )}dx
最小风险贝叶斯决策判决规则
最小风险贝叶斯决策判决规则1. 走进最小风险的世界你有没有过这种经历？你站在一个十字路口，不知道该往哪边走。
左边可能有更美丽的风景，但也可能遇到堵车；右边看似平淡无奇，但也许会有惊喜。
决定究竟走哪边，真是让人抓狂。
其实，这就像是贝叶斯决策中的一个经典问题：如何在不确定的情况下做出最优选择？听起来复杂对吧？别担心，让我们一步步来解开这个谜团。
2. 贝叶斯决策规则大揭秘2.1 贝叶斯的魔法贝叶斯决策规则的核心思想就是最小化风险。
我们先得了解什么是风险。
想象一下，你在赌场里，拿着一把筹码，面前有一副扑克牌。
你能选择赌一手，但不确定对手的牌有多强。
你知道，如果你选择错了，可能会输钱；如果选择对了，可能会赢大钱。
最小风险的意思就是在这张扑克牌游戏中，怎么才能让你输钱的概率最小，也就是风险最小。
2.2 如何选择最小风险的路径回到我们的十字路口问题。
假如你想用贝叶斯决策规则来决定走哪条路，首先，你需要知道每条路的可能结果和这些结果的概率。
简单来说，你得了解每条路可能带来的好事和坏事的概率。
比如，左边的路你知道可能会遇到拥堵，概率是50%，而右边的路，你知道它的拥堵概率只有20%。
这时候，你就需要计算走每条路的期望风险。
期望风险就是对所有可能结果的风险进行加权平均。
简单点说，就是把每条路的所有可能坏结果的风险加起来，看哪个路的综合风险最小。
听起来是不是有点像在做数学题？别担心，做这种选择题其实就像是你在超市挑选打折商品，挑那个最划算的就对了。
3. 风险最小化的妙招3.1 把风险控制在合理范围内在现实生活中，我们面临的风险多得数不过来，比如投资股市、选择工作、甚至是买房子。
最小风险贝叶斯决策规则就像是你手里的一个万能工具，可以帮助你在这些选择中做出更理智的决定。
想象一下，你要投资一个新项目。
你可以用贝叶斯方法来估算这个项目的成功概率和可能带来的损失。
你计算出每种可能结果的风险，然后把它们加权，看看哪种投资最能让你的钱包安稳。
最小风险贝叶斯例题
最小风险贝叶斯例题
在贝叶斯理论中，我们可以通过考虑不同决策的风险来选择最优决策。
举个例子，假设我们要预测某天的天气，可能有晴天、阴天、雨天三种可能性。
我们可以通过历史数据得到每种天气出现的概率，即先验概率。
但是在实际预测中，不同的预测结果会产生不同的风险。
例如，如果我们将雨天预测为晴天，那么人们可能会忘记带伞而淋雨，这就是预测错误所带来的风险。
因此，我们需要考虑每种预测结果所带来的风险，并选择最小风险的决策。
这就是最小风险贝叶斯决策的思想。
具体来说，在上面的例子中，我们可以定义不同预测结果的风险，例如：
- 将晴天预测为雨天的风险为10元
- 将雨天预测为晴天的风险为20元
- 将阴天预测为雨天的风险为5元
那么，对于某一天的预测结果，我们可以根据先验概率和风险计算出每种决策的期望风险，选择最小期望风险对应的决策。
例如，如果先验概率为P(晴天)=0.6、P(阴天)=0.3、P(雨天)=0.1，我们对某一天的预测结果为晴天，那么三种决策的期望风险分别为： - 预测晴天，期望风险为0.6*0+0.3*20+0.1*5=6元
- 预测阴天，期望风险为0.6*10+0.3*0+0.1*5=7元
- 预测雨天，期望风险为0.6*20+0.3*5+0.1*0=15元
因此，我们应该选择预测晴天的决策，这样就可以最小化风险。
风险投资中的最小贝叶斯风险决策
风险投资中的最小贝叶斯风险决策基金项目:泰山医学院青年科学基金资助项目最小贝叶斯风险决策使贝叶斯风险最小的决策方法。
本文通过一个具体实例,阐述贝叶斯决策在风险投资分析中的应用。
并由此得出结论:贝叶斯决策属于风险型决策,决策者虽不能控制客观因素的变化,但却可掌握其变化的可能状况及各状况的分布概率,并利用期望值即未来可能出现的平均状况作为决策准则。
贝叶斯決策不是使决策问题完全无风险,而是通过其他途径增加信息量使决策中的风险减小。
由此可以看出,贝叶斯决策是一种比较实际可行的方法。
[ 关键词] 风险投资贝叶斯决策最小贝叶斯风险决策贝叶斯决策就是在不完全情报下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生概率进行修正,最后再利用期望值和修正概率做出最优决策。
贝叶斯决策理论方法是统计模型决策中的一个基本方法,其基本思想是:1. 已知含有未知参数的概率密度表达式以及未知参数先验概率;2. 利用先验分布计算其后验概率;3. 根据后验概率求参数贝叶斯决策。
寻求贝叶斯决策函数有两条路径,一条是使后验风险最小,一条是使贝叶斯风险最小。
实际中,人们常使用后验风险途径,因为它的计算相对简单和方便,本文我们使用的实际上正是后验风险准则。
在不同的先验分布假设下,参数的贝叶斯决策量一般是不同的。
本文旨在通过在各种不同的先验分布条件下进行参数的贝叶斯决策,最终比较并探讨各种情况下贝叶斯决策的优良性问题。
一、提出问题设想有一投资公司对某一项目已经投入100万元。
现在决定是追加投资100万或是保持原投资不变,还是将已经投入的100万撤回。
若在一年后该项投资的收益会因市场的变化而不同,如果一年后的市场对该项投资分为有利和不利两种情况。
且根据以往的经验有利和不利两种情况发生的概率分别为:0.7和0.3。
有利时可获利30%,不利时会损失40%。
在这种情况下,寻求最小贝叶期风险决策。
如果该公司投资前用5万元聘请一名投资顾问,该顾问在未来有利的情况下预测的准确率为85%,不利时预测的准确率是90%。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章 贝叶斯决策理论
模式分类实际上是将特征空间划分为不同的决策区域, 相邻决策区域被决策面所分割, 这些决策面是特征空间中 的超曲面, 其决策面方程满足相邻两个决策域的判别函数 相等,
gi(x)=gj(x) 分类器可被看做是一个计算m类个判别函数并选取最 大(或最小)判决值对应的类别的网络或机器。 一个分类器 的网络结构如图2-1所示。
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
2.1 分类器的描述方法 2.2 最大后验概率判决准则 2.3 最小风险贝叶斯判决准则 2.4 Neyman-Person判决准则 2.5 最小最大风险判决准则 习题
第2章 贝叶斯决策理论
2.1 分类器的描述方法
2.1.1 基本假设
给定模式空间S，由m个互不相交的模式类集合1,2, ,m
(3)
m Ri Rd 。 若
m
Ri
Ri为Rd的真子集, 即 Rd m Ri
,
i 1
i 1
i 1
当样本落在此区域中时, 样本对应的模式不是m类中的任何一种,
可以把它称为拒绝类,
m
Rd Ri
i 1
为拒绝域, 相应的判决为
拒识。 此时, 引入一个新类ωm+1(拒绝类), 相应的决策区域为
第2章 贝叶斯决策理论
总的产品个数n=2 253 550; 属于类ω1产品的个数 n1=901 420; 属于类ω2产品的个数 n2=1 352 130; 由此可以估计出两类产品出现的概率,
P(1) n1 / n 0.4
P(2 ) n2 / n 0.6
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
如果不考虑拒识, 此时,
m
Ri Rd , 那么, 正确分类包
i 1
括m种情形, 样本x来自类ωi, 特征向量x∈Ri(i=1, 2, …, m); 错
误分类包括m(m－1)种情形, 样本x来自类ωi, 但特征向量
x∈Rj(i=1, 2, …, m; j=1, 2, …, m; j≠i)。 因此, 平均正确概
第2章 贝叶斯决策理论
3. 把分类问题对应为Rd空间上的多元函数, 通常称为判别 函数(或称判决函数)gi(x), i=1, 2, …, m 对于任给未知 类别的样本x, 计算各类判别函数的值gi(x), i=1, 2, …, m, 将样 本x判属有极大(或极小)函数值的那一类。 到底应取极大值 还是取极小值, 需要根据具体问题的物理意义确定。 不同的 判别函数对应不同的模式分类方法。
第2章 贝叶斯决策理论
2.1.2
模式分类器的描述方法有多种, 这里仅介绍以下三种描 述方法, 它们之间是统一的。
1. 由于我们获取的有关观察对象的数据总量是有限的, 因 此, 可用一个d+1维向量表示, 即
(x1, x2, , xd ; )
第2章 贝叶斯决策理论
其中: (x1, x2, …, xd)为特征向量, 是特征空间Rd中的一个点; α 取值于集合{1, 2, …, m}, 表示模式的真实类别号, 是未知 的量, m为类别数。 模式分类的实质在于实现特征空间Rd到 类别号空间{1, 2, …, m}的一个映射, 即
Rd→{1, 2, …, m} 给定一个映射f, 就给出了一种模式识别方法, 不同的映射 对应不同的分类方法, 这就是模式识别问题的映射描述法。
第2章 贝叶斯决策理论
2. 划分描述法 由于每个特征向量是Rd空间的一个点，且Rd→{1, 2, …, m}是一个多对一的映射，通过映射，本质上实现了对空间Rd 的一种划分，即把Rd划分成个不相重叠的区域，每一个区域 对应一个类别。设区域Ri对应第i类ωi，则以下条件成立：
组成，即 S 1 2
m ，i j , (i j, i, j 1, 2, , m) 。
几个基本假设如下：
(1) 假定类ωi的先验概率为P(ωi); (2) 样本(或模式) x由特征向量来表示, 同样记为x, 假设
为d维, 即x=(x1, x2, …, xd);
第2章 贝叶斯决策理论
第2章 贝叶斯决策理论
图 2-1 分类器的网络结构
第2章 贝叶斯决策理论
2.2 最大后验概率判决准则
2.2.1
在讨论具体的判决准则之前, 让我们先来看一个分类 问题。 假设某工厂里所有的产品都只属于事先确定的两类, 分别表示为ω1=“高质量”, ω2=“平均质量”。 假设工厂对 于产品储量有一个合理的长期记录, 总结出来的结果如下：
Hale Waihona Puke 率Pcmm
Pc i1 P(x Ri | i )P(i ) i1 P(i ) Ri p(x | i )dx
(2-1)
第2章 贝叶斯决策理论
平均错误概率Pe
Pe=1－Pc
(2-2)
以下不再刻意区分样本(或模式)和特征向量, 也就是说,
x∈ωi意指x是样本(或模式); x∈Ri或函数g(x)意指x是特征向 量。
(1) Ri Rj , i j i, j 1, 2, , m 这一条表明了分
类的确定性，一个样本只能属于某一类，不能同属两个或多 个类别。
第2章 贝叶斯决策理论
(2) 若特征向量x=(x1, x2, …, xd)落在区域Ri内, 即x∈Ri, 则将
样本x判属第i类, 记为x∈ωi; 此时, Ri称为x∈ωi的决策区域。
m
Rm1 Rd Ri 。
i 1
第2章 贝叶斯决策理论
当样本落在两类或多类的交界面上时, 可以任取交界 面所在的一类进行判决, 也可以拒绝判决。 从划分意义上 看, 模式识别就是对于一个具体分类问题, 在确定了需分类 的类别数m和所用的特征维数后, 实现对Rd空间的划分, 每 一种划分对应一种识别方法。
(3) 特征向量x的取值范围构成特征空间, 记为Rd; (4) 特征向量x的类条件概率密度函数为p(x|ωi), 表示当 样本x∈ωi时, 特征向量x的概率密度函数; (5) 特征向量x的后验概率为P(ωi|x), 表示在特征向量x出 现的条件下, 样本x来自类ωi的概率, 即类ωi出现的概率。 模式识别就是根据特征向量x的取值, 依据某个判决准则把样 本x划分到ω1，ω2, …, ωm中的一个。