第五章贝叶斯决策PPT资料44页
合集下载
贝叶斯决策理论

P(1 | x) if we decide 2 P(error | x) P( 2 | x) if we decide1
显然,对于某个给定的x,采用上述规则可以使错误概率最
小。 问题是,这一规则能够使得平均错误概率最小吗?
2最小错误率的贝叶斯决策
平均错误概率:
P(error) P(error, x)dx P(error | x) p( x)dx
1 引言
后验概率:一个具体事物属于某种类别的概率, 例如一个学生用特征向量x表示,它是男性或女 性的概率表示成P(男生|x)和P(女生|x),这就是 后验概率。由于一个学生只可能为两个性别之一, 因此有P(男生|x)+P(女生|x)=1的约束,这一点是 与类分布密度函数不同的。后验概率与先验概率 也不同,后验概率涉及一个具体事物,而先验概 率是泛指一类事物,因此P(男生|x)和P(男生)是 两个不同的概念。
4贝叶斯决策的评价
局限性:
(1)它需要的数据多,分析计算比较复杂,特别在解决 复杂问题时,这个矛盾就更为突出。 (2)有些数据必须使用主观概率,有些人不太相信,这 也妨碍了贝叶斯决策方法的推广使用。
R R( (x) | x) p (x)dx
显然,如果对于每个x 我们都选择 小,则总风险将被最小化
(x) 使得
R(i | x)
最
3最小风险的贝叶斯决策
相关数学表达
3最小风险的贝叶斯决策
一般损失函数可由决策表给出:
3最小风险的贝叶斯决策
步骤
• 计算后验概率: P(i | x)
贝叶斯决策理论
2014年12月15日
1 引言
把x分到哪一类最合理?理论基础之一是统 计决策理论。 决策:是从样本空间S,到决策空间Θ的一 个映射 贝叶斯决策就是在不完全情报下,对部分 未知的状态用主观概率估计,然后用贝叶 斯公式对发生概率进行修Байду номын сангаас,最后再利用 期望值和修正概率做出最优决策。
贝叶斯决策理论课件(PPT 88页)

[计算]0.323
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率,即平均错误率, 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小,因为P(e/x)始终取 最小
这个图在哪见过? 与图像分割中最优阈值对应的错误分割结果类
似,最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想,即判
设被试验的人中患有癌症的概率为0.005,即 P(ω1)=0.005,当然P(ω2)=1-0.005=0.995
现任意抽取一人,要判断他是否患有癌症。显然, 因为P(ω2)> P(ω1),只能说是正常的可能性大。如 要进行判断,只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验,其结果为 “阳性”和“阴性”两种反应
元素含义:对角线和非对角线
协方差:用来度量变量之间“协同变异”大小的总体参数, 即二者相互影响大小的参数;绝对值越大,相互影响越大
对角阵情形;去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定,
取若干个不同的P(1)值,并分别按最小损失准则确
定相应的最佳决策类域R1、R2,然后计算出其相应
的最小平均损失R*,从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线?
正常人试验反应为阳性的概率=0.01,即 p(x=阳|ω2)=0.01
最小错误率的证明
以一维情况为例证明贝叶斯决策确实对 应最小错误率
统计意义上的错误率,即平均错误率, 用P(e)表示
最小错误率的证明
错误率图示
以t为界确实使错误率最小,因为P(e/x)始终取 最小
这个图在哪见过? 与图像分割中最优阈值对应的错误分割结果类
似,最优阈值同样是基于最小错误概率 图像分割蕴含了与模式识别类似的思想,即判
设被试验的人中患有癌症的概率为0.005,即 P(ω1)=0.005,当然P(ω2)=1-0.005=0.995
现任意抽取一人,要判断他是否患有癌症。显然, 因为P(ω2)> P(ω1),只能说是正常的可能性大。如 要进行判断,只能通过化验来实现
寻找样本观测量
设有一种诊断癌症的试验,其结果为 “阳性”和“阴性”两种反应
元素含义:对角线和非对角线
协方差:用来度量变量之间“协同变异”大小的总体参数, 即二者相互影响大小的参数;绝对值越大,相互影响越大
对角阵情形;去相关
多元正态分布的性质
均值向量和协方差矩阵共同决定分布
均值向量有d个分量 协方差矩阵独立元素个数为d(d+1)/2 多元正态分布由d+d(d+1)/2个参数完全决定,
取若干个不同的P(1)值,并分别按最小损失准则确
定相应的最佳决策类域R1、R2,然后计算出其相应
的最小平均损失R*,从而可得最小平均损失R*与先 验概率P(1)的关系曲线。
最小最大决策图示
先验概率为Pa*(1) 的 最小风险分类结果对
应各种先验概率的风 险变化 R a bP(1)
为何 为切 线?
正常人试验反应为阳性的概率=0.01,即 p(x=阳|ω2)=0.01
贝叶斯讲义贝叶斯决策

1
R( | x) 0 L( , ) ( | x)d 20 ( ) ( | x)d
1
( ) ( | x)d 30 ( ) ( | x)d E( | x)
(3)求最优行动使上述风险函数达到最小.令:
dR(
| x)
3
(
|
x)d
1
0
则得:
( | x)d 1
d
0
0
3
(4)数值计算:
8
例2 在市场占有率θ的估计问题中,已知损失函数为:
L(
,
)
2(
,
),
0 1
药厂厂长对市场占有率θ无任何先验信息,另外在市场调查中,
在n个购买止痛剂的顾客中有x人买了新药,试在后验风险准则下
对θ作出贝叶斯估计。
解:(1)求参数θ的后验分布: 结果为 Be(x+1,n-x+1)
(2) (x),计算风险函数
| |
解:分三步求解:
(1)求参数θ的后验分布
(
|
x)
N
n
xi
2
, (n
2
)1
(2)对于任意一个决策函数
计算后验风险函数:
R( | x) L( , ) ( | x)d
( | x)d
| |
P|x (| | ) 1 P|x (| | )
(3)求出使得上述风险函数达到最小时的决策函数:
,i 0 ,i 1
斯决策问题:
p0 (x) 0 p1(x)1
①参数空间Θ={0,1}
②行动空间A={0,1}
③先验分布:P(θ=0)=π0, P(θ=1)=π1
④损失函数:决策正确无损失, 决策错误的损失为1.则
贝叶斯决策理论

两类分类器的功能:计算判别函数,再根据计算 结果的符号将 x 分类
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是: ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷,如一维情况下只
有均值和方差两个参数,因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标:所采取的一系列决策行动应该使期 望风险达到最小
手段:如果在采取每一个决策时,都使其 条件风险最小,则对所有的 x 作决策时, 其期望风险也必然达到最小
决策:最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则:
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点: • 判别函数 • 决策面(分类面) • 分类器设计
贝叶斯决策理论
决策面(分类面)
对于 c 类分类问题,按照决策规则可以把 d 维特 征空间分成 c 个决策域,我们将划分决策域的 边界面称为决策面(分类面)
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数,则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立?? 多元正态分布的任
不相关
意两个分量成立!
贝叶斯决策理论
说明:正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布,
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是: ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷,如一维情况下只
有均值和方差两个参数,因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标:所采取的一系列决策行动应该使期 望风险达到最小
手段:如果在采取每一个决策时,都使其 条件风险最小,则对所有的 x 作决策时, 其期望风险也必然达到最小
决策:最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则:
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点: • 判别函数 • 决策面(分类面) • 分类器设计
贝叶斯决策理论
决策面(分类面)
对于 c 类分类问题,按照决策规则可以把 d 维特 征空间分成 c 个决策域,我们将划分决策域的 边界面称为决策面(分类面)
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数,则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立?? 多元正态分布的任
不相关
意两个分量成立!
贝叶斯决策理论
说明:正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布,
关于贝叶斯决策理论课件

对这三种概率的定义,相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子,要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述,称之为d个特征,记为x = [x1, x2, …, xd]T
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω1表示是正常细胞,而ω2则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大,即
P(ω1)>P(ω2)
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率,后验概率,概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知?
而后验概率需要通过计算获得?
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ?
如果我们把作出w1决策的所有观测值区域 称为R1,则在R1区内的每个x值,条件错误 概率为p(w2|x)。
另一个区R2中的x,条件错误概率为p(w1|x)。
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
因此平均错误率P(e)可表示成
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
Bayes公式正是体现这三者关系的式子,要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述,称之为d个特征,记为x = [x1, x2, …, xd]T
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω1表示是正常细胞,而ω2则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大,即
P(ω1)>P(ω2)
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率,后验概率,概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知?
而后验概率需要通过计算获得?
基于最小错误率的贝叶斯决策
为什么后验概率要利用Bayes公式从先验 概率和类条件概率密度函数计算获得 ?
如果我们把作出w1决策的所有观测值区域 称为R1,则在R1区内的每个x值,条件错误 概率为p(w2|x)。
另一个区R2中的x,条件错误概率为p(w1|x)。
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
因此平均错误率P(e)可表示成
基于最小错误率的贝叶斯决策
最小错误率贝叶斯准则使得错误率最小 证明:
决策分析贝叶斯决策

天数
3 9 15 3
频率
0.1 0.3 0.5 0.1
由这些资料可以确定未来任何一天的销售量(即自 然状态)的概率分布。
2
先验分布例子: 用某一段时间内每批产品所包含的不合格品数目,来估
计该产品不合格品率的概率分布; 用过去历年秋季广州市火灾的次数,来估计明年秋季火
灾次数的概率分布。
3.主观的先验分布
=2000×0.3+0×0.7=600(元)
故决策方案δ 1(x)的贝叶斯风险为 B(δ 1)= P(θ 1, δ 1) P(θ =θ 1)+ P(θ 2, δ 1) P(θ =θ 2) =300×1/2+600×1/2=450(元)
决策方案δ 2(x)的贝叶斯风险 R(θ1, δ 2(合)) =R(θ1, a2) =1500 R(θ1, δ 2(不)) =R(θ1, a1) =0 R(θ2, δ 2(合)) =R(θ2, a2) =0 R(θ2, δ 2(不)) =R(θ2, a1) =2000
P2
0.160.5
0.432
0.160.5 0.210.5
P2
|
合.不
P合.不|
P合.不|2 P2 1P1 P合.不|
2
P2
0.210.5
0.568
0.160.5 0.210.5
因此,应判断此时设备不正常
11
情况5:可以抽出的两件产品皆为不合格品,即X=“不·不”,
21
若抽取两件产品来补充情报信息,这时决策方案共有 八个,分别记为δ1,δ2,δ3,δ4,δ5,δ6,δ7,δ8,各个决 策方案的风险值和贝叶斯风险见表5-4:
表5-4 状态θ
贝叶斯决策分析课件

02 先验概率与似然函数
先验概率
先验概率
在贝叶斯决策分析中,先验概率是指根据历史数据或其他 信息,对某个事件或状态发生的可能性进行的估计。
确定先验概率的方法
确定先验概率的方法包括主观概率法、历史数据法、专家 评估法等。这些方法根据不同的情况和数据来源,对事件 或状态的可能性进行评估。
先验概率的特点
降维与特征选择
通过贝叶斯方法进行特征选择和降维,提高机器 学习模型的性能。
贝叶斯决策分析在金融风险管理中的应用
风险评估
利用贝叶斯方法评估金融风险,如市场风险、信用风险等。
信贷风险评估
通过构建贝叶斯网络模型,对信贷申请人的风险进行评估。
投资组合优化
利用贝叶斯方法优化投资组合,实现风险与收益的平衡。
贝叶斯决策分析在医疗诊断中的应用
率。
后验概率的应用场景
01
02
03
04
后验概率在决策分析中有着广 泛的应用,尤其是在处理不确 定性和主观概率的情况下。
在预测模型中,后验概率可以 用于预测未来的事件或结果。
在分类问题中,后验概率可以 用于确定某个样本属于某个类
别的概率。
在机器学习中,后验概率可以 用于确定某个模型或算法的准
确性和可靠性。
赖关系。
贝叶斯网络构建
根据领域知识和数据,构建贝叶 斯网络结构,确定节点和有向边
。
贝叶斯网络推理
利用贝叶斯网络进行概率推理, 计算特定条件下某变量的概率值
。
贝叶斯决策分析在机器学习中的应用
分类问题
利用贝叶斯分类器对数据进行分类,如朴素贝叶 斯分类器。
聚类问题
将贝叶斯方法应用于聚类分析,如高斯混合模型 。
贝叶斯决策论讲义(PPT 79页)

c
那么,特征x与行动i 相关联的损失为: R(i|x)(i|j)P(j|x) j1
因此,R(i | x) 称为条件风险。
借助 R(i | x) 可以提供一个总风险的优化过程,即遇到特征x, 我们可以选择最小化风险的行为来使预期的损失达到最小。 假设对于特征x,决策的行为是 (x) ,则总风险可表示为:
如果
P P((xx|| 1 2))((12,2 ,1 2 1,,12))P P(( 1 2))
则判为 1 ; 否则,判决为 2
(18)
注意公式(18)的右边是与x无关的常数,因此可以视为左边
的似然比超过某个阈值,则判为 1
16
左图说明,如果
b
引入一个0-1损失
或分类损失,那么
6
在先验概率 P (w 1 ) 2 /3 ,P (w 2 ) 1 /3及图2-1给出的后验概率图.此情况下,假定一
个模式具有特征值 x14 , 那么它属于 2 类的概率约为0.08, 属于 1 的概率
约为0.92.在每个x 处的后验概率之和为1.0
7
• 基于后验概率的决策准则
(x 表示观察值)
R 1,1P(1)p(x|1)1,2P(2)p(x|2))dx R1
2,1P(1)p(x|1)2,2P(2)p(x|2))dx R2
判为1 判为2
20
结合公式 P(2)1P(1)与 p(x|1)d x1p(x|1)dx
R1
R2
可以得到
概述
1. 允许利用多于一个的特征 2. 允许多于两种类别状态的情形 3. 允许有其它行为而不仅是判定类别。 4. 引入损失函数代替误差概率。
11
考察损失函数对判定准则的影响
那么,特征x与行动i 相关联的损失为: R(i|x)(i|j)P(j|x) j1
因此,R(i | x) 称为条件风险。
借助 R(i | x) 可以提供一个总风险的优化过程,即遇到特征x, 我们可以选择最小化风险的行为来使预期的损失达到最小。 假设对于特征x,决策的行为是 (x) ,则总风险可表示为:
如果
P P((xx|| 1 2))((12,2 ,1 2 1,,12))P P(( 1 2))
则判为 1 ; 否则,判决为 2
(18)
注意公式(18)的右边是与x无关的常数,因此可以视为左边
的似然比超过某个阈值,则判为 1
16
左图说明,如果
b
引入一个0-1损失
或分类损失,那么
6
在先验概率 P (w 1 ) 2 /3 ,P (w 2 ) 1 /3及图2-1给出的后验概率图.此情况下,假定一
个模式具有特征值 x14 , 那么它属于 2 类的概率约为0.08, 属于 1 的概率
约为0.92.在每个x 处的后验概率之和为1.0
7
• 基于后验概率的决策准则
(x 表示观察值)
R 1,1P(1)p(x|1)1,2P(2)p(x|2))dx R1
2,1P(1)p(x|1)2,2P(2)p(x|2))dx R2
判为1 判为2
20
结合公式 P(2)1P(1)与 p(x|1)d x1p(x|1)dx
R1
R2
可以得到
概述
1. 允许利用多于一个的特征 2. 允许多于两种类别状态的情形 3. 允许有其它行为而不仅是判定类别。 4. 引入损失函数代替误差概率。
11
考察损失函数对判定准则的影响
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
个样本,参数 的先验分布为共轭先验分
布 N(0, 2),其中 2 已知,损失函数为
L(,x)10,,
求参数 的贝叶斯估计
例5.6 在新的止痛剂的市场占有率 的估计问题中
已给出损失函数 L(,x) 2( ,) 0, 1
药厂厂长对市场占有率 无任何先验信息。在市场
调查中,在n个购买止痛剂的顾客中有x个人买了新
我们约定,若已知
(1)有一个可观察的随机变量X,其密度函数 p(x )依赖于未知
参数 ,且 。
(2)在参数空间 上有一个先验分布
(3)有一个行动集 {a}。
在对 做点估计时,一般取;在对 做区间估计
时,行动a就是一个区间,的一切可能的区间构成行动 集 ;在对 作假设检验时,只有两个行动:接受和拒
一.平方损失函数下的贝叶斯估计
定理5.1 在平方损失函数L (,x) ( )下2 ,的贝叶 斯估计为后验均值,即 BxE(x)
定理5.2在加权平方损失函数 L ( ,x ) ( )2下,
的贝叶斯估计为
Bx
Ex Ex
定理5.3 在参数向量 (1,2,,k) 的场合下,对
多元二次损失函数 L(,)()Q()Q ,为正定矩
的止痛剂,试在后验风险准则下对 作出贝叶斯估
计。
例5.7 设样本x只能来自密度函数 p0 (x)或 p1(x)
中的一个,为了研究该样本到底来自哪个分布,
我们来考虑如下简单假设的检验问题:
H 0:x来 p 0(自 x), H 1:x来 p 1(自 x)
损失函数用矩阵表示如下:
L
0 1
1 0
5.3 常用损失函数下的贝叶斯估计
个样本,其中 已知。
试在平方损失函数下寻求 1 的贝叶斯估计。
二. 线性损失函数下的贝叶斯估计
定理5.4 在绝对值损失函数 L(,) 下,
的贝叶斯估计为后验分布的中位数。
定理5.5 在线性损失函数
L(,)kk10,,
下, 的贝叶斯估计为后验分布的 k0 (k0 k1)分位
数。
例5.13 考虑对一个孩子做智商测验。设测验结果x
的贝叶斯估计为后验均值向量:
Bx
E
x
E1
x
Ek x
例5.8 设x x 1 ,x 2 , ,x n是来自泊松分布P ( ) 的
一个样本,若 的先验分布用其共轭先验分
布Ga(,) 。试在平方损失函数下寻找 的贝
叶斯估计
例5.9 设 x x 1 ,x 2 , ,x n是来自均匀分布U (0, ) 的
厂产品的不合格品率没有超过0.12的记录,取U(0,0.12)为 的先验分布,应该如何决策?若该厂先在每箱中抽取两件
进行检查,然后再做决策,应该如何决策?
二. 决策函数
定义5.1 在给定的贝叶斯决策问题中,从样本空间
x x 1 ,x 2 , ,x n 到行动集 上的一个映射 x称为该
品在时刻的可靠度,现要设法估计可靠度R ( t 0 ) 。 设对n个该产品进行寿命试验,n个产品失效需要很长时间,
一般达到事先规定的失效数r试验就停止了,这样的寿命试
验称为截尾寿命试验,所得的r个失效时间为
t1 t2 Ltr
称为次序样本或结尾样本。
例5.11 设 x x 1 ,x 2 , ,x n来自伽马分布 Ga( , )的一
一个样本, 的先验分布函数和密度函数分别
为
F( )
1
0
,
0
() 0 1 , 0
其 中 0 1 ,0 0 为 已 知 , 该 分 布 记 为 P a (,0 ), 数 学 期 望 E () 0 ( 1 )
试在平方损失函数下寻求 的贝叶斯估计
例5.10 某产品的寿命T服从指数分布 E ( ) 。对指定的时间 后该产品才失效的概率为R (t0)P (Tt0)et0 ,称其为该产
在向顾客交货前有如下两个行动的选择: a1 : 一箱中逐一检查 a2 :一箱中一件也不检查
若工厂选择行动 a 1 ,则可保证交货时每件产品都是合格品,
但因每件产品的检查费为0.8元,为此工厂要支付检查费80 元,但顾客发现不合格品时,按合同不仅允许更换,而且每
件要支付12.5元的赔偿费。若工厂从产品检查部门发现,该
件要支付12.5元的赔偿费。若工厂从产品检查部门发现,该
厂产品的不合格品率没有超过0.12的记录,取U(0,0.12)为 的先验分布,应该如何决策?若该厂先在每箱中抽取两件
进行检查,然后再做决策,应该如何决策?
一般来说,抽样信息在决策中是很重要的信息,获得此种信
息的花费也较大,应予以重视和利用。
例5.1 某工厂的产品每100件装成一箱运交顾客,
在向顾客交货前有如下两个行动的选择: a1 : 一箱中逐一检查 a2 :一箱中一件也不检查
若工厂选择行动 a 1 ,则可保证交货时每件产品都是合格品,
但因每件产品的检查费为0.8元,为此工厂要支付检查费80 元,但顾客发现不合格品时,按合同不仅允许更换,而且每
绝。
(4)在 上定义了一个损失函数 L(,a)
则说一个贝叶斯决策问题给定了。
5.2 后验风险准则
一.后验风险 把损失函数对后验分布的期望称为后验风险,记为 R(a x),即
R(ax)ExL(,a) i LL((,ia,)a)xi, x,为 为连 离续 散的 的
例5.3 某工厂的产品每100件装成一箱运交顾客,
决策问题的一个决策数类,用 Dx
表示。
注:在贝叶斯决策问题中,我们面临的是决策函数
类D,要在D中选取决策函数 x,使其后验风险最小。
三.后验风险准则
定义 在给定的贝叶斯决策问题中,Dx是其决策函数类,
则称
R ( x ) E x L ( ,x ) ,x ,
服从正态分布N(,100),其中 为这个孩子的智商。 若从过去的资料知, 的先验分布为 N(100,225),
从而后验分布为N ((4009x)13,8.322)。若这个孩子的 测验结果为115分,在估计这个孩子的智商时,认 为低估比高估的损失高两倍,则其损失函数为
为决策函数x的后验风险。若在决策函数类D中存在这
样的决策函R (数x ) x m ,它R i在(n Dx 中x 具)有最小的后验风险,即
则称
x
D
为后验风险准则下的最优决策函数,或称贝叶斯
决策函数或贝叶斯解。
例5.5 设x x 1 ,x 2 , ,x n是来自正态分布 N(,1) 的一
布 N(0, 2),其中 2 已知,损失函数为
L(,x)10,,
求参数 的贝叶斯估计
例5.6 在新的止痛剂的市场占有率 的估计问题中
已给出损失函数 L(,x) 2( ,) 0, 1
药厂厂长对市场占有率 无任何先验信息。在市场
调查中,在n个购买止痛剂的顾客中有x个人买了新
我们约定,若已知
(1)有一个可观察的随机变量X,其密度函数 p(x )依赖于未知
参数 ,且 。
(2)在参数空间 上有一个先验分布
(3)有一个行动集 {a}。
在对 做点估计时,一般取;在对 做区间估计
时,行动a就是一个区间,的一切可能的区间构成行动 集 ;在对 作假设检验时,只有两个行动:接受和拒
一.平方损失函数下的贝叶斯估计
定理5.1 在平方损失函数L (,x) ( )下2 ,的贝叶 斯估计为后验均值,即 BxE(x)
定理5.2在加权平方损失函数 L ( ,x ) ( )2下,
的贝叶斯估计为
Bx
Ex Ex
定理5.3 在参数向量 (1,2,,k) 的场合下,对
多元二次损失函数 L(,)()Q()Q ,为正定矩
的止痛剂,试在后验风险准则下对 作出贝叶斯估
计。
例5.7 设样本x只能来自密度函数 p0 (x)或 p1(x)
中的一个,为了研究该样本到底来自哪个分布,
我们来考虑如下简单假设的检验问题:
H 0:x来 p 0(自 x), H 1:x来 p 1(自 x)
损失函数用矩阵表示如下:
L
0 1
1 0
5.3 常用损失函数下的贝叶斯估计
个样本,其中 已知。
试在平方损失函数下寻求 1 的贝叶斯估计。
二. 线性损失函数下的贝叶斯估计
定理5.4 在绝对值损失函数 L(,) 下,
的贝叶斯估计为后验分布的中位数。
定理5.5 在线性损失函数
L(,)kk10,,
下, 的贝叶斯估计为后验分布的 k0 (k0 k1)分位
数。
例5.13 考虑对一个孩子做智商测验。设测验结果x
的贝叶斯估计为后验均值向量:
Bx
E
x
E1
x
Ek x
例5.8 设x x 1 ,x 2 , ,x n是来自泊松分布P ( ) 的
一个样本,若 的先验分布用其共轭先验分
布Ga(,) 。试在平方损失函数下寻找 的贝
叶斯估计
例5.9 设 x x 1 ,x 2 , ,x n是来自均匀分布U (0, ) 的
厂产品的不合格品率没有超过0.12的记录,取U(0,0.12)为 的先验分布,应该如何决策?若该厂先在每箱中抽取两件
进行检查,然后再做决策,应该如何决策?
二. 决策函数
定义5.1 在给定的贝叶斯决策问题中,从样本空间
x x 1 ,x 2 , ,x n 到行动集 上的一个映射 x称为该
品在时刻的可靠度,现要设法估计可靠度R ( t 0 ) 。 设对n个该产品进行寿命试验,n个产品失效需要很长时间,
一般达到事先规定的失效数r试验就停止了,这样的寿命试
验称为截尾寿命试验,所得的r个失效时间为
t1 t2 Ltr
称为次序样本或结尾样本。
例5.11 设 x x 1 ,x 2 , ,x n来自伽马分布 Ga( , )的一
一个样本, 的先验分布函数和密度函数分别
为
F( )
1
0
,
0
() 0 1 , 0
其 中 0 1 ,0 0 为 已 知 , 该 分 布 记 为 P a (,0 ), 数 学 期 望 E () 0 ( 1 )
试在平方损失函数下寻求 的贝叶斯估计
例5.10 某产品的寿命T服从指数分布 E ( ) 。对指定的时间 后该产品才失效的概率为R (t0)P (Tt0)et0 ,称其为该产
在向顾客交货前有如下两个行动的选择: a1 : 一箱中逐一检查 a2 :一箱中一件也不检查
若工厂选择行动 a 1 ,则可保证交货时每件产品都是合格品,
但因每件产品的检查费为0.8元,为此工厂要支付检查费80 元,但顾客发现不合格品时,按合同不仅允许更换,而且每
件要支付12.5元的赔偿费。若工厂从产品检查部门发现,该
件要支付12.5元的赔偿费。若工厂从产品检查部门发现,该
厂产品的不合格品率没有超过0.12的记录,取U(0,0.12)为 的先验分布,应该如何决策?若该厂先在每箱中抽取两件
进行检查,然后再做决策,应该如何决策?
一般来说,抽样信息在决策中是很重要的信息,获得此种信
息的花费也较大,应予以重视和利用。
例5.1 某工厂的产品每100件装成一箱运交顾客,
在向顾客交货前有如下两个行动的选择: a1 : 一箱中逐一检查 a2 :一箱中一件也不检查
若工厂选择行动 a 1 ,则可保证交货时每件产品都是合格品,
但因每件产品的检查费为0.8元,为此工厂要支付检查费80 元,但顾客发现不合格品时,按合同不仅允许更换,而且每
绝。
(4)在 上定义了一个损失函数 L(,a)
则说一个贝叶斯决策问题给定了。
5.2 后验风险准则
一.后验风险 把损失函数对后验分布的期望称为后验风险,记为 R(a x),即
R(ax)ExL(,a) i LL((,ia,)a)xi, x,为 为连 离续 散的 的
例5.3 某工厂的产品每100件装成一箱运交顾客,
决策问题的一个决策数类,用 Dx
表示。
注:在贝叶斯决策问题中,我们面临的是决策函数
类D,要在D中选取决策函数 x,使其后验风险最小。
三.后验风险准则
定义 在给定的贝叶斯决策问题中,Dx是其决策函数类,
则称
R ( x ) E x L ( ,x ) ,x ,
服从正态分布N(,100),其中 为这个孩子的智商。 若从过去的资料知, 的先验分布为 N(100,225),
从而后验分布为N ((4009x)13,8.322)。若这个孩子的 测验结果为115分,在估计这个孩子的智商时,认 为低估比高估的损失高两倍,则其损失函数为
为决策函数x的后验风险。若在决策函数类D中存在这
样的决策函R (数x ) x m ,它R i在(n Dx 中x 具)有最小的后验风险,即
则称
x
D
为后验风险准则下的最优决策函数,或称贝叶斯
决策函数或贝叶斯解。
例5.5 设x x 1 ,x 2 , ,x n是来自正态分布 N(,1) 的一