第34节 经验贝叶斯估计讲解
合集下载
Bayes(贝叶斯)估计
•
参数作为随机变量
• 条件分布： p(x1,x2,..xn | )
精选完整ppt课件
几个学派（3）
• 信念学派：
• 带头人：Fisher
• 观点：概率是频率
•
主观不是概率，而是信念度
•
参数不是随机变量，仅是普通变量
• 似然函数： L( | x1,x2,..xn)
精选完整ppt课件
批评1：置信区间
后验风险：
• Bayesian风险与后验风险
(L(,)p(x|) ()d)dx
• 后验分析最小＝>Bayesian风险最小
精选完整ppt课件
两种常用损失函数：
• 平方损失：
L(,)()2
– 最小Bayesian风险估计：后验期望
• 点损失：
L(a,
)
0,|
a
|
1,|
a
|
– 最大后验密度估计
精选完整ppt课件
• 3、联合分布密度－>条件分布密度
• p(x1,x2,..xn | )， 是随机变量
• 4、确定的先验分布() • 5、利用Bayesian公式求后验分布密度 • 6、使用后验分布做推断（参数估计、假设检验）
精选完整ppt课件
例1：两点分布b(1,p)的
• 1. 联合分布：p(x|)nxx(1)nx
• 使得 h ( |r ) p (x |)* ( )与先验分布同类型
• 若p(x|)服从正态分布，选正态分布 • 若p(x|)服从两点分布，选Beta分布 • 若p(x|)服从指数分布，选逆Gamma分布
精选完整ppt课件
Bayes统计推断问题
• 参数估计：
– 点估计 – 区间估计
贝叶斯估计
我们可能在观测数据之前就有一些主观观 点或真正的先验知识。
但是，通常我们并没有真正的先验知识或 者我们在贝叶斯估计时想更客观些，这时 可以选择无信息的先验(noninformative prior)。
或者可以从数据估计先验。这被称为经验
贝叶斯(empirical Bayes)。
H
26
反对贝叶斯学派的观点
后验分布( x1, x2 , …, xn )的计算公式就
是用密度函数表示的贝叶斯公式。它是用
总体和样本对先验分布( )作调整的结果，
贝叶斯统计的一切推断都基于后验分布进 行。
H
14
6.4.3 贝叶斯估计
基于后验分布( x1, x2 , …, xn )对 所作的
贝叶斯估计有多种，常用有如下三种：
➢ 使用后验分布的密度函数最大值作为 的 点估计，称为最大后验估计；
概率描述的是主观信念的程度，而不是频率 。这样除了对从随机变化产生的数据进行概 率描述外，我们还可以对其他事物进行概率 描述。
可以对各个参数进行概率描述，即使它们是 固定的常数。
为参数生成一个概率分布来对它们进行推导 ，点估计和区间估计可以H 从这些分布得到 6
批评1：置信区间
置信区间：
解释：区间[u1,u2]覆盖u的概率
观点：概率就是频率
参数就是参数
联合分布密度：p(x1,x2,..xn ; )
H
3
频率学派的观点
统计学更多关注频率推断
到目前为止我们讲述的都是频率（经典的）统计学
概率指的是相对频率，是真实世界的客观属性。
参数是固定的未知常数。由于参数不会波动，因 此不能对其进行概率描述。
统计过程应该具有定义良好的频率稳定性。如： 一个95％的置信区间应覆盖参数真实值至少95％ 的频率。
但是，通常我们并没有真正的先验知识或 者我们在贝叶斯估计时想更客观些，这时 可以选择无信息的先验(noninformative prior)。
或者可以从数据估计先验。这被称为经验
贝叶斯(empirical Bayes)。
H
26
反对贝叶斯学派的观点
后验分布( x1, x2 , …, xn )的计算公式就
是用密度函数表示的贝叶斯公式。它是用
总体和样本对先验分布( )作调整的结果，
贝叶斯统计的一切推断都基于后验分布进 行。
H
14
6.4.3 贝叶斯估计
基于后验分布( x1, x2 , …, xn )对 所作的
贝叶斯估计有多种，常用有如下三种：
➢ 使用后验分布的密度函数最大值作为 的 点估计，称为最大后验估计；
概率描述的是主观信念的程度，而不是频率 。这样除了对从随机变化产生的数据进行概 率描述外，我们还可以对其他事物进行概率 描述。
可以对各个参数进行概率描述，即使它们是 固定的常数。
为参数生成一个概率分布来对它们进行推导 ，点估计和区间估计可以H 从这些分布得到 6
批评1：置信区间
置信区间：
解释：区间[u1,u2]覆盖u的概率
观点：概率就是频率
参数就是参数
联合分布密度：p(x1,x2,..xn ; )
H
3
频率学派的观点
统计学更多关注频率推断
到目前为止我们讲述的都是频率（经典的）统计学
概率指的是相对频率，是真实世界的客观属性。
参数是固定的未知常数。由于参数不会波动，因 此不能对其进行概率描述。
统计过程应该具有定义良好的频率稳定性。如： 一个95％的置信区间应覆盖参数真实值至少95％ 的频率。
《贝叶斯估计》PPT课件
其中
B(
,
)
( )( ) ( )
，确定的随机变量
X
的分布称为贝塔分
布，记为beta(, )
贝塔分布beta(, ) 的均值 E( X )
，
方差Var( X
)
(
)2 (
1)
当 1时，贝塔分布退化整为理[p0p,1t ] 区间上的均匀分布。
19
信息验前分布
例 设事件 A 的概率为 ，为了估计 而作 n 次独立观察，其中事件 A 出现的次数为 X ，显然， X 服从二项分布 b(n, ) ，即
科全书》（数学卷）
整理ppt
3
第一章先验分布与后验分布
统计学有两个主要学派:频率学派与贝叶斯学派. 它们之间有异同,贝叶斯统计是在与经典统计的争 论中发展起来,主要的争论有: 1.未知参数可否作为随机变量? 2.事件的概率是否一定的频率解释? 3.概率是否可用经验来确定?
……….
§1.1 先介绍三种信息的概念
如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯
公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶
斯估计量、贝叶斯方法、贝叶斯统计等等.
整理ppt
2
贝叶斯方法(Bayesian approach )
• 贝叶斯方法是基于贝叶斯定理而发展起来用于系 统地阐述和解决统计问题的方法(Samuel Kotz和 吴喜之,2000)。
第二步是从总体分布 p(x | ' ) 产生一个样本 x (x1, xn ) ，
这个样本是具体的，人们能看得到的，此样本 x 发生的概) p(xi | ') i 1
这个联合密度函数是综合了总体信息和样本信息，常称
为似然函数，记为 L( ') 。
《贝叶斯估计》PPT课件
前面的分析总结如下：人们根据先验信息对参数θ
已有一个认识，这个认识就是先验分布π (θ )。通
过试验，获得样本。从而对θ 的先验分布进行调整，
调整的方法就是使用上面的贝叶斯公式，调整的结
果就是后验分布 ( x1,。, xn后) 验分布是三种信息 的综合。获得后验分布使人们对θ 的认识又前进一
1)
,
x
0,1, n
( x)
(n 2)
x (1 )nx ,0 1
(x 1)(n x 1)
即
X ~ Be(x 1, n x 1)
9
贝叶斯统计学首先要想方设法先去寻求θ的先验分布。 先验分布的确定大致可分以下几步： 第一步，选一个适应面较广的分布族作先验分布族， 使它在数学处理上方便一些，这里我们选用β分布族
步，可看出，获得样本的的效果是把我们对θ的认识
由π(θ)调整到 应建立在后验分布
( 。x1,所,以xn)对θ的统计推断就 ( 的x1,基础, xn上) 。
7
例1 设事件A(产品为废品)的概率为 ，即P(A) 。 为了估计 而作n次独立观察，其中事件A出现次数
为X，则有X服从二项分布 b(n, )
第三章 贝叶斯估计
§3.1贝叶斯推断方法 一 、统计推断中可用的三种信息
美籍波兰统计学家耐(E.L.Lehmann1894~1981) 高度概括了在统计推断中可用的三种信息：
1．总体信息，即总体分布或所属分布族给我们 的信息。譬如“总体是指数分布”或“总体是正 态分布”在统计推断中都发挥重要作用，只要有 总体信息，就要想方设法在统计推断中使用。
假设Ⅱ 当给定θ后，从总体p(x|θ)中随机抽取一个样 本X1，…，Xn，该样本中含有θ的有关信息。这种信 息就是样本信息。
贝叶斯估计与贝叶斯学习
贝叶斯估计与贝叶斯学习贝叶斯估计和贝叶斯学习是人工智能领域中的两个重要概念，它们都基于贝叶斯概率理论，用于处理分类、预测、学习等问题。
本文将从以下三个方面分别介绍贝叶斯概率、贝叶斯估计和贝叶斯学习，并探讨其在人工智能中的应用。
一、贝叶斯概率贝叶斯概率是指在得到新的信息后更新一个事件的概率。
它与频率统计学不同，后者只考虑事件发生的次数。
贝叶斯概率的计算方式是：在一个先验概率的基础上，根据新的证据计算出后验概率。
例如，一个盒子中有10个红球和90个蓝球，我们可以估计从该盒子中取出一个球是红色的概率。
在频率统计学中，这个概率为10%。
但是，在贝叶斯概率中，我们可以加入新的证据，例如已知红球较大，可以根据这个证据重新计算出概率。
二、贝叶斯估计贝叶斯估计是指基于贝叶斯概率理论的统计学方法，用于估计一个未知参数的值。
它通常用于处理小样本数据，可以对先验知识进行建模，并且可以更新这些知识。
贝叶斯估计的基本过程是：1. 假设一个先验分布，表示我们对未知参数的知识，例如高斯分布。
2. 收集一些数据，根据这些数据计算出后验分布。
3. 利用后验分布对参数进行估计。
例如，一个硬币被抛10次，结果有7次为正面。
我们希望估计这个硬币正面朝上的概率。
在贝叶斯估计中，我们需要假设一个先验分布，例如beta分布。
基于已知的先验概率和实验结果，我们可以计算出后验分布，并对硬币正面朝上的概率进行估计。
三、贝叶斯学习贝叶斯学习是指利用贝叶斯估计方法进行的学习过程。
它与传统的机器学习不同，后者通常采用最大似然估计或者最小化损失函数来进行模型训练。
贝叶斯学习的基本过程是：1. 假设一个先验分布，表示我们对模型参数的知识，例如高斯分布。
2. 训练模型，根据观测数据计算出后验分布。
3. 利用后验分布对模型参数进行估计。
贝叶斯学习具有以下优点：1. 可以利用先验知识，避免过拟合。
2. 可以处理小样本数据，避免数据稀疏问题。
3. 可以自适应地更新模型，避免模型退化。
第3.4节 经验贝叶斯估计讲解
总体分布
参数
共轭先验分布
二分布
成功概率p
分布(,)
泊松分布
均值
分布()
指数分布
均值的倒数
分布()
正态分布 （方差已知）
正态分布（均 值已知）
均值 方差²
正态分布N(,²) 倒分布
二、参数经验贝叶斯估计
1、贝叶斯风险的定义
由第一小节内容可知，给定损失函数以后，风 险函数定义为
当X与都是离散型随机变量时，贝叶斯风险为
R(d ) E(R( ,d ))
g(x){ L( , d( x))h( | x)}
x
注 由上述计算可以看出，贝叶斯风险为计算两次 期望值得到,即
R(d ) E(E (L( , d( X )))
此风险大小只与决策函数d有关，而不再依赖 参数. 因此以此来衡量决策函数优良性更合理
在先验分布G( )未知时，如何计算
dG
(x)
(x
1)mG ( x mG ( x)
1)
由于历史样本X1, X2 , Xn均是从分布mG ( x)中抽取的独立
样本，故由这些样本可以对mG ( x)估计，根据泊松分布特
性可以得到mG ( x)的估计为
mˆ G ( x1, x2 ,
1
,
xn ,
x)
i 1
例4(p126例4.10) 设( X1, X2 , , Xn )T 是来自总体
B(1, )的一个样本，试寻求的共轭先验分布？
解 其似然函数为
n
n
q( x | )
n
xi (1 )1 xi
xi
n xi
i1 i (1 ) i1
二项分布的几种经验bayes估计方法
二项分布的几种经验bayes估计方法二项分布是概率论中常用的一种离散概率分布，它描述了在一系列独立的伯努利试验中成功的次数。
经验Bayes估计是一种在贝叶斯统计中用于参数估计的方法，可以用于估计二项分布的参数。
本文将介绍几种常见的经验Bayes估计方法，以及它们在二项分布中的应用。
一、贝叶斯估计简介贝叶斯估计是一种统计学中的参数估计方法，它基于贝叶斯定理，并结合了先验概率和样本观测数据，得到后验概率分布，从而得到参数的估计值。
经验Bayes估计是一种特殊的贝叶斯估计方法，它假设参数的先验分布是由样本数据估计得到的。
二、Laplace平滑估计Laplace平滑估计是一种常用的经验Bayes估计方法，它用于解决估计参数为0的问题。
在二项分布中，如果样本观测中某个事件的发生次数为0，那么根据传统的极大似然估计方法，该事件的概率将被估计为0，这显然是不合理的。
因此，Laplace平滑估计引入了一个先验概率，将所有事件的发生次数都加上一个正数k，从而解决了参数为0的问题。
三、贝叶斯估计与最大似然估计的比较贝叶斯估计与最大似然估计是两种常用的参数估计方法。
最大似然估计是基于频率学派的思想，通过最大化样本观测数据的似然函数，得到参数的估计值。
而贝叶斯估计则引入了先验概率，通过贝叶斯定理得到后验概率分布，从而得到参数的估计值。
在二项分布中，贝叶斯估计相比最大似然估计具有更好的稳定性和鲁棒性，尤其在样本量较小的情况下效果更好。
四、Dirichlet分布的经验Bayes估计Dirichlet分布是一种常用的多维概率分布，它常用于描述多个参数的分布。
在二项分布中，可以使用Dirichlet分布作为先验分布，利用样本观测数据来估计参数的分布。
Dirichlet分布的参数可以通过最大似然估计或贝叶斯估计得到，从而得到二项分布的参数估计值。
五、经验Bayes估计的优缺点经验Bayes估计作为一种参数估计方法，具有一些优点和缺点。
课件-贝叶斯估计量
山东财政学院
贝叶斯估计量
Oct-10
后者综合了经理的主观概率和实验结果而 获得，要比主观概率更具有吸引力， 获得，要比主观概率更具有吸引力，更贴近 当前实际 当然经过实验A后经理对投资改进质量 当然经过实验 后经理对投资改进质量 的兴趣更大了， 的兴趣更大了，但如果为了进一步保险起 见可以把这次得到的后验分布列再一次作 为先验分布在做实验验证， 为先验分布在做实验验证，结果将更贴近 实际
要么正面朝上要么反面朝上概率各占12这个概率分布是根据我们以前的知识和经验得出来的一般被称做先验分布山东财政学院贝叶斯估计量oct12先验分布先验分布但还是有不同的主要区别在与概率分布得到的途径上根据先验信息所给出的随机变量的分布这里的先验信息是指在抽样之前有关统计问题的一些信息先验分布与经典统计学里面的其他分布并没有什么区别同样有先验离散分布和先验连续分布山东财政学院贝叶斯估计量oct12经典统计学里要得到概率分布必须大量重复实验由大数定律中心极限定理这些基本定理来保证在大量重复实验中频率与概率具有一致从而的到随机变量的概率分布经典统计学的概率分布包含所有样本点即所有可能的实验结果都要被考虑进去贝叶斯统计学的先验概率分布考虑的只是已出现的样本来自于过去的经验山东财政学院贝叶斯估计量oct12可以由经验得来不必做大量的重复实验
f (x p ) = p x (1 p ) (1 x ) x = 0,1 0 < p < 1
山东财政学院
贝叶斯估计量
Oct-10
X 于是， 于是，= ( X , X
1
2
, , X n )
n
的联合条件概率函数为
(1 x i )
n x = p i=1 (1 p ) ∑ i i =1
q (x p ) = Π p xi (1 p )
贝叶斯估计量
Oct-10
后者综合了经理的主观概率和实验结果而 获得，要比主观概率更具有吸引力， 获得，要比主观概率更具有吸引力，更贴近 当前实际 当然经过实验A后经理对投资改进质量 当然经过实验 后经理对投资改进质量 的兴趣更大了， 的兴趣更大了，但如果为了进一步保险起 见可以把这次得到的后验分布列再一次作 为先验分布在做实验验证， 为先验分布在做实验验证，结果将更贴近 实际
要么正面朝上要么反面朝上概率各占12这个概率分布是根据我们以前的知识和经验得出来的一般被称做先验分布山东财政学院贝叶斯估计量oct12先验分布先验分布但还是有不同的主要区别在与概率分布得到的途径上根据先验信息所给出的随机变量的分布这里的先验信息是指在抽样之前有关统计问题的一些信息先验分布与经典统计学里面的其他分布并没有什么区别同样有先验离散分布和先验连续分布山东财政学院贝叶斯估计量oct12经典统计学里要得到概率分布必须大量重复实验由大数定律中心极限定理这些基本定理来保证在大量重复实验中频率与概率具有一致从而的到随机变量的概率分布经典统计学的概率分布包含所有样本点即所有可能的实验结果都要被考虑进去贝叶斯统计学的先验概率分布考虑的只是已出现的样本来自于过去的经验山东财政学院贝叶斯估计量oct12可以由经验得来不必做大量的重复实验
f (x p ) = p x (1 p ) (1 x ) x = 0,1 0 < p < 1
山东财政学院
贝叶斯估计量
Oct-10
X 于是， 于是，= ( X , X
1
2
, , X n )
n
的联合条件概率函数为
(1 x i )
n x = p i=1 (1 p ) ∑ i i =1
q (x p ) = Π p xi (1 p )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
B(1,? )的一个样本，试寻求 ?的共轭先验分布？
解 其似然函数为
n
n
? q( x | ? ) ?
n
? xi (1 ? ? )1? xi
? xi
? n ? xi
? ? i?1 i (1 ? ? ) i?1
i?1
? ? nx (1 ? ? )n? nx ? gn (t | ? ) 1,
其中 gn (t | ? ) ? ? t (1? ? )n? t ,选取 f (? ) ? 1，则
?? RG (dn | X 1 , , X n )mG ( x1 , x2 , , xn )dx1dx2 dx n
使得上式达到最小的决策函数为经验贝叶斯决策函数
定义 渐近最优贝叶斯决策函数
设F *为先验分布族，参数 ?的先验分布为 G(? ), 若
对于任何 G(? ) ? F * , 有
lim
n ??
? ? ? ? [ ? L(? ,dn ( x | x1, x2 , xn ) p( x | ? )dx]dG(? )
注：此结果包含了 X 1, X n , 而X 1, X n为随机变量，
因而，该风险仍包含有随机性，需要对此风险再求 一次期望，即
(2)计算期望，可得
RG* (dn ) ? E ( RG (dn | X 1 , , X n ))
第3.4节 经验贝叶斯估计
一、非参数经验贝叶斯估计 二、参数经验贝叶斯估计
0、背景与意义
贝叶斯估计存在的问题： 先验分布的确定
如何客观地确定先验分布？
根据历史资料数据（即经验）确定该问题的先 验分布，其对应的贝叶斯估计称为 经验贝叶斯估计 . 该方法是由 Robbins 在1955年提出的.
经验贝叶斯估计分类（共两类）
dn (X | X1, X 2,
,Xn)?
(X
? 1)m?G ( X m?G ( X )
? 1)
例3(p110例3.21) 设随机变量 X 的分布密度为
p(x | ? ) ?
? ( x ? ? )2
1e 2
2?
?的先验分布为 G(? ), ? ? (a, b) ? (?? , ?? ).在平方损失下，
RG* (dn ) ?
RG (dG )
则称dn为渐近最优经验贝叶斯决策函数，若 dn为?的估计
，则dn为渐近最优经验贝叶斯估计 .
例2( 续例 p109 例3.20)
在先验分布 G(? )未知时，如何计算
dG (x ) ?
(x
? 1)mG ( x mG ( x )
? 1)
由于历史样本 X 1, X 2 , X n均是从分布 mG ( x )中抽取的独立
? D f
?{
?t
1
?
t
(1? ? )n? t (1? ? )n? td?
:
n ? 1, 2,
, t ? 0,1, 2,
}
0
显然此共轭分布族为 ? 分布的子族，因而，两点 分布的共轭先验分布族为 ? 分布.
常见共轭先验分布
总体分布
参数
共轭先验分布
二项分布
成功概率p
? 分布? (? ,? )
由这两个例子可以看到，经验贝叶斯估计一方面依赖
贝叶斯估计理论，同时也依赖于非参数估计方法。
二、参数经验贝叶斯估计
定理4.1 设f (? )为任一固定的函数，满足条件
(1) f (? ) ? 0,? ? ? ,
? (2) 0 ? ? gn (t | ? ) f (? )d? ? ?
则
? D f
?{
?
样本，故由这些样本可以对 mG ( x )估计，根据泊松分布特
性可以得到 mG ( x )的估计为
m?G ( x1 , x 2 ,
1 , x n , x ) ? n ? 1{(x1, x 2 ,
,
x
中等于
n
x的个数）?
1}
用m?G ( x1, x2 , , x n , x )代替 mG ( x ), 可得其经验贝叶斯估计量为
? x! 0
? 1 ?? ? xe?? dG( x )
x! 0 ? ( x ? 1)mG ( x ? 1)
mG ( x )
如果先验分布 G(x) 未知，该 如何计算？
2、经验贝叶斯决策函数 当先验分布未知时，如何利用历史资料（经验资
料）( X 1 , X 2 , , X n )T 的信息得到最优贝叶斯估计？ 定义3.11 任何同时依赖于历史样本 ( X 1, X 2 , , X n )T 和当前样本 X 的决策函数 d n ? dn ( X | X 1, , X n )称为 经验贝叶斯决策函数
?? e? x? x dG(? ),
0 x!
( x ? 0,1, 2, ）
对于先验分布 G(? ), 在平方损失下，可求得 ?的
贝叶斯估计为
??
? ? p(? | x )dG( x )
dG( x ) ? E (? | x ) ?
0 ??
?0 p(? | x )dG( x )
? 1 ?? ? x?1e?? dG( x )
非参数经验贝叶斯估计 参数经验贝叶斯估计
一、非参数经验贝叶斯估计
1、问题引入 例1（p109 例3.20) 设随机变量 X 服从泊松分布，
p( x | ? ) ? ? x e? x ,
x!
( x ? 0,1, 2, ;? ? 0）
设参数 ?的先验分布为 G(? ),则X的边缘分布为
? mG ( x ) ?
如何计算经验贝叶斯估计 dn ? dn ( X | X 1, , X n )
经验贝叶斯估计 dn ? d n ( X | X 1 , , X n )的计算方法： （1）根据贝叶斯估计风险函数的定义可知 dn ? dn ( X | X1,
, X n )的风险为 RG (dn | X 1, , X n )
gn (t | ? ) f (? ) gn (t | ? ) f (? )d?
:
n ? 1, 2,
}
是共轭先验分布族，其中
n
? q( x | ? ) ? p( xi | ? ) ? gn (t | ? )h( x1, x 2 , , x n )
i?1
例4(p126例4.10) 设( X 1 , X 2 , , X n )T 是来自总体
? 的贝叶斯估计为
dG ( x ) ?
x
?
m
' G
(
x
)
mG ( x )
由于密度函数比较难估计，我们可以选用非参数密度
估计法（如核估计，最近邻密度估计），得到 m?G ( x )
于是可以得到 ?的经验贝叶斯估计为
dn (X | X1, X 2,
, Xn)
?
X
?
m?G' ( X m?G ( X
) )
解 其似然函数为
n
n
? q( x | ? ) ?
n
? xi (1 ? ? )1? xi
? xi
? n ? xi
? ? i?1 i (1 ? ? ) i?1
i?1
? ? nx (1 ? ? )n? nx ? gn (t | ? ) 1,
其中 gn (t | ? ) ? ? t (1? ? )n? t ,选取 f (? ) ? 1，则
?? RG (dn | X 1 , , X n )mG ( x1 , x2 , , xn )dx1dx2 dx n
使得上式达到最小的决策函数为经验贝叶斯决策函数
定义 渐近最优贝叶斯决策函数
设F *为先验分布族，参数 ?的先验分布为 G(? ), 若
对于任何 G(? ) ? F * , 有
lim
n ??
? ? ? ? [ ? L(? ,dn ( x | x1, x2 , xn ) p( x | ? )dx]dG(? )
注：此结果包含了 X 1, X n , 而X 1, X n为随机变量，
因而，该风险仍包含有随机性，需要对此风险再求 一次期望，即
(2)计算期望，可得
RG* (dn ) ? E ( RG (dn | X 1 , , X n ))
第3.4节 经验贝叶斯估计
一、非参数经验贝叶斯估计 二、参数经验贝叶斯估计
0、背景与意义
贝叶斯估计存在的问题： 先验分布的确定
如何客观地确定先验分布？
根据历史资料数据（即经验）确定该问题的先 验分布，其对应的贝叶斯估计称为 经验贝叶斯估计 . 该方法是由 Robbins 在1955年提出的.
经验贝叶斯估计分类（共两类）
dn (X | X1, X 2,
,Xn)?
(X
? 1)m?G ( X m?G ( X )
? 1)
例3(p110例3.21) 设随机变量 X 的分布密度为
p(x | ? ) ?
? ( x ? ? )2
1e 2
2?
?的先验分布为 G(? ), ? ? (a, b) ? (?? , ?? ).在平方损失下，
RG* (dn ) ?
RG (dG )
则称dn为渐近最优经验贝叶斯决策函数，若 dn为?的估计
，则dn为渐近最优经验贝叶斯估计 .
例2( 续例 p109 例3.20)
在先验分布 G(? )未知时，如何计算
dG (x ) ?
(x
? 1)mG ( x mG ( x )
? 1)
由于历史样本 X 1, X 2 , X n均是从分布 mG ( x )中抽取的独立
? D f
?{
?t
1
?
t
(1? ? )n? t (1? ? )n? td?
:
n ? 1, 2,
, t ? 0,1, 2,
}
0
显然此共轭分布族为 ? 分布的子族，因而，两点 分布的共轭先验分布族为 ? 分布.
常见共轭先验分布
总体分布
参数
共轭先验分布
二项分布
成功概率p
? 分布? (? ,? )
由这两个例子可以看到，经验贝叶斯估计一方面依赖
贝叶斯估计理论，同时也依赖于非参数估计方法。
二、参数经验贝叶斯估计
定理4.1 设f (? )为任一固定的函数，满足条件
(1) f (? ) ? 0,? ? ? ,
? (2) 0 ? ? gn (t | ? ) f (? )d? ? ?
则
? D f
?{
?
样本，故由这些样本可以对 mG ( x )估计，根据泊松分布特
性可以得到 mG ( x )的估计为
m?G ( x1 , x 2 ,
1 , x n , x ) ? n ? 1{(x1, x 2 ,
,
x
中等于
n
x的个数）?
1}
用m?G ( x1, x2 , , x n , x )代替 mG ( x ), 可得其经验贝叶斯估计量为
? x! 0
? 1 ?? ? xe?? dG( x )
x! 0 ? ( x ? 1)mG ( x ? 1)
mG ( x )
如果先验分布 G(x) 未知，该 如何计算？
2、经验贝叶斯决策函数 当先验分布未知时，如何利用历史资料（经验资
料）( X 1 , X 2 , , X n )T 的信息得到最优贝叶斯估计？ 定义3.11 任何同时依赖于历史样本 ( X 1, X 2 , , X n )T 和当前样本 X 的决策函数 d n ? dn ( X | X 1, , X n )称为 经验贝叶斯决策函数
?? e? x? x dG(? ),
0 x!
( x ? 0,1, 2, ）
对于先验分布 G(? ), 在平方损失下，可求得 ?的
贝叶斯估计为
??
? ? p(? | x )dG( x )
dG( x ) ? E (? | x ) ?
0 ??
?0 p(? | x )dG( x )
? 1 ?? ? x?1e?? dG( x )
非参数经验贝叶斯估计 参数经验贝叶斯估计
一、非参数经验贝叶斯估计
1、问题引入 例1（p109 例3.20) 设随机变量 X 服从泊松分布，
p( x | ? ) ? ? x e? x ,
x!
( x ? 0,1, 2, ;? ? 0）
设参数 ?的先验分布为 G(? ),则X的边缘分布为
? mG ( x ) ?
如何计算经验贝叶斯估计 dn ? dn ( X | X 1, , X n )
经验贝叶斯估计 dn ? d n ( X | X 1 , , X n )的计算方法： （1）根据贝叶斯估计风险函数的定义可知 dn ? dn ( X | X1,
, X n )的风险为 RG (dn | X 1, , X n )
gn (t | ? ) f (? ) gn (t | ? ) f (? )d?
:
n ? 1, 2,
}
是共轭先验分布族，其中
n
? q( x | ? ) ? p( xi | ? ) ? gn (t | ? )h( x1, x 2 , , x n )
i?1
例4(p126例4.10) 设( X 1 , X 2 , , X n )T 是来自总体
? 的贝叶斯估计为
dG ( x ) ?
x
?
m
' G
(
x
)
mG ( x )
由于密度函数比较难估计，我们可以选用非参数密度
估计法（如核估计，最近邻密度估计），得到 m?G ( x )
于是可以得到 ?的经验贝叶斯估计为
dn (X | X1, X 2,
, Xn)
?
X
?
m?G' ( X m?G ( X
) )