贝叶斯参数估计

i1
n
⑴
验前信息处理
③ 确定参数 的后验分布 样本 x 和参数 的联合分布为： h( x, ) p( x | ) ( ) ⑵ ⑶ ⑷
x 的边缘密度函数为： m( x) h( x, )d p( x | ) ( )d
也就是说，
时，采用平方误差损
失函数的最小风险贝叶斯估计达到期望风险的最小值！
贝叶斯估计
求贝叶斯估计的方法：（平方误差损失下）
贝叶斯估计

Gaussian情况：仅参数 θ μ 未知 给定样本集
N 0 , 02
，已知随机变量
x N , 2


均值未知而方差已知。均值变量的先验分布 求μ的后验概率 p
1 ( ) exp( ) 有 ( ) a1 exp( ). ( ) : 其拟然函数为
xi! 则其先验密度的核为
i 1
f (x )

n
x
i
exp( )
t exp( n )
x1 ! x 2 !... x n !
, t xi
（Bayes，Thomas）(1702─1761)
贝叶斯是英国数学家.1702年生于伦敦；1761年4月17日 卒于坦布里奇韦尔斯. 贝叶斯是一位自学成才的数学家.曾助理宗教事务，后来 长期担任坦布里奇韦尔斯地方教堂的牧师.1742年，贝叶斯被 选为英国皇家学会会员. 如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯 公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶 斯估计量、贝叶斯方法、贝叶斯统计等等.
p N N ,

2 N

2 N 0 2 ˆN 0 N 2 2 2 2 N 0 N 0 2 2 N 1 0
求μ的贝叶斯估计值
i 1
n
:
( x ) ( ) f ( x ) t 1 exp[ ( n ) ]
故
( x ) ~ ( a x i , n )
i 1
n
即 ( , ) 是 P ( )的共轭分布
常用共轭先验分布
总体分布 二项分布 泊松分布 指数分布 正态分布（方差已知） 正态分布（均值已知） 参数 成功概率 均值 均值的倒数 均值 方差 共轭先验分布 贝塔分布 beta(, ) 伽玛分布 Ga(, ) 伽玛分布 Ga(, ) 正态分布 N(, )
6 2 于是可算得 1 11.93 和 ( 7 ) 。这时正态均值 6 2 的后验分布为正态分布 N (11.93, ( 7 ) )
2 1
例 设x1 , x2 ,..., xn ~ iid . p ( ), ( ) ~ ( , ), 试确定 ( x).
解 : 先验密度为 :
2 2 2 /( ) 是用方差倒数组成的权，于是后验 其中 0 0 均值 1 是样本均值 x 和先验均值 的加权平均。 这表明后验
均值是在先验均值与样本均值间采取折衷方案。

贝叶斯估计的思路与贝叶斯决策类似，只是 离散的决策状态变成了连续的估计。
贝叶斯参数估计问题 样本集 估计量 真实参数 θ 参数空间 Θ 是连续空 参数的先验分布P (θ)
是 的一个贝叶斯估计，在样本给定后， 是 设 一个数，在综合各种信息后， 是按 ( | x)取值，所以 评定一个贝叶斯估计的误差的最好而又简单的方式是 对 的后验均方差或平方根来度量，具体定义 用 如下： ， 设参数 的后验分布 ( | x) ，贝叶斯估计为 | x) E | x ( )2 ) 的后验期望 MSE ( 则 ( 1 后验均方差，而其平方根 [ MSE ( | x)]2 称为的后 称为 验标准误，其中符号 E | x 表示用条件分布 ( | x ) 求期望 E E ( | x) 为 的后验期望 当 时，则
0 xi 2 0 i 1
N
由两式指数项中对应的系数相等得：
N 1 1 2 2 2 N 0 N N N ˆN 2 2 2 0 N
1 ˆN 其中： N
x
i 1
N
i
求解方程组得：
贝叶斯统计学派把任意一个未知参数都看成随机变量，应用一 个概率分布去描述它的未知状况，该分布称为先验分布。
样 本 信 息
先 验 信 息
贝 叶 斯 定 理
后 验 信 息
统 计 推 断
3.3 贝叶斯估计

ML估计： 根据每一类的训练样本估计每一类的类条件概率密 度。 Bayesian估计： 同样根据每一类的训练样本估计每一类的类条件 概率密度。但不再把参数 θ 看成是一个未知的确 定变量，而是看成未知的随机变量。通过对第i类 样本 的观察，使概率密度分布 转化为 后验概 再求贝叶斯估计。
贝叶斯决策问题: 样本x 决策ai 真实状态wj 状态空间A是离散空间 先验概率P(wj)
期望损失
条件风险
最小
贝叶斯估计
离散情况下：损失函数表 连续情况下：损失函数 常用损失函数：
——平方误差损失函数
贝叶斯估计
可以证明，如果采用平方误差损失函数，则θ 的贝叶 斯估计量 是在给定x 时θ 的条件期望，即：
2
倒伽玛分布 IGa(, )
共轭先验分布的优点
它有两个优点 1． 计算方便 2． 后验分布中的一些参数可以得到很好的解释 的例题中， 在 “正态均值 的共轭先验分布为正态分布” 其后验均值可改写为
02 2 1 2 2 x 2 2 x (1 ) 0 0
1 N x 2 2 0 'exp i 2 2 2 i 1 0 1 N 1 N 0 1 2 ''exp 2 2 2 2 xi 2 2 1 i 0 0

先验分布的选取
有信息的： 已知分布类型、参数等 无信息的： 最大熵、共轭分布、Bayes假设 基于经验的： 利用样本确定先验分布
共轭分布法
例：设 X ~ N ( , 2 ) ， ~ N (10,32 ) 。若从正态总体 X 抽
2
得容量为 5 的样本，算得 x 12.1 ，
Bayesian Parameter Estimation （贝叶斯参数估计）
09009128 曹祥 09009131 严富函
贝叶斯估计的基本原理 • 假设 • 将待估计的参数看作符合某种先验概率分布的随 机变量 • 估计方式 • 通过观察样本，将先验概率密度通过贝叶斯规则 转化为后验概率密度
1 引言
x
i 1
N
i
ˆ 0 一般情况下： 当 N 0时，
ˆN 当 N 时， N
特例：
2 ˆ 0 当 0 0时，
（先验知识可靠，样本不起作用） （先验知识十分不确定，完全依 靠样本信息）
ˆN 当 ; N
2 0 2
n：样本数量
贝叶斯估计的误差
2 1 1 N ˆ p d d N exp 2 2 2 N N
因此， μ的贝叶斯估计值：
2 N 0 2 1 ˆ ˆ N 0 其中： ˆN 2 2 2 2 N 0 N 0 N
贝叶斯估计的一般步骤
① 选择先验分布，设为 ( ) ；
( ) 的确定方法多样，可以用主观概率、先验信息、边缘分布等来确定先验分布，
亦可采用无信息先验分布。此处可采用先验信息来进行贝叶斯估计，即以前的蔬菜产品 抽样的历史数据来确定先验分布。 ② 确定似然函数
p(x | ) L(x1, x2 ,xn ; ) p(xi | )
对以上这些批评,贝叶斯学派的回答如下：
几乎没有什么统计分析哪怕只是近似是“客观的” 。因为只有在具有研究问题的全部覆 盖数据时,才会得到明显的“客观性”,此时,贝叶斯分析也可得出同样的结论。但大多数统计 研究都不会如此幸运,以模型作为特性的选择对结论会产生严重的影响。实际上,在许多研究 问题中,模型的选择对答案所产生的影响比参数的先验选择所产生的影响要大得多。 Box(1980)说： “不把纯属假设的东西看作先验…我相信,在逻辑上不可能把模型的假设 与参数的先验分布区别开来。 ” Good(1973)说的更直截了当： “主观主义者直述他的判断,而客观主义者以假设来掩盖其 判断,并以此享受着客观性的荣耀。 ” 杰出的当代贝叶斯统计学家 A.OHagan(1977)的观点是最合适的：劝说某人不加思考地 利用贝叶斯方法并不符合贝叶斯统计的初衷。进行贝叶斯分析要花更多的努力。如果存在只 有贝叶斯计算方法才能处理的很强的先验信息或者更复杂的数据结构。 这时收获很容易超过 付出,由此能热情地推荐贝叶斯方法。另一方面,如果有大量的数据和相对较弱的先验信息, 而且一目了然的数据结构能导致已知合适的经典方法 (即近似于弱先验信息时的贝叶斯分 析)，则没有理由去过分极度地敲贝叶斯的鼓(过分强调贝叶斯方法)。
2 1 1 N 2 exp N , N N 2 N 2 2 N


μ的二次函数
的指数函数， 所以仍然是一 个正态密度
1 N 1 1 2 p ''exp 2 2 2 2 2 0 2 1 1 N exp 2 2 2 N N
| x) E | x ( E )2 Var ( | x) MSE (
1 2
称为后验方差，其平方根 [Var ( | x)] 称为后验标准差。