6.4贝叶斯估计

6.4.2 贝叶斯公式的密度函数形式
总体依赖于参数 的概率函数在贝叶斯统 计中记为P (x | )，它表示在随机变量θ 取某个给定值时总体的条件概率函数； 根据参数 的先验信息可确定先验分布 ( )； 从贝叶斯观点看，样本 x1, x2 , …, xn 的产 生分两步进行:首先从先验分布( )产生 一个样本0，然后从P (x |0)中产生一组 样本。这时样本的联合条件概率函数 为 p ( x , , x | ) p ( x | ) ，这个分布综合了 总体信息和样本信息；
批评1：置信区间
• 置信区间：
• 解释：区间[u1,u2]覆盖u的概率 • 不是u位于区间的概率 • 缺点：u不是变量
批评2：评价方法
• 假设检验、参数估计等都是多次重复的结 果； • 想知道：
– 一次实验发生的可能性
回忆贝叶斯规则
• 亦称贝叶斯定理
f ( y | x) f ( x | y) f ( y)
在没有样本信息时，人们只能依据先验分 布对 作出推断。在有了样本观察值 x1, x2 , …, xn 之后，则应依据 h(x1, x2 , …, xn , ) 对 作出推断。由于 h(x1,x2 ,…,xn , ) =( x1,x2 ,…,xn )m(x1,x2 ,…,xn)， 其中 m ( x , , x ) h ( x , , x , ) d p ( x , , x | ) ( ) d
6.4.3 贝叶斯估计
基于后验分布( x1, x2 , …, xn )对 所作的 贝叶斯估计有多种，常用有如下三种： 使用后验分布的密度函数最大值作为 的 点估计，称为最大后验估计； 使用后验分布的中位数作为 的点估计， 称为后验中位数估计； 使用后验分布的均值作为 的点估计，称 为后验期望估计。 用得最多的是后验期望估计，它一般也简 称为贝叶斯估计，记为ˆ 。
先验知识从哪儿来？
• 我们可能在观测数据之前就有一些主观观 点或真正的先验知识。 • 但是，通常我们并没有真正的先验知识或 者我们在贝叶斯估计时想更客观些，这时 可以选择无信息的先验(noninformative prior)。 • 或者可以从数据估计先验。这被称为经验 贝叶斯(empirical Bayes)。
B
例6.4.2 设某事件A在一次试验中发生的概率 为 ，为估计 ，对试验进行了n次独立观测， 其中事件A发生了X次，显然 X b(n, )， 即
n x nx P ( X x | ) (1 ) , x x 0,1, , n
假若我们在试验前对事件A没有什么了解， 从而对其发生的概率 也没有任何信息。在 这种场合，贝叶斯本人建议采用“同等无知” 的原则使用区间（0,1）上的均匀分布U(0,1) 作为 的先验分布，因为它取（0,1）上的每 一点的机会均等。贝叶斯的这个建议被后人 称为贝叶斯假设。
1 n 1 n 1 n
是x1, x2 , …, xn 的边际概率函数，它与 无 关，不含 的任何信息。因此能用来对 作 出推断的仅是条件分布( x1, x2 , …, xn)， 它的计算公式是
( | x1 , , x n )
h ( x1 , , x n , ) m ( x1 , , x n ) p ( x1 , , x n | ) ( )

2


则有
h ( x , ) k 1 ex p { k 1 ex p {
1 2
[ A 2 B C ]}
2
( B / A) 2/A

1 2
(C B / A )}
2
注意到A,B,C均与 无关，由此容易算得样 本的边际密度函数
1 2 1/ 2 m ( x ) h ( x , ) d k1 ex p ( C B / A ) ( 2 / A ) 2
反对贝叶斯学派的观点
• 不方便：后验区间不是真正的置信区间，估 计通常都是有偏估计 • 计算强度大：积分/仿真或近似很难处理 • 不必要的复杂：即使没有先验信息也要有先 验函数 • 假设检验：贝叶斯假设检验对先验的选取很 敏感
例6.4.3 设x1, x2 , …, xn是来自正态分布 N(,02)的一个样本，其中02已知， 未 知，假设 的先验分布亦为正态分布 N( , 2)，其中先验均值和先验方差 2均 已知，试求 的贝叶斯估计。 解：样本x的分布和 的先验分布分别为
p ( x | ) (2 0 )
2

后验均值即为其贝叶斯估计：
ˆ n / 0
2 2 2
n / 0 1/
x
1 /
2
2 2
n / 0 1/

它是样本均值 x 与先验均值 的加权平 均。
例子： 正态分布
• 例：某圆形产品内径X（单位：mm）服从正态 分布N( ，0.4), 有先验分布N(2，0.22),现在测 量X=1.8,n=5 • MLE=1.8 • bayes=1.93
n 1 n 0 i 0 i 1
0 是未知的，它是按先验分布( )产生 的。为把先验信息综合进去，不能只考 虑0，对的其它值发生的可能性也要加 以考虑，故要用( )进行综合。这样一 来，样本x1 , …, xn和参数 的联合分布为: h(x1, x2 , …, xn, ) = p(x1, x2 , …, xn )( )， 这个联合分布把总体信息、样本信息和 先验信息三种可用信息都综合进去了；

n
i 1
xi 2 2 2 2
2
其中
A n
x
1
n
,
n
xi
i 1
k ， (2 )
1
( n 1) / 2
n
0
xi
2 0 2
1
n
。若记
2 2

2 0

1

2
B
nx

2 0


2

, C
i 1
f ( x | y) f ( y)dy
– 条件概率
• 利用贝叶斯规则将数据和参数的分布联 合起来 f ( x | ) f ( )
f ( | x)
f ( x | ) f ( )d
贝叶斯方法
贝叶斯推断的基本步骤如下：
• 选择一个概率密度函数 f ( ) ，用来表示在取得 数据之前我们对某个参数 的信念。我们称之 为先验分布。 • 选择一个模型 f ( x; )（在此处记为 f ( x | ) ） 来反映在给定参数 情况下我们对x的信念。 • 当得到数据 X1, X2,…Xn 后，我们更新我们的信 念并且计算后验分布 f ( | X1 ,..., X n ) 。 • 从后验分布中得到点估计和区间估计。
由此即可利用贝叶斯公式求出 的后验分布。具 体如下：先写出X和 的联合分布 然后求X的边际分布
n x nx h ( x , ) (1 ) , x x 0,1, , n , 0 1
最后求出 的后验分布
( | x )
h ( x, ) m (x)

应用贝叶斯公式即可得到后验分布
( | x)
h( x, ) m(x) ( 2 / A )
1/ 2
1 2 ex p ( B / A ) 2/A
这说明在样本给定后， 的后验分布为
N(B/A,1/A)，即
n x 0 2 2 1 |x ~ N , 2 2 2 n 0 n 0
贝叶斯推断采取了另外一个不同的立场： • 概率描述的是主观信念的程度，而不是频率。 这样除了对从随机变化产生的数据进行概率 描述外，我们还可以对其他事物进行概率描 述。 • 可以对各个参数进行概率描述，即使它们是 固定的常数。 • 为参数生成一个概率分布来对它们进行推导， 点估计和区间估计可以从这些分布得到
( / 2， ˆ1 / 2 ) 其中 p 表示 后验分布的 p 分位数。
6.4.4
共轭先验分布
若后验分布( x)与( )属于同一个分布 族，则称该分布族是 的共轭先验分布 (族)。 二项分布b(n, )中的成功概率 的共轭先 验分布是贝塔分布Be(a,b)； 泊松分布P( )中的均值 的共轭先验分布 是伽玛分布Ga(,)； 在方差已知时，正态均值 的共轭先验分 布是正态分布N(, 2); 2 在均值已知时，正态方差 的共轭先验分 布是倒伽玛分布IGa(,)。
n 1 x n ( x 1) ( n x 1) nx d 0 (1 ) (n 2) x x
( n 2) ( x 1) ( n x 1)

( x 1) 1
(1 )
( n x 1) 1
n /0
2 2 2
ˆ
n / 0 1/
x
1/
2
2 2
n / 0 1/

置信区间估计：
• 方法: 是随机变量，可求其后验分布 • 步骤: 1.积分求后验分布
h ( | x )
h ( , u | x ) du
2.根据后验分布求置信区间
的 1 的置信区间为：
频率学派的观点
统计学更多关注频率推断
到目前为止我们讲述的都是频率（经典的）统计学
• 概率指的是相对频率，是真实世界的客观属性。 • 参数是固定的未知常数。由于参数不会波动，因 此不能对其进行概率描述。 • 统计过程应该具有定义良好的频率稳定性。如： 一个95％的置信区间应覆盖参数真实值至少95％ 的频率。
贝叶斯估计
Bayes Estimation
例子：
• • • • 我定点投篮，投5次，次次投中， 问：我的投篮技术如何？ 科比投篮，投100次，次次投中， 问：科比投篮技术如何？