3[1].2 经典线性模型的贝叶斯估计
§3.2 经典线性计量经济学模型的
贝叶斯估计
Bayesian Estimation
Bayesian Econometrics
（教材§3.3）
一、贝叶斯定理
二、正态线性单方程计量经济学模型的贝叶斯
估计
0 引子
•在《Econometric Analysis》(第3版)中：•Chapter 6 The Classical Multiple Linear Regression Model—Specification and Estimation • 6.9 Bayesian Estimation
•在《Econometric Analysis》(第5版)中：•Chapter 16 Estimation Frameworks in Econometrics
•16.2 Parametric Estimation
•16.2.2 Bayesian Estimation
•作为一类估计方法，其原理是重要的。
•在实际应用中，由于先验信息难以获得，该估计方法很难应用。
•贝叶斯统计是由T.R.Bayes于19世纪创立的数理统计的一个重要分支，20世纪50年代，以H.Robbins 为代表提出了在计量经济学模型估计中将经验贝叶斯方法与经典方法相结合，引起了广泛的重视。
•贝叶斯估计对经典计量经济学模型估计方法的扩展在于，它不仅利用样本信息，同时利用非样本信息。
一、贝叶斯定理
•后验信息正比于样本信息与先验信息的乘积。
•可以通过样本信息对先验信息的修正来得到更准确的后验信息。
⒉单方程计量经济学模型贝叶斯估计的过程
•确定模型的形式，指出待估参数
•给出待估参数的先验分布
•利用样本信息，修正先验分布
•利用待估参数的后验密度函数，进一步推断出待估参数的点估计值，或进行区间估计与假设检验•预测
二、正态线性单方程计量经济学模
型的贝叶斯估计
⒋区间估计
•根据B的后验密度函数进行区间估计。
•需要引入最高后验密度区间的概念：区间内每点的后验密度函数值大于区间外任何一点的后验密度函数值，这样的区间称为最高后验密度区间（HPD区间）。
•参数的最高后验密度区间在形式上与经典样本信息理论中的置信区间是一致的，但解释并不相同。
⒌假设检验
•可以用最高后验密度区间进行假设检验。
•常用的方法是利用后验优势比检验。
⒍试例
•选取1978-1997年的数据为样本，采用经典模型的估计方法，得到的结果。
T t GDP DE t t t ,,2,110"=++=μββ453ˆ008886.0ˆ18.126ˆ2
10===μσββ。
贝叶斯估计
但是，通常我们并没有真正的先验知识或 者我们在贝叶斯估计时想更客观些，这时 可以选择无信息的先验(noninformative prior)。
或者可以从数据估计先验。这被称为经验
贝叶斯(empirical Bayes)。
H
26
反对贝叶斯学派的观点
后验分布( x1, x2 , …, xn )的计算公式就
是用密度函数表示的贝叶斯公式。它是用
总体和样本对先验分布( )作调整的结果，
贝叶斯统计的一切推断都基于后验分布进 行。
H
14
6.4.3 贝叶斯估计
基于后验分布( x1, x2 , …, xn )对 所作的
贝叶斯估计有多种，常用有如下三种：
➢ 使用后验分布的密度函数最大值作为 的 点估计，称为最大后验估计；
概率描述的是主观信念的程度，而不是频率 。这样除了对从随机变化产生的数据进行概 率描述外，我们还可以对其他事物进行概率 描述。
可以对各个参数进行概率描述，即使它们是 固定的常数。
为参数生成一个概率分布来对它们进行推导 ，点估计和区间估计可以H 从这些分布得到 6
批评1：置信区间
置信区间：
解释：区间[u1,u2]覆盖u的概率
观点：概率就是频率
参数就是参数
联合分布密度：p(x1,x2,..xn ; )
H
3
频率学派的观点
统计学更多关注频率推断
到目前为止我们讲述的都是频率（经典的）统计学
概率指的是相对频率，是真实世界的客观属性。
参数是固定的未知常数。由于参数不会波动，因 此不能对其进行概率描述。
统计过程应该具有定义良好的频率稳定性。如： 一个95％的置信区间应覆盖参数真实值至少95％ 的频率。
贝叶斯估计方法
4.3 Bayes推理的推理公式
Bayes推理的基本原理是：给定一个前面的似然估计后，若又 增加一个证据（测量），则可以对前面的似然估计加以更新。 也就是说，随着测量值的到来，可以将给定假设的先验密度 更新为后验密度。 假设A1，A2，...，An表示n个互不相容的穷举假设，B为一个 事件（或事实，观测等），Bayes公式的形式为：
)P(我
/
Aj
)
P(敌
/
Bk 1,2
)
P( Aj
/
Bk 1,2
)P(敌
/
Aj
)
P(中/
Bk 1,2
)
P( Aj
/
Bk 1,2
)P(中/
Aj
)
可以类似用来计算某些机型（大轰炸机、战斗机、小轰炸机、
民用机型）的后验概率，如
M
P(战斗机
/
Bk 1, 2
)
P( Aj
/
Bk 1, 2
)P(战斗机
/
Aj
)
j 1
12
4.7 Bayes推理的缺点
直接使用概率计算公式有两个困难：
(1) 一个证据 A 的概率是在大量统计数据的基础上得出的， 当所处理的问题比较复杂时，需要非常大的统计量，这使得 定义先验似然函数非常困难；
(2) Bayes 推理要求各证据之间是不相容或相互独立的， 因此若存在多个可能假设和多条件相关事件时，计算复杂性 大大增加。
问题：假定有一个新病人，化验结果为正，是否应将病人断 定为有癌症？求后验概率P(cancer|+)和P(normal|-)
5
Bayes推理应用实例(续)
因此极大后验假设计算如下: P(+|cancer)P(cancer)=0.00784 P(+|normal)P(normal)=0.02976 P(canner|+)=0.00784/(0.00784+0.02976)=0.21 P(-|cancer)P(cancer)=0.00016 P(-|normal)P(normal)=0.96224 P(normal|-)= 0.96224 /(0.00016 +
贝叶斯估计
信号的参数估计一般指参数在观测时间内不随时间变化，故是静态估计。
若被估计参量是随机过程或非随机的未知过称，则称为波形估计或状态估计，波形估计或状态估计是动态估计。
3。
2贝叶斯估计贝叶斯估计是基于后验概率分布（posterior distribution)的一类估计方法，其中后验概率分布中采用了先验信息(prior information ）。
所谓先验信息，是指已知待估计参数的概率密度函数0()p θ,不管θ是随机变变量或是未知的固定常数。
而后验概率分布具有下面的形式，00()(|)(),1(|)()p c p X p c p X p d θθθθθθ*==⎰.注意两点:1，0()p θ不必满足标准化条件，即0()1p d θθ=⎰,但是0()p θ必须是非负的，并且0102()()p p θθ代表似真比（ratio of plausibility ），若0102()()1p p θθ>，则说明在1θ和2θ两个值之间我们更倾向于1θ为真值；2，()p θ*实际上就是(|)p X θ,是通过试验得到数据X 以后θ的概率密度函数,仅当()1p d θθ=⎰时有明确的含义.下面讨论中，()p θ代表0()p θ，(|)p X θ代表()p θ*。
类似于信号检测中的问题,贝叶斯估计在参数估计中对于不同的估计结果赋予了不同的代价值，然后求解平均代价最小的情况。
估计误差为θθ-，我们只关心估计误差的代价，于是代价函数()()c c θθθ-=，是估计误差的单变量函数。
典型的代价函数有三种：⑴ 平方型()2()c θθθ=-,它强调了大误差的影响 ⑵ 绝对值()c θθθ=-，给出了代价随估计误差成比例增长 ⑶ 均匀型()10c θεθεθε>⎧=⎨⎩-<<这种代价函数给出了估计误差绝对值大于某个值时，代价等于常数，而估计误差绝对值小于某个值时，代价等于零.在贝叶斯估计中，要求估计误差引起的代价的平均值最小。
贝叶斯估计 PPT
解 其似然函数为
n
n
n
q(x| )
xi(1)1xi i 1xii(1)n i 1xi
i 1
n x( 1 ) n n x g n ( t|) g 1 ,
其 中 g n ( t |) t( 1 ) n t , 选 取 f () 1 ， 则
注 1、贝叶斯估计是使贝叶斯风险达到最小的决策 函数.
2、不同的先验分布，对应不同的贝叶斯估计
2、贝叶斯点估计的计算 平方损失下的贝叶斯估计
定理3.2 设 的先验分布为 ( )和损失函数为
L(,d)(d)2
则 的贝叶斯估计
为
d * (x ) E (|X x ) h (|x )d
其 中 h (|x ) 为 参 数 的 后 验 分 布 .
π (1 ) 0 .4 π (2 ) 0 .6
这两个概率是经理的主观判断（也就是先验概率）， 为了得到更准确的信息，经理决定进行小规模的试验， 实验结果如下：
A：试制5个产品，全是正品，
由此可以得到条件分布：
p ( A |1 ) ( 0 . 9 ) 5 0 . 5 9 0 p ( A |2 ) （ 0 . 7 ） 5 0 . 1 6 8
t (1)n t
D f{1t (1)n td :n1 ,2,L,t0,1 ,2,L} 0
显然此共轭分布族为 分布的子族，因而，两点
分布的共轭先验分布族为 分布. 常见共轭先验分布
总体分布
参数
共轭先验分布
二项分布
成功概率p
分布 ( , )
泊松分布
均值
分布 ( )
指数分布
均值的倒数
分布 ( )
正态分布 （方差已知）
贝叶斯估计——精选推荐
贝叶斯估计其实这是我之前最想第⼀篇来写的随笔了，今天就先把这⼀部分写⼀写吧。
1.问题 ⼀个医疗诊断问题有两个可选的假设：病⼈有癌症、病⼈⽆癌症可⽤数据来⾃化验结果：阴性和阳性。
有先验知识：在所有⼈⼝中，患病率是0.008，对确实有病的患者的化验准确率为98%，对确实⽆病的患者的化验准确率为97% 。
问题：假定有⼀个新病⼈，化验结果为阳性，是否应将病⼈断定为有癌症？ 我们先把问题简单描述⼀下，⽤事件Y表⽰检测为阳性，⽤事件N表⽰检测为阴性，⽤A表⽰患有癌症，⽤B表⽰健康。
那么有：p(A)=0.008p(B)=0.992p(Y|A)=0.98p(N|B)=0.97p(N|A)=0.02p(Y|B)=0.03 然后让我们求p(A|Y) 让我们求已知检测为阳性的情况下，病⼈患有癌症的条件概率，根据条件概率的定义有p(A|Y)=p(A,Y) p(Y) ⽽：p(A,Y)=p(Y|A)p(A) 那么p(Y)怎么求呢？ 我们发现A和B是互斥事件，且p(A)+p(B)=1，根据联合概率和边缘概率的关系，有：p(Y,A)+p(Y,B)=p(Y) 再次利⽤联合概率和条件概率：p(Y,A)=p(Y|A)p(A)p(Y,B)=p(Y|B)p(B) 最终得到：p(A|Y)=P(Y|A)p(A)p(Y|A)p(A)+p(Y|B)p(B) 带⼊得p(A|Y)=0.208，这好像和直觉相差甚远，明明对有病患者准确率⾼达98%，为什么检测结果为阳性但是可信度只有21%左右？ 我们来看看这种检测⽅法诊断结果为阳性的概率p(Y)=0.0376，发现了什么，该癌症发病率只有0.008，有0.0376的概率的概率是结果为阳性。
假设随机10000个⼈来检查，其中癌症患者的期望为80，但是检测结果为阳性的期望为376。
这表明检测结果为阳性时，假阳性概率很⼤，在0.008的发病率看来，对正常病⼈3%的误差反⽽⼤得多，这也是阳性结果可信度低的最主要原因。
贝叶斯先验概率贝叶斯估计
贝叶斯先验概率贝叶斯估计你有没有想过，我们每天做的决定背后，其实有很多不确定性？我们做的选择是根据过去的经验，也我们选择的结果并不完全能预测。
举个例子，假设你早上出门前看了天气预报，说今天有50%的可能下雨。
那么问题来了，你是带伞呢，还是不带呢？如果你经历了好几次天气预报错得离谱，是不是就会开始怀疑这些概率的准确性了？这时候，你可能会觉得，自己的经验比这些预测更靠谱。
嘿，这其实就跟贝叶斯估计有点关系！贝叶斯估计的核心思想就是：把我们的“信念”或者说“先入为主”的看法，结合新的信息，做出更合理的判断。
拿天气预报来说，假如你这几年过得比较顺风顺水，基本上从来没遇到过下雨的预报被错过过，天公作美，你心里可能会觉得今天下雨的可能性更小些。
这时候，你的“先验知识”就开始发挥作用了。
你并不是完全相信50%的下雨几率，而是结合自己以往的经验，觉得这50%的概率其实没那么准确，可能实际下雨的几率还得往低的方向调整。
对，先验概率，这名字听起来有点高深，但其实说白了，就是你在面对不确定的事物时，最初的判断和看法。
举个例子，假设你今天第一次见到一个人，想知道他是不是喜欢看足球。
你完全不了解他，只知道他长得高大，看起来像个运动员。
你的“先验”就是——他可能喜欢足球。
这个先验的看法，源自你对运动员的刻板印象。
可是，如果你后来得知，这个人其实从不碰球，反而热衷于下围棋，那你的想法肯定得做调整。
你会慢慢抛开原本的看法，开始根据实际信息重新评估他的兴趣。
贝叶斯估计的巧妙之处就在于，它鼓励你做这种“更新”。
每当有新的信息进来时，你就该重新调整自己原本的“信念”。
在上面的例子中，一开始你完全凭直觉判断这个人爱足球，结果一查，他竟然喜欢围棋，那你就得调整看法了，把新的信息加进来，改成一个更加准确的估计。
更有意思的是，贝叶斯估计的魅力不仅在于它能够帮助我们调整决策，还在于它不要求我们一开始就知道真相。
嘿，谁能一开始就知道自己做的决定百分之百正确呢？生活就是这样，充满了不确定。
贝叶斯估计问题
贝叶斯学派
Bayes统计模型的特点是将参数θ视为随机变量,并具 有先验分布H(θ); Bayes统计学派与经典学派的分歧主要是在关于参数的 认识上的分歧,经典学派视θ为未知常数; Bayes学 派视θ为随机变量且具有先验分布; 为随机变量且具有先验分布 两个学派分歧的根源在于对于概率的理解.经典学派 视概率为事件大量重复实验频率的稳定值;而Bayes学 派赞成主观概率,将事件的概率理解为认识主体对事 件发生的相信程度,当然,对于可以独立重复实验的 事件,概率仍可视为频率稳定值.显然,将θ视为随 机变量且具有先验分布具有实际意义,能拓广统计学 应用的范围.
1 T 1 w 1
误差协方差矩阵也是最小的MSE矩阵M θ , 其对角线上的元素产生最小 贝叶斯MSE,即 Mθ = [ Cε ]ii =Bmse(θi )
ii
BAYES ex1
BAYES so1
BAYES so1 cont
BAYES ex2
BAYES so2
BAYES so2 cont
先验分布的确定方法
先验分布的确定方法
Bayes统计中,关于先验分布的选取是一个重大问题. Bayes本人对 先验分布作了如下假设:先验分布是无信息先验分布,在θ的取值范 围内"均匀分布".
先验分布的确定方法
(4)共轭分布方法 H.Raiffa,R.Schlaifer提出先验分布应取共轭分布才合适 设样本X的分布族为{f(x|θ ):θ ∈ Θ},若先验分布h(θ ) 与后验分布h(θ|x)属于同一分布类型,则先验分布h(θ ) 称为h(θ|x)的共轭分布.
1/ 2
该式对标量参数和矢量参数都适用.
先验分布的确定原则-Jeffreys原则
例1:设X是来自正态总体N( ,)的IID样本,求的先验分布. 1 可求得I ( ) = n, 故h( ) ∝ 1 例2:设X是来自正态总体N(0,σ 2 )的IID样本,求σ 与δ =σ 2 的先验分布. 可求得I(σ )= h(σ ) ∝ 1 2n , I(δ )= 2 1 2n
贝叶斯估计
P ( i 4 X 3)
14 9 20
2 4 8 20
3 4 3 20
可看出, 的最大后验估计
ˆ MD 1 4
ˆ E E ( X 3) 17 40
Var ( x) E ( 2 x) E 2 ( x) 17 80 (17 40) 2 51 1600
n2 n
5
选用贝叶斯假设 1 ，则
ˆMD , ˆE
x n
x 1 n2
第一、在二项分布时， 的最大后验估计就是经典 统计中的极大似然估计，即 的极大似然估计就是 取特定的先验分布下的贝叶斯估计。
ˆ 第二、 的后验期望值估计 E ^ 计 MD 更合适一些。
1
3．先验信息，即在抽样之前有关统计推断的一些 信息。譬如，在估计某产品的不合格率时，假如工 厂保存了过去抽检这种产品质量的资料，这些资料 （包括历史数据）有时估计该产品的不合格率是有 好处的。这些资料所提供的信息就是一种先验信息。 又如某工程师根据自己多年积累的经验对正在设计 的某种彩电的平均寿命所提供的估计也是一种先验 信息。由于这种信息是在“试验之前”就已有的， 故称为先验信息。 以前所讨论的点估计只使用前两种信息，没有使用 先验信息。假如能把收集到的先验信息也利用起来， 那对我们进行统计推断是有好处的。只用前两种信 息的统计学称为经典统计学，三种信息都用的统计 学称为贝叶斯统计学。本节将简要介绍贝叶斯统计 2 学中的点估计方法。
15
3、2贝叶斯决策方法
决策就是对一件事作决定。它与推断的差别在于是 否涉及后果。统计学家在作推断时是按统计理论进 行的，但很少考虑结论在使用后的损失。可决策者 在使用推断时必需与得失联系在一起，能带来利润 的就会使用，使他遭受损失的就不会采用，度量得 失的尺度就是损失函数。它是著名的统计学家 A.Wald（1902－1950）在40年代引入的一个概念。 从实际归纳出损失函数是决策的关键。 贝叶斯决策：把损失函数加入贝叶斯推断就形成 贝叶斯决策论，损失函数被称为贝叶斯统计中的第 四种信息。
贝叶斯估计与贝叶斯学习
贝叶斯估计与贝叶斯学习贝叶斯估计是概率密度估计的一种参数估计，它将参数估计看成随机变量，它需要根据观测数据及参数鲜艳概率对其进行估计。
一 贝叶斯估计（1）贝叶斯估计贝叶斯估计的本质是通过贝叶斯决策得到参数θ的最优估计，使总期望风险最小。
设()p θ是待估计参数θ的先验概率密度，且θ取值与样本集1{,,}n x x X =L 有关，设样本的取值空间d E ，参数取值空间Θ，ˆ(,)λθθ是ˆθ作为θ的估计量时的损失函数，本节我们取2ˆˆ(,)()λθθθθ=-。
则此时的总期望风险为： ˆ(,)()(),d E R p x p x d dx λθθθθΘ=⎰⎰定义样本x 下的条件风险为：ˆˆ()(,)(),R x p x d θλθθθθΘ=⎰ 则有：ˆ()(),d E R R x p x dx θ=⎰ 又ˆ()R x θ非负，则又贝叶斯决策知求R 最小即求ˆ()R x θ最小，即： ˆargmin (),R x θθ*=可求得最优估计：().p x d θθθθ*Θ=⎰（2）贝叶斯估计步骤总结1. 获得θ的先验分布()p θ；2. 已知x 的密度分布()p x θ得样本集的联合分布：1()();Nn n p p x θθ=X =∏3. 由贝叶斯公式得θ的后验分布：()()();()()p X p p X p X p d θθθθθθΘ=⎰4. 得到θ的最优估计：().p x d θθθθ*Θ=⎰（3）样本概率密度函数()p x X 估计我们是在假设样本概率密度已知下对参数进行估计的，由贝叶斯估计步骤3可以直接得到样本概率密度函数估计：()()().p x X p x p X d θθθΘ=⎰对上式可以理解为：()p x X 在所有可能参数下取值下样本概率密度的加权平均，权值为θ的后验概率。
二 贝叶斯学习贝叶斯学习本质是参数值随着样本增多趋近于真实值的过程。
对于贝叶斯学习由下面过程得到：记样本集为NX ，其中N 代表样本集内样本的个数。
第31章贝叶斯估计
边缘后验分布常常既不对称也非“单峰”(unimodal)，这与古典学 派的统计量不同。
18
2．后验分布的各阶矩 根据后验分布，可以计算其各阶矩，比如均值、中位数、方差等。 3．点估计 在贝叶斯分析中， 未知参数 被视为随机变量， 而非一个固定的点， 故点估计(point estimation)在贝叶斯分析中不那么重要， 关注的重点是 的整个后验分布。 后验均值(posterior mean)或后验中位数(posterior median)常常被作 为点估计来汇报。
15
当样本容量越来越大时，先验分布所起的作用越来越小。 此结论在一般情况下也成立。回到后验分布密度核的一般表达式：
p ( | y ) L( ; y ) ( ) L( ; y1 , , yn ) ( ) L( ; y1 ) L( ; yn ) ( )
(假设样本为 iid)
(展开平方项) (根据 合并同类项) * h h y (定义 h h h* ， ) h 2 2h h* y 2 h 2 h h ( 2 2 ) h* y 2 h 2 (提取公因子 h ) h ( 2 2 2 ) h 2 h* y 2 h 2 (配方) h ( ) 2 (去掉不含 的常数项)
31.3 贝叶斯估计的一个例子 记随机样本为 y ( y1 y2 yn ) ，其中 yi ~ N ( , 2 ) ，方差 2 已知，而 均值 未知。
1 n ˆ y y。 古典学派选择 使似然函数最大化，得到 MLE i 1 i n
8
贝叶斯学派则要额外地设定 的先验分布。 为了计算方便，选择先验正态分布，即 ~ N ( , 2 ) ，其中先验均值 与先验方差 2 为已知常数。 如果 2 较大，就表示先验分布的不确定性较大。 目标是求出后验分布 p( | y ) 。把此计算过程分为以下三步。 第一步 写出先验分布密度 ( ) 。 在贝叶斯分析中，使用方差的倒数有时更为方便。