贝叶斯统计 先验分布与后验分布
贝叶斯统计-习题答案)
第一章 先验分布与后验分布1.1 解：令120.1,0.2θθ==设A 为从产品中随机取出8个，有2个不合格，则22618()0.10.90.1488P A C θ== 22628()0.20.80.2936P A C θ== 从而有5418.03.02936.07.01488.07.01488.0)()|()()|()()|()|(2211111=⨯+⨯⨯=+=θπθθπθθπθθπA P A P A P A 4582.0)|(1)|(4582.03.02936.07.01488.03.02936.0)()|()()|()()|()|(122211222=-==⨯+⨯⨯=+=A A or A P A P A P A θπθπθπθθπθθπθθπ1.2 解：令121, 1.5λλ==设X 为一卷磁带上的缺陷数，则()XP λ∴3(3)3!e P X λλλ-==R 语言求：)4(/)exp(*)3(^gamma λλ-1122(3)(3)()(3)()0.0998P X P X P X λπλλπλ∴===+== 从而有111222(3)()(3)0.2457(3)(3)()(3)0.7543(3)P X X P X P X X P X λπλπλλπλπλ==========1.3 解：设A 为从产品中随机取出8个，有3个不合格，则3358()(1)P A C θθθ=-（1） 由题意知 ()1,01πθθ=<< 从而有.10,)1(504)|(504)6,4(/1)6,4(1)6,4()1()1()1()1()1()1()1()()|()()|()|(535311614531535315338533810<<-==-=--=--=--==⎰⎰⎰⎰--θθθθπθθθθθθθθθθθθθθθθθθθπθθπθθπA beta B R B d d d C C d A P A P A ：语言求（2）.10,)1(840)|(840)7,4(/1)7,4(1)7,4()1()1()1()1()1()1(2)1()1(2)1()()|()()|()|(63631171463163631533853381<<-==-=--=--=----==⎰⎰⎰⎰--θθθθπθθθθθθθθθθθθθθθθθθθθθπθθπθθπA beta B R B d d d C C d A P A P A ：语言求1.5 解：（1）由已知可得.5.125.11,110110/1)()|()()|()|(,2010,101)(5.125.111)|(2112211)|(12,2121,1)|(5.125.11201011111111<<===<<=<<=+<<-==+<<-=⎰⎰θθθθπθθπθθπθθπθθθθθθθθd d x p x p x x p x p x x x p ，，即，时，当（2）由已知可得.6.115.11,1010110/1)()|,,()()|,,(),,|(,2010,101)(6.115.111)|,,(,219.1121,214.1121,211.1121,217.1121215.11212112211)|,,(9.11,4.11,1.11,7.11,5.11,0.12,6,2,1,2121,1)|,,(6.115.112010621621621621621654321621<<===<<=<<=+<<-+<<-+<<-+<<-+<<-+<<-========+<<-=⎰⎰θθθθπθθπθθπθθπθθθθθθθθθθθθθθθθθθd d x x x p x x x p x x x x x x p x x x p x x x x x x i x x x x p i ，即，，时，当【原答案：由已知可得 ()1,0.50.5P x x θθθ=-<<+1(),102010πθθ=<< 11.611.51()0.0110m x d θ==⎰从而有()()()10,11.511.6()P x x m x θπθπθθ==<< 】1.6 证明：设随机变量()XP λ，λ的先验分布为(,)Ga αβ，其中,αβ为已知，则即得证！),(~),,|()()|,,(),,|(,0,)()(,!!)|,,(121)(121211112111βαλπλλπλλπλλαβλπλλλλβαβλααλλ++∑∑∝•∝>Γ=∑===+--+--=-=-==∏∏n x Ga x x x ex x x p x x x e x e x e x x x p ni i n n x n n ni in x ni i x n ni i ni ii【原答案： (),0!x e P x x λλλλ-=>1(),0()e ααβλβπλλλα--=>Γ 因此 11(1)()()()x x x P x e e e λαβλαβλπλλπλλλλ---+--+∝•∝= 所以 (,1)x Ga x λαβ++】 1.7 解：（1）由题意可知.1},max{,1)/(1)/(122)()|,,()()|,,(),,|(,10,1)(,,2,1,10,22)|,,(121},max{221},max{2121121212112122111<<∝===<<==<<<==⎰⎰∏∏⎰∏∏====θθθθθθθθθθπθθπθθπθθπθθθθn nx x nn x x nni in nni inn n n ni i nni inin x x d d x xd x x x p x x x p x x x n i x xx x x x p n n【原答案：由题意可知 ()1,01πθθ=<< 因此122()12(1)xxm x d x θθ=•=-⎰因此 2()()1(),1()1P x x x x m x x θπθπθθθ==<<-（实质是新解当n=1的情形）】 （2） 由题意可知.1},max{,1)/(1)/(13232)()|,,()()|,,(),,|(,10,3)(,,2,1,10,22)|,,(12-21},max{2-22-21},max{2212211212121212122111<<∝=⨯⨯==<<==<<<==⎰⎰∏∏⎰∏∏====θθθθθθθθθθθθπθθπθθπθθθπθθθθn n x x n n x x nni in nni inn n n ni i nni inin x x d d x xd x x x p x x x p x x x n i x xx x x x p n n【原答案：由题意可知 1222()36xm x d x θθθ=•=⎰因此 ()()()1,01()P x x m x θπθπθθ==<<】 1.8 解：设A 为100个产品中3个不合格，则3397100()(1)P A C θθθ=-由题意可知 199(202)()(1),01(200)πθθθθΓ=-≤≤Γ 因此 3971994296()()()(1)(1)(1)A P A πθθπθθθθθθθ∝•∝--=- 由上可知)297,5(~)|(Be A θπ1.9 解：设X 为某集团中人的高度，则2(,5)XN θ∴25(,)10XNθ ∴2(176.53)5()p x θθ--=由题意可知 2(172.72)5.08()θπθ--=又由于X 是θ的充分统计量，从而有()()()()x x p x πθπθθπθ=∝•222(176.53)(172.72)(174.64)55.0821.26eeeθθθ------⨯∝•∝因此 (174.64,1.26)x N θ1.10 证明：设22(,),,N u u θσσ其中为已知又由于X 是θ的充分统计量，从而有()()()()x x p x πθπθθπθ=∝•222222251()()11252()11225252u x x u eeeσθθθσσσ+----+⨯--⨯+⨯∝∝因此 222251(,)112525u x xN σθσσ+++又由于21112525σ≤+ 所以 θ的后验标准差一定小于151.11 解：设X 为某人每天早上在车站等候公共汽车的时间，则(0,)X U θ.8,861)/(1192192)()|,,()()|,,(),,|(,4,192)(.81)|,,(8,8,5.3,2,1,0,1)|,,(768778774321321321433213213321>⨯====≥=>=====<<=⎰⎰⎰∞∞∞θθθθθθθθθθπθθπθθπθθθπθθθθθθd d d x x x p x x x p x x x x x x p x x x i x x x x p i ，时，当【原答案：设X 为某人每天早上在车站等候公共汽车的时间，则(0,)XU θ∴1(),0p x x θθθ=<<当8θ>时，31()p x θθ=43819211()8192m x d θθθ+∞==⎰从而有 7()()3()()128p x x m x θπθπθθ==, 计算错误】1.12 证明：由题意可知 1(),0,1,2,...,i np x x i n θθθ=<<=从而有 ()()()()x x p x πθπθθπθ∝•00111n n n ααααθθθθθ++++∝•∝ 因此 θ的后验分布仍是Pareto 分布。
贝叶斯统计习题答案
第一章 先验分布与后验分布1.1 解：令120.1,0.2θθ==设A 为从产品中随机取出8个，有2个不合格，则22618()0.10.90.1488P A C θ== 22628()0.20.80.2936P A C θ== 从而有5418.03.02936.07.01488.07.01488.0)()|()()|()()|()|(2211111=⨯+⨯⨯=+=θπθθπθθπθθπA P A P A P A 4582.0)|(1)|(4582.03.02936.07.01488.03.02936.0)()|()()|()()|()|(122211222=-==⨯+⨯⨯=+=A A or A P A P A P A θπθπθπθθπθθπθθπ1.2 解：令121, 1.5λλ==设X 为一卷磁带上的缺陷数，则()XP λ∴3(3)3!e P X λλλ-==R 语言求：)4(/)exp(*)3(^gamma λλ-1122(3)(3)()(3)()0.0998P X P X P X λπλλπλ∴===+== 从而有111222(3)()(3)0.2457(3)(3)()(3)0.7543(3)P X X P X P X X P X λπλπλλπλπλ==========1.3 解：设A 为从产品中随机取出8个，有3个不合格，则3358()(1)P A C θθθ=-（1） 由题意知 ()1,01πθθ=<< 从而有.10,)1(504)|(504)6,4(/1)6,4(1)6,4()1()1()1()1()1()1()1()()|()()|()|(535311614531535315338533810<<-==-=--=--=--==⎰⎰⎰⎰--θθθθπθθθθθθθθθθθθθθθθθθθπθθπθθπA beta B R B d d d C C d A P A P A ：语言求（2）.10,)1(840)|(840)7,4(/1)7,4(1)7,4()1()1()1()1()1()1(2)1()1(2)1()()|()()|()|(636311714631636315338533810<<-==-=--=--=----==⎰⎰⎰⎰--θθθθπθθθθθθθθθθθθθθθθθθθθθπθθπθθπA beta B R B d d d C C d A P A P A ：语言求1.5 解：（1）由已知可得.5.125.11,110110/1)()|()()|()|(,2010,101)(5.125.111)|(2112211)|(12,2121,1)|(5.125.11201011111111<<===<<=<<=+<<-==+<<-=⎰⎰θθθθπθθπθθπθθπθθθθθθθθd d x p x p x x p x p x x x p ，，即，时，当（2）由已知可得.6.115.11,1010110/1)()|,,()()|,,(),,|(,2010,101)(6.115.111)|,,(,219.1121,214.1121,211.1121,217.1121215.11212112211)|,,(9.11,4.11,1.11,7.11,5.11,0.12,6,2,1,2121,1)|,,(6.115.112010621621621621621654321621<<===<<=<<=+<<-+<<-+<<-+<<-+<<-+<<-========+<<-=⎰⎰θθθθπθθπθθπθθπθθθθθθθθθθθθθθθθθθd d x x x p x x x p x x x x x x p x x x p x x x x x x i x x x x p i ，即，，时，当【原答案：由已知可得 ()1,0.50.5P x x θθθ=-<<+1(),102010πθθ=<< 11.611.51()0.0110m x d θ==⎰从而有()()()10,11.511.6()P x x m x θπθπθθ==<< 】1.6 证明：设随机变量()XP λ，λ的先验分布为(,)Ga αβ，其中,αβ为已知，则即得证！),(~),,|()()|,,(),,|(,0,)()(,!!)|,,(121)(121211112111βαλπλλπλλπλλαβλπλλλλβαβλααλλ++∑∑∝•∝>Γ=∑===+--+--=-=-==∏∏n x Ga x x x ex x x p x x x e x e x ex x x p ni i n n x n n ni in x ni i x n ni i ni ii【原答案： (),0!x e P x x λλλλ-=>1(),0()e ααβλβπλλλα--=>Γ 因此 11(1)()()()x x x P x e e e λαβλαβλπλλπλλλλ---+--+∝•∝= 所以 (,1)x Ga x λαβ++】 1.7 解：（1）由题意可知.1},max{,1)/(1)/(122)()|,,()()|,,(),,|(,10,1)(,,2,1,10,22)|,,(121},max{221},max{2121121212112122111<<∝===<<==<<<==⎰⎰∏∏⎰∏∏====θθθθθθθθθθπθθπθθπθθπθθθθn nx x nn x x nni in nni inn n n ni i nni inin x x d d x xd x x x p x x x p x x x n i x xx x x x p n n【原答案：由题意可知 ()1,01πθθ=<< 因此122()12(1)xxm x d x θθ=•=-⎰因此 2()()1(),1()1P x x x x m x x θπθπθθθ==<<- （实质是新解当n=1的情形）】（2） 由题意可知.1},max{,1)/(1)/(13232)()|,,()()|,,(),,|(,10,3)(,,2,1,10,22)|,,(12-21},max{2-22-21},max{2212211212121212122111<<∝=⨯⨯==<<==<<<==⎰⎰∏∏⎰∏∏====θθθθθθθθθθθθπθθπθθπθθθπθθθθn n x x n n x x nni in nni inn n n ni i nni inin x x d d x xd x x x p x x x p x x x n i x xx x x x p n n【原答案：由题意可知 1222()36xm x d x θθθ=•=⎰因此 ()()()1,01()P x x m x θπθπθθ==<<】 1.8 解：设A 为100个产品中3个不合格，则3397100()(1)P A C θθθ=-由题意可知 199(202)()(1),01(200)πθθθθΓ=-≤≤Γ 因此 3971994296()()()(1)(1)(1)A P A πθθπθθθθθθθ∝•∝--=- 由上可知)297,5(~)|(Be A θπ1.9 解：设X 为某集团中人的高度，则2(,5)XN θ∴25(,)10XNθ ∴2(176.53)5()p x θθ--=由题意可知 2(172.72)5.08()θπθ--=又由于X 是θ的充分统计量，从而有()()()()x x p x πθπθθπθ=∝•222(176.53)(172.72)(174.64)55.0821.26eeeθθθ------⨯∝•∝因此 (174.64,1.26)x N θ1.10 证明：设22(,),,N u u θσσ其中为已知又由于X 是θ的充分统计量，从而有()()()()x x p x πθπθθπθ=∝•222222251()()11252()11225252u x x u eeeσθθθσσσ+----+⨯--⨯+⨯∝∝因此 222251(,)112525u x xN σθσσ+++又由于21112525σ≤+ 所以 θ的后验标准差一定小于151.11 解：设X 为某人每天早上在车站等候公共汽车的时间，则(0,)X U θ.8,861)/(1192192)()|,,()()|,,(),,|(,4,192)(.81)|,,(8,8,5.3,2,1,0,1)|,,(768778774321321321433213213321>⨯====≥=>=====<<=⎰⎰⎰∞∞∞θθθθθθθθθθπθθπθθπθθθπθθθθθθd d d x x x p x x x p x x x x x x p x x x i x x x x p i ，时，当【原答案：设X 为某人每天早上在车站等候公共汽车的时间，则(0,)XU θ∴1(),0p x x θθθ=<<当8θ>时，31()p x θθ=43819211()8192m x d θθθ+∞==⎰从而有 7()()3()()128p x x m x θπθπθθ==, 计算错误】1.12 证明：由题意可知 1(),0,1,2,...,i np x x i n θθθ=<<=从而有 ()()()()x x p x πθπθθπθ∝•00111n n n ααααθθθθθ++++∝•∝ 因此 θ的后验分布仍是Pareto 分布。
基于贝叶斯统计方法的实验设计
基于贝叶斯统计方法的实验设计在科学研究与实验中，如何设计具有较高统计效能的实验方案一直是一个重要的问题。
而贝叶斯统计方法在实验设计中占据了重要的位置。
贝叶斯统计方法是一种基于概率的统计方法，与传统的频率派统计方法不同，它利用样本信息和先验知识来推断出更加准确的概率信息。
贝叶斯统计方法在实验设计领域的成功应用使其得到了广泛的关注和使用。
在实验设计中，贝叶斯统计方法的核心是先验分布和后验分布。
先验分布是用于描述实验对象参数的概率分布，它在实验之前即被确定。
而后验分布是在实验数据收集之后通过贝叶斯定理和贝叶斯统计推断得到的，反映实验对象参数的概率分布。
较为常用的先验分布包括均匀分布、正态分布和二项分布等。
在实验设计中，通过灵活地选取先验分布，可以有效减小实验的误差，提高实验设计的效率。
为了更好地进行实验设计，我们需要通过模型建立来描述实验结果与实验参数之间的关系。
在建立模型时，需要确定模型的参数和构造模型的先验分布。
在统计实验过程中，贝叶斯方法能够更好地利用先验知识和实验结果，对参数的信度提供更准确的评估。
同时，贝叶斯方法在实验设计方面还能够帮助设计样本量、实验方案、实验分析和监测等环节。
实验设计中的样本量是一个关键的问题。
过少的样本量可能导致实验结果不够准确，而过多的样本量则可能浪费实验成本。
在贝叶斯实验设计中，样本量的确定是基于假设检验理论和概率分布等方面的知识来进行的。
我们可以通过先验分布和后验分布来对样本量进行估算和控制。
在实验设计中，我们还需要考虑实验方案的选择。
通过建立实验模型和指定先验知识，可以确定最优的实验方案。
在实验过程中，还需要选择最适当的实验方法和变量的测量方法。
通过贝叶斯实验设计，我们可以通过随机化实验来降低实验方案的偏倚性和随机误差。
实验分析是实验设计的重要组成部分。
在实验分析过程中，我们需要确定方法、结果和参数等方面的选择和评估。
使用贝叶斯方法进行实验分析时，首先需要确定样本的先验概率分布。
先验分布和后验分布的比较研究
先验分布和后验分布的比较研究一、引言在贝叶斯统计推断中，先验分布和后验分布是两个重要的概念，其作用在于帮助我们利用先验知识来更新推断结论。
先验分布指在考虑样本信息之前所假设的分布，而后验分布则指在考虑样本信息后得到的分布。
两种分布都是贝叶斯统计学中推断结论的关键。
本文将着重探讨先验分布与后验分布之间的比较研究，并详细介绍在不同情况下它们的意义、作用和优缺点。
二、正文1. 先验分布与后验分布的定义先验分布是指在推断结果之前，我们对假设的随机变量的概率分布所进行的假设，它通常是由主观或客观的先验经验所建立的，因此也被称为先验知识。
先验分布常常是一个简单的概率分布，而且往往是由一个或几个参数来描述的。
后验分布是指在考虑了样本信息后在先验分布上得到的分布，它通常是更贴近真实概率分布的一个更新版的概率分布。
在贝叶斯推断中，我们会把先验权重和样本信息反应在后验分布中。
2. 先验分布与后验分布的应用场景先验分布的选择并不像后验分布那么高要求，因为先验分布很大程度上是由我们个人主观判断决定的。
通常，我们会选择一个简单的分布作为先验，例如Beta分布、Gamma分布、正态分布等。
在贝叶斯分析过程中，先验分布起到了约束和规定后验分布的重要作用。
后验分布则是由先验分布及样本信息的考虑而得到的。
相当于我们把自己先前对随机变量的主观想法与样本数据作了一个结合，形成了一个更可信、更合理的可视化概率分布。
在经济预测、科学分析和金融产品等领域中，后验分布非常重要。
3. 先验分布与后验分布的比较就分布的形态来说，前者大多数情况下是平滑、单峰分布，甚至有些分布既可以是随机变量的概率分布，也可以是某些问题上的信息分布。
而后者则相对比较灵活，更适应于样本信息的变化。
在选择先验分布的过程中，需要根据具体任务的需求来确定，例如要求先验均值尽可能接近后验均值，需要选择一种适当的先验分布。
就作用而言，先验分布相当于清除了一些不太可能的情况，让后验分布更加稳定；而后验分布则是更加贴合实际情况的一种分布，更大程度上说明了与样本数据相关的知识。
先验分布与后验分布
(
x1,
, xn )
h(x1, , m(x1,
xn , )
, xn )
p(x1, , xn ) ( ) p(x1, , xn ) ( )d
这就是贝叶斯公式的密度函数形式，其中 ( x1, , xn )
称为θ的后验密度函数，或后验分布。而 ：
m(x1, , xn ) p(x1, , xn ) ( )d
j
假如总体X也是离散的，则只须将p(x|θ)
换成P(X=x|θ)即可。
10
二、后验分布是三种信息的综合
前面的分析总结如下：人们根据先验信息对参数
θ已有一个认识，这个认识就是先验分布π(θ)。通
过试验，获得样本。从而对θ的先验分布进行调整，
调整的方法就是使用上面的贝叶斯公式，调整的结果
就是后验分布 ( x1, , xn) 。后验分布是三种信息的 综合。获得后验分布使人们对θ的认识又前进一步，
P( 0.5/ x)
(n 2)
0.5
x
(1
)n
x
d
1.15 1042
( x 1)(n x 1) 0
故他断言男婴诞生的概率大于0.5。
13
注：1.伽玛分布与贝塔分布简介：
(s) xs1e xdx, s 0, (n 1) n! 0
B( p,q) 1 x p1(1 x)q1dx, p 0,q 0 0
26
例1.9 对例1.7中后验分布的均值和方差的解释。 分析：后验分布Be(α+x, β+n-x)的均值和方差可写为：
27
28
29
四、 常用的一些共轭先验分布
共轭先验分布选取的一般原则： 是由似然函数L(θ)=p(x|θ)中所含的因式所 决定的，即选与似然函数具有相同核的分布作 为先验分布。
后验分布计算公式
后验分布计算公式后验分布是贝叶斯统计推断中的重要概念，它给出了在观测到一些数据后，参数的分布情况。
对于一些参数θ，它的后验分布表示为p(θ，D)，其中D表示数据。
根据贝叶斯定理，后验分布的计算可以通过将先验分布p(θ)与似然函数p(D，θ)相乘，然后除以边缘分布p(D)而得到，即：p(θ，D)=(p(D，θ)*p(θ))/p(D)(1)我们将在下面的几个部分详细介绍后验分布的计算公式和一些具体例子。
先验分布：先验分布是在观测到数据前对参数θ的分布的假设。
通常，先验分布的选择往往取决于先验的知识或经验。
例如，如果我们假设参数是服从正态分布的，那么我们可以选择一个正态分布作为先验分布，具体地表示为：p(θ)=N(μ,σ2)(2)其中N(μ,σ2)表示均值为μ，方差为σ2的正态分布。
似然函数：似然函数是在给定参数θ的情况下，观测到数据的概率分布。
在统计学中，它常常表示为p(D，θ)。
例如，如果我们假设数据服从正态分布，那么我们可以根据观测到的数据计算出给定参数θ的似然函数。
边缘分布：边缘分布是在给定观测到的数据的情况下，参数θ的分布。
它可以通过对参数θ进行积分来计算，即：p(D)=∫p(D，θ)*p(θ)dθ(3)这个积分被称为边缘似然。
总结起来，计算后验分布的一般步骤包括：1.确定先验分布p(θ)，通常通过具体问题和先验知识来选择。
2.计算似然函数p(D，θ)，这需要根据具体的数据和参数分布来确定。
3.计算边缘分布p(D)，这需要对参数θ进行积分。
4.根据公式(1)，将似然函数与先验分布相乘，然后除以边缘分布，即可得到后验分布p(θ，D)。
下面我们将通过一个具体的例子来说明后验分布的计算过程。
假设我们有一批硬币，我们想要估计它的正面朝上的概率p。
我们有n=10次独立的抛硬币的数据，其中有k=7次硬币正面朝上。
我们的目标是在这些观测到的数据后，推断出硬币正面朝上的概率的后验分布。
对于这个问题，我们可以选择一个Beta分布作为先验分布。
贝叶斯统计第二版茆诗松汤银才编著
贝叶斯统计第⼆版茆诗松汤银才编著第⼀章先验分布与后验分布1.1 解：令120.1,0.2θθ==设A 为从产品中随机取出8个，有2个不合格，则22618()0.10.90.1488P A C θ== 22628()0.20.80.2936P A C θ== 从⽽有1111122()()()0.4582()()()()P A A P A P A θπθπθθπθθπθ==+2221122()()()0.5418()()()()P A A P A P A θπθπθθπθθπθ==+1.2 解：令121, 1.5λλ==设X 为⼀卷磁带上的缺陷数，则()XP λ∴3(3)3!e P X λλλ-==1122(3)(3)()(3)()0.0998P X P X P X λπλλπλ∴===+== 从⽽有111222(3)()(3)0.2457(3)(3)()(3)0.7543(3)P X X P X P X X P X λπλπλλπλπλ==========1.3 解：设A 为从产品中随机取出8个，有3个不合格，则3358()(1)P A C θθθ=-（1）由题意知 ()1,01πθθ=<< 从⽽有 351()()()504(1),01()()P A A P A d θπθπθθθθθπθθ（2）361()()()47040(1),01()()P A A P A d θπθπθθθθθπθθ==-<1.5 解：由已知可得 ()1,0.50.5P x x θθθ=-<<+1(),102010πθθ=<< 11.611.51()0.0110m x d θ==?从⽽有()()()10,11.511.6()P x x m x θπθπθθ==<<1.6 证明：设随机变量()X P λ，λ的先验分布为(,)Ga αβ，其中,αβ为已知，则 (),0!x e P x x λλλλ-=>1(),0()e ααβλβπλλλα--=>Γ因此 11(1)()()()x x x P x e e e λαβλαβλπλλπλλλλ---+--+∝?∝= 所以 (,1)x Ga x λαβ++ 1.7 解：（1）由题意可知 ()1,01πθθ=<< 因此122()12(1)xxm x d x θθ=?=-?因此 2=<<- （2）由题意可知 1222()36xm x d x θθθ=?=?因此 ()()()1,01()P x x m x θπθπθθ==<<1.8 解：设A 为100个产品中3个不合格，则3397100()(1)P A C θθθ=-由题意可知 199(202)()(1),01(200)πθθθθΓ=-≤≤Γ因此 3971994296()()()(1)(1)(1)A P A πθθπθθθθθθθ∝?∝--=- 由上可知 (5,297)A Be θ1.9 解：设X 为某集团中⼈的⾼度，则2(,5)XN θ∴25(,)10XN θ∴2(176.53)5()p x θθ--=由题意可知 2(172.72)5.08()θπθ--=⼜由于X 是θ的充分统计量，从⽽有()()()()x x p x πθπθθπθ=∝?2(176.53)(172.72)(174.64)55.0821.26eeeθθθ------∝?∝因此 (174.64,1.26)x N θ1.10 证明：设22(,),,N u u θσσ其中为已知⼜由于X 是θ的充分统计量，从⽽有()()()()x x p x πθπθθπθ=∝?222222251()()11252()11225252u x x u e eeσθθθσσσ+----+?--+∝∝因此 222251(,)11⼜由于21112525σ≤+ 所以θ的后验标准差⼀定⼩于151.11 解：设X 为某⼈每天早上在车站等候公共汽车的时间，则(0,)X U θ∴1(),0p x x θθθ=<<当8θ>时，31()p x θθ=43819211()8192m x d θθθ+∞==?从⽽有 7()()3()()128p x x m x θπθπθθ==1.12 证明：由题意可知 1(),0,1,2,...,i np x x i n θθθ=<<=从⽽有 ()()()()x x p x πθπθθπθ∝?00111++++∝?∝因此θ的后验分布仍是Pareto 分布。
一先验分布和后验分布
2[ E( | x)][E( | x) d( x)]h( | x)d
又因为 E( | x) h( | x)d 则 [ E( | x)][E( | x) d( x)]h( | x)d
[E( | x) d( x)][ E( | x)]h( | x)d
[E( | x) d( x)][E( | x) E( | x)] 0
由第一小节内容可知，给定损失函数以后，风险函数定 义为
R( , d ) E (L( , d( X ))
L( , d( x))q( x | )dx
此积分仍为的函数，在给定的先验分布()时，定义
R(d ) E (R( , d ))
R( , d )π( )d
为决策函数d在给定先验分布()下的贝叶斯风险，简 称为d的贝叶斯风险.
0,
0,
x 0,
设Y X 1,则Y的密度函数为
f
(
y;
,
)
(
)
(
1 y
)
1
e
y，y
0,
0,
y 0,
此分布密度为倒分布的密度函数, 设 ²的先验分布为倒
分布，即
(
2
)
(
)
(1
2
) 1
e 2，y
0,
0,
y 0,
则 ²的后验分布为
h( 2 | x) q( x | 2 )π( 2 )
min R(d ) min m( x){ [ d( x)]2 h( | x)d }dx
min a.s [ d( x)]2 h( | x)d
又因为
[ d( x)]2 h( | x)d
[ E( | x) E( | x) d( x)]2 h( | x)d
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二、样本信息，即从总体抽取的样本给我们 提供的信息。这是最“新鲜”的信息，并 且愈多愈好。人们希望通过对样本的加工 和处理对总体的某些特征做出较为精确的 统计推断。没有样本就没有统计学可言。 这是大家都理解的事实。
1.2 贝叶斯公式(定理)
一、贝叶斯公式的密度函数形式 1. 依赖于参数 的密度函数在经典统计中记为 p(x; ) 或 p (x) ，它表示在 参数空间 {} 中不同的 对应不同的分布。可在贝叶斯统计中记为 p(x ) ， 它表示在随机变量 给定某个值时，总体指标 X 的条件分布。 2. 根据参数 的先验信息确定先验分布 ( ) 。
例 1.2“免检产品”是怎样决定的？某厂的产品每天都要抽检几件，获得
不合格率 的估计。经过一段时间后就积累大量的资料，根据这些历史资料
（先验信息的一种）对过去产品的不合格率可构造一个分布：
P(
i) n
i,
i 0，1，„ n
这个对先验信息进行加工获得的分布今后称为先验分布。这个先验分布是
综合了该厂过去产品的质量情况。如果这个分布的该率绝大部分集中在 =0
此式在定义域上与二项分布有差别。再计算 X 的边缘分布
m(x)
1
h( x,0)d
0
n x
1 0
x
(1
)
n
x
d
nx
(x
1)(n (n 2)
x
1)
1, n 1
x 0,1,..., n.
最后可得 的后验分布
( x) h(x, )
(n 2)
(x1)1 (1 )(nx1)1 ,0 1
(i x)
p(xi ) ,i 1,2,.... p(x j ) ( j )
j
(1.2)
假如总体 X 也是离散的，那只要把（1.1）或（1.2）中的密度
函数 p(x ) 看作为概率函数 P(X x ) 即可。
二．后验分布是三种信息的综合
先验分布 ( ) 是反映人们在抽样前对 的认识，后验分布 ( x) 是 反映人们在抽样后对 的认识。之间的差异是由于样本 x 出现后人们 对 认识的一种调整。所以后验分布 ( x) 可以看作是人们用总体信 息和样本信息（综合称为抽样信息）对先验分布 ( ) 作调整的结果。
在这两个统计试验中，假如认为被实验者 是在猜测，每次成功的概率为0.5，那么十 次都猜中的概率为 210 0.0009766，这是一 个很小的概率，是几乎不可能发生的，所 以“每次成功概率为0.5”的假设应被拒绝。 被实验者每次成功概率要比0.5大得多。这 就不是猜测，而是他们的经验在帮他们的 忙。可见经验（先验信息的一种）在推断 中不可忽视，应加以利用。
基于上述两种信息进行的统计推断被称为 经典统计学，它的基本观点是把数据（样 本）看成是来自具有一定概率分布的总体， 所研究的对象是这个总体而不局限于数据 本身。
三、先验信息，即在抽样之前有关统计问题的一些 信息，一般说来，先验信息主要来源于经验和历 史资料。先验信息在日常生活和工作中也经常可 见，不少人在自觉地或不自觉地使用它。看下面 二个例子。
m(x) (x 1)(n x 1)
这个分布不是别的，就是贝塔分布 Be(x+1,n-x+1)。
注：两个著名函数
贝塔函数 (z, w) 1t z1(1 t)w1dt 0
伽玛函数
(z) ett z1dt 0
性质 (z 1) z(z)
(z, w) (z)(w)
(z w)
拉普拉斯在 1786 研究了巴黎的男婴出生的比率，他希望检验男
h(x, ) p(x ) ( ) 把三种可用的信息都综合进去。
5. 我们的任务是要对未知数 做出统计推断。在没样本信息时，人 们只能据先验分布对 做出推断。在有样本观察值 x (x1,..., xn ) 之后，
我们应该依据 h(x, ) 对 做出推断。为此我们需把 h(x, ) 作如下分解
h(x, ) (x )m(x)
课堂纪律：有病有事一律向系里请假，而不是向我 请假。有系里批准的假条给我，我都没异议。每次 上课都点名，出勤率关系到你的成绩。
学习态度：强烈的求知（非求职）欲望。
作业：每次作业都有登记评分，另有贝叶斯统计英 译中作业（12月31日完成上交。期末考试将有英 语题）。
问与答：没有愚蠢的问题，只有愚蠢的回答。任何 问题都可向我提出，我会尽自己的能力，回答你们 的问题。如果没有提问，则认定你已经懂了所教内 容。
附近，那该产品可认为是“信得过产品”。假如以后的多次抽检结果与历史资
料提供的先验分布是一致的。使用单位就可以对它做出“免检产品”的决定，或
者每月抽检一、二次就足够了，这就省去了大量的人力与物力。可见历史资料
在统计推断中应加以利用。
基于上述三种信息（总体信息、样本信息
和先验信息）进行的统计推断被称为贝叶 斯统计学。它与经典统计学的主要差别在 于是否利用先验信息。在使用样本信息上 也是有差异的。贝叶斯学派重视已出现的 样本观察值，而对尚未发生的样本观察值 不予考虑，贝叶斯学派很重视先验收集、 挖掘和加工，使它数量化，形成先验分布， 参加到统计推断中来，以提高统计推断的 质量。忽视先验信息的利用，有时是一种 浪费，有时还会导致不合理的结论。
后验分布，拉普拉斯计算了“ 0.5 ”的后验概率
P( 0.5 x)
(n 2)
0.5
x (1 )nx d
(x 1)(n x 1) 0
1.3 共轭先验分布
一、 共轭先验分布 大家都知道，在区间（0，1）上的均匀分布是贝塔分布 Be（1，1）。 这时从例 1.4 中可以看到一个有趣的现象。二项分布b(n, ) 中的成功 概率 的先验分布若取 Be（1，1），则其后验分布也是贝塔分布 Be（x+1,n-x+1）。其中 x 为 n 次独立试验中成功出现次数。先验 分布与后验分布同属于一个贝塔分布族，只是其参数不同而已。这一 现象不是偶然的，假如把 的先验分布换成一般的贝塔分布 BE（ ， ），其中 >0, >0。经过类似计算可以看出， 的后验 分面仍是贝塔分布 BE（ +x， +n-x），此种先验分布被称为 的共 轭先验分布。
例 1.4 设事件 A 的概率为 ，即 (A) 。为了估计 而作 n 次
独立观察，其中事件 A 出现次数为 X，显然，X 服从二项分布
b(n, ) ，即
P(X x ) nx x (1 )nx , x 0,1,..., n . 这就是似然函数。假如在试验前我们对事件 A 没有什么了解，从而
3. 从贝叶斯观点看，样本 x (x1,..., xn ) 的产生要分二步进行。首先设想从 先验分布 ( ) 产生一个样本 ，第二步是从总体分布 p(x ) 产生一个样本
x (x1,..., xn ) ，这个样本是具体的，人们能看得到的，此样本 x 发生概率 是与如下联合密度函数成正比：
p(x ' ) n p(xi ' ) i 1
婴出生的概率 是否大于 0.5。为此他收集到 1745 年到 1770 年在巴
黎出生的婴儿数据。于是可得男婴 251527 个，女婴 241945 个。他
先用 U（0，1）作为 的先验分布。于可得 的后验分布
Be(x+1,n-x+1)，其中 n=251527+241945=493472，x=251527。利用这个
对其发生概率 也说不出是大是小。在这种场合，用均匀分布
U（0，1）作为 的先验分布。这时 的先验分布为
(
)
1，0 1 0，其它场合
(1.3)
为了综合抽样信息和先验信息，可利用贝叶斯公式，为此计算样
本 X 与参数 的联合分布
h(x, ) nx x (1 )nx , x 0,1,..., n.0 1.
这就是贝叶斯公式密度函数形式。这个在样本 x 给定下， 的条件分
布被称为 的后验分布。它是集中了总体、样本和先验等三种信息中
有关 的一切信息，而又是排除一切与 无关信息之后所得到的结果。
故基于后验分布 ( x) 对 进行统计推断是更为有效，也是最合理的。
6. 在 是离散随机变量时，先验分布可用先验分布列 ( ) ，i 1,2,..., 表示。这时后验分布也是离散形式。
其中 m(x) 是 x 的边缘密度函数。
m(x) h(x, )d p(x ) ( )
它与 无关，或者说， m(x) 中不含 的任何信息。因此能用来对 做 出推断的仅是条件分布 ( x) 。它的计算公式是
( x) h(x, ) p(x ) ( )
m(x) p(x ) ( )d
（1.1）
例1.1 英国统计学家Savage(1961)曾考察如下二个 统计实验：
A．一位常饮牛奶的妇女声称，她能辨别先倒进 杯子里的是茶还是牛奶。对此做了十次试验，她 都正确地说出了。
B．一位音乐家声称，他能从一页乐谱辨别出是 海邓（Haydn）还是莫扎特（Mozart）的作品。 在十次这样的试验中，他都能正确辨别。
第一章 先验分布与后验分布 1.1 三种信息
一、 总体信息，即总体分布或总体所属分布族给我们的信息，譬如，“总体是 正态分布”这一句话就给我们带来很多信息：它的密度函数是一条钟形曲线；它 的一切阶矩都存在；有关正态变量（服从正态分布的随机变量）的一些事件的概
率可以计算；有关正态分布可以导出 2 分布、t 分布和 F 分布等重要分布；还
第二，图1.1中的概率0.90不是在大量重复试 验中获得的。而是学生们根据自己的生活经历的积 累对该事件发生可能性所给出的信念，这样给出的 概率在贝叶斯统计中是允许的，并称为主观概率。 它与古典概率和用频率确定的概率有相同的含义， 只要它符合概率的三条公理即可。贝叶斯学派认为 引入主观概及由此确定的先验分布至少把概率与统 计的研究与应用范围扩大到不能大量重复的随机现 象中来。其次，主观概率的确定不是随意的，而是 要求当事人对所观察的事件有较透彻的了解和丰富 的经验，甚至是这一行的专家，在这个基础上确定 的主观概率就能符合实际。