第3章先验分布的确定

1.把参数空间分成一些小区间.
2.在每个小区间上决定主观概率或依据历史数据确定其 频率.
3.绘制直方图
4.在直方图上做一条光滑的曲线，此曲线就是( ).
注意：这样得到的先验密度常常仅限于有限区间上，有 时使用也不方便。第二种方法更为适用.
二、选定先验密度函数形式再估计其超参数
1.要点
（1）.根据先验信息选定的先验密度函数的形式( ) 。
F(x)称为F(x|θ1)和F(x|θ2) 的混合分布。 这里的π和1-π可以看作一个新的随机变量θ的分布，即
P( 1) , P( 2 ) (1 )
F(x) F(x |1) (1 )F(x |2 )
P( 1) , P( 2 ) (1 )
从混合分布F(x)中抽取一个样品x1，相当于如下两个抽样： 第一次，从π(θ) 中抽取一个样品θ。 若θ= θ1，则从F(x|θ1)中再抽一个样品，这个样品就 是x1，若θ=θ2 ，则从F(x|θ2)中再抽一个样品，这个 样品就是x1. 若从混合分布抽取一个容量为n的样本x1, x2,…,xn，那么 其中约有nπ(θ1) 个来自F(x|θ1)，约有nπ(θ2)个来自 F(x|θ2)，这样的样本有时也称为混合样本.
2
}求其最大值则可 )
取
d
d
2
[ln
(
2
)]
2(
2
n
2
)
ns2
2(
2
2
)2
0
得
2
S2
2
注意到 : 若S 2
2时
2
S2
2为最大点
而若S 2
2时
2
S2
2
0则取
2
0为最大点
ML2
ˆ ~ N (ˆ ,ˆ2 )
, 其中ˆ
1 n
n i 1
xi
,ˆ2 max{0, S 2 2}.
四、先验选择的矩方法
矩方法用于先验密度函数形式π(θ|λ)已知，利用先验矩 与边缘分布矩之间的关系寻求超参数的估计.
定理 设总体分布若p(x|θ)的期望μ(θ)和方差σ2 (θ),假设
分别为Xm ,的m边2 缘分布m(x)的均值与方差，假设以上值都存 在，则
m E ( ) ,
2 m
E
2( )
E ( ) m 2
例3.11
三、先验选择的ML—Ⅱ方法
m(x)
p( x | ) ( )d，为连续时
p( x | ) ( )，为离散时
(3.1)
若p(x|θ)已知，则m(x)大小反映π(θ)的合理程度，这里
把m(x)记为m(x|π) 或mπ(x) 是由无限个不可数的密度
函数混合而成.
设Γ为所考虑的先验类， ˆ 满足（对观察值x）
例如，许多经济现象都是不能重复或不能大量重复 的随机现象。
在经典统计中有一种习惯，对所得到概率都要给出 频率解释。这些在有些场合是难于作出的。
例如：天气预报。
§3.1 主观概率
一、主观概率
1.定义：一个事件的概率是人们根据经验对该事件发 生的可能性大小所给出的个人信念，这样给出的概率 称为主观概率
素(Ω， F ，P)为概率空间(Probability space) .
概率是定义在σ-域F上的一个非负的、正则的、可列可加的集函数
在经典统计中，概率用非负性、正则性和可加性三 条公理定义的。
确定概率的方法主要有两种。一是古典方法（包括 几何方法），另一种是频率方法。实际中大量使用的 是频率方法，所以经典统计的研究对象是能大量重复 的随机现象，不是这类随机现象就不能用频率的方法 去确定其有关事件的概率。这无疑把统计学的应用和 研究领域缩小了。
推论1 若μ(θ)=θ，则 m E （先验均值）.
2.若还有σ2 (θ)= σ2（与θ无关的常数 ），则
m2 2 2 其中 2 E 2
先验选择的矩方法的步骤如下（当先验分布中有两个超 参数时） (1, 2 )
1.定义
定分度法是把参数可能取值的区间逐次分为长度相等的 小区间，每次在每个小区间上请专家给出主观概率.
变分度法是把参数可能取值的区间逐次分为机会相等的 两个小区间，这里分点由专家确定.
2.注意的问题
(1)所咨询专家应是声誉良好的和富有经验的
(2)这两个方法相比，决策者更愿意使用变分度法.
例3.9 一开发商希望获知一个新建仓库的租金可能 达到的水平是什么？为此向一位推租经纪人咨询。
2.用专家意见来确定主观概率的方法（最常用的）.
注意：（1）.向专家提的问题要设计好，既要使专家 易懂又要使专家回答不是模棱两可。 （2）.要对专家本人比较了解，以便做出修正，形成 决策者自己的主观概率.
（3）.通过向多位专家咨询后，经修正和综合获得主 观概率，关键在于把问题设计好，便于往后综合，即 在提出问题时，就要想到如何综合。
当总体参数是离散时，即参数空间Θ只含有限个或可
数个点时，可对Θ中每个点确定一个主观概率。
2.当总体参数是连续时，即参数空间Θ是实数轴或其 上某个区间时，要构造一个先验密度( )，就有些困
难了.
当的先验信息足够多时，下面有三个方法可供使用.
直方图法
选定先验密度函数形式再估计其超参数
定分度法与变分度法
一、直方图法
则可以算得X的边缘分布为N(μπ,τπ2+σ2)
二、混合分布
设随机变量X以概率π在总体F1中取值，以概率1-π在 总体F2中取值.若F(x|θ1)和F(x|θ2)分别是这两个总体 的分布函数，则X的分布函数为
F(x) F(x |1) (1 )F(x |2 )
或用密度函数或概率函数表示
p(x) p( x |1) (1 ) p( x |2)
第三章 先验分布的确定
§3.1 主观概率 §3.2 利用先验信息确定先验分布 §3.3 利用边缘分布m(x)确定先验密度 §3.4 无信息先验分布 §3.5 多层先验
概率的公理化定义
定义:设Ω 为一个样本空间， F为Ω的某些子集组成 的一个事件域，如果对任一事件A∈F，定义在F上 一个实值函数P(A)满足下列条件：
m(x)
p( x | ) ( )d，为连续时
p( x | ) ( )，为离散时
(3.1)
当先验分布含有未知参数时，譬如π(θ)=π(θ|λ)，那么
边缘分布m(x)依赖于λ，可记为m(x|λ). 例3.10 设总体X～N(, σ2) 其中σ2已知。
取另一正态分布N(μπ,τπ2)作为正态均值的先验分布
1 n
n i 1
xi
, s2
1 n
n
( xi
i 1
x )2
m(x
)
[2
(
2
2
n
)] 2
exp{
ns2
2(
2
2
}exp{ )
n(x
2(
2
)2
2
} )
由exp{ 故只需令
(2((x2 )2[2)2(2)}2知, 不2 )]论 n2 exp2如 { 何 2(xn2 s2
可使m(x )达最大
要进一步分析先验信息.先验信息很分散；柯西分布
先验信息较为集中：正态分布
3.两个先验分布都满足给定的先验信息。
（1）如果两个先验分布差别不大，对后验分布的影响 也不大，那可任选一个。
（2）假如面临两个差异较大的先验分布可供选择时， 应慎重选择。因不同的选择对后验分布的影响也会很大.
三、定分度法与变分度法 两种方法的共同点：通过咨询专家获得各种主观概 率，然后经过整理加工可得到累积概率分布曲线.
•用主观方法确定经验的例子
（1）明天下雨的概率为60%
（2）某新产品在未来市场上畅销的概率为80% （3）我班研究生考取大概为25%
说明：1.主观概率不是随意决定的，而是要求当事人 对所考察的事件有较透彻的了解和丰富的经验，甚至 是这方面的专家。并能对周围信息和历史信息进行仔 细分析，在这个基础上确定的主观概率就能符合实际。 所以应把主观概率与主观臆造，瞎说一通区别开来。
其中,
m(xi
)
N
(
,
2
2)
于是
m(x )
n i 1
1
1
[2
(
2
2)2
n
exp{ (xi )2 }
n
2(
2
2)
(xi )2
[2
(
2
2)2
exp{
i 1
2(
2
2)
}
[2
(
2
2
)]
n 2
exp{
n
n
(xi x )2
i 1
n
2(
2
2)
}exp{
n(x
2(
2
)2
2
} )
取x
例3.12 设总体X～N(, σ2) 其中σ2已知。
取另一正态分布N(μπ,τπ2)作为正态均值的先验分布
则可以算得X的边缘分布为N(μπ,τπ2+σ2)
设X 在给定时条件分布为N ( ,
2 ),
(
)
~
N (
,
2
),
则边缘分布m( x
)
~
N (
,
2
2)
n
由 m( X ) m(xi )
i 1
（1)非负性公理：对于每一事件A,有P(A)≥0;
(2)正则性(规范性)公理：P(Ω)=1;
(3)可列可加性(完全可加性)公理:设A1,A2,…是互
不相容的事件,即对于i≠j,AiAj=,i,j=1,2,…,则有
P(
Ai
)
P(