正态模型单参数经验贝叶斯估计

1
问题的提出
数族 h (θ x ) ,: θ ∈Θ ，它依赖于 θ 的先验分布，而
Bayes 统计推断原则：对参数 θ 所作任何推断 必须基于且只能基于 θ 的后验分布，即后验密度函
{
}
先验分布往往很难确定，当先验分布未知或先验分 布中含有未知参数时就无法找到贝叶斯估计，为解 决这一问题，1955 年 Robbins 提出了经验贝叶斯方 法。自这种方法提出以来，人们对不同的统计决策 问题的经验贝叶斯问题进行了较为广泛、深入地研 究。几十年来，针对各种问题的经验贝叶斯分析，
收稿日期：2009-11-12；修改日期：2009-11-28 基金项目：江西省教育科学规划项目(09YB070) 作者简介：*刘荣玄(1959-),男，江西遂川人，副教授，主要从事概率论与数理统计教学和研究(E-mail:lis8231901@)； 罗隆琪(1990-),女，江西遂川人，井冈山大学数理学院本科生(E-mail:974855896@).
2 En ⎡( En mn ( x ) − m ( x ) ) ⎤ + ⎣ ⎦ 2 2 En ⎡( mn ( x ) − En mn ( x ) ) ⎤ = ⎣ ⎦
2
4
经验估计的渐近性
引理 2 在平方损失函数 L
2 ( En mn ( x ) − m ( x ) ) + 2 var ( mn ( x ) ) ，
(
)
, n) 和 X 有共同的边际 , xn 为历史观
, n) 和 θ 有相同
密度 m ( x ) ，如式(3)所示。 x1 , x2 , 测值， x 为当前观测值。θ i (i = 1, 2,
对上式关于 d ( x ) 求导数，并令其为 0 得正规方程，
(θ x ) 。于是式(2)成立。
的先验分布 π (θ ) ，但 θ i 和 θ 不可观测。根据已观 测 到 的 数 据采 用 密 度 函数 的 核 估 计方 法 来 构 造
1 2π σ
Θ
dθ =
=σ 2
1 θ m( x ) Θ
∫
e
−
( x −θ ) 2 2σ 2 π (θ )dθ
m′ ( x ) +x m ( x)
E (θ − d ( x ) ) x 在 ℜ 中达到最小，而
2
{
E ⎡ ⎣θ − d ( x ) ⎤ ⎦ x =
2
{
}
至此，证明了式(4)成立。 (x2 ,θ 2 )， 在经验贝叶斯估计中通常假设 (x1 ,θ1 )，
设平方损失函数为 L (θ , d ) = 间，则它的理论贝叶斯估计为
Θ
d ( x ) 为决策函数， d ( x ) ∈ ℜ ， ℜ 为决策函数空
(θ − d ( x ) )
2
，
− 1 2σ 2 e e π (θ ) dθ ， ∫ 2πσ Θ 上式两边同时对 x 求导得
( x −θ )2
m' ( x ) = −
…， ( xn , θ n ) (过去值)和 ( x, θ ) (当前值)是独立的
}
随机变量对，在给定 θ 的条件下，X 有条件概率密 度 f x θ ， X i (i = 1, 2,
2
E (θ 2 x ) − 2d ( x ) E (θ x ) + ⎡ ⎣d ( x )⎤ ⎦
解此方程得 d ( x ) = E
这是因为： d ( x ) 的贝叶斯风险为
2 ⎡ ⎤ B (d ) = E ⎡ ⎣ L (θ , d ) ⎤ ⎦ = E ⎣(θ − d ( x ) ) ⎦ = 2 E ⎡ E { (θ − d ( x ) ) x }⎤ ⎣ ⎦ 因为 B (d ) 在 ℜ 中达到最小，几乎处处等价于
Θ
∫θ
f ( x θ ) π (θ ) m ( x)
m ( x)
σ
于是有
2
Θ
∫θ
1 2π σ
− 1 e 2πσ
π (θ ) dθ ，
( )
Θ
∫θ
e
−
( x −θ ) 2 2σ 2
π (θ )dθ = σ 2 m' ( x) + xm( x),
边际密度，
m ( x ) = ∫ f ( x θ )π (θ ) dθ
Θ
(3)
而
ˆ = E (θ x ) = θ h (θ x ) dθ = θ BE ∫
n
式中 c1 , c2 为有限常数(5)。 证明 式(7)证明， 根据 C − R 不等式和 Jensen 不等式得到
(5) 将估计式(５)代入式(4)，于是得到 θ 的经验贝叶 斯估计为
En ⎡ ⎣ mn ( x ) − m ( x ) ⎤ ⎦ ≤
2
θˆEB = σ 2
′ ( x) mn + x。 mn ( x )
式中 m ( x ) 为随机变量 X 的边际密度函数， m′ ( x )
, −∞ < x < +∞
(1)
为 m ( x ) 的导数。 证明
Θ 为参数空间。θ
m ( x ) = ∫ f ( x θ )π (θ ) dθ =
Θ
的先验分布 F (θ ) 、概率密度函数 π (θ ) 均未知，
G = {F (θ ) : E (θ ' ) < +∞, l ∈ N} 。
( X ,θ )
BE
] −θ ]
2 2
由泰勒公式将函数 m ( hn t + x ) 在 x 处展开得 ，
∫1 0K 0 (t m(hnt + x)dt
m ( hn t + x ) = m ( x ) + m′ ( x ) hnt +
m′′ ( x ) 2 ( hnt ) + 2!
正态模型单参数经验贝叶斯估计
*
刘荣玄，罗隆琪
(井冈山大学数理学院，江西，吉安 343009)
摘
要： 依据经验贝叶斯估计的思想方法， 研究在平方损失函数下， 正态模型单参数的经验贝叶斯(EB)估计问题。
先将理论贝叶斯估计用 X 的边际分布密度函数及该分布密度函数的一阶导数表示出来，再利用过去样本值 (x1,x2,…，xn)和当前值 x ，采用密度函数的核估计方法构造相应的函数来代替理论贝叶斯估计中的函数，得到参 数的经验贝叶斯估计，最后证明了所得到的经验贝叶斯估计是渐近最优的。 关键词：正态模型；参数；经验贝叶斯；核估计；渐近最优 中图分类号：O212.１ 文献标识码：Ａ DOI:10.3969/j.issn.1674-8085.2010.01.002
⎧1 ⎨ ⎩0
（j = i )
引理 3 当 hn = n
( j ≠ i, j = 0,1,…, l ); （l > 1且l ∈ N ),
由式(５)给出的 m ( x ) 和 m′ ( x ) ，则 时有
2
−1/ ( l + 2 )
−2( l +1) / ( l + 2 ) En ⎡ ⎣ mn ( x ) − m ( x ) ⎤ ⎦ ≤ c1n −2 l / ( l + 2 ) ′ ( x ) − m′ ( x ) ⎤ En ⎡ ⎣ mn ⎦ ≤ c2 n 2
ESTIMATION OF THE ONE-PARAMETER OF GENERAL NORMAL MODE BY EMPIRICAL BAYES
*
LIU Rong-xuan
LUO Long-qi
(School of Mathematics and Physics，Jinggangshan University，Ji’an，Jiangxi 343009，China)
2
(θ − d ( x ) )
2
下，理
En mn ( x ) =
1 hn
∫
x + hn
x
⎡ y − x⎤ K0 ⎢ ⎥m ( y ) dy = ⎣ hn ⎦
ˆ 与经验贝叶斯估计 θ ˆ 的贝叶斯 论贝叶斯估计 θ BE EB
风险分别为
[ ( ) ˆ ,θ )= E [θˆ R (θ
n EB
ˆ ,θ = E ˆ Rθ BE ( X ,θ ) θ BE − θ
x ∉ (0,1) ；
3
经验贝叶斯估计
引理１ 对正态模型的分布函数密度式(1)， 其
1 1 j x Ki ( x)d x = j! ∫ 0
井冈山大学学报(自然科学版)
9
定义 m ( x ) 和 m′ ( x ) 的核估计
③ sup[K i ( x)] = M i < ∞ (Mi 为常数，i=0,1)。
(7) (8)
⎧ ⎪mn ( x ) = ⎪ ⎨ ⎪ ′ ⎪ mn ( x ) = ⎩
1 nhn
⎡x − x⎤ K0 ⎢ i ∑ ⎥; i =1 ⎣ hn ⎦ ( hn > 0 , lim hn = 0 ) x →∞ ⎡ xi − x ⎤ 1 n K ⎥, 2 ∑ 1⎢ nhn i =1 ⎣ hn ⎦
第 31 卷第 1 期 2010 年 1 月
Vol.31 No.1 Jan. 2010
井冈山大学学报(自然科学版) Journal of Jinggangshan 井冈山大学学报 (自然科学版) University (Natural Science)
7 7
文章编号：1674-8085(2010)01-0007-04
由于先验分布密度函数 π (θ ) 的不确定性，因 此式(2)实际应用中存在一定困难。 但在客观现实中 往往对某随机变量的一些历史资料有所了解，本文 将利用历史资料探讨参数的经验贝叶斯(EB)估计。
m ( x ) 和 m′ ( x ) 估计式。
设 K i ( x ) (i = 0,1) 为 Borel 可测函数，满足下 例条件： ① Ki ( x) = 0 ②