第3.3节 minimax估计

x
0 0.6
1 0.4
0 1
0.3
0.7
设土地所有者有三种决策
a1 { 自己投资钻探石油} a2 {出卖土地所有权} a3 {该地区开辟旅游景点}
这些决策对应的损失函数为
L( , a ) a

a1
a2
a3
0
1
12 0
1 10
6 5
现在选用9个决策函数
x1
d1 ( x1 ) d 2 ( x1 ) d3 ( x1 ) d 4 ( x1 ) d5 ( x1 )
例3(p106例3.19) 设X ( X1,X 2 , ,X n )T 为来自正态
总体N ( ,1)的一个样本，取参数的先验分布为正态
分布N (0, 2 ), 其中已知，损失函数取为
1, L( , d ) 0,
| d | , 0 | d | , 0
7.9 9.6 5.4 7 3.5 3 7.9 9.6 5.4
1 10 10
3 8.4 6.5 1.5 6.5 8.4
4 8.5 8.5
6 5 6
由最小最大决策函数的定义可知，d 4为统计决策 问题的minimax决策函数 .即样本为0时，选择a2 , 样本为1时，选择a1 .
三、利用贝叶斯估计计算 最小最大决策函数
ˆ的风险函数为 p
ˆ ) E( R( p, p
2 nX 1 2( n 1)
- p)
2
2 nX 1 2 2 nX 1 D( ) E ( p) 2( n 1) 2( n 1) 4n p(1 p) 2 n p 1 2 ( p) 2 n 4( n 1) 2( n 1) 1 （为常数） 2 4( n 1)
先验分布列{ k ( ) : k 1}选取为{ N (0, ) : 1
2 i
n
i 1
iபைடு நூலகம்
},
相应的贝叶斯估计列为{d i ( X ), i 1,2, }. 1 1 1 1 2 又由于d i ( X ) N ( (1 2 ) , (1 2 ) ) n n n 则d 的风险函数为
解
平方损失下的贝叶斯估计为：
d * ( x ) E ( p | X x ) ph( p | x )dp

而
q( x | p)π( p) h( p | x ) m( x )
p i 1 (1 p ) xi
n n
q( x | p)π( p)
n
xi
i 1 n i 1


由此可以得到
R(d k ) max R( , d 0 ),

k 1
则
lim R( d k ) max R( , d 0 )
k

显然这与假设的条件矛盾，因此
d0是的最小最大估计.
定理3.10 给定一个贝叶斯决策问题， 若的一个
估计d0的风险函数R( , d0 )在上为常数，且存在一个先
于是，d ( x1 , x2 , , xn )的风险函数满足 R( , d ) RM (d ) C , ,
对R( , d ) RM (d ) C在给定的先验分布下求期望, 得
RB (d ) E( R( , d )) C RB (d B ),
这表明d B ( x1 , x2 ,
注 函数达不到最大值时，可以理解为上确界. 如果我们讨论的统计决策问题是一个估计问题， 则由定义3.10得到的决策函数为最小最大估计量. 下面介绍寻求最小最大决策函数的一般步骤
二、计算minimax决策函数的步骤
计算minimax决策函数的步骤：
1、对D 中每个决策函数d ( x1 , x2 ,


, xn )
的风险函数为
R( , d B ) C ,
因而它的贝叶斯风险为
,
RB (d B ) C .
假设d B ( x1 , x2 ,
, xn )不是最小最大决策函数， , xn )，使得
那么必定有一个决策函数d ( x1 , x2 ,
RM (d ) RM (d B ) C
验分布列{ k ( ) : k 1}，使得相应的贝叶斯估计dk的贝叶
斯风险满足
lim R( d k )
n
则d0为的minimax估计.
证
对任意的 ，有
max R( , d 0 ) R( , d 0 ) lim R(d k )

n
显然满足了定理4.9，因而d0是的最小最大估计.
n
显然 p | x
* ˆ p d ( x)
n n n ( xi ,n xi ) 2 2 i 1 i 1 ph( p | x )dp
(1 p )
n
n

d p n 0 n n n ( xi ,n xi ) 2 2 i 1 i 1
, xn )不可能是这个先验分布下的
贝叶斯决策函数，从而产生矛盾，因此d B ( x1 , x2 , , xn )必定是一个minimax决策函数.
例2(p104例3.18) 设总体X服从两点分布B(1,p), 其中参数p未知，而p在[0,1]上服从分布 (
n n , )， 2 2
( X1 , X 2 , , X n )来自总体X，损失函数为平方损失， 则参数p的贝叶斯估计为p的minimax估计量。
d6 ( x1 ) d7 ( x1 ) d8 ( x1 ) d9 ( x1 )
0
1
a1 a1
a1 a2
a1 a3
a2 a1
a2 a2
a2 a3
a3 a1
a3 a2
a3 a3
计算决策函数对应的风险函数，以第四个决策函 数为例
R(0 , d4 ) L(0 , a1 )P 0 ( X1 1) L(0 , a2 ) P 0 ( X1 0)
第3.3节
minimax估计
一、 minimax决策函数 二、 计算minimax决策函数步骤 三、利用贝叶斯估计计算最小最大决策函数
一、minimax决策函数
在贝叶斯决策中，通常以风险函数最小为衡量标 准。但有的时候人们处于保守考虑，决策时考虑最坏 情形，即风险最大时寻找最佳策略－最小最大决策. 定义3.10 给定一个统计决策问题，设D*是由
n

1
0
q( x | p)π( p)dp
( p) ( p)dp

i 1 n


1
0
p i 1 (1 p )
xi
n
n
xi
n
p

n xi 1 2 i 1
(1 p )
xi
n 1 2
n n n ( xi ,n xi ) 2 2 i 1 i 1
*
, xn )， 求
出其风险函在上的最大风险值 max R( , d )。
2、在所有最大风险值中选取相对最小值，此 值对应的决策函数便是最小最大决策函数。
例1(p102例3.17)地质学家要根据某地区的底层结构 来判断该地是否蕴藏有石油，地层结构总是0,1两种状 之一，记该地层无油为 0 ，记该地层有油为 1， 已知 它们的分布规律如下表所示
全体决策函数组成的类，如果存在一个决策函数
d * d * ( x1 , x2 , , xn ), d * D* , 使得对任意一个决策
d d ( x1 , x2 ,
, xn )，总有
max R( , d ) max R( , d ),
*
d D
*
则称d *为统计决策问题的最小最大决策函数。
n
1
p

n xi 2 i 1
n

i 1
n
xi
n 1 2
n n n ( xi 1, n xi ) 2 nX 1 2 2 i 1 i 1 n n n n 2( n 1) ( xi ,n xi ) 2 2 i 1 i 1
因而其为minimax估计.
定理3.9
给定一个贝叶斯决策问题，设 { k ( ) : k 1}
{dk : k 1},{ R(d k ) : k 1} 为参数空间上的一个先验分布列，
分别为相应的贝叶斯估计列和贝叶斯风险列，若d0 是的一个估计，且它的风险函数R( , d0 )满足决策
定理3.8 给定一个统计决策问题，如果存在某个先 验分布，使得在这个先验分布下的贝叶斯决策函数
d B ( x1 , x2 , x2 ,
决策函数.
, xn )的风险函数为一个常数，那么d B ( x1 ,
, xn )必定是这个统计决策问题的一个最小最大
证 记RM (d ) max R( , d )，且设d B ( x1 , x2 ,
其对应的参数的贝叶斯估计为 1 n 1 1 d ( X ) ( X i )(1 2 ) n i 1 n 1 n 试用定理3.10证明X n X i 是的最小最大估计. n i 1
证
在对应损失函数下，参数的贝叶斯估计为
d ( X ) ( X i )(n 2 )1
函数.
max R( , d 0 ) lim R(d k )

n
则d0为的minimax估计.
证 设d0不是的最小最大估计，则存在这样的一个
估计d，使得
max R( , d ) max R( , d 0 )

dk是贝叶斯估计，因而
R(d k ) R(d ) R( , d )πk( )d max R( , d )