11条件数学期望(北大)

13
(4) E[E(g(X,Y)|X)]=E[g(X,Y)] 证
f ( x, y) = ∫ g ( x , y ) fY | X ( y | x )dy = ∫ g ( x , y ) dy fX ( x) −∞ −∞
+∞
+∞
m(x)=E[g(X,Y)|X=x]
+∞
E[E(g(X,Y)|X)]=E[m(X)] =
X关于Y的条件期望 E(X|Y)=mX|Y(Y)
7
例3 设(X,Y)服从D={(x,y)|0<x<1,0<y<x2}上的均匀分布
⎧ 3, 0 < x < 1,0 < y < x 2 f ( x , y) = ⎨ ⎩0, 其他 ⎧3 x 2 , 0 < x < 1 fX ( x) = ⎨ 其他 ⎩ 0,
16
作业
1. 设Xi ~P (λi), i=1,2,…,N且相互独立, 记Yk= X1+ X2+ … +Xk, Y=YN , 求E(Yk|Y). 2. 设X~U(0,1), Y~U(X,1), 求E(Y|X). 3. 证明: E[g(X)⋅Y]=E[g(X)⋅E(Y|X)].
17
1/5 2/5 2/5 3/5 1/5 1/5
E(Y|X) 6/5 3/5 p 0.5 0.5
E(Y|X) 6/5 3/5 p 0.5 0.5
4
例2 设射手的命中率为p, 进行到击中2次为止. 记 X为击中第一次时的射击次数, Y为击中第二次时 的射击次数. P{X=i, Y=j}=p2qj-2, i=1,2,…, j=i+1,i+2, … P{X=i}=pqi-1, i=1,2,… P{Y=j|X=i}=pqj-i-1, j=i+1,i+2,…, i=1,2,…
11
(1) E(c|X)=c 证 P{Y=c}=1 P{Y=c|X=x}=1 E(Y|X=x)=c (2) E(aY1+bY2|X)=aE(Y1|X)+bE(Y2|X) 证 设X,Y1,Y2的联合密度为f(x,y1,y2) E(aY1+bY2|X=x)
+∞ +∞
=
− ∞− ∞ + ∞+ ∞
∫ ∫ ( ay
(5) E[g(X)Y|X]=g(X)E(Y|X) 证 E[g(X)Y|X=x]= g ( x ) yfY | X ( y | x )dy ∫
+∞ −∞
= g ( x ) E (Y | X = x )
(6) E{[Y-E(Y|X)]2}≤ E{[Y-g(X)]2} 证 记 m(X)=E(Y|X) E{[Y-g(X)]2}=E{[Y-m(X)+m(X)-g(X)]2} = E{[Y-m(X)]2}+ E{[(m(X)-g(X)]2} +2 E{[(Y-m(X)][(m(X)-g(X)]}
6
连续型 设(X,Y)的密度为f(x,y)
+∞
mY | X ( x ) =
−∞ +∞
∫ yf
Y |X
( y | x )dy
f ( x, y) = ∫y dy fX ( x) −∞
Y关于X的条件期望 E(Y|X)=mY|X(X)
+∞
f ( x, y) m X |Y ( y ) = ∫ x dx fY ( y ) −∞
4.5 条件期望
一. 定义 设二维随机变量(X,Y), 把在X=x条件下Y的条件分 布的期望记作mY|X(x)=E(Y|X=x). 称mY|X(X)为Y关 于X的条件期望, 记作E(Y|X). 即 E(Y|X)= mY|X(X) 注意:E(Y|X)是一个随机变量, 它是X的函数. 类似地, mX|Y(y)=E(X|Y=y) X关于Y的条件期望 E(X|Y)= mX|Y(Y) 它是Y的函数.
1
离散型 设(X,Y)的分布律为P{X=ai,Y=bj}=pij, i,j=1,2,… 在X=ai (pi•>0)条件下Y的条件分布律 P{Y=bj|X=ai}=pij/pi•, j=1,2,… 在X=ai (pi•>0)条件下Y的条件期望 mY|X(ai)=Σj bj pij/pi• Y关于X的条件期望E(Y|X)的可能取值为 mY|X(ai)=Σj bj pij/pi•, mX|Y(bj)=Σi ai pij/p•j, i=1,2,… j=1,2,…
−∞ −∞
= aE (Y1 | X = x ) + bE (Y2 | X = x )
(3) 若X与Y相互独立, 则E(Y|X)=E(Y) 证 fY|X(y|x)=f(x,y)/fX(x)=fY(y)
+∞
E (Y | X = x ) =
−∞
∫ yf
+∞
Y |X
( y | x )dy =
−∞
∫ yf
Y
( y )dy = E (Y )
2
类似地, X关于Y的条件期望E(X|Y)的可能取值为
例1
X 0 1
Y
0
1
2
pi• 0.5 0.5 1.0 X关于Y条件期望
0.1 0.2 0.2 0.3 0.1 0.1
p•j 0.4 0.3 0.3 X的条件分布律 X Y 0 1 0 1 2
Y
0
1
2
1/4 2/3 2/3 3/4 1/3 1/3
5
P{Y=j}=(j-1)p2qj-2, j=2,3, … P{X=i|Y=j}=1/(j-1), i=1,2,…,j-1, j=2,3,…
E( X | Y = j) = ∑
i =1 j −1
i j = , j −1 2
j = 2, 3, L
得 E(X|Y)=Y/2 P{E(X|Y)=j/2}=(j-1)pqj-2, j=2,3,…
+∞ +∞
−∞
∫ m( x ) f
X
( x )dx
⎡ f ( x, y) ⎤ = ∫ ⎢ ∫ g ( x , y) dy⎥ f X ( x )dx fX ( x) ⎦ − ∞⎣ − ∞
+ ∞+ ∞
=
− ∞− ∞
∫ ∫ g ( x, y) f ( x, y)dydx = E[ g ( X ,Y )]
14
E (Y | X = i ) =
∞
j = i +1
jpq j − i −1 ∑
∞ ∞
∞
令k=j-i
= ∑ ( k + i ) pq k −1 = ∑ kpq k −1 + i ∑ pq k −1 = i + 1 k =1 k =1 k =1 p
得 E(Y|X)=X+1/p P{E(Y|X)=i+1/p}=pqi-1, i=1,2,…
E(X|Y) 3/4 1/3 1/3 p E(X|Y) p 0.4 0.3 0.3 3/4 1/3 0.4 0.6
3
X 0 1
Y
0
1
2
pi• 0.5 0.5 1.0
Y的条件分布律 X Y 0 1 0 1 2
0.1 0.2 0.2 0.3 0.1 0.1
p•j 0.4 0.3 0.3 Y关于X条件期望 X 0 1
1
+ by2 ) f(Y1 ,Y2 )| X ( y1 , y2 | x )dy1dy2
f ( x , y1 , y2 ) = ∫ ∫ ( ay1 + by2 ) dy1dy2 fX ( x) − ∞− ∞
12
f ( x , y1 , y2 ) f ( x , y1 , y2 ) = a ∫ ∫ y1 dy1dy2 + b ∫ ∫ y2 dy1dy2 fX ( x) fX ( x) − ∞− ∞ − ∞− ∞ = a ∫ y1
当0<x<1时
y
y=x2
0
1 x
⎧1 2 ⎪ 2, 0< y< x fY | X ( y | x ) = ⎨ x ⎪ 0,=x2/2 得
1 2 E (Y | X ) = X 2
8
⎧ 3(1 − y ), 0 < y < 1 ⎪ fY ( y ) = ⎨ ⎪ 0, 其他 ⎩
15
E{(Y-m(X))(m(X)-g(X))} =E{E[(Y-m(X))(m(X)-g(X))|X]} =E{(m(X)-g(X))E[(Y-m(X))|X]} E[(Y-m(X))|X]=E(Y|X)-E(m(X)|X) =m(X)-m(X)E(1|X)=0 得 E{[Y-g(X)]2}= E{[Y-m(X)]2}+ E{[(m(X)-g(X)]2} ≥ E{[Y-m(X)]2} 性质(4) 性质(5) 性质(2) 性质(5),(1)
−∞ +∞ +∞
+∞ +∞
+∞ +∞
f( X ,Y1 ) ( x , y1 ) fX ( x)
dy1 + b ∫ y2
−∞ +∞
+∞
f( X ,Y2 ) ( x , y2 ) fX ( x)
dy2
= a ∫ y1 fY1 | X ( y1 | x )dy1 + b ∫ y2 fY2 | X ( y2 | x )dy2
f ( x, y) E ( g (Y ) | X = x ) = ∫ g ( y ) dy fX ( x) −∞ f ( x , y) E ( g ( X ) | Y = y) = ∫ g ( x ) dx fY ( y ) −∞
10
+∞
+∞
性质: (1) E(c|X)=c (2) E(aY1+bY2|X)=aE(Y1|X)+bE(Y2|X) (3) 若X与Y相互独立, 则E(Y|X)=E(Y) (4) E[E(g(X,Y)|X)]=E[g(X,Y)] 特别地, E[E(Y|X)]=E(Y) (5) E[g(X)Y|X)]=g(X)E(Y|X) (6) 对任意的g(⋅), E{[Y-E(Y|X)]2}≤ E{[Y-g(X)]2} 含义: 在最小二乘意义下, m(X)=E(Y|X)是Y的最 佳预测.