第二章-多元正态分布的参数估计
应用多元统计分析课后习题答案高惠璇
第三章 多元正态总体参数的检验
3-2 设X～Nn(μ,σ2In), A，B为n阶对称阵.
若AB ＝0 ,证明X′AX与X′BX相互独立.
证明的思路：记rk(A)=r. 因A为n阶对称阵,存在正交阵Γ,使得
Γ ′AΓ=diag(λ1,…,λr 0,..,0) 令Y＝Γ′X，则Y～Nn(Γ′μ,σ2In),
(2x12
x22
2x1x2
22x1
14x2
65)
1 2 1 2
1
2
exp
1
212
2 2
(1
2
)
[
2 2
(
x1
1 ) 2
21 2(x1
1)(x2
2
)
2 1
(
x2
2
)
2
]
比较上下式相应的系数,可得:
1 2
2 2
1 2
2
1
2 1
1
1 2 1
2 1
1
2
1/
21
2 2
2
2
2 1
21 22 21 21
f (x; , ) a
a0 (2 ) p/ 2 |
(x )1
|1/ 2 ,当0 a
(x )
1
ba02
时,
其中 b2 2 ln[a(2 ) p/2 | |1/ 2 ] 2 ln[aa0 ] 0, 20
第二章 多元正态分布及参数的估计
因 0,的特征值记为1 2 p 0, i对应
3-1 设X～Nn(μ,σ2In), A为对称幂等 阵,且rk(A)=r(r≤n),证明
证明 因A为对称幂等阵，而对称幂等阵的
厦门大学《应用多元统计分析》习题第02章 多元正态分布的参数估计
思考与练习2.1 试述多元联合分布和边缘分布之间的关系。
2.2 设随机向量12(,)X X ′=X 服从二元正态分布，写出其联合分布密度函数和1X 、2X 各自的边缘密度函数。
2.3 已知随机向量12(,)X X ′=X 的联合分布密度函数为：()()()()()()()()()121122222,d c x a b a x c x a x c f x x b a d c −−+−−−−−2⎡⎤⎣⎦=−−其中，。
求：12,a x b c x d ≤≤≤≤⑴ 随机变量1X 和2X 各自的边缘密度函数、均值与方差。
⑵ 随机变量1X 和2X 的协方差和相关系数。
⑶ 判断1X 和2X 是否相互独立。
2.4 设随机向量12(,,,)p X X X ′=X L 服从正态分布，已知其协差阵为对角阵，证明ΣX 的分量是相互独立的随机变量。
2.5 从某企业全部职工中随机抽取一个容量为6的样本，该样本中各职工的目前工资、受教育年限、初始工资和工作经验资料如下表所示： 职工编号目前工资 （美元）受教育年限（年）初始工资 （美元）工作经验（月）11 2 3 4 5 6 57,000 40,200 21,450 21,900 45,000 28,350 15 16 12 8 15 8 27,000 18,750 12,000 13,200 21,000 12,000 144 36 381 190 138 26设职工总体的以上变量服从多元正态分布，根据样本资料求出均值向量和协差阵的最大似然估计。
2.6 均值向量和协差阵的最大似然估计量具有哪些优良性质？ 2.7 试证多元正态总体的样本均值向量(,)p N μΣ1~(,p N nX μΣ)。
2.8 试证多元正态总体的样本协差阵S 为(,)p N μΣΣ的无偏估计。
2.9 设()1x 、()2x 、…、()n x 是从多元正态总体中独立抽取的一个随机样本，试求样本协差阵的分布。
应用多元统计分析课后习题答案高惠璇共174页文档
(2)证明(X1 , X2 ) 不是二元正态分布.
证明(1):任给x,当x≤-1时
P { X 2 x } P { X 1 x } ( x )
当x≥1时, P{X2x}
P{X2 1}P{1X2 1}P{1X2 x}
P{X11}P{1X11}P{1X1x}
它的任意线性组合必为一元正态. 但Y= X1-X2 不是正态分布,故(X1 , X2 ) 不是二元正态分布.
19
第二章 多元正态分布及参数的估计
2-17 设X～Np(μ ,Σ ),Σ ＞0,X的密度函数记为 f(x;μ ,Σ ).(1)任给a＞0,试证明概率密度等高面
5
第二章 多元正态分布及参数的估计
2-3 设X(1)和X(2) 均为p维随机向量,已知
XX X((1 2))~N2p ((1 2)), 1 2 1 2,
其中μ(i) (i＝1，2)为p维向量,Σi (i＝1，2)为p阶矩阵，
(1) 试证明X(1) +X(2)和X(1) -X(2) 相互独立. (2) 试求X(1) +X(2) 和X(1) -X(2) 的分布.
故X1 +X2 和X1 - X2相互独立.
3
第二章 多元正态分布及参数的估计
或者记
Y Y Y 1 2 X X 1 1 X X2 2 1 1 1 1 X X 1 2 CX
则 Y ~ N 2 (C ,C C )
e e dx 2
2
2 1e 2 1 e dx 1 2(x1 28x1 1)6
1 2(x2x17)2 2
1(
1 e2
x14)2
2
X1~N(4,1).
类似地有
第2章多元正态分布的参数估计
第2章多元正态分布的参数估计多元正态分布是统计学中常用的一种概率分布模型，在实际应用中经常被用来描述多个变量之间的关系。
在参数估计的过程中，我们通常需要估计多元正态分布的均值向量和协方差矩阵。
本章将介绍多元正态分布的参数估计方法。
多元正态分布的均值向量和协方差矩阵分别用μ和Σ表示。
在参数估计的过程中，我们可以使用样本的均值向量和协方差矩阵来估计总体的均值向量和协方差矩阵。
首先，我们需要收集一个包含n个样本的数据集，其中每个样本有d 个变量。
我们将这个数据集表示为X=[x1, x2, ..., xn]，其中xi是一个d维向量。
均值向量的估计可以通过计算样本向量的平均值来得到。
均值向量的估计公式为：μ̂ = (1/n) * Σxi其中，μ̂是均值向量的估计值。
协方差矩阵的估计可以通过计算样本向量之间的协方差来得到。
协方差矩阵的估计公式为：Σ̂ = (1/n) * Σ(xi - μ̂)(xi - μ̂)T其中，Σ̂是协方差矩阵的估计值。
这里需要注意的是，协方差矩阵是一个对称正定矩阵，因此需要对估计值进行修正，以保证估计出的协方差矩阵是对称正定的。
修正的常用方法有Ledoit-Wolf修正和修正。
在进行参数估计之后，我们还可以计算估计值的标准误差（standard error），以衡量估计值的可靠性。
在多元正态分布的参数估计中，均值向量估计值的标准误差为：SE(μ̂) = (√((2/n)(d(d+1)/2))) * (√(Σi î))协方差矩阵估计值的标准误差为：SE(Σ̂) = (√((1/n)(d(d+1)/2))) * (√(Σi î(Σj ĵ -Σi ĵ^2)))其中，Σi î表示协方差矩阵估计值的第i个对角元素，Σi ĵ表示协方差矩阵估计值的第i行第j列元素。
参数估计的过程中，还需要考虑到样本量的大小。
当样本量较大时，参数估计的精度会提高；而当样本量较小时，参数估计的精度会降低。
应用多元统计分析课后习题答案详解北大高惠璇(第二章部分习题解答) (2).ppt
4 3
u1u2
1
2
exp[
1 2
(2u12
u22
2u1u2 )]du1du2
1
2
u12
u1e 2
1
2
u2e
1 2
(
u2
u1
)
2
du2
du1
1
2
u12
u1e 2
1
2
(u2
u1
)e
1 2
(u2
u1
)
2
du2
u1
e
1 2
(
u2
u1
)
2
du2
du1
1
2
u e
2
u12 2
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
X
X X
(1) (2)
~
N
2
p
(1) (2)
,
1 2
2 1
,
其中μ(i) (i＝1，2)为p维向量,Σi (i＝1，2)为p阶矩阵，
应用多元统计分析课后习题答案高惠璇第二章部分习题解答学习资料
1 2 [y ( 1 7 )2 (y 2 4 )2]
g(y1,y2)
设函数 g(y1, y2) 是随机向量Y的密度函数.
15
第二章 多元正态分布及参数的估计
(3) 随机向量
YYY12~N274,
I2
(4) 由于 XX X121011Y Y12CY
1 0 1 1 7 4 3 4 , 1 0 1 1 I2 1 0 1 1 1 1 2 1
e e d x e 2
2
1 2 (x 1 7 )2
9
第二章 多元正态分布及参数的估计
1 1 2(2x1 22x2 16 5 x1 2 1x4 14)91 2(x2x17)2
e e dx 2
2
2 1e 2 1 e dx 1 2(x1 28x1 1)6
1 2(x2x17)2 2
1(
1 e2
(22)(22)0
可得Σ的特征值 1 2 (1 )2 , 2 (1 ).
22
第二章 多元正态分布及参数的估计
λi (i=1,2)对应的特征向量为 1
1
l1
2 1 2
l1
2 1 2
由(1)可得椭圆方程为 2(1y 1 2)b22(1y 2 2)b21
其 b 2 中 2 la n ( 2 ) [ | |1 /2 ] 2 l2 n2 [ 1 2 a ]
解二:比较系数法 设 f(x 1,x2)2 1ex 1 2 p (2 x 1 2x2 2 2 x 1x2 2x 1 2 1x2 4 6) 5
2 1 2 11 2ex 2 p 1 2 2 2 1 (1 2)[2 2(x 1 1)2 2 1 2(x 1 1)x (2 2) 1 2(x2 2)2]
第二章 多元正态分布及参数的估计
27
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
y BxB
0 0 1
1 0 0
100 110
1 2 0
003 100
0 0 1
1 0 0
1 0 1
2 0 1
003 100
2
北大数学学院
第二章 多元正态分布及参数的估计
目录
§2.1 随机向量 §2.2 多元正态分布的定义与
基本性质
§2.3 条件分布和独立性 §2.4 随机矩阵的正态分布 §2.5 多元正态分布的参数估计
3
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
例2.1.1
f (x1, x2
()X1,X212)的e联 12合( x12密 x22度) [1函数x为1 x2e
1 2
(
x12
x22
)
]
我们从后面将给出的正态随机向量的联合密
度函数的形式可知, (X1,X2)不是二元正态随机向 量.但通过计算边缘分布可得出:
本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习.
三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则
E(AX)=A·E(X) E(AXB)=A·E(X)·B
6
应用多元统计分析课后习题答案高惠璇(第二章部分习题解答
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
注意:由D(X)≥0,可知 (Σ1-Σ2) ≥0.
8
第二章 多元正态分布及参数的估计
2-11 已知X=(X1,X2)′的密度函数为
f
( x1 ,
x2 )
1
2
exp
1 2
(2 x12
x22
2 x1 x2
22 x1
14 x2
65)
试求X的均值和协方差阵.
解一:求边缘分布及Cov(X1,X2)=σ12
应用多元统计分析
第二章部分习题解答
第二章 多元正态分布及参数的估计
2-1 设3维随机向量X～N3(μ,2I3)，已知
002,
A
0.5 0.5
1 0
00.5.5, d 12.
试求Y=AX+d的分布.
解:利用性质2,即得二维随机向量Y~N2(y,y),
其中：
2
第二章 多元正态分布及参数的估计
2-2 设X=(X1,X2)′～N2(μ,Σ)，其中
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
μ12
μ1
Σ12
Σ
1 22
x2 μ2
Σ112
Σ11
Σ12
Σ 1 22
Σ 21
μ1·2和Σ11·2分别是条件数学期望和条件协方差矩阵，
Σ11·2通常称为偏协方差矩阵。
这一性质表明，对于多元正态变量，其子向量的条件分布
仍是（多元）正态的。
例5 设X~N3(μ, Σ)，其中
1
16 4 2
μ
0 2
1 3
AΣA
1 0
0 0
0 1
1 2 3
1 1 1
12 22 32
1 31
2 3
0
3
3
0
0
0
1
1 1 3 1
13
3 3
（ 3）
记
X
X1
X
2
L
X
3
X (1)
L
X (2)
μ
1 2
L
3
μ(1) L μ(2)
'
1 2
t
't
)
,
AA'.
（2）设X是一个p维随机向量，则X服从多元正态分布，
当且仅当它的任何线性函数 aX 均服从一元正态分布。
➢ 性质（2）常可用来证明随机向量服从多元正态分布。
（3）设X~N p (μ, Σ)，Y=CX+b其中C为r×p 常数矩阵，
则
Y ~ Nr Cμ b,CΣC
➢该性质表明，（多元）正态变量的任何线性变换仍为
第二章 多元正态分布
§2.1 多元正态分布的定义 §2.2 多元正态分布的性质 §2.3 复相关系数和偏相关系数 §2.4 极大似然估计及估计量的性质 §2.5 X和(n − 1) S的抽样分布
§2.1 多元正态分布的定义
一元正态分布N(μ,σ2)的概率密度函数为：
f x
1
x2
e 2 2
2
2 1 2
其中 Σ 11g2
ij gk1,L , p
。
1 i, j k
ρij∙k+1,⋯,p度量了剔除Xk+1, ⋯,Xp的（线性）影响之后，Xi
和Xj间相关关系的强弱。
对于多元正态变量X，由于Σ11∙2也是条件协方差矩阵，
故此时偏相关系数与条件相关系数是同一个值，从而
ρij∙k+1,⋯,p同时也度量了在Xk+1, ⋯,Xp值给定的条件下Xi和 Xj间相关关系的强弱。
它是剔除了 X2 Xk1,L , X p 的（线性）影响之后，
Xi和Xj之间的协方差。
给定X2时Xi 和Xj的偏相关系数（partial correlation
coefficient）定义为: ijgk1,L , p
ij gk1,L , p
,
iigk1,L , p jj gk1,L , p
2
1
2
exp
1 2
x
2
1
x
,
x
若随机向量 X ( X1, X2 ,L , X p )的概率密度函数为
f
x 2 p
2
Σ
1
2
exp
1 2
x
μ
Σ 1 x
μ
则称X服从p元正态分布，记作X~Np (μ, Σ)，其中，参数μ 和Σ分别为X的均值和协差阵。
例1（二元正态分布 ）
设X~N2(μ, Σ)，这里
,
Σ
4 2
4 1
1 4
试求给定X1+2X3时
X2 X3 X1
的条件分布。
§2.3 复相关系数和偏相关系数
一、复相关系数 二、偏相关系数
一、复相关系数
相关系数度量了一个随机变量x1与另一个随机变量x2 之间线性关系的强弱。
复相关系数度量了一个随机变量X1与一组随机变量X2, ⋯,Xp之间线性关系的强弱。 将X, Σ(>0)剖分如下：
14 44
；
（iii）
X4 X1
~
N
3
4 1
44
,
14
41 11
43 13
。
X3
3 34 31 33
§2.2 多元正态分布的性质
（5）设X1,X2, ⋯,Xn相互独立，且Xi~N p (μi, Σi) ，
i=1,2,⋯,n，则对任意n个常数，有
Σ12 k
Σ
22
p
k
k pk
则子向量X1和X2相互独立，当且仅当Σ12=0。 该性质指出，对于多元正态变量而言，其子向量之间
互不相关和相互独立是等价的。
（7）设X~N p (μ, Σ), Σ>0，则
X μ Σ 1 X μ ~ 2 p
例4 设X~N3(μ,Σ)，其中
3 0 0
Σ
0 0
X
X1 X2
1 ,
p 1
Σ
11
σ
21
1
σ21 1
Σ22
p
1
p 1
X1和X2的线性函数
l
X
间的最大相关系数称为
2
X1和X2
间的复(或多重)相关系数(multiple correlation
coefficient)，记作ρ1∙2,⋯,p, 它度量了一个变量X1与一组
变量X2, ⋯,Xp间的相关程度。
元正态分布，则它的每个分量必服从一元正态分布，因此
把某个分量的 n 个样品值作成直方图，如果断定不呈正态 分布，则就可以断定随机向量 X ( X1, X 2 ,L , X p ) 也不
可能服从 p 元正态分布。
例3 设X~N4(μ, Σ)，这里
X1
1
11 12 13 14
X
X2
,
§3.5 X 和(N − 1)S2的抽样分布
一、X 的抽样分布 二、 (n − 1)S的抽样分布
一、X 的抽样分布
1.正态总体
设X~Np (μ, Σ), Σ>0 ，X1,X2, ⋯,Xn是从总体X中抽取的 一个样本，则
X:
N
p
μ,
1 n
Σ
2.非正态总体（中心极限定理） 设X1,X2, ⋯,Xn是来自总体X的一个样本，μ和Σ存在，当 n很大且n相对于p也很大时，上式近似地成立。
μ
2
,
Σ
21
22
23
24
X3
3
31 32 33 34
X
4
4
41
42
43
44
则（i）
x1 1 1
2
2
x1 1 1
x2 2 2
x2 2 2
2
c2
；
（ii）
X1 X4
~
N2
1 4
,
11 41
例 2 若 X ( X1, X2 , X3 ) ~ N3 ( μ, Σ )
其中，
1
2
3
11 12 21 22
31 32
设
a (0,1,0)
，
A
1 0
0 0
0 1
，则
13
23
33
（ 1） 其中
X1
aX
(0,1,
0)
X
2
X2
~
N (aμ, aΣa)
F g1,L , p 1
二、偏相关系数
将X, Σ(>0)剖分如下：
X
X1 X2
k p
, k
Σ
Σ11 Σ 21
Σ12 k
Σ22
p
k
k pk
称
Σ11g2
Σ11
Σ12
Σ 1 22
Σ21
为给定X2时X1的偏协方差矩
阵。记 Σ11g2 ijgk1,L , p ，称 ijgk1,L , p 为偏协方差，
11 Σ 21
31
12 22 32
13 23 33
Σ11
Σ
21
Σ12
22
则
X (1)
X1
X
2
~
N2 ( μ(1) ,
Σ11)
其中
μ (1)
1
2
Σ11
11 21
12
22
在此我们应该注意到，如果 X ( X1, X 2 ,L , X p ) 服从 p
M
L L
( X ap X p )( X a1 X1) ( X ap X p )( X a2 X 2 ) L
s11 s12
s21
s22
s p1 s p2
s1p
s
2
p
(sij
)
p p
s
pp
( X a1
X1)( X ap
X
p
)
( X a2 X 2 )( X ap X p )
X3
1
aμ
(0,1,
0)
2
2
3
11 12 aΣa (0,1, 0) 21 22
31 32
13 0
23
1
22
33 0
（2） 其中
AX
1
0
0 0
0 1
X X X
1 2 3
X1
X
3
~
N
(Aμ
,AΣA
)
Aμ
1 0
0 0
0 1
1 2 3
设样本资料可用矩阵表示为
X11
X
X
21
M
X12 L X 22 L M
X1p
X(1)