厦门大学《应用多元统计分析》习题第02章 多元正态分布的参数估计
第2章多元正态分布的参数估计
第2章多元正态分布的参数估计多元正态分布是统计学中常用的一种概率分布模型，在实际应用中经常被用来描述多个变量之间的关系。
在参数估计的过程中，我们通常需要估计多元正态分布的均值向量和协方差矩阵。
本章将介绍多元正态分布的参数估计方法。
多元正态分布的均值向量和协方差矩阵分别用μ和Σ表示。
在参数估计的过程中，我们可以使用样本的均值向量和协方差矩阵来估计总体的均值向量和协方差矩阵。
首先，我们需要收集一个包含n个样本的数据集，其中每个样本有d 个变量。
我们将这个数据集表示为X=[x1, x2, ..., xn]，其中xi是一个d维向量。
均值向量的估计可以通过计算样本向量的平均值来得到。
均值向量的估计公式为：μ̂ = (1/n) * Σxi其中，μ̂是均值向量的估计值。
协方差矩阵的估计可以通过计算样本向量之间的协方差来得到。
协方差矩阵的估计公式为：Σ̂ = (1/n) * Σ(xi - μ̂)(xi - μ̂)T其中，Σ̂是协方差矩阵的估计值。
这里需要注意的是，协方差矩阵是一个对称正定矩阵，因此需要对估计值进行修正，以保证估计出的协方差矩阵是对称正定的。
修正的常用方法有Ledoit-Wolf修正和修正。
在进行参数估计之后，我们还可以计算估计值的标准误差（standard error），以衡量估计值的可靠性。
在多元正态分布的参数估计中，均值向量估计值的标准误差为：SE(μ̂) = (√((2/n)(d(d+1)/2))) * (√(Σi î))协方差矩阵估计值的标准误差为：SE(Σ̂) = (√((1/n)(d(d+1)/2))) * (√(Σi î(Σj ĵ -Σi ĵ^2)))其中，Σi î表示协方差矩阵估计值的第i个对角元素，Σi ĵ表示协方差矩阵估计值的第i行第j列元素。
参数估计的过程中，还需要考虑到样本量的大小。
当样本量较大时，参数估计的精度会提高；而当样本量较小时，参数估计的精度会降低。
应用多元统计分析课后习题答案详解北大高惠璇(第二章部分习题解答) (2).ppt
4 3
u1u2
1
2
exp[
1 2
(2u12
u22
2u1u2 )]du1du2
1
2
u12
u1e 2
1
2
u2e
1 2
(
u2
u1
)
2
du2
du1
1
2
u12
u1e 2
1
2
(u2
u1
)e
1 2
(u2
u1
)
2
du2
u1
e
1 2
(
u2
u1
)
2
du2
du1
1
2
u e
2
u12 2
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
X
X X
(1) (2)
~
N
2
p
(1) (2)
,
1 2
2 1
,
其中μ(i) (i＝1，2)为p维向量,Σi (i＝1，2)为p阶矩阵，
第二章 多元正态分布的参数估计
第二章多元正态分布的参数估计1.随机向量：将p个随机变量的整体称作p维随机向量，记为同时对p个指标（变量）进行了n次观测，这p个指标为，常用向量表示对同一个体观测的p个变量注：横看表示为第a个样品的观测值，记为竖看表示为对第j个变量的n次观测值，记为上表可用矩阵表示为（1）离散型随机向量：设是p维随机向量，若存在有限个或可列个p 维数向量，记，，满足，则X为离散型随机向量，为X的概率分布（2）连续型随机变量：设，若存在一个非负函数，使得对一切x均有，则X为连续型随机变量，为分布密度函数其中，应满足条件：i.ii.2.多元分布：设是p维随机向量，它的多元分布函数定义为，记为。
其中表示p维欧氏空间3.边缘（或边际）分布：设是p维随机向量，由它的q（<p）个分量组成的子向量的分布为X的边缘分布假定正好是X的前q个分量，其中p-q个分量为，则，相应的取值也分为了两部分。
当X的分布函数为时，的分布函数即边缘分布函数为；当X有分布密度时，则的边缘密度函数为注：相互独立——p个随机变量的联合分布等于各自的边缘分布的乘积4.随机向量的均值向量/数学期望：设，若存在且有限，则称为X的均值（向量）或数学期望，有时也把分别记为，即，容易得到均值（向量）有以下性质：其中，X和Y为随机向量，A和B为大小适合运算的常数矩阵5.随机变量的方差或协差阵：设，称为X的方差或协差阵，有时候把D(X)简记为，简记为，从而有随机变量X和Y的协差阵为当X=Y时，即为D(X)注：独立一定不相关，不相关不一定独立当A和B为常数矩阵时，协差阵有如下性质：注：对任何随机向量来说，其协差阵都是对称阵，大多情况下是正定的6.相关系数：若的协差阵存在，且每个分量的方差大于0，则称随机向量X的相关阵为，为的相关系数。
7.指标的标准化处理：，令，有，则即标准化数据的协差阵=原指标的相关阵8.多元正态分布：X服从p元正态分布，也称X为p维正态随机分布，简称9.多元样本的数字特征样本资料可以用矩阵表示为（1）样本均值向量：（2）样本离差阵：（3）样本协差阵：（4）样本相关阵：其中，10.①②③④11.的性质①②③12.维希特（Wishart）分布设且相互独立，则由组成的随机矩阵：的分布称为非中心Wishart分布，记为。
第二章多元正态分布的参数估计
就是剔除了 X2 Xk1, , X p 得(线性)影响之后,Xi和
Xj之间得协方差。
给定X2时Xi 和Xj得偏相关系数(partial correlation
coefficient)定义为: ij k1, , p
ij k1, , p
,
ii k1, , p jj k1, , p
其中 Σ11 2 ij k1, , p 。
μ12
μ1
Σ12
Σ
1 22
x2 μ2
Σ112
Σ11
Σ12
Σ
1 22
Σ
21
μ1·2和Σ11·2分别就是条件数学期望和条件协方差矩
阵,Σ11·2通常称为偏协方差矩阵。
这一性质表明,对于多元正态变量,其子向量得条件分布仍
就是(多元)正态得。
例5 设X~N3(μ, Σ),其中
1
16 4 2
μ
0 2
μ(1) μ(2)
11 Σ 21
31
12 22 32
13 23 33
Σ11
Σ
21
Σ12
22
则
X (1)
X1
X
2
~
N2 ( μ(1) ,
Σ11)
其中
μ (1)
1
2
Σ11
11 21
12
22
在此我们应该注意到，如果 X ( X1, X 2 , , X p ) 服从 p
aX
(0,1,
0)
X
2
X2
~
N (aμ, aΣa)
X3
1
aμ
(0,1,
0)
2
2
3
11 12 aΣa (0,1, 0) 21 22
应用多元统计分析课后习题答案高惠璇第二章部分习题解答学习资料
1 2 [y ( 1 7 )2 (y 2 4 )2]
g(y1,y2)
设函数 g(y1, y2) 是随机向量Y的密度函数.
15
第二章 多元正态分布及参数的估计
(3) 随机向量
YYY12~N274,
I2
(4) 由于 XX X121011Y Y12CY
1 0 1 1 7 4 3 4 , 1 0 1 1 I2 1 0 1 1 1 1 2 1
e e d x e 2
2
1 2 (x 1 7 )2
9
第二章 多元正态分布及参数的估计
1 1 2(2x1 22x2 16 5 x1 2 1x4 14)91 2(x2x17)2
e e dx 2
2
2 1e 2 1 e dx 1 2(x1 28x1 1)6
1 2(x2x17)2 2
1(
1 e2
(22)(22)0
可得Σ的特征值 1 2 (1 )2 , 2 (1 ).
22
第二章 多元正态分布及参数的估计
λi (i=1,2)对应的特征向量为 1
1
l1
2 1 2
l1
2 1 2
由(1)可得椭圆方程为 2(1y 1 2)b22(1y 2 2)b21
其 b 2 中 2 la n ( 2 ) [ | |1 /2 ] 2 l2 n2 [ 1 2 a ]
解二:比较系数法 设 f(x 1,x2)2 1ex 1 2 p (2 x 1 2x2 2 2 x 1x2 2x 1 2 1x2 4 6) 5
2 1 2 11 2ex 2 p 1 2 2 2 1 (1 2)[2 2(x 1 1)2 2 1 2(x 1 1)x (2 2) 1 2(x2 2)2]
应用多元统计分析课后习题答案高惠璇(第二章部分习题解答
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
注意:由D(X)≥0,可知 (Σ1-Σ2) ≥0.
8
第二章 多元正态分布及参数的估计
2-11 已知X=(X1,X2)′的密度函数为
f
( x1 ,
x2 )
1
2
exp
1 2
(2 x12
x22
2 x1 x2
22 x1
14 x2
65)
试求X的均值和协方差阵.
解一:求边缘分布及Cov(X1,X2)=σ12
应用多元统计分析
第二章部分习题解答
第二章 多元正态分布及参数的估计
2-1 设3维随机向量X～N3(μ,2I3)，已知
002,
A
0.5 0.5
1 0
00.5.5, d 12.
试求Y=AX+d的分布.
解:利用性质2,即得二维随机向量Y~N2(y,y),
其中：
2
第二章 多元正态分布及参数的估计
2-2 设X=(X1,X2)′～N2(μ,Σ)，其中
应用多元统计分析 第二章正态分布的参数估计答案
练习二 多元正态分布的参数估计2.1.试叙述多元联合分布和边际分布之间的关系。
解：多元联合分布讨论多个随机变量联合到一起的概率分布状况，12(,,)p X X X X '=的联合分布密度函数是一个p 维的函数，而边际分布讨论是12(,,)p X X X X '=的子向量的概率分布，其概率密度函数的维数小于p 。
2.2设二维随机向量12()X X '服从二元正态分布，写出其联合分布。
解：设12()X X '的均值向量为()12μμ'=μ，协方差矩阵为21122212σσσσ⎛⎫ ⎪⎝⎭，则其联合分布密度函数为1/21222112112222122121()exp ()()2f σσσσσσσσ--⎧⎫⎛⎫⎛⎫⎪⎪'=---⎨⎬ ⎪⎪⎝⎭⎝⎭⎪⎪⎩⎭x x μx μ。
2.3已知随机向量12()X X '的联合密度函数为121212222[()()()()2()()](,)()()d c x a b a x c x a x c f x x b a d c --+-----=-- 其中1a x b ≤≤，2c x d ≤≤。
求（1）随机变量1X 和2X 的边缘密度函数、均值和方差； （2）随机变量1X 和2X 的协方差和相关系数； （3）判断1X 和2X 是否相互独立。
（1）解：随机变量1X 和2X 的边缘密度函数、均值和方差；112121222[()()()()2()()]()()()d x cd c x a b a x c x a x c f x dx b a d c --+-----=--⎰12212222222()()2[()()2()()]()()()()dd c c d c x a x b a x c x a x c dx b a d c b a d c -------=+----⎰ 121222202()()2[()2()]()()()()dd c c d c x a x b a t x a t dt b a d c b a d c ------=+----⎰ 2212122222()()[()2()]1()()()()d cdc d c x a x b a t x a t b a d c b a d c b a------=+=----- 所以由于1X 服从均匀分布，则均值为2b a+，方差为()212b a -。
厦门大学《应用多元统计分析》第02章_多元正态分布的参数估计
厦门大学《应用多元统计分析》第02章_多元正态分布的参数估计第一节引言多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵。
例如在研究公司的运营情况时，要考虑公司的获利能力、资金周转能力、竞争能力以及偿债能力等财务指标；又如在研究国家财政收入时，税收收入、企业收入、债务收入、国家能源交通重点建设基金收入、基本建设贷款归还收入、国家预算调节基金收入、其他收入等都是需要同时考察的指标。
显然，如果我们只研究一个指标或是将这些指标割裂开分别研究，是不能从整体上把握研究问题的实质的，解决这些问题就需要多元统计分析方法。
为了更好的探讨这些问题，本章我们首先论述有关随机向量的基本概念和性质。
在实用中遇到的随机向量常常是服从正态分布或近似正态分布，或虽本身不是正态分布，但它的样本均值近似于正态分布。
因此现实世界中许多实际问题的解决办法都是以总体服从正态分布或近似正态分布为前提的。
在多元统计分析中，多元正态分布占有很重要地位，本书所介绍的方法大都假定数据来之多元正态分布。
为此，本章将要介绍多元正态分布的定义和有关性质。
然而在实际问题中，多元正态分布中均值向量和协差阵通常是未知的，一般的做法是由样本来估计。
这是本章讨论的重要内容之一，在此我们介绍最常见的最大似然估计法对参数进行估计，并讨论其有关的性质。
第二节基本概念一、随机向量我们所讨论的是多个变量的总体，所研究的数据是同时p个指标（变量），又进行了n次观测得到的，我们把这个p指标表示为X1，X2，…，Xp，常用向量X=(X1，X2，…，XP)''表示对同一个体观测的p个变量。
这里我们应该强调，在多元统计分析中，仍然将所研究对象的全体称为总体，它是由许多（有限和无限）的个体构成的集合，如果构成总体的个体是具有p个需要观测指标的个体，我们称这样的总体为p维总体（或p元总体）。
上面的表示便于人们用数学方法去研究p维总体的特性。
这里“维”（或“元”）的概念，表示共有几个分量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
思考与练习
2.1 试述多元联合分布和边缘分布之间的关系。
2.2 设随机向量12(,)X X ′=X 服从二元正态分布，写出其联合分布密度函数和1X 、2X 各自的边缘密度函数。
2.3 已知随机向量12(,)X X ′=X 的联合分布密度函数为：
()()()()()()()()()
121122
2
22,d c x a b a x c x a x c f x x b a d c −−+−−−−−2⎡⎤⎣⎦
=
−−
其中，。
求：
12,a x b c x d ≤≤≤≤⑴ 随机变量1X 和2X 各自的边缘密度函数、均值与方差。
⑵ 随机变量1X 和2X 的协方差和相关系数。
⑶ 判断1X 和2X 是否相互独立。
2.4 设随机向量12(,,,)p X X X ′=X L 服从正态分布，已知其协差阵为对角阵，证明ΣX 的分量是相互独立的随机变量。
2.5 从某企业全部职工中随机抽取一个容量为6的样本，该样本中各职工的目前工资、受教育年限、初始工资和工作经验资料如下表所示： 职工编号
目前工资 （美元）
受教育年限（年）
初始工资 （美元）
工作经验（月）
1
1 2 3 4 5 6 57,000 40,200 21,450 21,900 45,000 28,350 15 16 12 8 15 8 27,000 18,750 12,000 13,200 21,000 12,000 144 36 381 190 138 26
设职工总体的以上变量服从多元正态分布，根据样本资料求出均值向量和协差阵的最大似然估计。
2.6 均值向量和协差阵的最大似然估计量具有哪些优良性质？ 2.7 试证多元正态总体的样本均值向量(,)p N μΣ1
~(,
p N n
X μΣ)。
2.8 试证多元正态总体的样本协差阵S 为(,)p N μΣΣ的无偏估计。
2.9 设()1x 、()2x 、…、()n x 是从多元正态总体中独立抽取的一个随机样本，试求样本协差阵的分布。
(,)p N μΣS 2.10 设()i i X n p ×是来自(),p i i N μΣ的数据阵，1,,i k =L ， ⑴ 已知1k ===μμμL 且1k ===ΣΣL Σ，求μ和的估计。
Σ⑵ 已知1k ===ΣΣL Σ，求1,,k μμL 和Σ的估计。
2。