多元正态分布及参数估计
应用多元统计分析课后习题答案高惠璇

第三章 多元正态总体参数的检验
3-2 设X~Nn(μ,σ2In), A,B为n阶对称阵.
若AB =0 ,证明X′AX与X′BX相互独立.
证明的思路:记rk(A)=r. 因A为n阶对称阵,存在正交阵Γ,使得
Γ ′AΓ=diag(λ1,…,λr 0,..,0) 令Y=Γ′X,则Y~Nn(Γ′μ,σ2In),
(2x12
x22
2x1x2
22x1
14x2
65)
1 2 1 2
1
2
exp
1
212
2 2
(1
2
)
[
2 2
(
x1
1 ) 2
21 2(x1
1)(x2
2
)
2 1
(
x2
2
)
2
]
比较上下式相应的系数,可得:
1 2
2 2
1 2
2
1
2 1
1
1 2 1
2 1
1
2
1/
21
2 2
2
2
2 1
21 22 21 21
f (x; , ) a
a0 (2 ) p/ 2 |
(x )1
|1/ 2 ,当0 a
(x )
1
ba02
时,
其中 b2 2 ln[a(2 ) p/2 | |1/ 2 ] 2 ln[aa0 ] 0, 20
第二章 多元正态分布及参数的估计
因 0,的特征值记为1 2 p 0, i对应
3-1 设X~Nn(μ,σ2In), A为对称幂等 阵,且rk(A)=r(r≤n),证明
证明 因A为对称幂等阵,而对称幂等阵的
第2章多元正态分布的参数估计

第2章多元正态分布的参数估计多元正态分布是统计学中常用的一种概率分布模型,在实际应用中经常被用来描述多个变量之间的关系。
在参数估计的过程中,我们通常需要估计多元正态分布的均值向量和协方差矩阵。
本章将介绍多元正态分布的参数估计方法。
多元正态分布的均值向量和协方差矩阵分别用μ和Σ表示。
在参数估计的过程中,我们可以使用样本的均值向量和协方差矩阵来估计总体的均值向量和协方差矩阵。
首先,我们需要收集一个包含n个样本的数据集,其中每个样本有d 个变量。
我们将这个数据集表示为X=[x1, x2, ..., xn],其中xi是一个d维向量。
均值向量的估计可以通过计算样本向量的平均值来得到。
均值向量的估计公式为:μ̂ = (1/n) * Σxi其中,μ̂是均值向量的估计值。
协方差矩阵的估计可以通过计算样本向量之间的协方差来得到。
协方差矩阵的估计公式为:Σ̂ = (1/n) * Σ(xi - μ̂)(xi - μ̂)T其中,Σ̂是协方差矩阵的估计值。
这里需要注意的是,协方差矩阵是一个对称正定矩阵,因此需要对估计值进行修正,以保证估计出的协方差矩阵是对称正定的。
修正的常用方法有Ledoit-Wolf修正和修正。
在进行参数估计之后,我们还可以计算估计值的标准误差(standard error),以衡量估计值的可靠性。
在多元正态分布的参数估计中,均值向量估计值的标准误差为:SE(μ̂) = (√((2/n)(d(d+1)/2))) * (√(Σi î))协方差矩阵估计值的标准误差为:SE(Σ̂) = (√((1/n)(d(d+1)/2))) * (√(Σi î(Σj ĵ -Σi ĵ^2)))其中,Σi î表示协方差矩阵估计值的第i个对角元素,Σi ĵ表示协方差矩阵估计值的第i行第j列元素。
参数估计的过程中,还需要考虑到样本量的大小。
当样本量较大时,参数估计的精度会提高;而当样本量较小时,参数估计的精度会降低。
应用多元统计分析课后习题答案详解北大高惠璇(第二章部分习题解答) (2).ppt

4 3
u1u2
1
2
exp[
1 2
(2u12
u22
2u1u2 )]du1du2
1
2
u12
u1e 2
1
2
u2e
1 2
(
u2
u1
)
2
du2
du1
1
2
u12
u1e 2
1
2
(u2
u1
)e
1 2
(u2
u1
)
2
du2
u1
e
1 2
(
u2
u1
)
2
du2
du1
1
2
u e
2
u12 2
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
X
X X
(1) (2)
~
N
2
p
(1) (2)
,
1 2
2 1
,
其中μ(i) (i=1,2)为p维向量,Σi (i=1,2)为p阶矩阵,
第三讲多元正态分布

二元正态分布的密度曲面图
2 2 下图是当 1 2 , 0.75 时二元正态分布的钟形密
度曲面图。
多元正态分布性质
(1)、若 X ( X1, X 2 , X p )T ~ N p (, ), 是对角阵, 则 X1, X 2 , X p 相互独立。 (2)、若 X ~ N p (, ) , A 为 s p 阶常数阵,则
•有些现象服从多元正态分布
•许多多元统计分布的抽样分布是近似正态分布
23
多元正态分布
它是一元正态分布的推广
X ~ N p ,
设随机向量 X ( x1 , x2 ,, x p )' 服从P维正态分布,则有,
f ( X ) 2
p 2
1 2
1 1 exp x x 2
12
随机向量的数字特性
随机向量的均值
E ( X 1 ) 1 E( X 2 ) 2 E( X ) E( X ) p p
性质
E ( AX ) AE( X ) E ( AXB) AE( X ) B E ( AX BY ) AE( X ) BE(Y )
15
性质
1)若(x1,x2,…,xp)’ 和(y1,y2,…,yq)’不相关。则
cov(x1 , y1 ) cov(x1 , y2 ) cov(x1 , yq ) cov(x2 , y1 ) cov(x2 , y2 ) cov(x2 , yq ) 0 cov(x , y ) cov(x , y ) cov(x , y ) p 1 p 2 p q
(1) q
第二章多元正态分布的参数估计

就是剔除了 X2 Xk1, , X p 得(线性)影响之后,Xi和
Xj之间得协方差。
给定X2时Xi 和Xj得偏相关系数(partial correlation
coefficient)定义为: ij k1, , p
ij k1, , p
,
ii k1, , p jj k1, , p
其中 Σ11 2 ij k1, , p 。
μ12
μ1
Σ12
Σ
1 22
x2 μ2
Σ112
Σ11
Σ12
Σ
1 22
Σ
21
μ1·2和Σ11·2分别就是条件数学期望和条件协方差矩
阵,Σ11·2通常称为偏协方差矩阵。
这一性质表明,对于多元正态变量,其子向量得条件分布仍
就是(多元)正态得。
例5 设X~N3(μ, Σ),其中
1
16 4 2
μ
0 2
μ(1) μ(2)
11 Σ 21
31
12 22 32
13 23 33
Σ11
Σ
21
Σ12
22
则
X (1)
X1
X
2
~
N2 ( μ(1) ,
Σ11)
其中
μ (1)
1
2
Σ11
11 21
12
22
在此我们应该注意到,如果 X ( X1, X 2 , , X p ) 服从 p
aX
(0,1,
0)
X
2
X2
~
N (aμ, aΣa)
X3
1
aμ
(0,1,
0)
2
2
3
11 12 aΣa (0,1, 0) 21 22
应用多元统计分析课后习题答案高惠璇第二章部分习题解答学习资料

1 2 [y ( 1 7 )2 (y 2 4 )2]
g(y1,y2)
设函数 g(y1, y2) 是随机向量Y的密度函数.
15
第二章 多元正态分布及参数的估计
(3) 随机向量
YYY12~N274,
I2
(4) 由于 XX X121011Y Y12CY
1 0 1 1 7 4 3 4 , 1 0 1 1 I2 1 0 1 1 1 1 2 1
e e d x e 2
2
1 2 (x 1 7 )2
9
第二章 多元正态分布及参数的估计
1 1 2(2x1 22x2 16 5 x1 2 1x4 14)91 2(x2x17)2
e e dx 2
2
2 1e 2 1 e dx 1 2(x1 28x1 1)6
1 2(x2x17)2 2
1(
1 e2
(22)(22)0
可得Σ的特征值 1 2 (1 )2 , 2 (1 ).
22
第二章 多元正态分布及参数的估计
λi (i=1,2)对应的特征向量为 1
1
l1
2 1 2
l1
2 1 2
由(1)可得椭圆方程为 2(1y 1 2)b22(1y 2 2)b21
其 b 2 中 2 la n ( 2 ) [ | |1 /2 ] 2 l2 n2 [ 1 2 a ]
解二:比较系数法 设 f(x 1,x2)2 1ex 1 2 p (2 x 1 2x2 2 2 x 1x2 2x 1 2 1x2 4 6) 5
2 1 2 11 2ex 2 p 1 2 2 2 1 (1 2)[2 2(x 1 1)2 2 1 2(x 1 1)x (2 2) 1 2(x2 2)2]
多元正态分布参数估计与检验

则称随机向量 为X维正p态随机向量,
其中
称为均值向量, V为协方差矩阵(协差阵),且
V0. 对于一般情形 V0, 仍可定义多维正
态随机向量, 记为 X~ Np(,V 。) 当 V0时,
X有前面的密度表示,而当
布是退化的正态分布。
时|V,|0 X的分
多元正态分布的性质:
(1) p维正态分布由其均值向量和协方差阵唯
即
~
H0
成立时, 1
时,
2
D 0 6 n 1 n 20 7(X Y )T V 0 8 1 (X Y )0 9 2 (p )1 0
n n 而当 不 1有偏2 大的趋
因此,对
给定的显著
当
H 成立时, 0
势。
D
性水平 ,
D n n 11 n n 22(X Y )T V 1 (X Y )1 2 (p )
体 Np(,V)的简单样本, 令
X
1n nk1
Xk
——样本均值向量
n
S (XkX)X (kX)T —样本离差阵
k1
定理18.1
态总体
的简单样本,
设 X 1 ,X 2 , ,X n ( n 是p ) 来自多元正
态总体 Np(,的V简)单样本,
且 V,0 则 X是
的极大似然估计,
1 S 是 V的极大似然估计。
体 Np(,V的) 简单样本,
其中 V已知。 考虑假设
检验问题
H 0 : 0 , H 1 : 0
令 D n (X 0)T V 1(X 0),则可以证明当
H 0 成立时,即 时,0 D~ 2(p)
H0
D
01
0 2
03
04
第二章 多元正态分布及参数的估计

27
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
y BxB
0 0 1
1 0 0
100 110
1 2 0
003 100
0 0 1
1 0 0
1 0 1
2 0 1
003 100
2
北大数学学院
第二章 多元正态分布及参数的估计
目录
§2.1 随机向量 §2.2 多元正态分布的定义与
基本性质
§2.3 条件分布和独立性 §2.4 随机矩阵的正态分布 §2.5 多元正态分布的参数估计
3
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
例2.1.1
f (x1, x2
()X1,X212)的e联 12合( x12密 x22度) [1函数x为1 x2e
1 2
(
x12
x22
)
]
我们从后面将给出的正态随机向量的联合密
度函数的形式可知, (X1,X2)不是二元正态随机向 量.但通过计算边缘分布可得出:
本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习.
三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则
E(AX)=A·E(X) E(AXB)=A·E(X)·B
6
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
... f (t ,..., t
1
p
)dt1 ...dt p 1
16
3.p元随机向量的数字特征
随机向量的数字特征主要有均值向量和协方差矩阵。 1.均值向量就是每一个分量的均值(或叫期望)所组成 的常数向量。用数学符号表示如下: X ( X 1 , X 2 ,..., X p ) ,且每个分量的 设p元随机向量为 期望为 E( X i ) i , i 1,..., p ,则将新向量:
因而多元随机向量可看作是一元随机变量的推广 而一个随机变量可看作是特殊的一元随机向量.
4
§2.1 多元(概率)分布基本概念 1.二元随机向量的例子
由于我们的研究对象涉及的是多个变量的总体,所 以要用若干个随机变量合在一起看作一个整体,共 同用这个整体来描述随机现象。 •比如,要考察一射击手向一平面靶子射击的水平, 那么,子弹在靶子上的着点位置是随机的,这个平 面上的随机点需要用两个随机变量(即横向的X与纵 向的Y)共同来描述,于是(X,Y)就构成了二元(维) 的随机向量。
2
(1)随机变量的定义:对于每一个随机结果都对 应着某个变量的一个数值,这种对应就是一个函数, 用随机变量来表示。
R.V.特点: a.取值的随机性,即事先不能确定其取哪一个值; b.取值的统计规律性,即完全可以确定x取某个值或 在某个区间内取值的概率。
3
有时候,仅仅用一个随机变量来描述随机现象就 不够了,需要用多个随机变量来共同描述的随机 现象和问题,而且这些随机变量间又有联系,所 以必须要将它们看做一个整体来研究(即不能一 个一个地单独研究多个一元随机变量),这就出 现了多元随机向量的问题和概念.
多元正态分布主要内容包括:
§2.1 多元(概率)分布基本概念 §2.2 多元正态分布定义及其性质 §2.3 多元正态分布的参数估计
1
众所周知,一元统计分析是多元统计分析的 基础,尤其是一元正态分布自然是多元正态 分布的基础,它在统计学的理论和实际应用 方面都有着重要的地位。
在一元统计分布中,经常会用到随机变量X 的概念及其概率分布问题。5射击后的子弹着点的位置 是随机的
这个点的位置要用两个 随机变量X与Y共同描 述才能确定,即用(X, Y)数组的取值来确定 这个点的位置。 这就是二元随机向量。
Y
X
· A
6
P元(维)随机向量
在研究社会、经济现象和许多实际 问题时,经常遇到多指标的问题。 例如,评价学生在校表现时,要考 察他的政治思想(德)、学习情况 (智)、身体状况(体)等各个方 面的情况,仅学习情况就又涉及他 在各个年度的每门课程成绩,这里 面就有多项指标存在。
8
P元(维)随机向量的定义
设 X 1 , X 2 ,..., X p 为p个随机变量, 将它们合在一起组成的一个整体的向量
X ( X 1 , X 2 ,..., X p )
称作p元随机向量。 注意:X是列向量,所以横着写时需要转 置一下。
9
2.联合分布函数与密度函数
与一元随机变量一样,也可将随机向量分为离散性和 连续型两类,但是在表达其概率分布时,就非常不方 便了(因为当它是离散型时,需要用多维表格表示概 率分布,但超过两维时就不容易表示了),这时我们 就必须借助于分布函数来刻画它的概率分布。这就充 分体现出分布函数在表达联合概率分布时的优势。 对于多元的随机向量,就对应地需要用联合分布函数 来刻画其概率分布。
F ( x1 , x2 ,..., x p ) P( X 1 x1 ,..., X p x p )
14
联合密度函数的定义
对于多元连续型随机向量来说,其概率分 布也可以用密度函数来描述。 若存在一个非负的p元函数f(· ),满足
F ( x1 ,..., x p )
x1
... f (t ,..., t
矩形区域 G {( X , Y ) | X x, Y y} 的概率.
12
二元联合分布函数的几何意义演示图:
F(x,y)=
Y
y
P(X≤x,Y≤y)
(x,y)
{ X≤x
, Y≤y }
x
X
F(x,y)值为随 机点落入黄色 矩形区域内的 概率
13
对于p元的随机向量来说,就对应地需要用 联合分布函数来刻画其概率分布。 联合分布函数的定义: 设 X ( X 1 , X 2 ,..., X p ) 是一随机向量,它的 联合分布函数定义为
E( X ) ( E( X 1 ), E( X 2 ),...,E( X p ))
定义为该随机向量的期望,也叫均值向量. 而一元随机变量的第一个数字特征名称却称为均值或期 望.请注意一元与多元在对应概念上的称呼的区别.
17
P元随机向量的协方差阵
注意:一元随机变量与多元随机向量在第二个数字 特征方面的表示有很大不同,其原因是在多元情形 中还要体现出分量之间的相关关系。
11
二元随机向量的联合分布函数
定义: 设(X,Y) 为二维随机变量,对任意实数 x,y,二 元函数
F ( x, y) P( X x, Y y)
称为二维随机变量(X,Y)的联合分布函数.
如果把 (x,y) 看成是平面上随机点的坐标 , 则联合分布函数
F ( x, y) 在点(x,y)处的函数值就是随机点(X,Y)落在平面上的
7
再例如,研究公司的经营情况,就要考察资 金周转能力、偿债能力、获利能力、竞争力 等多个指标。显然不能将这些指标分割开来 进行单独研究,那样就不能从整体上综合把 握事物的实质。 一般地,假设我们研究的问题涉及p个指标, 对n个个体进行观察,就会得到n×p个数据, 我们的目的就是对观测对象进行分组、分类、 或分析考察这p个变量之间的相互关联程度, 或者找出内在规律性等等。
1
xp
p
)dt1 ...dt p
对任意的 ( x1 , x2 ,...,x p ) R 都成立,则称p元函数f(· )为p元随机向量的 概率密度函数,并称随机向量为连续型的。
p
15
联合概率密度函数的基本性质
两条性质是:
f ( x1 ,..., x p ) 0, 对 任 意实 数x1 ,..., x p 都 成 立