多元正态分布及参数的估计
合集下载
第2章多元正态分布的参数估计
第2章多元正态分布的参数估计多元正态分布是统计学中常用的一种概率分布模型，在实际应用中经常被用来描述多个变量之间的关系。
在参数估计的过程中，我们通常需要估计多元正态分布的均值向量和协方差矩阵。
本章将介绍多元正态分布的参数估计方法。
多元正态分布的均值向量和协方差矩阵分别用μ和Σ表示。
在参数估计的过程中，我们可以使用样本的均值向量和协方差矩阵来估计总体的均值向量和协方差矩阵。
首先，我们需要收集一个包含n个样本的数据集，其中每个样本有d 个变量。
我们将这个数据集表示为X=[x1, x2, ..., xn]，其中xi是一个d维向量。
均值向量的估计可以通过计算样本向量的平均值来得到。
均值向量的估计公式为：μ̂ = (1/n) * Σxi其中，μ̂是均值向量的估计值。
协方差矩阵的估计可以通过计算样本向量之间的协方差来得到。
协方差矩阵的估计公式为：Σ̂ = (1/n) * Σ(xi - μ̂)(xi - μ̂)T其中，Σ̂是协方差矩阵的估计值。
这里需要注意的是，协方差矩阵是一个对称正定矩阵，因此需要对估计值进行修正，以保证估计出的协方差矩阵是对称正定的。
修正的常用方法有Ledoit-Wolf修正和修正。
在进行参数估计之后，我们还可以计算估计值的标准误差（standard error），以衡量估计值的可靠性。
在多元正态分布的参数估计中，均值向量估计值的标准误差为：SE(μ̂) = (√((2/n)(d(d+1)/2))) * (√(Σi î))协方差矩阵估计值的标准误差为：SE(Σ̂) = (√((1/n)(d(d+1)/2))) * (√(Σi î(Σj ĵ -Σi ĵ^2)))其中，Σi î表示协方差矩阵估计值的第i个对角元素，Σi ĵ表示协方差矩阵估计值的第i行第j列元素。
参数估计的过程中，还需要考虑到样本量的大小。
当样本量较大时，参数估计的精度会提高；而当样本量较小时，参数估计的精度会降低。
应用多元统计分析课后习题答案详解北大高惠璇(第二章部分习题解答) (2).ppt
4 3
u1u2
1
2
exp[
1 2
(2u12
u22
2u1u2 )]du1du2
1
2
u12
u1e 2
1
2
u2e
1 2
(
u2
u1
)
2
du2
du1
1
2
u12
u1e 2
1
2
(u2
u1
)e
1 2
(u2
u1
)
2
du2
u1
e
1 2
(
u2
u1
)
2
du2
du1
1
2
u e
2
u12 2
2
x12
22
x1
65
x12
14
x1
49)
1 2
(
x2
x1
7)2
e e dx2
2
1 e
1 2
(
x12
8
x1
16)
2
1
2
e dx
1 2
(
x2
x1
7
)
2
2
1 e
1 2
(
x1
4
)
2
2
X1 ~ N(4,1).
类似地有
f2 (x2 ) f (x1, x2 )dx1
1
e
1 4
(
x2
3)2
X
X X
(1) (2)
~
N
2
p
(1) (2)
,
1 2
2 1
,
其中μ(i) (i＝1，2)为p维向量,Σi (i＝1，2)为p阶矩阵，
第三讲多元正态分布
二元正态分布的密度曲面图
2 2 下图是当 1 2 , 0.75 时二元正态分布的钟形密
度曲面图。
多元正态分布性质
（1）、若 X ( X1, X 2 , X p )T ~ N p (, )， 是对角阵， 则 X1, X 2 , X p 相互独立。 （2）、若 X ~ N p (, ) ， A 为 s p 阶常数阵，则
•有些现象服从多元正态分布
•许多多元统计分布的抽样分布是近似正态分布
23
多元正态分布
它是一元正态分布的推广
X ~ N p ,
设随机向量 X ( x1 , x2 ,, x p )' 服从P维正态分布，则有，
f ( X ) 2
p 2
1 2
1 1 exp x x 2
12
随机向量的数字特性
随机向量的均值
E ( X 1 ) 1 E( X 2 ) 2 E( X ) E( X ) p p
性质
E ( AX ) AE( X ) E ( AXB) AE( X ) B E ( AX BY ) AE( X ) BE(Y )
15
性质
1)若(x1,x2,…，xp)’ 和(y1,y2,…，yq)’不相关。则
cov(x1 , y1 ) cov(x1 , y2 ) cov(x1 , yq ) cov(x2 , y1 ) cov(x2 , y2 ) cov(x2 , yq ) 0 cov(x , y ) cov(x , y ) cov(x , y ) p 1 p 2 p q
(1) q
厦门大学应用多元统计分析第章多元正态分布的参数估计
x
F(x) f (t)dt ，则称 f (x) 为 X 的分布密度函数，简称为
密度函数。一个函数 f (x) 能作为某个随机变量 X 的分布密度
函数的重要条件是：
（1） f (x) 0 ，对一切实数 x ；
（2） f (x)dx 1。
定义 2.2 设 X ( X1, X 2 ,
的多元分布函数定义为
别记为 μ 和 i ，即 μ (1, 2 , , p ) ，容易推得均值（向
量）具有以下性质：
（1） E(AX ) AE(X ) （2） E(AXB) AE(X )B （3） E(AX BY ) AE(X ) BE(Y ) 其中， X 、 Y 为随机向量， A 、 B 为大小适合运算的常数
表 2.1 数据
变量
X1
X2
Xp
序号
1
X 11
X 12
X1p
2
X 21
X 22
X 2p
n
X n1
X n2
X np
在这里横看表 2.1，记为
X ( ) ( X 1, X 2, ,X p )， 1 , 2 , n, 表示第 个样品的观测值。竖看表 2.1，第 j 列的元素
X j ( X1 j , X 2 j , , X nj ) ， j 1 , 2 , p,
其中
ij
Cov( Xi , X j ) ij D( Xi ) D( X j ) ii jj
阵为
Cov( X ,Y )E( X E( X ))(Y E(Y ))
Cov( X1,Y1)
Cov(
X
2
,
Y1
)
Cov( X1,Y2 ) Cov( X 2,Y2 )
Cov( X p ,Y1) Cov( X p ,Y2 )
F(x) f (t)dt ，则称 f (x) 为 X 的分布密度函数，简称为
密度函数。一个函数 f (x) 能作为某个随机变量 X 的分布密度
函数的重要条件是：
（1） f (x) 0 ，对一切实数 x ；
（2） f (x)dx 1。
定义 2.2 设 X ( X1, X 2 ,
的多元分布函数定义为
别记为 μ 和 i ，即 μ (1, 2 , , p ) ，容易推得均值（向
量）具有以下性质：
（1） E(AX ) AE(X ) （2） E(AXB) AE(X )B （3） E(AX BY ) AE(X ) BE(Y ) 其中， X 、 Y 为随机向量， A 、 B 为大小适合运算的常数
表 2.1 数据
变量
X1
X2
Xp
序号
1
X 11
X 12
X1p
2
X 21
X 22
X 2p
n
X n1
X n2
X np
在这里横看表 2.1，记为
X ( ) ( X 1, X 2, ,X p )， 1 , 2 , n, 表示第 个样品的观测值。竖看表 2.1，第 j 列的元素
X j ( X1 j , X 2 j , , X nj ) ， j 1 , 2 , p,
其中
ij
Cov( Xi , X j ) ij D( Xi ) D( X j ) ii jj
阵为
Cov( X ,Y )E( X E( X ))(Y E(Y ))
Cov( X1,Y1)
Cov(
X
2
,
Y1
)
Cov( X1,Y2 ) Cov( X 2,Y2 )
Cov( X p ,Y1) Cov( X p ,Y2 )
第二章多元正态分布的参数估计
就是剔除了 X2 Xk1, , X p 得(线性)影响之后,Xi和
Xj之间得协方差。
给定X2时Xi 和Xj得偏相关系数(partial correlation
coefficient)定义为: ij k1, , p
ij k1, , p
,
ii k1, , p jj k1, , p
其中 Σ11 2 ij k1, , p 。
μ12
μ1
Σ12
Σ
1 22
x2 μ2
Σ112
Σ11
Σ12
Σ
1 22
Σ
21
μ1·2和Σ11·2分别就是条件数学期望和条件协方差矩
阵,Σ11·2通常称为偏协方差矩阵。
这一性质表明,对于多元正态变量,其子向量得条件分布仍
就是(多元)正态得。
例5 设X~N3(μ, Σ),其中
1
16 4 2
μ
0 2
μ(1) μ(2)
11 Σ 21
31
12 22 32
13 23 33
Σ11
Σ
21
Σ12
22
则
X (1)
X1
X
2
~
N2 ( μ(1) ,
Σ11)
其中
μ (1)
1
2
Σ11
11 21
12
22
在此我们应该注意到，如果 X ( X1, X 2 , , X p ) 服从 p
aX
(0,1,
0)
X
2
X2
~
N (aμ, aΣa)
X3
1
aμ
(0,1,
0)
2
2
3
11 12 aΣa (0,1, 0) 21 22
应用多元统计分析课后习题答案高惠璇第二章部分习题解答学习资料
1 2 [y ( 1 7 )2 (y 2 4 )2]
g(y1,y2)
设函数 g(y1, y2) 是随机向量Y的密度函数.
15
第二章 多元正态分布及参数的估计
(3) 随机向量
YYY12~N274,
I2
(4) 由于 XX X121011Y Y12CY
1 0 1 1 7 4 3 4 , 1 0 1 1 I2 1 0 1 1 1 1 2 1
e e d x e 2
2
1 2 (x 1 7 )2
9
第二章 多元正态分布及参数的估计
1 1 2(2x1 22x2 16 5 x1 2 1x4 14)91 2(x2x17)2
e e dx 2
2
2 1e 2 1 e dx 1 2(x1 28x1 1)6
1 2(x2x17)2 2
1(
1 e2
(22)(22)0
可得Σ的特征值 1 2 (1 )2 , 2 (1 ).
22
第二章 多元正态分布及参数的估计
λi (i=1,2)对应的特征向量为 1
1
l1
2 1 2
l1
2 1 2
由(1)可得椭圆方程为 2(1y 1 2)b22(1y 2 2)b21
其 b 2 中 2 la n ( 2 ) [ | |1 /2 ] 2 l2 n2 [ 1 2 a ]
解二:比较系数法 设 f(x 1,x2)2 1ex 1 2 p (2 x 1 2x2 2 2 x 1x2 2x 1 2 1x2 4 6) 5
2 1 2 11 2ex 2 p 1 2 2 2 1 (1 2)[2 2(x 1 1)2 2 1 2(x 1 1)x (2 2) 1 2(x2 2)2]
多元正态分布参数估计与检验
则称随机向量 为X维正p态随机向量，
其中
称为均值向量， V为协方差矩阵(协差阵)，且
V0. 对于一般情形 V0, 仍可定义多维正
态随机向量， 记为 X～ Np(,V 。) 当 V0时，
X有前面的密度表示，而当
布是退化的正态分布。
时|V，|0 X的分
多元正态分布的性质：
（1） p维正态分布由其均值向量和协方差阵唯
即
～
H0
成立时， 1
时，
2
D 0 6 n 1 n 20 7(X Y )T V 0 8 1 (X Y )0 9 2 (p )1 0
n n 而当 不 1有偏2 大的趋
因此，对
给定的显著
当
H 成立时， 0
势。
D
性水平 ，
D n n 11 n n 22(X Y )T V 1 (X Y )1 2 (p )
体 Np(,V)的简单样本， 令
X
1n nk1
Xk
——样本均值向量
n
S (XkX)X (kX)T —样本离差阵
k1
定理18.1
态总体
的简单样本，
设 X 1 ,X 2 , ,X n ( n 是p ) 来自多元正
态总体 Np(,的V简)单样本，
且 V，0 则 X是
的极大似然估计，
1 S 是 V的极大似然估计。
体 Np(,V的) 简单样本，
其中 V已知。 考虑假设
检验问题
H 0 ： 0 ， H 1 ： 0
令 D n (X 0)T V 1(X 0),则可以证明当
H 0 成立时，即 时，0 D～ 2(p)
H0
D
01
0 2
03
04
第二章 多元正态分布及参数的估计
27
北大数学学院
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的定义与基本性质—简单例子
y BxB
0 0 1
1 0 0
100 110
1 2 0
003 100
0 0 1
1 0 0
1 0 1
2 0 1
003 100
2
北大数学学院
第二章 多元正态分布及参数的估计
目录
§2.1 随机向量 §2.2 多元正态分布的定义与
基本性质
§2.3 条件分布和独立性 §2.4 随机矩阵的正态分布 §2.5 多元正态分布的参数估计
3
北大数学学院
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得
第二章 多元正态分布及参数的估计
§2.2 多元正态分布性质2的推论
例2.1.1
f (x1, x2
()X1,X212)的e联 12合( x12密 x22度) [1函数x为1 x2e
1 2
(
x12
x22
)
]
我们从后面将给出的正态随机向量的联合密
度函数的形式可知, (X1,X2)不是二元正态随机向 量.但通过计算边缘分布可得出:
本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习.
三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则
E(AX)=A·E(X) E(AXB)=A·E(X)·B
6
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
并设：
i 0(i 1,, q), q1 0,, p 0.
10
第二章 多元正态分布及参数的估计
§2.2
在一元统计中，若U～N(0,1),则U的任意 线性变换X=σU+μ～N(μ,σ2)。利用这一性质， 可以从标准正态分布来定义一般正态分布：
若U～N(0,1),则称X =σU+μ的分布为 一般正态分布,记为X ～N(μ, σ2 )。
是对称非负定阵. 即 =´ , ´ ≥0 (为任给的p维常量).
7
第二章 多元正态分布及参数的估计
§2.1 随机向量—
(4) Σ=L2 ,其中L为非负定阵.
由于Σ≥0(非负定),利用线性代数中实对称阵的对角化定理，存 在正交阵Γ,使
1 0 LL
1 0 ' 0 p
du
e
du
du
1 2 2 1 exp[i t t ] 2 2 1 2 2 exp[i t t ] 2
e
1 ( u it ) 2 2
14
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
当 X～N(0,1)时,φ(t)=exp［-t 2 /2］.
=(X1,X2,…,Xp)
其中 X(i)( i=1,…,n)是来自p维总体的一个样品 .
5
第二章 多元正态分布及参数的估计
§2.1 随 机 向
在多元统计分析中涉及到的都是随机向量, 或是多个随机向量放在一起组成的随机矩阵. 本节有关随机向量的一些概念(联合分布, 边缘分布,条件分布,独立性;X的均值向量,X 的协差阵和相关阵,X与Y的协差阵)要求大家 自已复习. 三﹑ 均值向量和协方差阵的性质 (1) 设X,Y为随机向量,A,B为常数阵,则 E(AX)=A· E(X) E(AXB)=A· E(X)· B
4
第二章 多元正态分布及参数的估计
§2.1 随 机 向
x11 x X 21 x n1
def
x12 x22 xn 2
x1 p X (1) def x2 p X (2 ) X xnp (n)
1 2
e
u2 it (u ) 2
e
du
13
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的性质1
it
e
e
it
1 21
e
1 [ u 2 2itu ( it ) 2 ( it ) 2 ] 2
2
e
1 2 1 ( u it ) (it ) 2 2 2
此定义中，不必要求σ＞0,当σ退化为0时仍 有意义。把这种新的定义方式推广到多元情况
11
第二章 多元正态分布及参数的估计
§2.2 多元正态分布的第一种
定义2.2.1 设U=(U1,…,Uq)′为随机向量,
U1,…,Uq相互独立且同N(0，1)分布；设μ为p维 常数向量，A为p×q常数矩阵，则称X=AU + μ 的分布为p维正态分布，或称X为p 维正态随机 向量,记为X ～ Np(μ, AA′) 简单地说，称q个相互独立的标准正态随机 变量的一些线性组合构成的随机向量的分布为
2
第二章 多元正态分布及参数的估计
目
§2.1 随机向量
录
§2.2 多元正态分布的定义与
基本性质
§2.3 条件分布和独立性
§2.4 随机矩阵的正态分布
§2.5 多元正态分布的参数估计
3
第二章 多元正态分布及参数的估计
§2.1 随 机 向
本课程所讨论的是多变量总体.把 p个随机变量放在一起得 X=(X1,X2,…,Xp)′ 为一个p维随机向量,如果同时对p维 总体进行一次观测,得一个样品为 p 维数据.常把n个样品排成一个n×p 矩阵,称为样本资料阵.
应用多元统计分析
1
第二章 多元正态分布及参数的估计
在多元统计分析中,多元正态分布占有相当 重要的地位.这是因为许多实际问题涉及到的随 机向量服从正态分布或近似服从正态分布;当样 本量很大时,许多统计量的极限分布往往和正态 分布有关;此外,对多元正态分布,理论与实践都 比较成熟,已有一整套行之有效的统计推断方法 .基于这些理由,我们在介绍多元统计分析的种 种具体方法之前，首先介绍多元正态分布的定 义、性质及多元正态分布中参数的估计问题.
12
第二章 多元正态分布及参数的估计
多元正态分布的性质1 在一元统计中,若X～N(μ,σ2),则X的特征函数为 §2.2
φ(t)=E(eitX)=exp［itμ-t 2σ2 /2］
1 (t ) E (e ) 2
itX
e
( x )2 itx 2 2
e
dx
u ( x ) /
0 ' p
1 其中L O
O ，L L, 故L 0. p
8
第二章 多元正态分布及参数的估计
§2.1 随机向量—
当矩阵Σ>0(正定)时，矩阵L也称为Σ的平方根 矩阵，记为Σ1/2 .
当矩阵Σ>0(正定)时,必有p×p非退化矩阵 A使得 Σ=AA′
6
第二章 多元正态分布及参数的估计
§2.1 随 机 向
D(AX)=A· D(X)· A' COV(AX,BY)=A· COV(X,Y)· B'
(2) 若X,Y相互独立,则COV(X,Y)=O;反之 不成立.
若COV(X,Y)=O,我们称X与Y不相关.故有: 两随机向量若相互独立,则必不相关; 两随机向量若不相关,则未必相互独立. (3) 随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=
1 其中A O O . p
9
第二章 多元正态分布及参数的估计
§2.1 随机向量—
若Σ≥0(非负定),必有p×q矩阵A1使得
Σ=A1A1′
1 O 其中A1 1 (q p). O q 这里记Γ=(Γ1 | Γ2) , Γ1为p×q列正交阵(p ≥ q).