第二章 多元正态分布及参数的估计

第二章多元正态分布及参数的估计

在多元统计分析中,多元正态分布占有相当重要的地位.这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布;当样本量很大时,许多统计量的极限分布往往和正态分布有关;此外,对多元正态分布,理论与实践都比较成熟,已有一整套行之有效的统计推断方法.基于这些理由,我们在介绍多元统计分析的种种具体方法之前，首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题.

目录

§2.1 随机向量

§2.2 多元正态分布的定义与基本性质

§2.3 条件分布和独立性

§2.4 多元正态分布的参数估计

§2.1 随机向量

本课程所讨论的是多变量总体.把p个随机变量放在一起得X=(X1,X2,…,Xp)′为一个p维随机向量,如果同时对p维总体进行一次观测,得一个样品为p维数据.常把n个样品排成一个n×p矩阵,称为样本资料阵.

?

?

?

?

?

??'''=

?????? ??=)()2()1(21

2222111211n np n n p p X X X x x x x x x x x x X

def

=(X 1,X 2,…,X p ) 其中 X(i)( i =1,…,n)是来自p 维总体的一个样品.

在多元统计分析中涉及到的都是随机向量,或是多个随机向量放

在一起组成的随机矩阵.

本节有关随机向量的一些概念(联合分布,边缘分布,条件分布,独立性;X 的均值向量,X 的协差阵和相关阵,X 与Y 的协差阵)要求大家自已复习.

三﹑ 均值向量和协方差阵的性质 (1) 设X ,Y 为随机向量,A ,B 为常数阵,则

E(AX )=A·E(X )，

E(AXB )=A·E(X )·B

D(AX)=A·D(X)·A' COV(AX,BY)=A·COV(X,Y)·B'

(2) 若X,Y 相互独立,则COV(X,Y)=O;反之不成立. 若COV(X,Y)=O,我们称X 与Y 不相关.故有: 两随机向量若相互独立,则必不相关;

两随机向量若不相关,则未必相互独立.

(3) 随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=∑是对称非负定阵.即 ∑=∑′ , α′ ∑α≥0 (α为任给的p 维常量).

(4) Σ=L 2 ,其中L 为非负定阵.

由于Σ≥0(非负定),利用线性代数中实对称阵的对角化定理，存在正交阵Γ,使

L p

p

?

=Γ????

? ?

?Γ?Γ?????

??

Γ=∑'0

'0

1

1

λλλλ

0,1

≥'=Γ'???

?

?

?

?

Γ=L L L O

O

L p

故，其中λλ

当矩阵Σ>0(正定)时，矩阵L 也称为Σ的平方根矩阵，记为2

1

∑ .

当矩阵Σ>0(正定)时,必有p ×p 非退化矩阵A 使得 Σ=AA ′

1??

?O

λ

若Σ≥0(非负定),必有p ×q 矩阵1A 使得

Σ=11A A ′

这里记Γ=(Γ1 | Γ2) , Γ1为p ×q 列正交阵(p ≥ q ).并设：

,,0),,,1(01===>+p q i q i λλ

λ

§2.2 多元正态分布的定义

在一元统计中，若U ～N(0,1),则U 的任意线性变换X=σU +μ～N(μ,2σ)。利用这一性质，可以从标准正态分布来定义一般正态分布：若U ～N(0,1),则称X =σU +μ的分布为一般正态分布,记为X ～N(μ, 2σ)。

此定义中，不必要求σ＞0,当σ退化为0时仍有意义。把这种新的定义方式推广到多元情况，可得出多元正态分布的第一种定义。

定义2.2.1 设U =(1U ,…,Uq )′为随机向量, 1U ,…,Uq 相互独立

且同N(0，1)分布；设μ为p 维常数向量，A 为p ×q 常数矩阵，则称

X=AU + μ的分布为p 维正态分布，或称X 为p 维正态随机向量,记

为X ～ N p (μ, AA ′)。

简单地说，称q 个相互独立的标准正态随机变量的一些线性组合构成的随机向量的分布为多元正态分布。

§2.2 多元正态分布的性质1

在一元统计中，若),,(~2σu N X 则X 的特征函数为

.21

ex p )()(22??

?

???

-==σ?t itu e E t itX

u u it x u 2

)(/)(2e

e 21-∞

∞

-+-=?

=

μσσμπ

it it u it u it ?∞

∞

--+--

=])()(2[2

1

222e

2

1e

σσσμ

π

it it u it ?∞

∞

---

=22)(2

1

)(2

1

e

e

21e

σσμ

π

2

1exp[i e

21]2

1exp[i 2

2

)(2

1

2

22σ

μπ

σμσt t du

t t it u -=?

-

=?∞

∞

---

当 X ～N(0,1)时,φ(t )=exp ［-2t /2］.

性质1 设U= (1U ,…,Uq )′为随机向量, 1U , …,Uq 相互

独立且同 N(0,1)分布；令X =μ+AU,则X 的特征函数为 2

1

exp[)(t A A t t i t X

''-'=Φμ

这里t =(1t ,…,p t ), 故ΦX (t )为p 元函数.

性质1的证明：

根据随机向量特征函数的定义和性质，经计算即可得出X 的特征函数为ΦX (t )= E(ei t 'X )= E(ei t '(AU +μ) )

e (E )exp(AU

t i t i '?'=μ

令t ′A =s ′=(1s ,…q s )

e

(E )e (E )exp(11q

q U is U is t i ???'= μ

=-?

'=q j j s t i 1

2)

2

1

exp()exp(μ (2

1exp[)exp(2

21q

s s t i ++-?'= μ

21

exp()21exp(t

A A t t i s s t i ''-'='-'=μμ

§2.2 多元正态分布的第二种定义

记Σ=AA ′，则有以下定义。 定义2.2.2 若p 维随机向量X 的特征函数为:

(]2

''exp[)(≥∑∑-=Φt

t it t X μ

则称X 服从 p 维正态分布,记为X ～Np (μ,Σ) . 一元正态: (p =1) ()??

????-=??????-=2ex p 2ex p 222''σσ?t itu t t u it t

§2.2 多元正态分布的性质2

性质2 设X ～N p (μ,Σ), B 为s ×p 常数阵，d 为s ×1常

向量，令Z=BX+d ,则Z ～Ns(B μ+d , B ΣB ' ).

该性质指出正态随机向量的任意线性组合仍为正态分布. 证明： 因Σ ≥0, Σ可分解为Σ=AA ',其中A 为p ×q 矩阵.已知

( 因 U 1 , … , U q 相互独立 , 乘积的期望等于期望的乘积 )

X ～Np(μ,Σ),由定义2.2.1可知X = AU+μ (d 表示两边的随机向量服从相同的分布.)

其中U=(1U ,…,Uq )',且1U ,…,Uq 相互独立同 N(0，1)分布。

Z =BX +d = B (AU +μ)+d = (BA )U +(B μ+d )

由定义2.2.1可知

Z ～Ns(B μ+d , (BA )(BA )')，

即Z ～Ns(B μ+d , B ΣB '). (这里Σ=AA ').

推论 设X = r

r

p -????

????X X )2()1(～N p (μ

,Σ),将μ,Σ剖分为

p r r

p r -???

? ??∑∑

∑∑=∑-???

? ??=22

21

1211

)2()1(,μμμ

则 )1(X ～ r N ()1(u ,11∑),

)2(X ～ r p N -()

2(u

,22∑). 证明：取1B p

r ?=()0 r I ，r 维向量1d =0，由性质2可得：

~11)1(+=r

N d X B X 类似地

此推论指出，多元正态分布的边缘分布仍为正态分布。但反之，若随机向量的任何边缘分布均为正态分布，也不一定能导出该随机向

( ) 则

维向量

取

, 0 , 2 ( 2 = - = - ?

d r p I O B r p p

p-r)

量服从多元正态分布.

如例2.1.1,证明了1X ,2X 均为一元正态分布,但由(1X ,2X ) 联合密度函数的形式易见它不是二元正态. 例2.1.1 (1X ,2X )的联合密度函数为

e 1[e 21),()(2

121)

(21212

2212221x x x x x x x x f +-+-+=π

我们从后面将给出的正态随机向量的联合密度函数的形式可知, (1

X ,2

X )不是二元正态随机向量

.但通过计算边缘分布可得出: )1,0(~1N X ,)1,0(~2N X

这就说明若随机向量的任何边缘分布均为正态分布时，也不一定能导出该随机向量服从多元正态分布. 例如:设三维随机向量X=(1X ,2X ,3X )',且

30

02101

1,002(~321???

? ?????? ?????

? ??=N X X X X

（2）

则有 (1) X 1 ~ N(2,1),

,

001100010321132BX X X X X X X Y =???? ?????? ??=???

? ??=令 由性质2知,Y 为3维正态随机向量,且 ??? ??=???? ?????? ??==200002001100010x

y B μμ

??? ??=???? ?????? ??=???? ?????? ?????? ??='

∑=∑101030102010001100011300021010001100300021011001100010B B x y

(3) 设321

32X +X -X

=Z ,试求随机变量Z

的分布.

32132X +X -X =Z =(2,-1,3)X =CX

故有:

)129,0,112021

011

)3,1,2(2

?-=??? ?-??? ?-='

∑=C C x z σ

). 1 0 1 0 3 0 1 0 2 , 2 0 0 ( ~ 1

3

2 ?

? ?

? ? ? ? ? ? ? ? ? ? ? ?

? ?

? = N X X X Y 故

性质3 若X ～N p (μ,Σ),E(X )=μ,D(X )=Σ.

证明 : 因Σ≥0,Σ可分解为：Σ=AA ′，则由定义2.2.1可知 X = AU+μ (A 为p ×q 实矩阵)

其中U =(1U ,…,q U )′,且1U ,…, q U 相互独立同N(0，1)分布,故有E(U )=0, D(U )=Iq . 利用均值向量和协差阵的有关性质可得：

)()()(,

)()()(∑

='==+==+=+=A AI AU D AU D X D U AE AU E X E q μμμμ

此性质给出多元正态分布中参数μ和Σ的明确统计意义.μ是随

机向量X 的均值向量,Σ是随机向量X 的协差阵。

如简单例子中,由性质2知Z 服从正态分布,利用性质3,

29

)()(,

4)()(2

=='∑===∑====Z x z x z C C CX D Z D C CX E Z E σμμ

性质4 设X =(X1,…,Xp )′为p 维随机向量，则X 服从p 维正态分布 ? 对任一p 维实向量a ,ξ=a ′X 是一维正态随机变量.

证明：必要性的证明由性质2即得（只须取B=a ′,d =0即可）. 充分性的证明：① 首先说明随机向量X 的均值和协方差阵

存在:因对任给p 维实向量 t ∈R p , ξ= t ′X ～一元正态分布，可知ξ的各阶矩存在，如取t = i e =(0,…,1,…,0)′,

i

X =i e ′X,且E(i X ) (i =1,2,…,p ) 存在，E(2i X )

(i =1,2,…,p ) 也存在.

所以

Z ~ N(4,29).

再比如取 t =(0,…,1,0,…1,..,0)′,

ξ= t ′X= i X +j X ,且E(ξ )=E(i X +j X ) (i,j =1,2,…,p ) 存在. E(2ξ) =E[2)(j i X X +]= E(2i X )+ 2E(j i X X )+ E(2j X )也存在, 即E(j i X X ) (i,j =1,2,…,p )存在.

故E(i X ),Cov(i X ,j X )=E(j i X X )-E(j X ) E(i X )

(i,j =1,…,p )存在. 记E(X )=μ, D(X )=Σ. ② 计算ξ的特征函数:

对任意给定的t ∈p R ,因随机变量ξ=t ' X 服从 N(t 'μ,t ' Σ t ).，故知ξ的特征函数为 ?ξ(θ)=E(θζi e )

=exp[i θ(t 'μ) -2θ (t ' Σt )/2］ ③ 计算随机向量X 的特征函数: 在ξ的特征函数中，取θ=1，即得

)1(ξ?=E(ξ

i e )=E(i e t ' X)=ΦX(t) = exp ［it ' μ- t ' Σt / 2］

由定义2.2.2可知，X ～Np(μ,Σ).

定义2.2.3 若p 维随机向量X 的任意线性组合均服从一元正态分布，则称X 为p 维正态随机向量.

在概率论中大家都知道一元正态随机变量的密度函数是

()(2

22)(>

=

--

σσ

πσμx e

21

x f

这个式子可改写为:

?

????-'--=

-)

()()(21exp )

2()(1

22

122

1μσμσ

πx x f 1x

作为一元正态随机变量的推广，以下性质来导出多元正态随机向量的联合密度函数.

性质5 设X ～N p (μ,Σ),且Σ＞0 (正定),则X 的联合密度函数为

?????-∑'--∑=-)()()(21exp )2()(1

212μμπx x p 1

x f

?

????-∑'--∑

=

-)

()()(21exp 211

21μμπx x

证明 ① 因Σ＞0,rk(Σ)=p ,由线性代数的知识知存在非奇异

方阵A ,使得Σ=AA ′，且

X = AU +μ 其中U =(1U ,…,Up )′,且1U ,…,Up 相互独立同N(0，1)分布。

② U 的联合密度函数(p 元函数）为

?

????'-=

u

u u f p

U

21exp )2(1

)(2

π

③ 利用U 的联合密度函数及随机向量的变换求X=AU +μ的

密度函数。对任给Borel 可测集B ，求p 元函数fX (x )使得

{}()

X

B

U D

P X B

f x d x P U D f u ∈=

=∈=

??

??

其中

{}B x u x A u u D ∈-==-),(1

根据附录§8 (P397)公式(8.4),即有

????=→?-=

-==

∈--B

X B

U

D

U

dx x f dx x u J x A f x A u du

u f

B X P )()())(()]

([)(}{1

1

μμ

以下来求Jacobi 行列式J (u →x ).

④ 积分变 换 的Jacobi 行 列 式J (u →x )可利用线性变换

x=Au+μ及J (x →u )来计算： 因

2

1111)(∑

='='=????=?'

?=

→+

+

A A A u x u x u x u x J p

故

)(1)(1-∑=→=→u x J x u J

关于积分变换的Jacobi 行列式J (u →x )的有关内容请参阅

附录部分。

⑤ 写出X=AU+μ的密度函数：

??????-∑'--∑=∑??

????-'--=→???

???'-=

----)()(21exp )2(1)]([])([21exp )2(1)(21exp )2(1

)(1

212

211

122

μμπμμππx x x A x A x u J u u x f p p p

X

( 这里Σ=AA ′, ) 定义2.2.4 p 维随机向量X =(1X ,2X …Xp )′的联合密度函数为

?

????-∑'--∑

=-)

()(21exp )

2(1

)x (1

2

12

μμπx x f p

其中μ是p 维实向量,Σ是p 阶正定阵,则称X =(1X ,2X …Xp )′服从(非退化的)p 元正态分布.也称X 为p 维正态随机向量,简记为

X ～N p (μ,Σ). 以上给出了多元正态分布的4种定义。定义2.2.4用密度函数给出定义，它可看成一元正态密度的直接推广；但在这个定义里要求Σ是正定阵,它给出的是非退化的正态分布的定义。 另三种定义中把Σ阵推广到非负定的情形,这三种定义是等价的。 例2.2.1(二元正态分布)

??=X

X

X 设

,222

12121

222112

11

21

>???

? ??=???

??=∑???

??=σσρσσρσσσσσσμμμ (即1σ＞0,2σ＞0,|ρ|＜1)

(1)试写出X 的联合密度函数和边际密度函数； (2)试说明ρ的统计意义。 解:（1）因

1(2

221ρ

σσ-=∑

?????

?

??---=???? ??---=∑-2221212122121212

2222

211111111)1(1σσσρσσρσρσσρσσρσσρσσ ???? ??=∑22212121σσρσσρσσ 二元正态随机向量X 的联合密度函数为

?????-∑'--∑=-)()(21exp ||21),(12/121μμπx x x x f

112

2

2

1)1(21exp 121??

?

????? ?

?----=

σ

μ

ρρσπσx

?

?-??-22

11μμx x 另由性质2的推论，即得

,(),,(22222

1

11σμσμN X N X ~~

(2)因Cov(X1 ,X2)=σ12 =ρσ1σ2 ,而X1与X2的相关系数为

)Var()Var(),Cov(),(212

1212

121ρ

σσσ

ρσρ==

=

X X X X X X

故二元正态分布的参数ρ就是两个分量的相关系数.

显然 当ρ=0时，f (1x ,2x )=1f (1x )·2f (2x )，即1X 与2X 相互独立.当|ρ|=1时，|Σ|=0 (Σ退化,即Σ的列向量或行向量线性相关)，则存在非零向量t =(1t ,2t )' ,使得Σt =0, 从而t 'Σ t =0，故而随机变量ξ=t ' (X-μ)的方差为Var[t '

(X-μ)］= t 'Σ t =0,这表示 P{t ' (X-μ)=0}=1.

即1t (1X -1u )+2t (2X -2u )=0以概率1成立；反之，若1X 与2X 以概率1存在线性相关关系，则|ρ|=1.

当ρ＞0时,我们称1X 与2X 存在正相关; 当ρ＜0时,我们称1X 与2X 存在负相关. 例2.2.2 二元正态密度函数的图形及等高线的图形

为了对多维正态密度函数有更直观地了解，下面的例子给出几组参数下二维正态密度函数的几何图形.我们把具有等密度的点的轨迹称为等高线(面).

显然当 p =2 时 f(21,x x )=C (C>0) ??

22

22222211121112a u x u x u x u x =?

??

? ??-+???? ??-???? ??--???? ??-σσσρσ 它是一族中心在(1u ,2u )′的椭园.

一般的p 维正态密度等高面为 ()()u x u x -∑

--1

'

=2

a

)0(≥a

取1u =0,2u =0,以下绘制三组参数下二元正态密度函数及密度等高线

图形：（1）当 0,1,12221===ρσσ时 （2）当75.0,1,12221===ρσσ时 （3）当75.0,1,42221-===ρσσ时

0,1,12

221===ρσσ

75.0,1,12

221===ρσσ

75.0,1,42

221-===ρσσ

§2.3 条件分布和独立性--独立性

设X ～P N (μ,Σ) (p ≥2),将X,μ,Σ剖分为 r

r

p X

X X -?

???

?

?=)

2()1( ，r

r

p u u u -??

??

??=)2()

1(