第二章 多元正态分布及其抽样分布
合集下载
第二章 多元正态分布及其抽样分布
1 2
Σ Σ11 Σ22
f ( x1 , x2 , , x p ) ( 2 )
(2 )
p 2
p 2
1 Σ22
1 exp[ (x μ)Σ 1 (x μ)] 2
1 2
Σ11
1 2
Σ22
1 (x1 μ1 ) Σ 1 11 exp[ (x1 μ1 ) (x2 μ 2 ) ] 1 2 Σ22 (x2 μ 2 )
n
六、x ~ N p (μ, Σ) ，则(x - μ)Σ-1 (x - μ) ~ 2 ( p)分布。
y Σ (x μ) Var(y ) Var[ Σ (x μ)] Σ Var(x μ)Σ
1 2 1 2 1 2
1 2
Σ ΣΣ Ι
2 y是p维标准正态分布，故yy服从（ p)分布。
服从p维正态分布，且均值向量为
E ( x ) ( Ex1 , Ex 2 , , Ex p ) ( 1 , 2 , , p )
x的协方差矩阵为
Var (x) E(x )(x )
E AuuA
AE uu A
AIA
AA Σx
系数，定义为
ij.k 1,, p
ij.k 1,, p ii.k 1,, p jj .k 1,, p
它度量了在值 xk 1 ,, xp给定的条件下，xi 与 x j （ i, j k ）相关性的强弱。
例 设X~N6( ,)，其协方差矩阵为，计算偏相 关系数。
7.033 2.168 3.540 4.981 2.874 30.530
为 x 2 给定的条件下 x1 数学期望。
Σ Σ11 Σ22
f ( x1 , x2 , , x p ) ( 2 )
(2 )
p 2
p 2
1 Σ22
1 exp[ (x μ)Σ 1 (x μ)] 2
1 2
Σ11
1 2
Σ22
1 (x1 μ1 ) Σ 1 11 exp[ (x1 μ1 ) (x2 μ 2 ) ] 1 2 Σ22 (x2 μ 2 )
n
六、x ~ N p (μ, Σ) ，则(x - μ)Σ-1 (x - μ) ~ 2 ( p)分布。
y Σ (x μ) Var(y ) Var[ Σ (x μ)] Σ Var(x μ)Σ
1 2 1 2 1 2
1 2
Σ ΣΣ Ι
2 y是p维标准正态分布，故yy服从（ p)分布。
服从p维正态分布，且均值向量为
E ( x ) ( Ex1 , Ex 2 , , Ex p ) ( 1 , 2 , , p )
x的协方差矩阵为
Var (x) E(x )(x )
E AuuA
AE uu A
AIA
AA Σx
系数，定义为
ij.k 1,, p
ij.k 1,, p ii.k 1,, p jj .k 1,, p
它度量了在值 xk 1 ,, xp给定的条件下，xi 与 x j （ i, j k ）相关性的强弱。
例 设X~N6( ,)，其协方差矩阵为，计算偏相 关系数。
7.033 2.168 3.540 4.981 2.874 30.530
为 x 2 给定的条件下 x1 数学期望。
理论分布和抽样分布
所构成，其中事件A包含有m个基本事件，
则事件A的概率为m/n，即
P（A）=m/n
这样定义的概率称为古典概率。
13
2.1 概率的统计学意义
例如，在有两个孩子的家庭中，孩子性别
的组成有四种类型。即：男男、男女、女
男、女女。它们是四个基本事件，而且是
互不相容且等可能的，那么两个男孩的事
件A1为四个基本事件(n)中的一个(m) ， A1的概率
27
第二章 理论分布和抽样分布
将Y的一切可能y1值 y2 ， ，…，以及取得这些 值的概率p( y1) 、p( y2 ) …，排列起来， 就构成了 离散型随机变量的概率分布(probabiit distribution)。
表2-2 离散型随机变量的概率分布表。
Y
y1
y2
…
P(yi) p( y1 ) p( y2 )
本章在介绍概率论中最基本的两个概念——事件、概 率的基础上，重点介绍生物科学研究中常用的几种随 机变量的概率分布：间断性变数总体的理论分布：二 项分布、泊松分布；连续性变数总体的理论分布，即 正态分布； 从这两类理论分布中抽出的样本统计数的
分布，即抽样分布和t分布。
2
2.1 概率的统计学意义
一、事 件 1. 必然现象与随机现象 在自然界与生产实践和科学试验中，人们会观察到各种
这里的0.05或0.01称为小概率标准，生物 试验研究中通常使用这两个小概率标准。
21
2.3 理论分布
事件的概率表示了一次试验某一个结果发 生的可能性大小。若要全面了解试验，则 必须知道试验的全部可能结果及各种可能 结果发生的概率，即必须知道随机试验的 概率分布(probability distribution)。为 了深入研究随机试验 ，我们先引入随机变 量(random variable)的概念。
多元统计分析第二章 多元正态分布
第2章 多元正态分布多元正态分析是一元正态分布向多元的自然推广。
多元正态分布是多元分析的基础，多元分析的许多理论都是建立在多元正态总体基础上的。
虽然实际的数据不一定恰好是多元正态的，但是正态分布常常是真实的总体分布的一种有效的近似。
所以研究多元正态分布在理论上或实际上都有重大意义。
限于篇幅，本章仅简介多元正态简单理论，细节可参看王学民（2004），张尧庭（2002），余锦华（2005），Richard （2003），朱道元（1999）等。
现实世界的许多问题都可以纳入正态理论的范围内，正态分布可以作为许多统计量的近似的抽样分布。
2.1随机向量2.1.1随机向量定义2.1.1：称每个分量都是随机变量的向量为随机向量。
类似地，所有元素都是随机变量的矩阵称为随机矩阵。
设()1,,p X X X '= 是1p ⨯随机向量，其概率分布函数定义为：(){}111,,,,p p p F x x P X x X x =≤≤ ，1,,p x x 为任意实数多元分布函数()1,,p F x x 有如下性质： （1）()10,,1p F x x ≤≤ ；（2）()1,,p F x x 是每个变量,1,2,,i x i p = 的非降右连续函数； （3）(),,1F ∞∞= ；（4）()()()211,,,,,,,0p p F x x F x x F x -∞=-∞==-∞= 。
多元分布和一元分布一样也分为离散型和连续型。
连续型随机向量()1,,pX X X '= 的分布函数可以表示为 ： ()()1111,,,,px x p p p F x x f t t dt dt -∞-∞=⎰⎰，()1,,pp x x R ∈ (2.1)称()1,,p f x x 是()1,,p X X X '= 的多元联合概率密度，简称多元概率密度或多元密度。
多元概率密度()1,,p f x x 有以下性质： （1）()1,,p f x x 非负； （2）()11,,1p p f x x dx dx ∞∞-∞-∞=⎰⎰ ；（3）()()111,,,,p p p nF x x f x x x x ∂=∂∂2.1.2边缘分布、条件分布和独立性 边缘分布设()1,,p X X X '= 是p 维连续型随机向量，由其q 个分量组成的向量()1X （不妨设()()11,,q X X X '= ）的分布称为的边缘分布，其边缘概率密度为：()()()1111,,,,X q p q p f x x f x x dx dx ∞∞+-∞-∞=⎰⎰ (2.2)条件分布设()1,,p X X X '= 是p 维连续型随机向量，()()11,,q X X X '= ,()()()()2112,,,,,0q p X q p X X X f x x ++'=> ,在给定()2X 的条件下,()1X 的条件概率密度函数为：()()()()21111,,,,,,,,p q q p X q p f x x f x x x x f x x ++=(2.3)独立性设()1,,n X X 是连续型随机向量,则1,,n X X 相互独立当且仅当()()()111,,n n X X n f x x f x f x = 对任意1,,n x x 成立。
第二章多元正态分布
联合概率分布
均值向量量是向
协方差矩阵Σ
•多元正态分布在多元统计分析中的重要地位，就 如同一元统计分析中一元正态分布所占重要地位 一样，多元统计分析中的许多重要理论和方法都 是直接或间接建立在正态分布的基础上。
•原因是: (1)许多实际问题研究中的随机向量确 实遵从正态分布，或者近似遵从正态分布；
(2)对于多元正态分布，已经有一套统计推断方法， 并且得到了许多完整的结果。
若某个随机变量X 的密度函数是
1
1(x)2
f(x)22 ex2 p{ 2 },x (, )
则称X服从一元正态分布，也称X是一元正态随 机变量（其中有两个参数）。
记为 X ～ N(。,2)
可以证明：其期望（也叫均值）正好是参数μ，
方差正好是 ， 它2 是一非负数 。
有时候，仅仅用一个随机变量来描述随机现象就 不够了，需要用多个随机变量来共同描述的随机 现象和问题，而且这些随机变量间又有联系，所 以必须要将它们看做一个整体来研究（即不能一 个一个地单独研究多个一元随机变量），这就出 现了多元随机向量的问题和概念．
二元联合分布函数的几何意义演示图:
F（x,y）=
Y
P(X≤x,Y≤y) ，
y
(x,y)
{ X≤x , Y≤yy } x
X
F(x,y)值为随 机点落入黄色 矩形区域内的 概率
对于p元的随机向量来说，就对应地需要 用联合分布函数来刻画其概率分布。
联合分布函数的定义：
设 X(X 1,X 2,..X .p,) 是一随机向量， 它的联合分布函数定义为
其中，x和μ都是p维向量，Σ是p阶正定阵，则称
随机向量X(X 1,X 2,..X .p,) 服从p元正态分布，
高级统计学1.多元正态分布
cov( X , Y ) (cov( X i , Y j )), i 1,, n ; j 1,, p
若 cov( X , Y ) 0，称X和Y是不相关的。
(1.10)
当A、B为常数矩阵时，由定义可推出协差阵有如下性质：
(1) D( AX ) AD( X ) A' AA' (2) cov( AX , BY ) A cov( X , Y ) B '
8
目录 上页 下页 返回 结束
§1.1.2
分布函数与密度函数
描述随机变量的最基本工具是分布函数，类似地描述 随机向量的最基本工具还是分布函数。 定义1.2 设 X ( X 1 , X 2 ,, X p )' 是一随机向量，它 的多元分布函数是
F ( X ) F ( x1 , x2 ,, x p ) P( X 1 x1 ,, X p x p )
欧氏距离还有一个缺点，这就是当各个分量为 不同性质的量时，“距离”的大小竟然与指标的单 位有关。
20
目录 上页 下页 返回 结束
§1.2 统计距离和马氏距离
例如，横轴x1代表重量（以kg为单位），纵轴x2 代 表长度（以cm为单位）。有四个点A、B、C、D见 图1.1，它们的坐标如图1.1所示
这时
结果CD反而比AB长！这显然是不够合理的。
22
目录 上页 下页 返回 结束
§1.2 统计距离和马氏距离
因此，有必要建立一种距离，这种距离要能 够体现各个变量在变差大小上的不同，以及有时 存在着的相关性，还要求距离与各变量所用的单 位无关。看来我们选择的距离要依赖于样本方差 和协方差。
因此，采用“统计距离” 这个术语，以区别 通常习惯用的欧氏距离。最常用的一种统计距离 是印度统计学家马哈拉诺比斯（Mahalanobis）于 1936年引入的距离，称为“马氏距离”。
多元正态分布的检验精品PPT课件
139..2376
199.26 88.38
S d
88.38
418.61
T 2 11 9.36
13.27
0.0055 0.0012
00.0.0002162 139..2376 13.6
取 0.05，求得
n2 i 1
yi
s12
1 n1 1
n1 i 1
( xi
x)2,
s22
1 n2 1
n2 i 1
( yi
y)2
sw2
1 n1 n2 2
(n1 1)s12 (n2 1)s22
或检验统计量：
F
t2
1 n1
1 n2
1
xy sw
2
x
y
1 n1
1 n2
s2w
1
x
y
当F Fα(1,n1 n2 2)时，拒绝H 0
i
2
n
i
i
2
n
i 的T 2 联合置信区间为：
1
1
Xi
T
S2 ii n
i
Xi
T
S2 ii n
i 的Bonferroni 联合置信区间为：
1
1
Xi
t (n 1)
2p
S2 ii n
i
Xi
t (n 1)
2p
S2 ii n
§2.2 两个正态总体均值 的成组比较
一元情形的回顾
设 x1, x2 ,, xn1和 y1, y2 ,, yn2 分别取自于
F
(
p,
n1
n2
p
1).
均值差的T2置信区间
两个p维总体均值差 11 12，21 22，， p1 p2 的10（0 1）% T 2 联合置信区间为：
第二章 多元正态分布 《应用多元统计分析》 ppt课件
写字母表示； 随机变量用大写字母表示，其实现值用小写字母表示。
1
一、随机向量
在理论上，对多维随机向量的研究和对一维随机 变量的研究思路是类似的，通过分布及其特征进 行刻画。不同的是，可能要考虑变量之间的相关 关系。
在统计应用上，对多维随机向量的研究和对一维 随机变量的研究思路也是一样的，要通过样本资 料来推断总体。
19
二、多元正态分布的数字特征
若 X ~ Np μ, Σ ，则 E(X) μ，D(X) Σ ，即 μ 恰好是
多维随机向量 X的均值向量， Σ 恰好是多维随机 向量 X 的协差阵。其中，
1
μ
2
，
p
11 12
Σ
21
22
p1 p2
1p
2
p
pp
20
三、多元正态分布的参数估计
若 X 的联合分布密度为 f (x1, x2 , , xp )，则 X(1) 的边缘 密度函数为：
f (x1, x2 , , xq )
f (x1, x2 ,
, xq , xq1,
, xp )dtq1
dt，p (2.3)
多维随机向量的独立性。若 p个随机变量
X1, X 2 ,, X p的联合分布密度等于各自边缘分布的 乘积，则称 X1, X 2 ,, X p是互相独立的。
1
x)(x( )
x)
n
(x1 x1)2
1
1 n
n
(x1 x1)(x 2 x2 )
1
n
(x 2 x2 )2
1
n
x 2
1
n
x
p
1
n
( x 1
x1)(x p
xp
1
一、随机向量
在理论上，对多维随机向量的研究和对一维随机 变量的研究思路是类似的，通过分布及其特征进 行刻画。不同的是，可能要考虑变量之间的相关 关系。
在统计应用上，对多维随机向量的研究和对一维 随机变量的研究思路也是一样的，要通过样本资 料来推断总体。
19
二、多元正态分布的数字特征
若 X ~ Np μ, Σ ，则 E(X) μ，D(X) Σ ，即 μ 恰好是
多维随机向量 X的均值向量， Σ 恰好是多维随机 向量 X 的协差阵。其中，
1
μ
2
，
p
11 12
Σ
21
22
p1 p2
1p
2
p
pp
20
三、多元正态分布的参数估计
若 X 的联合分布密度为 f (x1, x2 , , xp )，则 X(1) 的边缘 密度函数为：
f (x1, x2 , , xq )
f (x1, x2 ,
, xq , xq1,
, xp )dtq1
dt，p (2.3)
多维随机向量的独立性。若 p个随机变量
X1, X 2 ,, X p的联合分布密度等于各自边缘分布的 乘积，则称 X1, X 2 ,, X p是互相独立的。
1
x)(x( )
x)
n
(x1 x1)2
1
1 n
n
(x1 x1)(x 2 x2 )
1
n
(x 2 x2 )2
1
n
x 2
1
n
x
p
1
n
( x 1
x1)(x p
xp
多元正态分布
欧氏距离还有一个缺点，这就是当各个分量 为不同性质的量时，“距离”的大小竟然与指 标的单位有关。
2020/4/8
目录 上页 下页 返回 结束
20
§1.2 统计距离和马氏距离
例如，横轴 代表重量（以kg为单位），纵轴 代表长度（以cm为单位）。有四个点A、B、C、D见 图1.1，它们的坐标如图1.1所示
§1.1.4 随机向量的数字特征
2、随机向量 自协方差阵
称它为 维随机向量 的协方差阵，简称为 的协
方差阵。称
为 的广义方差，它是协差阵的行
列式之值。
2020/4/8
13
目录 上页 下页 返回 结束
§1.1.4 随机向量的数字特征
3、随机向量X 和Y 的协差阵
设
分别为 维和
维随机向量，它们之间的协方差阵定义为一个 矩
证明参见文献[4]，p.33。
2、多元正态分布随机向量X的任何一个分量子集的分布（称为X的
边缘分布）仍然遵从正态分布。而反之，若一个随机向量的任何边缘分
布均为正态，并不能导出它是多元正态分布。
例如，设
有分布密度
容易验证， 正态分布。
2020/4/8
，但
显然不是
34
目录 上页 下页 返回 结束
§ 1.3.2 多元正态分布的性质
于1936年引入的距离，称为“马氏距离”。
2020/4/8
目录 上页 下页 返回 结束
23
§1.2 统计距离和马氏距离
下面先用一个一维的例子说明欧氏距离与马氏距离在概 率上的差异。
设有两个一维正态总体
G1
:
(1
,
2 1
)和G2
:
(2
,
2020/4/8
目录 上页 下页 返回 结束
20
§1.2 统计距离和马氏距离
例如，横轴 代表重量（以kg为单位），纵轴 代表长度（以cm为单位）。有四个点A、B、C、D见 图1.1，它们的坐标如图1.1所示
§1.1.4 随机向量的数字特征
2、随机向量 自协方差阵
称它为 维随机向量 的协方差阵，简称为 的协
方差阵。称
为 的广义方差，它是协差阵的行
列式之值。
2020/4/8
13
目录 上页 下页 返回 结束
§1.1.4 随机向量的数字特征
3、随机向量X 和Y 的协差阵
设
分别为 维和
维随机向量，它们之间的协方差阵定义为一个 矩
证明参见文献[4]，p.33。
2、多元正态分布随机向量X的任何一个分量子集的分布（称为X的
边缘分布）仍然遵从正态分布。而反之，若一个随机向量的任何边缘分
布均为正态，并不能导出它是多元正态分布。
例如，设
有分布密度
容易验证， 正态分布。
2020/4/8
，但
显然不是
34
目录 上页 下页 返回 结束
§ 1.3.2 多元正态分布的性质
于1936年引入的距离，称为“马氏距离”。
2020/4/8
目录 上页 下页 返回 结束
23
§1.2 统计距离和马氏距离
下面先用一个一维的例子说明欧氏距离与马氏距离在概 率上的差异。
设有两个一维正态总体
G1
:
(1
,
2 1
)和G2
:
(2
,
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 2
k pk
x
x1 x2
p
k
k
子x1,x2向量相互独立，当且仅当 120。 证：必要性
x1和x2相互独立 又 Σ 1 E 2 [ ( 1 μ x 1 ) x 2 ( μ 2 ) ]
Σ 1 E 21 μ 1 ) ( x 2 E x μ 2 ) ](
Σ120
充分性 Σ120
f (x1, x2 , , xp )
n
i1
1
2
exp(12xi2)
(2
)p2exp(1 p 2i1
xi2)
ui i 1,2, , p
其中的
u (u1, u2 , , u p )
均值为 E(u) (Eu1,Eu2, ,Eup ) 0
协方差矩阵为u12Var来自(u)E(uu)
退化的三元正态分布。
1 1
1 0
1 0 1
Σ AA 0 1
1 1
1 0
0 1
1 1
0 1
1 1
1 2
1 0 1
Σ 0
1
1
1 1
10
21
1 211 0
1
1 1 2
第二节 多元正态分布的性质 一、多元正态分布的特征函数
(t) exp(it 1 tt)
2
二、x是一个服从p维正态分布，当且仅当它的任何 线性函数 ax 服从一元正态分布N p (μ, Σ)。
x2 p k
μ2 p k
Σ Σ11 Σ12 k Σ21 Σ22 p k
五、设 x1, x2 , , xn , xi ~ N p (i , i ) i， 1,2, , n 相互独立， 且，则对任意 n 个常数 k1, , kn ，有
n
kixi
~
N
p
(
n
i
,
n
ki2
i
).
i 1
i1 i1
E
u
2u1
u pu1
u1u2
u
2 2
upu2
u1u p
u
2u
p
u
2 p
1
1
I 1
二、一般的正态分布
设随机向量 x (x1, x2 , , x p ) ,若其的密度函数为
f(x1,x2,L,xp)
(2 ) p 2 Σ 1 2 exp[ 1 (x - μ)Σ-1(x - μ)]
E (x) (Ex1, Ex2 , , Ex p ) (1, 2 , , p )
x的协方差矩阵为
V a r ( x ) E ( x ) ( x )
EAuuA AEuuA
AIA AA Σx
其密度函数为
J(u x) A 1 AA 1 2
f (x1, x2 , , xp )
Σ1 Σ0111
0 Σ212
ΣΣ11Σ22
Σ1 Σ111
Σ212
f
(x1, x2 ,
, xp )
(2 ) p
2
1 2
exp[ 1 (x 2
μ)Σ 1 (x
μ)]
(2) p2Σ 1 1 12Σ 2 2 12
e x p [ 1 2 (x 1 μ 1 ) (x 2 μ 2 ) Σ 1 1 1 Σ 2 2 1 ( ( x x 2 1 μ μ 1 2 ) ) ]
若 rank (A) p( p q)，则Σ－1存在，x Au 是非退化 p 元正态分布；
若 rank (A) p( p q)，则Σ1不存在，x Au 是退化 p元正态分布，不存在密度函数。
1 0
例：设随机向量 u ~ N 2 (0, I ) ，x Au ，A 0 1 ，则 x 的分布是
六、x~Np(μ,Σ)，则(x -μ )Σ -1 (x -μ )~2 (p ) 分布。
1
yΣ2(xμ)
1
Va (y)rVa [Σr2(xμ])
1
1
Σ2Va(rxμ)Σ2
1 1
Σ2ΣΣ2 Ι
y是 p维标准正态 yy服 分从 （ 布 2 p)分 ，布 故。
七、将 x,,作如下的分块：
1211
12 k 22kp
(xp p)2
称 x (x1, x2 , , x p ) 服从均值为E(X)，协方差为的正态分布。
三、一般的p维正态和p维标准正态的关系 设 x Au ，其中 A 是一个 p 阶非退化
矩阵，u (u1,u2 , ,u p ) 服从 p 维标准正态分布，则
x Au
服从p维正态分布，且均值向量为
( 2 ) p 2 e x p [ 1 ( x μ ) A 1 A 1 ( x μ ) ] |J | 2
(2 ) p 2 Σ 1 2 exp[ 1 (x μ)Σ1(x μ)]
2
值得注意
设随机向量 u ~ Nq (0, I ) ，μ是常数向量，A 是一
个 p*q的常数矩阵，则 x Au 服从正态分布，记 为 x ~ Np ( , ) ，其中 AA( p * p)
(2) p2Σ 1 1 12Σ 2 2 12
e x p [ 1 2 (x 1 μ 1 )Σ 1 1 1 (x 2 μ 2 )Σ 2 2 1 ( (x x 2 1 μ μ 1 2 ) ) ]
(2) p2Σ 1 1 12Σ 2 2 12
e x p [ 1 2 ( x 1 μ 1 ) Σ 1 1 1 ( x 1 μ 1 ) ( x 2 μ 2 ) Σ 2 2 1 ( x 2 μ 2 ) ]
第二章 多元正态分布及其抽样分布
第一节 第二节 第三节 第四节
内容
多元正态分布的定义 多元正态的性质 多元正态参数的极大似然估计 多元正态的样本分布
第一节 多元正态分布的定义
一、标准多元正态分布
设随机向量 u (u1,u2 , ,u p ) 其分量独立同分布于 N (0,1)
则 u (u1,u2 , ,u p ) 密度函数为
三、 X服从 p 维正态分布，则 y Cx b ，其中C为 r p 常数矩阵，b为 r 维的常数向量，则
y ~ N r (C b,CC)
四、设 x ~ N p (,) ，则 x 的任何子向量也服从多元正态 分布，其均值为 的相应子向量，协方差为 的相应子矩 阵。
x x1 k μ μ1 k
2
xi
其中 x (x1, x2 , , x p ) 的均值为E (x) (1, 2 , , p )
协方差为
(x1 1)2
(x1 1)(x2 2 )
E (x2 2 )(x1 2 )
(x2 2 )2
(xp
)(x1
1 )
(xp p )(x2 2 )
(x1 1)(xp p ) (x2 2 )(xp p )