多元正态分布及其抽样分布
多元正态分布的性质
多元正态分布的性质正态分布是统计分析中最重要的概率分布之一，它能够帮助我们更好地理解数据的特性，也可以帮助我们做出更好的决策。
多元正态分布可以用来描述一组随机变量之间的关系，在许多计量方法和定量分析中，它被广泛应用。
本文尝试回答以下三个问题：一是什么是多元正态分布？二是多元正态分布的性质是什么？三是多元正态分布如何使用？首先，什么是多元正态分布？多元正态分布是指一个有两个或多个变量的正态分布，可以用来描述一组随机变量之间的关系，可以用来解释一个变量的分布特征。
与单变量正态分布不同的是，多元正态分布的特征取决于对角矩阵中的参数，即协方差矩阵或协方差矩阵。
与单变量正态分布不同，多元正态分布是以向量形式定义的，但可以使用同样的统计分析理论来描述多变量正态分布的性质，例如期望和方差。
其次，多元正态分布的性质是什么？多元正态分布存在着许多性质，根据多元数学理论可以列举出以下性质：1.元正态分布的期望向量表示为 m = (m_1,m_2,...,m_n)，这里的m_i表示每个随机变量的期望值；2.元正态分布的协方差矩阵S表示为：S=［s_ij］，sij表示第i 个和第j个随机变量之间的协方差；3.元正态分布的方差向量表示为：var=(var_1,var_2,...,var_n),其中var_i表示第i个随机变量的方差；4.元正态分布的对称性，即对于n个随机变量X_1,X_2,...,X_n 及其期望向量m和协方差矩阵S，当存在变换矩阵A，使得AX=y有解，则有：E(X) = mvar(X) = S5.元正态分布的共轭性，即如果X_1,X_2,...,X_n是一组多元正态分布随机变量，则任意一组X_1X_2...,X_n也是多元正态分布随机变量，且具有相同的期望向量m和协方差矩阵S。
最后，多元正态分布怎么使用？多元正态分布的使用是建立在统计分析的基础之上的。
在使用多元正态分布时，可以根据观测数据来估计期望向量m和协方差矩阵S。
三章多元正态分布
21
2.有关系数旳极大似然估计
❖ 有关系数ρij旳极大似然估计为
n
rij
ˆij
ˆii ˆ jj
sij
sii s jj
(xki xi )(xkj x j )
k 1
n
n
(xki xi )2
(xkj x j )2
k 1
k 1
其中 Σˆ ˆij , S sij , x x1, x2, , xp 。称rij为样 本有关系数、Rˆ rij 为样本有关矩阵。
2
例（二元正态分布 ）
❖ 设x~N2(μ, Σ)，这里
x
x1 x2
,
μ
1 2
,
Σ
12 1 2
1 2
2 2
易见，ρ是x1和 x2旳有关系数。当|ρ|<1时，可得x旳 概率密度函数为
f
x1,
x2
1
21 2
1
2
exp 2
1
1 2
x1 1 1
2
2
x1 1 1
1
16 4 2
μ
0 2
,
Σ
4 2
4 1
41
试求给定x1+2x3时
x2
x1
x3
旳条件分布。
15
❖解
令
y1
x2
x1
x3
,
y2
x1
2x2，于是
y1 y2
=
x2 x3 x1
x1 2x2
=
0 1 1
1 0 0
1 x1
0 2
x2 x3
0 1 1 1 2
Σ12 k
Σ
22
p
第二章 多元正态分布及其抽样分布
Σ Σ11 Σ22
f ( x1 , x2 , , x p ) ( 2 )
(2 )
p 2
p 2
1 Σ22
1 exp[ (x μ)Σ 1 (x μ)] 2
1 2
Σ11
1 2
Σ22
1 (x1 μ1 ) Σ 1 11 exp[ (x1 μ1 ) (x2 μ 2 ) ] 1 2 Σ22 (x2 μ 2 )
n
六、x ~ N p (μ, Σ) ，则(x - μ)Σ-1 (x - μ) ~ 2 ( p)分布。
y Σ (x μ) Var(y ) Var[ Σ (x μ)] Σ Var(x μ)Σ
1 2 1 2 1 2
1 2
Σ ΣΣ Ι
2 y是p维标准正态分布，故yy服从（ p)分布。
服从p维正态分布，且均值向量为
E ( x ) ( Ex1 , Ex 2 , , Ex p ) ( 1 , 2 , , p )
x的协方差矩阵为
Var (x) E(x )(x )
E AuuA
AE uu A
AIA
AA Σx
系数，定义为
ij.k 1,, p
ij.k 1,, p ii.k 1,, p jj .k 1,, p
它度量了在值 xk 1 ,, xp给定的条件下，xi 与 x j （ i, j k ）相关性的强弱。
例 设X~N6( ,)，其协方差矩阵为，计算偏相 关系数。
7.033 2.168 3.540 4.981 2.874 30.530
为 x 2 给定的条件下 x1 数学期望。
第三讲多元正态分布
二元正态分布的密度曲面图
2 2 下图是当 1 2 , 0.75 时二元正态分布的钟形密
度曲面图。
多元正态分布性质
（1）、若 X ( X1, X 2 , X p )T ~ N p (, )， 是对角阵， 则 X1, X 2 , X p 相互独立。 （2）、若 X ~ N p (, ) ， A 为 s p 阶常数阵，则
•有些现象服从多元正态分布
•许多多元统计分布的抽样分布是近似正态分布
23
多元正态分布
它是一元正态分布的推广
X ~ N p ,
设随机向量 X ( x1 , x2 ,, x p )' 服从P维正态分布，则有，
f ( X ) 2
p 2
1 2
1 1 exp x x 2
12
随机向量的数字特性
随机向量的均值
E ( X 1 ) 1 E( X 2 ) 2 E( X ) E( X ) p p
性质
E ( AX ) AE( X ) E ( AXB) AE( X ) B E ( AX BY ) AE( X ) BE(Y )
15
性质
1)若(x1,x2,…，xp)’ 和(y1,y2,…，yq)’不相关。则
cov(x1 , y1 ) cov(x1 , y2 ) cov(x1 , yq ) cov(x2 , y1 ) cov(x2 , y2 ) cov(x2 , yq ) 0 cov(x , y ) cov(x , y ) cov(x , y ) p 1 p 2 p q
(1) q
第二章多元正态分布
联合概率分布
均值向量量是向
协方差矩阵Σ
•多元正态分布在多元统计分析中的重要地位，就 如同一元统计分析中一元正态分布所占重要地位 一样，多元统计分析中的许多重要理论和方法都 是直接或间接建立在正态分布的基础上。
•原因是: (1)许多实际问题研究中的随机向量确 实遵从正态分布，或者近似遵从正态分布；
(2)对于多元正态分布，已经有一套统计推断方法， 并且得到了许多完整的结果。
若某个随机变量X 的密度函数是
1
1(x)2
f(x)22 ex2 p{ 2 },x (, )
则称X服从一元正态分布，也称X是一元正态随 机变量（其中有两个参数）。
记为 X ～ N(。,2)
可以证明：其期望（也叫均值）正好是参数μ，
方差正好是 ， 它2 是一非负数 。
有时候，仅仅用一个随机变量来描述随机现象就 不够了，需要用多个随机变量来共同描述的随机 现象和问题，而且这些随机变量间又有联系，所 以必须要将它们看做一个整体来研究（即不能一 个一个地单独研究多个一元随机变量），这就出 现了多元随机向量的问题和概念．
二元联合分布函数的几何意义演示图:
F（x,y）=
Y
P(X≤x,Y≤y) ，
y
(x,y)
{ X≤x , Y≤yy } x
X
F(x,y)值为随 机点落入黄色 矩形区域内的 概率
对于p元的随机向量来说，就对应地需要 用联合分布函数来刻画其概率分布。
联合分布函数的定义：
设 X(X 1,X 2,..X .p,) 是一随机向量， 它的联合分布函数定义为
其中，x和μ都是p维向量，Σ是p阶正定阵，则称
随机向量X(X 1,X 2,..X .p,) 服从p元正态分布，
正态总体的常用抽样分布
特点
卡方分布在正态分布两侧有更多的面 积，即其尾部比正态分布更重。随着 自由度n的增加，卡方分布趋近于正 态分布。
04
抽样分布的应用
参数估计
1 2
参数估计
通过抽样分布，我们可以估计总体参数，如均值 和方差。常用的估计方法有矩估计和最大似然估 计。
置信区间
基于抽样分布，我们可以构建总体参数的置信区 间，从而对总体参数进行区间估计。
03
样本方差的数学期望等于总体方差，其方差随 着样本量的增加而减小。
样本偏度与峰度
样本偏度是总体偏度的无偏估计，用于衡量数据的对称性。 样本峰度是总体峰度的无偏估计，用于衡量数据分布的尖锐程度。 在正态分布中，偏度和峰度均为0，但在非正态分布中，偏度和峰度可能不为0。
03
其他常用抽样分布
t分布
中心极限定理
中心极限定理的基本思想
中心极限定理表明，无论总体分布是什么类型，只要样本量足够大，从该总体中随机抽取的样本均值将趋近于正 态分布。这意味着我们可以利用正态分布的性质来分析和推断样本均值。
中心极限定理的应用
中心极限定理在统计学中具有广泛的应用价值。例如，在制定置信区间、假设检验和回归分析等统计方法时，都 需要利用中心极限定理来处理样本数据和推断总体参数。因此，正确理解和应用中心极限定理对于统计推断的准 确性和可靠性至关重要。
THANKS
样本量大小的影响
样本量大小
样本量的大小对抽样分布的形状和稳 定性有显著影响。随着样本量增加， 抽样分布的形状逐渐接近正态分布， 且分布的离散程度逐渐减小。
样本量与精度
样本量越大，估计的精度越高，即估 计的参数值越接近真实值。因此，在 制定抽样计划时，应充分考虑样本量 的大小，以确保估计的精度满足要求。
多元统计分析第二章 多元正态分布
第2章 多元正态分布多元正态分析是一元正态分布向多元的自然推广。
多元正态分布是多元分析的基础，多元分析的许多理论都是建立在多元正态总体基础上的。
虽然实际的数据不一定恰好是多元正态的，但是正态分布常常是真实的总体分布的一种有效的近似。
所以研究多元正态分布在理论上或实际上都有重大意义。
限于篇幅，本章仅简介多元正态简单理论，细节可参看王学民（2004），张尧庭（2002），余锦华（2005），Richard （2003），朱道元（1999）等。
现实世界的许多问题都可以纳入正态理论的范围内，正态分布可以作为许多统计量的近似的抽样分布。
2.1随机向量2.1.1随机向量定义2.1.1：称每个分量都是随机变量的向量为随机向量。
类似地，所有元素都是随机变量的矩阵称为随机矩阵。
设()1,,p X X X '= 是1p ⨯随机向量，其概率分布函数定义为：(){}111,,,,p p p F x x P X x X x =≤≤ ，1,,p x x 为任意实数多元分布函数()1,,p F x x 有如下性质： （1）()10,,1p F x x ≤≤ ；（2）()1,,p F x x 是每个变量,1,2,,i x i p = 的非降右连续函数； （3）(),,1F ∞∞= ；（4）()()()211,,,,,,,0p p F x x F x x F x -∞=-∞==-∞= 。
多元分布和一元分布一样也分为离散型和连续型。
连续型随机向量()1,,pX X X '= 的分布函数可以表示为 ： ()()1111,,,,px x p p p F x x f t t dt dt -∞-∞=⎰⎰，()1,,pp x x R ∈ (2.1)称()1,,p f x x 是()1,,p X X X '= 的多元联合概率密度，简称多元概率密度或多元密度。
多元概率密度()1,,p f x x 有以下性质： （1）()1,,p f x x 非负； （2）()11,,1p p f x x dx dx ∞∞-∞-∞=⎰⎰ ；（3）()()111,,,,p p p nF x x f x x x x ∂=∂∂2.1.2边缘分布、条件分布和独立性 边缘分布设()1,,p X X X '= 是p 维连续型随机向量，由其q 个分量组成的向量()1X （不妨设()()11,,q X X X '= ）的分布称为的边缘分布，其边缘概率密度为：()()()1111,,,,X q p q p f x x f x x dx dx ∞∞+-∞-∞=⎰⎰ (2.2)条件分布设()1,,p X X X '= 是p 维连续型随机向量，()()11,,q X X X '= ,()()()()2112,,,,,0q p X q p X X X f x x ++'=> ,在给定()2X 的条件下,()1X 的条件概率密度函数为：()()()()21111,,,,,,,,p q q p X q p f x x f x x x x f x x ++=(2.3)独立性设()1,,n X X 是连续型随机向量,则1,,n X X 相互独立当且仅当()()()111,,n n X X n f x x f x f x = 对任意1,,n x x 成立。
第二章 多元正态分布 《应用多元统计分析》 ppt课件
1
一、随机向量
在理论上，对多维随机向量的研究和对一维随机 变量的研究思路是类似的，通过分布及其特征进 行刻画。不同的是，可能要考虑变量之间的相关 关系。
在统计应用上，对多维随机向量的研究和对一维 随机变量的研究思路也是一样的，要通过样本资 料来推断总体。
19
二、多元正态分布的数字特征
若 X ~ Np μ, Σ ，则 E(X) μ，D(X) Σ ，即 μ 恰好是
多维随机向量 X的均值向量， Σ 恰好是多维随机 向量 X 的协差阵。其中，
1
μ
2
，
p
11 12
Σ
21
22
p1 p2
1p
2
p
pp
20
三、多元正态分布的参数估计
若 X 的联合分布密度为 f (x1, x2 , , xp )，则 X(1) 的边缘 密度函数为：
f (x1, x2 , , xq )
f (x1, x2 ,
, xq , xq1,
, xp )dtq1
dt，p (2.3)
多维随机向量的独立性。若 p个随机变量
X1, X 2 ,, X p的联合分布密度等于各自边缘分布的 乘积，则称 X1, X 2 ,, X p是互相独立的。
1
x)(x( )
x)
n
(x1 x1)2
1
1 n
n
(x1 x1)(x 2 x2 )
1
n
(x 2 x2 )2
1
n
x 2
1
n
x
p
1
n
( x 1
x1)(x p
xp
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
精选ppt
9
其密度函数为
J(u x) A 1 AA 1 2
f (x1, x2 , , xp )
(2 ) p 2 exp[ 1 (x μ) A1 A1(x μ)] | J |
2
(2 ) p 2 Σ 1 2 exp[ 1 (x μ)Σ1(x μ)]
2
精选ppt
10
值得注意
设随机向量 u ~ Nq (0, I ) ，μ是常数向量，A 是一
第二节 多元正态分布的性质
一、多元正态分布的特征函数
(t) exp(it 1 tt)
2
二、x是一个服从p维正态分布，当且仅当它的任何 线性函数 ax 服从一元正态分布N p (μ, Σ)。
三、 X服从 p 维正态分布，则 y Cx b ，其中C为 r p 常数矩阵，b为 r 维的常数向量，则
1
y Σ 2 (x μ)
1
Var(y) Var[Σ 2 (x μ)]
1
1
Σ 2Var(x μ)Σ 2
1
1
Σ 2ΣΣ 2 Ι
y是p维标准正态分布，故yy服从（2 p)分布。
精选ppt
16
七、将 x, ,作如下的分块：
11 21
12 k 22 k p
1 2
p
k
k
x
x1 x2
(2 ) p 2 Σ 1 2 exp[ 1 (x - μ)Σ-1(x - μ)]
2
xi
精选ppt
6
其中 x (x1, x2 ,, x p ) 的均值为E (x) (1, 2 ,, p )
协方差为
(x1 1)2
E (x2
2 )(x1
2
)
(x1 1)(x2 2 ) (x2 2 )2
(x1 1)(xp p )
(x2 2 )(xp p )
(xp
)(x1
1 )
(xp p )(x2 2 )
(xp p)2
称 x (x1, x2 ,, x p ) 服从均值为E(X)，协方差为的正态分布。
精选ppt
7
三、一般的p维正态和p维标准正态的关系 设 x Au ，其中 A 是一个 p 阶非退化
精选ppt
4
协方差矩阵为
u12 u1u2 u1u p
Var
(u)
E(uu)
E
u
2u1
u
2 2
u
2u
p
u pu1 u pu2
u
2 p
1
1
I
1
精选ppt
5
二、一般的正态分布
设随机向量 x (x1, x2 ,, x p ) ,若其的密度函数为
f (x1, x2, , xp )
exp[
1 2
(x1
μ1)Σ111
(x2
μ2
)Σ221
(x1 (x2
μ1)
μ2
)
]
(2 ) p 2 Σ11 1 2 Σ22 1 2
exp[ 1 2
(x1
μ1)Σ111(x1
μ1)
(x2
μ
2
)Σ
1 22
(
x2
精选ppt
11
1 0
例：设随机向量 u ~ N 2 (0, I ) ，x Au ，A 0 1 ，则 x 的分布是
退化的三元正态分布。
1 1
1 0
1 0 1
Σ AA 0 1
1 1
1 0
0 1
1 1
பைடு நூலகம்
0 1
1 1
1 2
1 0 1
Σ 0
1
1
1 1
10
21
1 211 0
1
1 1 2
精选ppt
12
p
k
k
子 x1, x2 向量相互独立，当且仅当 12 0。 证：必要性
又
x1和 x 2相互独立 Σ12 E[(x1 μ1 )( x2 μ2 )]
Σ12 E(x1 μ1 )E( x2 μ2 )]
Σ12 0
精选ppt
17
充分性 Σ12 0
Σ1
Σ1 11 0
0
Σ
1 22
Σ Σ11 Σ22
y
~
Nr
(C
b, CC) 精选ppt
13
四、设 x ~ N p (,) ，则 x 的任何子向量也服从多元正态 分布，其均值为 的相应子向量，协方差为 的相应子矩 阵。
x x1 k μ μ1 k
x2 p k
μ2 p k
Σ Σ11 Σ12 k Σ21 Σ22 p k
Σ1
Σ1 11
Σ
1 22
f
(
x1,
x2
,,
x
p
)
(2
)
p
2
1 2
exp[
1 2
(x
μ)Σ
1
(x
μ)]
(2 ) p 2 Σ11 1 2 Σ22 1 2
exp[
1 2
(x1
μ1)
(x2 μ2 )
Σ1 11
精选ppt
Σ1 22
(x1 (x2
μ1) μ2)
]
18
(2 ) p 2 Σ11 1 2 Σ22 1 2
精选ppt
14
五、设 x1, x2 ,, xn , xi ~ N p (i , i ) i， 1,2,, n 相互独立， 且，则对任意 n 个常数 k1,, kn ，有
n
kixi
~
N
p
(
n
i
,
n
ki2
i
).
i 1
i1 i1
精选ppt
15
六、x ~ N p (μ, Σ) ，则(x - μ)Σ-1(x - μ) ~ 2 ( p)分布。
则 u (u1,u2 ,,u p ) 密度函数为
f (x1, x2 , , xp )
n
i1
1
2
exp( 1 2
xi2 )
(2 ) p
精选ppt
2 exp( 1 2
p i1
xi2 )
3
ui i 1,2,, p
其中的
u (u1, u2 ,, u p )
均值为 E(u) (Eu1,Eu2, ,Eup ) 0
第二章 多元正态分布及其抽样分布
精选ppt
1
第一节 第二节 第三节 第四节
内容
多元正态分布的定义 多元正态的性质 多元正态参数的极大似然估计 多元正态的样本分布
精选ppt
2
第一节 多元正态分布的定义
一、标准多元正态分布
设随机向量 u (u1,u2 ,,u p ) 其分量独立同分布于 N (0,1)
矩阵，u (u1,u2 ,,u p ) 服从 p 维标准正态分布，则
x Au
服从p维正态分布，且均值向量为
E (x) (Ex1, Ex2 ,, Ex p ) (1, 2 ,, p )
精选ppt
8
x的协方差矩阵为
Var(x) E(x )(x )
EAuuA
AEuuA
AIA AA Σx
个 p*q的常数矩阵，则 x Au 服从正态分布，记 为 x ~ Np ( , ) ，其中 AA( p * p)
若 rank (A) p( p q)，则Σ－1存在，x Au 是非退化 p元正态分布；
若 rank (A) p( p q)，则Σ1不存在，x Au 是退化 p元正态分布，不存在密度函数。