第三讲多元正态分布
多元正态分布的性质
多元正态分布的性质正态分布是统计分析中最重要的概率分布之一，它能够帮助我们更好地理解数据的特性，也可以帮助我们做出更好的决策。
多元正态分布可以用来描述一组随机变量之间的关系，在许多计量方法和定量分析中，它被广泛应用。
本文尝试回答以下三个问题：一是什么是多元正态分布？二是多元正态分布的性质是什么？三是多元正态分布如何使用？首先，什么是多元正态分布？多元正态分布是指一个有两个或多个变量的正态分布，可以用来描述一组随机变量之间的关系，可以用来解释一个变量的分布特征。
与单变量正态分布不同的是，多元正态分布的特征取决于对角矩阵中的参数，即协方差矩阵或协方差矩阵。
与单变量正态分布不同，多元正态分布是以向量形式定义的，但可以使用同样的统计分析理论来描述多变量正态分布的性质，例如期望和方差。
其次，多元正态分布的性质是什么？多元正态分布存在着许多性质，根据多元数学理论可以列举出以下性质：1.元正态分布的期望向量表示为 m = (m_1,m_2,...,m_n)，这里的m_i表示每个随机变量的期望值；2.元正态分布的协方差矩阵S表示为：S=［s_ij］，sij表示第i 个和第j个随机变量之间的协方差；3.元正态分布的方差向量表示为：var=(var_1,var_2,...,var_n),其中var_i表示第i个随机变量的方差；4.元正态分布的对称性，即对于n个随机变量X_1,X_2,...,X_n 及其期望向量m和协方差矩阵S，当存在变换矩阵A，使得AX=y有解，则有：E(X) = mvar(X) = S5.元正态分布的共轭性，即如果X_1,X_2,...,X_n是一组多元正态分布随机变量，则任意一组X_1X_2...,X_n也是多元正态分布随机变量，且具有相同的期望向量m和协方差矩阵S。
最后，多元正态分布怎么使用？多元正态分布的使用是建立在统计分析的基础之上的。
在使用多元正态分布时，可以根据观测数据来估计期望向量m和协方差矩阵S。
多元正态分布均值向量和协差阵的检验
1T
2
~
F( p, n
m
p
1)
经ቤተ መጻሕፍቲ ባይዱ算得
X＝（64，43，30.5，63），Y＝（51.5，51，40，70.5）
490 －170 －120 245 502.5 60 175 －7.5
S
＝－170 x －120
510 10
10 332.5
310 260
；S
＝ y
i 1
i 1
S Sx Sy ~ Wp (m n 2, )
又由于
mn n＋m
(
X
Y)
~
N p (0, )
所以有
F
(n＋m 2) (n＋m
p 2) p
1T
2
~
F( p,n
m
p
1)
以后假设统计量的选取和前面统计量的选取思路是
一样的，只提出待检验的假设，然后给出统计量及其分 布，为节省篇幅，就不再重复解释。
60 175
390 50
50 450
195
－100
245 310
260
510
－7.5 195 －100 322.5
992.5
S
Sx
S
＝ y
－110 55
252.5
－110 900 60 505
55 60 802.5 160
252.5
505
其中，T 2 (n 1)[ n ( X 0 )T S 1 n ( X 0 )]
给定检验水平，查F分布表，使PF F ＝，确定出临界值F。
多元正态分布(新)
1 X12 n
X 22
X n2
X
2
X
X1 p X 2 p X np
X
p
样本离差阵
n
S pp ( X (i) X )( X (i) X ) i 1
X i1 X1
0
)
二元正态分布曲面(
11
2,
2 22
4, 12
0.75
)
为X1和X2的相关系数。
当 0 时X1与X2不相关，对于正态分布来说不相关和独立
等价。因为此时：
f (x1, x2)
2
1
11
22
exp{
( x1
1)2 (x2
2121
2 22
2
样本协方差矩阵
V 1S n
或
V 1 S n 1
样本离差阵用样本资料阵表示为：
S
X (In
1 n
1n1n
)
X
因为
n
S ( X (i) X )( X (i) X ) i 1
n
( X (i)
X
)(
X
(i
)
X
)
i 1
n
(X
(
i
)
X
(i
)
X (i) X
二、多元正态分布的性质
性质1：若 X (X1,X p) ~ Np(μ,，) 是对角矩阵，则 X1,X p 相互独立。
多元统计分析-第三章多元正态分布
多元统计分析-第三章多元正态分布第三章多元正态分布多元正态分布是⼀元正态分布在多元情形下的直接推⼴，⼀元正态分布在统计学理论和应⽤⽅⾯有着⼗分重要的地位，同样，多元正态分布在多元统计学中也占有相当重要的地位。
多元分析中的许多理论都是建⽴在多元正态分布基础上的，要学好多元统计分析，⾸先要熟悉多元正态分布及其性质。
第⼀节⼀元统计分析中的有关概念多元统计分析涉及到的都是随机向量或多个随机向量放在⼀起组成的随机矩阵，学习多元统计分析，⾸先要对随机向量和随机矩阵有所把握，为了学习的⽅便，先对⼀元统计分析中的有关概念和性质加以复习，并在此基础上推⼴给出多元统计分析中相应的概念和性质。
⼀、随机变量及概率分布函数（⼀）随机变量随机变量是随机事件的数量表现，可⽤X 、Y 等表⽰。
随机变量X 有两个特点：⼀是取值的随机性，即事先不能够确定X 取哪个数值；⼆是取值的统计规律性，即完全可以确定X 取某个值或X 在某个区间取值的概率。
(⼆)随机变量的概率分布函数随机变量X 的概率分布函数，简称为分布函数，其定义为：)()(x X P x F ≤=随机变量有离散型随机变量和连续型随机变量，相对应的概率分布就有离散型概率分布和连续型概率分布。
1、离散型随机变量的概率分布若随机变量X 在有限个或可列个值上取值，则称X 为离散型随机变量。
设X 为离散型随机变量，可能取值为1x ，2x ，…，取这些值的概率分别为1p ，2p ，…，记为k k p x X P ==)(（ ,2,1=k ）称k k p x XP ==)(（ ,2,1=k ）为离散型随机变量X 的概率分布。
离散型随机变量的概率分布具有两个性质：（1）0≥k p ， ,2,1=k（2）11=∑∞=k kp2、连续型随机变量的概率分布若随机变量X 的分布函数可以表⽰为dt t f x F x∞-=)()(对⼀切R x ∈都成⽴，则称X 为连续型随机变量，称)(x f 为X 的概率分布密度函数，简称为概率密度或密度函数。
第三讲多元正态分布参数估计
第三讲多元正态分布参数估计多元正态分布是指具有多个随机变量的正态分布。
在多元正态分布参数估计中，我们要估计的是均值向量和协方差矩阵。
估计均值向量可以使用样本均值。
给定一个样本集合$X=\{x_1,x_2,...,x_n\}$，其中每个$x_i$是一个m维向量，样本均值可以通过对每个维度上的观测值的平均值进行计算。
即$\hat{\mu}=\frac{1}{n}\sum_{i=1}^{n} x_i$。
估计协方差矩阵可以使用样本协方差矩阵。
样本协方差矩阵是通过计算样本集合与均值向量的差的转置乘以差的平均值进行计算的。
即$\hat{\Sigma}=\frac{1}{n}\sum_{i=1}^{n} (x_i-\hat{\mu})(x_i-\hat{\mu})^T$。
然而，在实际应用中，样本量有限，样本集合可能包含较少的观测值，这可能会导致估计不准确。
为了解决这个问题，可以使用更健壮的估计方法，如Shrunkage估计。
Shrunkage估计是通过在样本协方差矩阵与总体协方差矩阵之间做权衡来获得更准确的估计。
它通过引入收缩参数$\lambda \in [0,1]$来平衡两个协方差矩阵。
Shrunkage估计的公式为$\hat{\Sigma}_{sh}=(1-\lambda)\hat{\Sigma}+\lambda \hat{\Sigma}_{pool}$，其中$\hat{\Sigma}_{pool}=\frac{1}{n}\sum_{i=1}^{n} x_ix_i^T$是样本数据的池化协方差矩阵。
Shrunkage估计的优点在于它能够通过权衡样本数据与总体数据来获得更准确的估计。
当样本量较小或样本协方差矩阵存在较大误差时，Shrunkage估计可以减小估计偏差，提高估计的准确性。
此外，还可以使用最大似然估计（MLE）来估计多元正态分布的参数。
MLE是通过最大化给定数据的概率函数来确定参数的值。
对于多元正态分布，MLE可以通过最大化对数似然函数来实现。
第三讲多元正态分布
p
f ( x)dx 1
9
边缘分布函数及边缘密度函数
用途：
判断
随机变量的 独立性
多元向量的独立性
独立的充分必要条件：
F ( x1, x2 , xq , xq1,, x p ) F ( x1,, xq )F ( xq1,, x p )
或
f ( x1, x2 , xq , xq1,, x p ) f ( x1,, xq ) f ( xq1,, x p )
AX ~ Ns ( A, AAT ) 且对任何 s 维常数向量 d ， X d ~ N p ( d , ) 。
考虑 AX d 的情形？
(3) 、 若 X ~ N p (, )，将 X , , 作如下剖分：
X X ( 2) X pq
11 12 ( 2) 21 22 p q p q 则 X (1) ~ Nq ( (1) , 11 ) ， X ( 2) ~ N pq ( (2) , 22 ) 。
19
相关系数矩阵
若 X ( X1, X 2 , X p )T 的协方差阵存在，且每一 个分量的方差大于0，则称随机向量X 的相关阵为
1 12 R 1p
其中
12
1
2 p
1 p 2 p 1
ij
第一章 多元正态分布
多元正态分布及参数估计
基础知识 统计距离和马氏距离 多元正态分布 均值向量和协方差阵的估计 几种常用的抽样分布
2
基础知识
随机向量 分布密度函数 多元变量的独立性 随机向量的数字特征
3
随机变量（random variable）
a第3讲1.4特征函数-1.5多元正态分布1
[ ] ∑ g(t ) = E eitX = eitxk pk
k
1
江西理工大学理学院
若 X 为连续型随机变量，其概率密度函数为 f (x)，
[ ] ∫ g(t ) = E eitX = ∞ eitx f (x)dx = &[ f ( x)](−t) −∞
江西理工大学理学院
性质 2 设 X = (X1, X2 ,L, Xn )服从n维正态分布 N (a, B)，
则a和B分别为n维随机向量 X 的均值向量和协方差矩 阵，即
µi = EX i , i = 1,2,L, n;
bik = cov(Xi , Xk ),i,k = 1,2,L, n 性质 3 设 X = (X1, X2,L, Xn )服从n维分布 N (a, B)，则
∫ ∫ g(t ) = ∞ eitx f (x)dx = −∞
1
2π
∞⎡
−
∞
exp⎢− ⎣
x2 2
⎤ ⎥e
itx
dx
⎦
=
1
2π
&
⎢⎢⎣⎡exp⎜⎜⎝⎛
−
x2 2
⎟⎟⎠⎞⎥⎥⎦⎤(− t )
=
exp⎜⎜⎝⎛
−
t2 2
⎟⎟⎠⎞
( ) 例设 X 服从 N µ,σ 2 ,求其特征函数。
解:
令Y
=
X−
σ
µ
,
则Y ~ N (0,1),
§1.4 特征函数
江西理工大学理学院
定义 1.10 设随机变量 X 的分布函数为F ( x)，则称
[ ] ∫ gX (t) = E eitX
=
《多元正态分布》课件
度概率密度函数的乘积。
高维正态分布在机器学习中的应用
降维处理
高维正态分布可以用于降维处理，通过保留数据的主要特征，降低 数据的维度，提高数据的可解释性和处理效率。
特征选择
高维正态分布可以用于特征选择，通过分析特征之间的相关性，选 择与目标变量高度相关的特征，去除冗余和无关的特征。
概率模型
高维正态分布可以用于构建概率模型，通过估计数据的概率分布， 进行分类、回归和聚类等机器学习任务。
总结词
检验多元正态分布的协方差矩阵是否与预期 协方差矩阵一致。
详细描述
通过对比样本协方差矩阵与预期协方差矩阵 ，评估样本数据是否符合多元正态分布的假 设。常用的方法包括样本协方差矩阵与预期 协方差矩阵的差异检验、样本数据的散点图 和拟合曲线分析等。
多元正态分布的其他假设检验方法
总结词
其他用于检验多元正态分布的方法。
REPORT
CATALOG
DATE
ANALYSIS
SUMMAR Y
02
二元正态分布
二元正态分布的定义
总结词
二元正态分布是多元正态分布在两个维度上的特例，其概率密度函数呈钟形， 且服从二维高斯分布。
详细描述
二元正态分布是一种连续概率分布，描述了两个随机变量之间的关系，当这两 个随机变量相互独立时，其联合概率分布是二元正态分布。它的概率密度函数 由均值向量和协方差矩阵决定，呈现出钟形曲线。
多元正态分布的均值向量和协方差矩阵决定了其 分布形态。
多元正态分布的应用场景
多元统计分析
多元正态分布在多元统计分析中 广泛应用，如主成分分析、因子 分析、聚类分析等。
机器学习
在机器学习中，多元正态分布用 于描述特征之间的相关性，以及 在隐含层节点中实现特征的映射 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二元正态分布的密度曲面图
2 2 下图是当 1 2 , 0.75 时二元正态分布的钟形密
度曲面图。
多元正态分布性质
（1）、若 X ( X1, X 2 , X p )T ~ N p (, )， 是对角阵， 则 X1, X 2 , X p 相互独立。 （2）、若 X ~ N p (, ) ， A 为 s p 阶常数阵，则
•有些现象服从多元正态分布
•许多多元统计分布的抽样分布是近似正态分布
23
多元正态分布
它是一元正态分布的推广
X ~ N p ,
设随机向量 X ( x1 , x2 ,, x p )' 服从P维正态分布，则有，
f ( X ) 2
p 2
1 2
1 1 exp x x 2
12
随机向量的数字特性
随机向量的均值
E ( X 1 ) 1 E( X 2 ) 2 E( X ) E( X ) p p
性质
E ( AX ) AE( X ) E ( AXB) AE( X ) B E ( AX BY ) AE( X ) BE(Y )
15
性质
1)若(x1,x2,…，xp)’ 和(y1,y2,…，yq)’不相关。则
cov(x1 , y1 ) cov(x1 , y2 ) cov(x1 , yq ) cov(x2 , y1 ) cov(x2 , y2 ) cov(x2 , yq ) 0 cov(x , y ) cov(x , y ) cov(x , y ) p 1 p 2 p q
(1) q
(1) q
q
注：
(1) 多元正态分布的任何边缘分布为正态分布，但反之不真。 (1) ( 2) (1) (2) 由于 12 cov(X , X ) ，故 12 0 表示 X 和 X ( 2)不相 X (1) 和 X ( 2) 的不相 关，因此可以知道，对于多元正态变量而言， 关与独 cov(x1 , x p ) var(x1 ) var(x2 ) cov(x2 , x p ) cov(x2 , x1 ) Var (x) cov(x , x ) cov(x , x ) var( x ) p 1 p 2 p
13
协方差矩阵
1、定义：设 X
( x1 , x2 ,, x p )
和Y
( y1 , y 2 ,, y q )分
别为 p 维和 q 维随机向量，则其协方差矩阵为
x1 E ( x1 ) x E ( x ) 2 2 E y1 E ( y1 ) x E(x ) p p y2 E ( y2 ) yq E ( yq )
24
二元正态分布
设x~N2(μ, Σ)，这里 x1 1 x , μ , x2 2
12 1 2 Σ 2 2 1 2
易见，ρ是x1和 x2的相关系数。当|ρ|<1时，可得x的 概率密度函数为
f x1 , x2 1 2 1 2 1 2
随机向量
随机向量: 由多个随机变量组成的向量。 n个样品，p个指标
X ( X1, X 2 , X p )
数据表：变量为列，样品为行。
X1 1 2 …… n x11 x21 …… xn1 X2 x12 x22 …… xn2 …… …… …… …… …… Xp x1p x2p …… xnp
Cov ( xi , x j )
ii jj
ij
ii jj
。
Zi
X i i
ii
, i 1,2, , p
R Cov( Z i , Z j ) rij
1/2 11 1/2 22 R 1/2 11 1/2 22
AX ~ Ns ( A, AAT ) 且对任何 s 维常数向量 d ， X d ~ N p ( d , ) 。
考虑 AX d 的情形？
(3) 、 若 X ~ N p (, )，将 X , , 作如下剖分：
X X ( 2) X pq
11 12 ( 2) 21 22 p q p q 则 X (1) ~ Nq ( (1) , 11 ) ， X ( 2) ~ N pq ( (2) , 22 ) 。
16
若X=Y,且各分量相互独立，则协方差矩阵除主 对角线上的元素外均为零，即协方差阵为方差D(x)
0 0 var(x1 ) var(x2 ) 0 0 Var (x) 0 0 var( x ) p
17
2）随机向量X的协方差矩阵是非负定矩阵。 证：设a为任意与X有相同维数的常数向量，则
14
cov(x1 , y1 ) cov(x1 , y2 ) cov(x1 , yq ) cov(x2 , y1 ) cov(x2 , y2 ) cov(x2 , yq ) cov( X , Y ) cov(x , y ) cov(x , y ) cov(x , y ) p 1 p 2 p q
aa a[E(x )(x )]a E[a(x )(x )a]
E[a(x )]2 0
3）设A是常数矩阵，b为常数向量，则 D(AX+b)=AD(X)A’ ；
D(A X b)
E[(AX b) (A b)][(AX b) (A b)]
F ( x)
x1
x2
f (t1, t2 ,t p )dt1, dt 2 ,, dt p
对一切 x ( x1, x2 ,xp ) R p 成立，则称X有分布密 度f(.)，并称X为连续型随机向量。 性质： ① ②
f ( x) 0 ，对于任意x属于p维实数空间。
R
19
相关系数矩阵
若 X ( X1, X 2 , X p )T 的协方差阵存在，且每一 个分量的方差大于0，则称随机向量X 的相关阵为
1 12 R 1p
其中
12
1
2 p
1 p 2 p 1
ij
p
f ( x)dx 1
9
边缘分布函数及边缘密度函数
用途：
判断
随机变量的 独立性
多元向量的独立性
独立的充分必要条件：
F ( x1, x2 , xq , xq1,, x p ) F ( x1,, xq )F ( xq1,, x p )
或
f ( x1, x2 , xq , xq1,, x p ) f ( x1,, xq ) f ( xq1,, x p )
2 2 x1 1 x1 1 x2 2 x2 2 1 exp 2 2 1 1 2 2 2 1
7
分布函数与密度函数
X ( X1, X 2 , X p )
F ( x) F ( x1 , x2 , x p ) P( X 1 x1 , X 2 x2 , X P x p )
x ( x1, x2 ,x p ) R p
8
分布函数与密度函数
设 X ~ F ( x) F ( x1, x2 ,xp ) 若存在一个非负函数f(.)，使得
AE[(x )(x )]A' AD(x)A
18
4) 若(x1,x2,…，xp)’和(y1,y2,…，yq)’分别是p 和q维随机向量，A和B为常数矩阵，则
Cov( Ax, By) ACov(x, y )B
证 Cov( Ax, By)
E{[(Ax AE (x)][(By BE ( y)]}
11 12 12 22 1/2 pp 1 p 2 p
1/2 11 1/2 22 1/2 pp
1/2 1 p 11 1/2 2p 22
特别的 X ( X1, X 2 ,, X p ) 中 X i 与 X j (i j) 独立的
F ( xi , x j ) F ( xi ) F ( x j ) f ( xi , x j ) f ( xi ) f ( x j )
多元向量的独立性
两个随机向量X和Y是相互独立的，则 P(X x ,Y y ) P(X x )P(Y y )，对一切x,y成立。 若F(x,y)为(X,Y)'的联合分布函数，G(x)和H(y)分别为X 和Y的分布函数，则X和Y独立当且仅当 F(x,y)= G(x) H(y) 若f(x,y)为(X,Y)’的密度函数，g(x)和h(y)分别为X和Y 的分布密度，则X和Y独立当且仅当 f(x,y)= g(x) h(y) 类似地，若它们的联合分布等于各自分布的乘积，则p 个随机变量是相互独立的。
AE[(x Ex)( y Ey)]B Acov(X ,Y)B'
5) 若(k1,k2,…，kn)是n个不全为零的常数，
(x1,x2,…，xn)’ 是相互独立的n维随机向量，则
2 2 D(k1x1 k 2 x 2 k n x n ) k12 D (x1 ) k 2 D(x 2 ) k n D(x n )
pp
1/2 pp
1/ 2 pp