应用多元统计分析-第三章 多元正态分布
三章多元正态分布
21
2.有关系数旳极大似然估计
❖ 有关系数ρij旳极大似然估计为
n
rij
ˆij
ˆii ˆ jj
sij
sii s jj
(xki xi )(xkj x j )
k 1
n
n
(xki xi )2
(xkj x j )2
k 1
k 1
其中 Σˆ ˆij , S sij , x x1, x2, , xp 。称rij为样 本有关系数、Rˆ rij 为样本有关矩阵。
2
例（二元正态分布 ）
❖ 设x~N2(μ, Σ)，这里
x
x1 x2
,
μ
1 2
,
Σ
12 1 2
1 2
2 2
易见，ρ是x1和 x2旳有关系数。当|ρ|<1时，可得x旳 概率密度函数为
f
x1,
x2
1
21 2
1
2
exp 2
1
1 2
x1 1 1
2
2
x1 1 1
1
16 4 2
μ
0 2
,
Σ
4 2
4 1
41
试求给定x1+2x3时
x2
x1
x3
旳条件分布。
15
❖解
令
y1
x2
x1
x3
,
y2
x1
2x2，于是
y1 y2
=
x2 x3 x1
x1 2x2
=
0 1 1
1 0 0
1 x1
0 2
x2 x3
0 1 1 1 2
Σ12 k
Σ
22
p
第三讲多元正态分布
二元正态分布的密度曲面图
2 2 下图是当 1 2 , 0.75 时二元正态分布的钟形密
度曲面图。
多元正态分布性质
（1）、若 X ( X1, X 2 , X p )T ~ N p (, )， 是对角阵， 则 X1, X 2 , X p 相互独立。 （2）、若 X ~ N p (, ) ， A 为 s p 阶常数阵，则
•有些现象服从多元正态分布
•许多多元统计分布的抽样分布是近似正态分布
23
多元正态分布
它是一元正态分布的推广
X ~ N p ,
设随机向量 X ( x1 , x2 ,, x p )' 服从P维正态分布，则有，
f ( X ) 2
p 2
1 2
1 1 exp x x 2
12
随机向量的数字特性
随机向量的均值
E ( X 1 ) 1 E( X 2 ) 2 E( X ) E( X ) p p
性质
E ( AX ) AE( X ) E ( AXB) AE( X ) B E ( AX BY ) AE( X ) BE(Y )
15
性质
1)若(x1,x2,…，xp)’ 和(y1,y2,…，yq)’不相关。则
cov(x1 , y1 ) cov(x1 , y2 ) cov(x1 , yq ) cov(x2 , y1 ) cov(x2 , y2 ) cov(x2 , yq ) 0 cov(x , y ) cov(x , y ) cov(x , y ) p 1 p 2 p q
(1) q
应用多元统计分析北大
8
第9页/共86页
第一章 绪 论
§1.1 引言--多元分析的研究 对象和内容
由于大量实际问题都涉及到多个变量，这些 变量又是随机变化，如学生的学习成绩随着被 抽取学生的不同成绩也有变化（我们往往需要 依据它们来推断全年级的学习情况）。所以要 讨论多维随机向量的统计规律性。
两组变量的相关分析
1
第2页/共86页
使用的教材
普通高等教育”十一五”国家级教材
北京大学数学教学系列丛书
本科生 数学基础课教材
应用多元统计分析
(北京大学出版社,高惠璇,2006.10)
2
第3页/共86页
参考书（一）
1. 实用多元统计分析(方开泰,1989,见参考文献[1]) 2. 多元统计分析引论(张尧庭,方开泰, 2003,见[2]) 3. 实用多元统计分析(王学仁,1990 ,见[6]) 4. 应用多元分析(王学民,1999 ,见[8]) 5. 实用统计方法与SAS系统(高惠璇,2001, 见[3]) 6. 多元统计分析(于秀林,1999 ,见[9]) 7. 多元统计方法(周光亚,1988 ,见[28]) 8. 多元分析(英 . M . 肯德 尔,1983 ,见[15]) 9. SAS系统使用手册等资料(1994-1998 ,见[17]-[21])
主成分分析方法为样品排序或多指标系 统评估提供可行的方法.
23
第24页/共86页
教育学--
主成分分析在学生学习成绩排序中的应用
这里把12门课的成绩看成12个变量，这些 变量是相关的，有的相关性强些，有的相关 性一般些。用主成分分析方法从12个相关的 变量中可以综合得出几个互不相关的主成分 －－它们是原始变量的线性组合。其中第一 主成分综合原始变量的信息最多（一般在70 ％以上），我们就用第一主成分（即单个综 合指标）替代原来的12个变量；然后计算第 一主成分的得分并进行排序。
多元统计分析-第三章多元正态分布
多元统计分析-第三章多元正态分布第三章多元正态分布多元正态分布是⼀元正态分布在多元情形下的直接推⼴，⼀元正态分布在统计学理论和应⽤⽅⾯有着⼗分重要的地位，同样，多元正态分布在多元统计学中也占有相当重要的地位。
多元分析中的许多理论都是建⽴在多元正态分布基础上的，要学好多元统计分析，⾸先要熟悉多元正态分布及其性质。
第⼀节⼀元统计分析中的有关概念多元统计分析涉及到的都是随机向量或多个随机向量放在⼀起组成的随机矩阵，学习多元统计分析，⾸先要对随机向量和随机矩阵有所把握，为了学习的⽅便，先对⼀元统计分析中的有关概念和性质加以复习，并在此基础上推⼴给出多元统计分析中相应的概念和性质。
⼀、随机变量及概率分布函数（⼀）随机变量随机变量是随机事件的数量表现，可⽤X 、Y 等表⽰。
随机变量X 有两个特点：⼀是取值的随机性，即事先不能够确定X 取哪个数值；⼆是取值的统计规律性，即完全可以确定X 取某个值或X 在某个区间取值的概率。
(⼆)随机变量的概率分布函数随机变量X 的概率分布函数，简称为分布函数，其定义为：)()(x X P x F ≤=随机变量有离散型随机变量和连续型随机变量，相对应的概率分布就有离散型概率分布和连续型概率分布。
1、离散型随机变量的概率分布若随机变量X 在有限个或可列个值上取值，则称X 为离散型随机变量。
设X 为离散型随机变量，可能取值为1x ，2x ，…，取这些值的概率分别为1p ，2p ，…，记为k k p x X P ==)(（ ,2,1=k ）称k k p x XP ==)(（ ,2,1=k ）为离散型随机变量X 的概率分布。
离散型随机变量的概率分布具有两个性质：（1）0≥k p ， ,2,1=k（2）11=∑∞=k kp2、连续型随机变量的概率分布若随机变量X 的分布函数可以表⽰为dt t f x F x∞-=)()(对⼀切R x ∈都成⽴，则称X 为连续型随机变量，称)(x f 为X 的概率分布密度函数，简称为概率密度或密度函数。
多元统计分析：第三章 多元正态总体参数的假设检验(补充)
第三章 多元正态总体参数的假设检验
所涉及的最大似然估计量—单个总体
ˆ X时 (4) 当 0 (0 0巳知)时, 取 似然函数达最大值:
L( X , 0 ) 2
np 2
0
n 2
n 1 etr - 0 A 2
19
第三章 多元正态总体参数的假设检验
15
第三章 多元正态总体参数的假设检验
所涉及的最大似然估计量—单个总体
单个p维正态总体Np(μ,Σ)，设X(i)(i=1,…,n)为来自p 维总体的随机样本.样本的似然函数为
L( , ) 2
np 2
1 ˆ A时, 似然函数达最大值 : ˆ X , (1)当 n n np A 2 A np L( X , ) 2 2 exp - n n 2
9
第三章 多元正态总体参数的假设检验
§3.6正态性检验--p维数据的正态性检验
D2(1)≤ D2(2) ≤…≤ D2(n) 统计量 D2 的经验分布函数取为
.
其中H(D2(t) |p)表示χ2 (p)的分布函数在D2(t)的值. 设χ2 分布的pt分位数为χt2 ,显然χt2满足: H(χt 2 |p)= pt. 即χ2 分布的pt 分位数χt2 ＝H-1(pt |p). 由经验分布得到样本的pt 分位数D2(t)=Fn-1(pt ). 若H(x|p)≌Fn(x)，应有D2(t) ≌ χt2 ,绘制点(D2(t) , χt2 )的散 布图,当X为正态总体时,这些点应散布在一条直线上. 10
(1) (1) ( 2) ( 2)
np 2
A1 A2 n
(t )
np 2 2
e
X )( X
多元正态分布
多元正态分布正态分布，又称为高斯分布，是概率论与统计学中最为重要的概率分布之一。
正态分布的特点是其概率密度函数呈现出钟形曲线的形状，可以描述大多数自然现象中的分布情况。
本文的主要目的是介绍正态分布的定义、性质和应用，并对其多元形式进行讨论。
一、正态分布的定义和性质正态分布的定义如下：设X是一个连续型随机变量，如果它的概率密度函数为f(x) = (1/√(2πσ^2)) * exp(-(x-μ)^2/(2σ^2))其中μ为均值，σ^2为方差，exp为自然指数函数，那么称X服从参数为(μ,σ^2)的正态分布，记作X~N(μ,σ^2)。
正态分布的性质如下：1. 正态分布是一个对称分布，其均值、中位数和众数都重合，位于分布的中心。
2. 正态分布的曲线在均值两侧呈现对称性，标准差决定了曲线的宽度，标准差越小，曲线越陡峭，反之越平缓。
3. 正态分布的累积分布函数可用标准正态分布的累积分布函数来计算。
4. 正态分布的随机变量相加仍然服从正态分布。
二、正态分布的应用正态分布在各个领域中都有广泛的应用，以下列举几个常见的应用场景。
1. 自然科学：正态分布常被用来描述测量误差、物理实验结果和自然现象。
例如，在物理实验中测量的误差往往服从正态分布。
2. 金融领域：正态分布被广泛应用于金融领域的风险管理和股票价格预测中。
基于正态分布的投资组合理论和资产定价模型是金融领域中的重要工具之一。
3. 质量控制：正态分布被应用于质量控制中，用于确定产品的标准差、设定合适的控制上限和下限，从而判断产品是否合格。
4. 社会科学：正态分布在社会科学领域的人口统计、心理学实验和经济学研究中得到广泛应用。
例如，身高、体重等指标的分布往往服从正态分布。
三、多元正态分布多元正态分布是正态分布的一种拓展形式，用于描述多个随机变量之间的相关性。
多元正态分布的定义如下：设X = (X1,X2,...,Xn)是一个n维随机向量，如果它的概率密度函数为f(x) = (1/√((2π)^n|Σ|)) * exp(-1/2(x-μ)Σ^(-1)(x-μ)^T)其中x = (x1,x2,...,xn)，μ = (μ1,μ2,...,μn)为均值向量，Σ为协方差矩阵，|Σ|为协方差矩阵的行列式，exp为自然指数函数，Σ^(-1)表示Σ的逆矩阵，那么称X服从参数为(μ,Σ)的多元正态分布，记作X~N(μ,Σ)。
第三章 多元正态分布
相互独立。
第11页，共20页。
2、 X X 1 ,X 2 , ,X p~N P (, )A为s×p阶常数阵，d为s维常数向量，则：
A d X ~ N s(A d ,A A )
即正态随机向量的线性函数还是正态的。
3、 X X 1 ,X 2 , ,X p~N P (, ) ,将 X,, 做如下剖析：
一切实数x有：
x
F(x) f(t)dt
则称X为连续型随机变量，称f（x）为X的分布密度函数。
它具有两个性质：
1 . f ( x ) 0;
2
.
f
( x )dx
1
第2页，共20页。
二、随机变量的数字特征 （一）离散型随机变量的数字特征
若X为离散型随机变量，其概率分布为
P (X x k) p k,(k 1 ,2 , ),
第6页，共20页。
对随机向量有连续型和离散型两类。
（二）概率分布
设 XX1,X2, ,Xp 是维随机向量，它的多元分布函数定义为：
F ( x ) F ( x 1 , x 2 , , x p ) P ( X 1 x 1 , X 2 x 2 , , X p x p )记,为 X ~F(x)
方差有如下数学性质：
1.设C是常数，则D（C）=0
2.设X是随机变量，C是常数，则D（CX）=C2D（X） 3、设X、Y是两个相互独立的随机变量，则D（X+Y）=D（X）+D（Y）
三、一些重要的一元分布
1.正态分布 连续型随机变量X的概率密度函数为：
f (x)
1
(x)2
e 22
2
则称X服从正态分布。
XX1,X2, ,XP
在多元统计分析中，仍将所研究对象的全体称为总体。如果构成总体中的个体是由p个需要观测 指标的个体，称这样的总体为p维总体，或p元总体。由于从p维总体中随机抽到一个个体，其p 个指标观测值是不能事先精确知道，它依赖于被抽到的个体，因此，p维总体可用p维随机向量来 表示，这里的维或元表示共有几个分量。例如，要研究某类企业的三项经济效益指标，则所有这 类企业的三项经济效益指标就构成了一个三元总体。
多元统计分析多元正态分布
因子分析可以用于数据的降维、分类和解释变量之间的复杂关系。
03
04
多元正态分布的聚类分析
K-means聚类
一种无监督的机器学习算法，通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。
总结词
K-means聚类是一种常见的聚类分析方法，其基本思想是：通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。具体步骤包括：随机选择K个中心点，将每个数据点分配给最近的中心点所在的集群，然后重新计算每个集群的中心点，并重复此过程直到中心点不再发生变化或达到预设的迭代次数。
定义与性质
性质
定义
均值向量
描述多元正态分布的期望值，表示分布的中心位置。
协方差矩阵
描述多元正态分布的各变量之间的方差和协方差，表示分布的散布程度和变量间的相关性。
维数
描述多元正态分布中随机变量的个数，不同维数的多元正态分布具有不同的形态和性质。
多元正态分布的参数
统计分析
多元正态分布在统计分析中广泛应用，如回归分析、因子分析、聚类分析等。
KNN分类
06
多元正态分布的可视化技术
总结词
主成分分析（PCA）是一种常用的多元统计分析方法，用于降维和数据可视化。
总结词
PCA可视化能够揭示数据中的模式和趋势，帮助我们理解数据的内在结构和关系。
详细描述
通过将数据投影到主成分上，我们可以将高维数据可视化为一组二维或三维图形，从而更直观地观察数据的分布、中心、离群值和聚类等特征。
逻辑回归分类
VS
支持向量机（SVM）是一种有监督学习算法，用于解决分类问题。在多元正态分布的背景下，支持向量机通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
均值向量的检验
• 一元检验的回顾 • 设从总体 N(, 2中抽了一个样本，要检验假 ) 设
H 0 : 0 H 1 : 0
• 当 2已知时，用Z统计量和Z分布检验。 • 当 2 未知时，用t统计量和t分布检验。
均值向量的检验
• 多元均值检验 • 假设： H 0 :μ μ 0
•多元正态分布的密度函数为
1 1 f x1, ,x p ) ( exp (x ) 1 x ) ( 1/ 2 p /2 2 （ ） 2
•均值向量是： •协方差阵是：
记为：X N p(,)
多元正态分布
多元正态分布
多元正态分布
… … …
xP1 xP2 xPn
随机向量
• 样本资料矩阵可用矩阵语言表达：
x11 x12 x1 p x x22 x2p 21 (X ，X ， ，X ) X 1 2 p xn1 xn2 xnp X(1) X (2) X(n)
第三章
多元正态分布
的多 基元 本分 概布 念
随机向量
• 我们所讨论的是多个变量的总体，所研究 的数据是同时观测p个指标（即变量），又 进行n次观测得到的，常用向量表示：
X ( X 1，X 2， ，X P )
样品 变量
X1
X2
…
XP
1 2 n
x11 x21 xn1
x21 x22 xn2
分布函数与密度函数
• 随机变量的分布函数：
F ( x) P( X x)
•随机向量的分布函数
F ( x) F ( x1，x2， ，xP ) P( X 1 x1， X p x p )
分布函数与密度函数
• 随机变量的密度函数：
F ( x) f (t )dt
x
H 1 :μ μ 0
• 需要用T2统计量和T2分布来检验。只 不过已知协差阵 和未知协差阵 的T2统计量计算方法不同。
均值向量的检验
• 均值向量的检验又可分为： – 一个样本与已知总体均值向量的检验 – 两总体均值向量的检验 – 多总体均值向量的检验 • 以上的检验过程都可由SPSS软件中的 Multivariate来完成。
• 定理1
设X ~ N(μ，Σ)，则 E(X)=μ， D(X)=Σ
• 定理2
正态分布的条件分布仍为正态分
布
均值向量和协方差阵的估计
• 在实际问题中，通常可以假定被研究对象 是多元正态分布，但分布中的参数μ和Σ 是未知的，一般的做法是通过样本来估计。 • 设样本资料为：
x11 x12 x1 p x x22 x2p 21 (X ，X ， ，X ) X 1 2 p xn1 xn2 xnp X(1) X (2) X(n)
均值向量和协方差阵的估计
• 总体参数协方差阵Σ的极大似然估计 是
1 1 n ˆ m S (X (i) X)(X (i) X) n n i 1
ˆ 1 S n 1
方均 差值 阵向 的量 检和 验协
均值向量和协方差阵的检验
• 在一元统计中，对正态总体均值和方差检 验时常用的分布有：Z分布，t分布，F分布， X2分布。 • 那么对于多元正态总体的均值向量和协方 差阵的检验也会用到相应的分布： • X2分布 → Wishart（维希特）分布(p17) • t分布 → Hotelling T2分布(p23) • F分布 → Wilks分布(p27)
协方差阵的检验
• 又分为: • 两总体的协差阵相等的检验： • 多总体的协差阵相等的检验：
0
1 r
• 该检验可由SPSS软件的Multivariate中的 Box’s M 检验来完成。
•随机向量的密度函数
F(x) f( 1,, p) t1,,dtp t t d
x1 xp
一元正态分布
f x) ( 1 e 2
2 (x ) 2 2
， 〉 0
•均值是： 2 •方差是： •标准差是：
记为： N（， ）
2
多元正态分布
均值向量和协方差阵的估计
• 则总体参数均值μ的估计量是：
Xi1 X1 X X n 1 i2 2 ˆ X Xi n i1 Xip XP
即均值向量μ的估计量，就是样本均值向量