关于多维正态分布
6
关于多维正态分布 （共 7 页）
性质 6：（正态分布的条件分布仍是正态分布） 设
X
=
⎛ ⎜ ⎝
X1 X2
⎞ ⎟ ⎠
∼
N
⎛ ⎜ ⎝
⎛ ⎜ ⎝
μ1 μ2
⎞ ⎟ ⎠
,
⎛ ⎜ ⎝
Σ11 Σ21
Σ12 Σ22
⎞ ⎟ ⎠
⎞ ⎟ ⎠
。
则
1. 在已知 X1 = x1 发生的条件下， X 2 的条件概率分布是正态分布
关于多维正态分布 （共 7 页）
关于多维正态分布
定义 设 μ ∈Rn ， Σ 是 n 阶实对称正定方阵，称 n 维随机向量 X 服从正态分布
N (μ, Σ) ，如果 X 有以下形式的联合概率密度函数
fX (x) =
(2π
1 )n det(Σ)
exp
⎛ ⎜⎝
−
1 2
(
x
−
μ
)
'
Σ−1
(
x
−
μ
)
⎞ ⎟⎠
性质 4：（正态分布参数的概率含义） 设 n 维随机向量 X ∼ N (μ, Σ) 。则 E( X ) = μ （即 E( Xi ) = μi ， i = 1,..., n ）， Σ 是 X 的协方差矩阵（即 Σi, j = Cov( Xi , X j ) ， i, j = 1,..., n ）。
证明：因为 Σ 是 n 阶实对称正定方阵，所以存在 n 阶正交矩阵 C 使得
教材相关内容：第 162 页例 3.3.9。
1
关于多维正态分布 （共 7 页）
性质 2：（具有独立分量的正态分布随机向量，边缘分布） 设
X
=
⎛ ⎜ ⎝
X1 X2
⎞ ⎟ ⎠
∼
N
⎛ ⎜ ⎝
⎛ ⎜ ⎝
μ1 μ2
⎞ ⎟ ⎠
,
⎛ ⎜ ⎝
Σ11 0
0 ⎞⎞
Σ22
⎟ ⎠
⎟ ⎠
其中 X 是 n 维随机向量，X1 是 n1 维随机向量，X 2 是 n2 维随机向量；μi ∈ Rni ，Σii
,
det Σ = det Σ11 ⋅ det Σ22
易见 从而
f X1 ,X2 ( x1 , x2 ) =
(2π
1 )n
det
Σ
exp
⎛ ⎜ ⎝
−
1 2
( x1'
,
x2'
)Σ−1
⎛ ⎜ ⎝
x1 x2
⎞⎞ ⎟⎟ ⎠⎠
Π2
=
i =1
1 (2π )ni det Σii
exp
⎛ ⎜⎝
−
1 2
xi'
Σ −1 ii
Σ22
−
0 Σ21Σ1−11Σ12
⎞⎞ ⎟⎟ ⎠⎠
，从而 Y1
和 Y2
独立。
2. Xi ∼ N (μi , Σii ) ， i = 1, 2 。
证明：根据性质 1，
Y
=
⎛ ⎜ ⎝
Y1 Y2
⎞ ⎟ ⎠
=
⎛ ⎜ ⎝
−
I1 Σ21Σ1−11
0 I2
⎞ ⎟ ⎠
⎛ ⎜ ⎝
X1 X2
⎞ ⎟ ⎠
∼
N
⎛ ⎝⎜⎜
⎛ ⎜ ⎝
⎜ ⎝
B
⎟ ⎠ n×n
⎛Y
⎜ ⎝
Z
⎞ ⎟ ⎠
=
⎛ ⎜ ⎝
A⎞
B
⎟ ⎠
X
+
⎛b⎞
⎜ ⎝
0
⎟ ⎠
∼
N
⎛⎛ ⎜⎜ ⎝⎝
Aμ + Bμ
b
⎞⎛ ⎟,⎜ ⎠⎝
A⎞
B
⎟ ⎠
Σ(
A
',
B
⎞ ') ⎟
⎠
=
N
⎛⎛ ⎜⎜ ⎝⎝
Aμ + Bμ
b
⎞⎛ ⎟,⎜ ⎠⎝
AΣA ' BΣA '
AΣB '⎞ ⎞
BΣB
' ⎠⎟
⎟ ⎠
由性质 3 知，它的一个边缘分布为Y = AX + b ∼ N ( Aμ + b, AΣA') 。
3
关于多维正态分布 （共 7 页）
性质 1’：（正态分布在非退化仿射变换下的不变性，性质 1 的一般形式） 设 n 维随机向量 X ∼ N (μ, Σ) ，A 是 m × n 阶实数方阵，rankA = m（即 A 的行向量
是线性无关的）， b ∈ Rm 。则Y = AX + b ∼ N ( Aμ + b, AΣA′) 。
= ρX1 ,X2
是 X1, X 2 的相关系数，这就是教材第 174 页例 3.4.9 的结论。 教材第 180 页例 3.4.12 中定义多维正态分布时，数学期望向量和协方差矩阵的说
法本不应该写在定义的叙述中，因为它们是概率密度函数的自然推论。
性质 5：（对正态分布随机向量的分量，独立性与不相关性等价） 设
Σ11 0
0 Σ22
⎞ ⎟ ⎠
⎛ ⎜ ⎝
x1 0
⎞ ⎟ ⎠
≥
0
而且 x1' Σ11x1 = 0 当且仅当 x1 = 0 。因此 Σ11 是对称正定矩阵。类似可证 Σ22 是对称正
定矩阵。 2、对
自然有
Σ
=
⎛ ⎜ ⎝
Σ11 0
0 Σ22
⎞ ⎟ ⎠
，
从而
Σ−1
=
⎛ ⎜
Σ−1 11
⎝0
0⎞
Σ−1 22
⎟ ⎠
证明：充分性就是性质 2。下证必要性。因 X1 与 X 2 独立，所以 X1 的任何分量U
与 X 2 的任何分量V 独立，于是 Cov(U ,V ) = 0 ，而根据性质 4， Σ 是 X 的协方差
矩阵， Σ12
=
Σ
′
21
的元素是
X1 的分量与
X 2 的分量的协方差，因此 Σ12
=
Σ21′
=
0。
教材相关内容：第 178 页性质 3.4.13。
n i =1
( xi − μi )2
σ
2 i
⎞ ⎟ ⎠
⎞⎞
⎟ ⎟
⎟ ⎟
，
σ
2 n
⎟⎠
⎟ ⎠
于是在性质 5 中取 A = (a1 ,..., an ) 。因 a1 , a2 ,…, an 不全为零，故 A 满行秩。于是应 用性质 1’就得到这个结论。
教材相关内容：第 159 页例 3.3.6。
4
关于多维正态分布 （共 7 页）
的Y1 ,Y2 是独立的），而对正态分布随机向量的分量，独立与不相关是等价的（性
质 3），而不相关相当于几何上的垂直（关于 H 2 空间上的内积），因此这本质上 就是内积空间中向量组的 Gram-Schmidt 正交化过程。这方法在教材第 141 页例 3.1.7、第 149 页例 3.2.5、第 174 页例 3.4.9、第 189 页例 3.5.4 中都有体现。 另外，这里得到的结论对应教材第 149 页例 3.2.5（二元正态的边缘分布）。
X
=
⎛ ⎜ ⎝
X1 X2
⎞ ⎟ ⎠
∼
N
⎛ ⎜ ⎝
⎛ ⎜ ⎝
μ1 μ2
⎞ ⎟ ⎠
,
⎛ ⎜ ⎝
Σ11 Σ21
Σ12 Σ22
⎞ ⎟ ⎠
⎞ ⎟ ⎠
其中 X 是 n 维随机向量，X1 是 n1 维随机向量，X 2 是 n2 维随机向量；μi ∈ Rni ，Σij
是 ni × nj 阶实数矩阵， i = 1, 2 。则 X1 与 X 2 独立当且仅当 Σ12 = Σ21′ = 0 ；
=
(2π
1 )n
det
Σ
exp
⎛ ⎜⎝
−
1 2
(
A−1
(
y
−
b)
−
μ)
' Σ−1
(
A−1
(
y
−
b)
−
μ
)
⎞ ⎟⎠
×
|
1 det
A
|
=
(2π
)n
1 det(
AΣA
')
exp
⎛ ⎜⎝
−
1 2
(
y
−
b
−
Aμ
)
'(
AΣA
')−1
(
y
−
b
−
Aμ
)
⎞ ⎟⎠
故Y = AX + b ∼ N ( Aμ + b, AΣA′) 。
是 ni 阶 实 数 矩 阵 ， i = 1, 2 。 则 Σii 是 对 称 正 定 矩 阵 ， X1 与 X 2 独 立 ， 并 且 Xi ∼ N (μi , Σii ) ， i = 1, 2 。
证明：1、易见 Σii 是对称矩阵， i = 1, 2 。
( x1′Σ11x1 = x1′
0
)
⎛ ⎜ ⎝
证明：因为 A 是满行秩矩阵，所以 m ≤ n 。如果 m = n ，则 A 是可逆矩阵，这时 结论如 b 中形式。
如果 m < n ，则 A 的 m 个 n 维行向量线性无关，我们可以将它们扩充为 n 维
空间的一组基，也就是说存在 (n − m) × n 矩阵 B 使得
是可逆矩阵，由性质 1，
⎛ A⎞
C
' ΣC
=
⎛ ⎜ ⎜
λ12
⎜⎝
⎞
⎟ ⎟
， λ1
>
0,..., λn
多元正态分布随机数
多元正态分布随机数
多元正态分布随机数是指服从多维正态分布的随机变量所生成的随机数。
在统计学中，多元正态分布是一种常见的概率分布，它是一种定义在n维向量空间上
的连续概率分布。
通常使用的多元正态分布是二维和三维的。
一般来说，多元正态分布的随机数可以通过以下步骤产生：
1. 首先，生成标准正态分布的随机数。
标准正态分布是指均值为0、方差为1
的正态分布。
2. 然后，使用相关矩阵进行线性变换，将标准正态分布的随机数变换为服从多元正态分布的随机数。
3. 最后，根据需要对生成的多元正态分布的随机数进行调整，以满足特定的统计要求。
在实际应用中，多元正态分布的随机数可以用于模拟许多现实世界中的随机变量，如金融市场和天气模拟。
此外，多元正态分布的随机数也可用于解决统计探索、因素分析、回归分析、贝叶斯网络、机器学习算法等问题。
需要注意的是，多元正态分布的随机数生成过程涉及到矩阵运算和线性代数的知识，因此需要具备一定数学基础才能进行操作。
此外，在实际应用中，还需要考
虑随机数的样本量、参数设置等问题，以保证生成的多元正态分布的随机数满足特定的要求。
总之，多元正态分布的随机数生成是一种重要的统计方法，在许多领域都具有广泛的应用价值。
对于想要深入了解和应用多元正态分布随机数的人士，需要掌握相关数学知识和统计学基础，并且在实践中不断积累经验和提升技能。
多维正态分布特征函数
多维正态分布特征函数
多维正态分布，也称为多元正态分布或高斯分布，是多个连续随机变量组成的概率分布。
其特征函数定义为：E(e^(i t X)) = e^(i t u + (1/2)t t*C)，其中i 是虚数单位，t是实数，X是随机向量，u是均值向量，C是协方差矩阵。
这个特征函数描述了多维正态分布的一些关键属性。
首先，它揭示了分布的均值向量u，这是分布的中心位置。
其次，协方差矩阵C决定了分布的形状和各维度之间的相关性。
C的每个元素CCkk表示随机变量Xk和Xk之间的协方差。
如果CCkk等于0，那么Xk和Xk是独立的。
此外，特征函数的形式也表明多维正态分布具有旋转对称性，即分布的形状不会因为坐标轴的旋转而改变。
这一特性在许多实际应用中非常重要，如数据分析、信号处理和机器学习等领域。
总的来说，多维正态分布的特征函数是一个强大的工具，它提供了对分布属性的深入理解，并广泛应用于各种科学和工程领域。
应用统计学：多维正态分布
总方差
Ma Xin, North China Electric Power University
随机向量的相关矩阵
Ma Xin, North China Electric Power University
相关阵与协方差阵
(1,0)
Ma Xin, North China Electric Power University
向量的几何解释
Ma Xin, North China Electric Power University
向量的模（矢量的长度）
Ma Xin, North China Electric Power University
均值向量
Ma Xin, North China Electric Power University
自协方差矩阵
Ma Xin, North China Electric Power University
Ma Xin, North China Electric Power University
若xi独立
几何意义：坐标轴旋转
前地区供电局例，设w2T=(- 0.643, 0.766 )，
计算结果
则w
(w1,
w2
)
0.766 0.643
0.643
0.766
aw a232 w1 w2 22 z1 z2 232
z1 aw1, z2 aw2
s
1.00
利 润 0.00
w2
w1
z1
a 2
Ma Xin, North China Electric Power University
多元统计分析多元正态分布
因子分析可以用于数据的降维、分类和解释变量之间的复杂关系。
03
04
多元正态分布的聚类分析
K-means聚类
一种无监督的机器学习算法，通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。
总结词
K-means聚类是一种常见的聚类分析方法，其基本思想是：通过迭代过程将数据划分为K个集群，使得每个数据点与其所在集群的中心点之间的平方距离之和最小。具体步骤包括：随机选择K个中心点，将每个数据点分配给最近的中心点所在的集群，然后重新计算每个集群的中心点，并重复此过程直到中心点不再发生变化或达到预设的迭代次数。
定义与性质
性质
定义
均值向量
描述多元正态分布的期望值，表示分布的中心位置。
协方差矩阵
描述多元正态分布的各变量之间的方差和协方差，表示分布的散布程度和变量间的相关性。
维数
描述多元正态分布中随机变量的个数，不同维数的多元正态分布具有不同的形态和性质。
多元正态分布的参数
统计分析
多元正态分布在统计分析中广泛应用，如回归分析、因子分析、聚类分析等。
KNN分类
06
多元正态分布的可视化技术
总结词
主成分分析（PCA）是一种常用的多元统计分析方法，用于降维和数据可视化。
总结词
PCA可视化能够揭示数据中的模式和趋势，帮助我们理解数据的内在结构和关系。
详细描述
通过将数据投影到主成分上，我们可以将高维数据可视化为一组二维或三维图形，从而更直观地观察数据的分布、中心、离群值和聚类等特征。
逻辑回归分类
VS
支持向量机（SVM）是一种有监督学习算法，用于解决分类问题。在多元正态分布的背景下，支持向量机通过找到能够将不同类别的数据点最大化分隔的决策边界来实现分类。
多元正态分布
混合模型
除了高斯混合模型，还有其他类 型的混合模型，如多项式混合模 型、泊松混合模型等。
扩展应用领域
多元正态分布在许多领域都有广 泛的应用，如心理学、经济学、 生物统计学等。
THANKS
感谢观看
02
联合分布的均值向量和协方差矩阵由各个分量的均 值和协方差决定。
03
当各分量之间相互独立时，其联合分布的协方差矩 阵为各分量协方差矩阵的线性组合。
04
多元正态分布的推断
参数估计
最大似然估计
01
通过最大化样本数据的似然函数来估计多元正态分布的参数，
包括均值向量和协方差矩阵。
最小二乘估计
02
将多元正态分布的均值向量作为回归系数，利用最小二乘法进
多元正态分布
• 多元正态分布概述 • 多元正态分布的参数 • 多元正态分布的性质 • 多元正态分布的推断 • 多元正态分布在统计和机器学习中的
应用 • 多元正态分布的扩展和变种
01
多元正态分布概述
定义与性质
定义
多元正态分布是多个连续随机变量的 概率分布，其概率密度函数是多元高 斯函数。
性质
多元正态分布具有旋转对称性、椭球 等高性、边缘分布的独立性和最大熵 等性质。
当其他维度固定时，该维度的边缘分 布是关于均值对称的，且方差与该维 度与其他维度的协方差成正比。
随机变量的线性变换
对于多元正态分布的随机变量，对其 进行线性变换后，新变量的分布仍然 是多元正态分布。
线性变换包括平移、旋转、缩放等， 这些变换不会改变变量的分布形态。
随机向量的联合分布
01
对于多元正态分布的随机向量，其各分量之间的联 合分布也是正态分布。
06
第十二讲多元正态分布的参数估计与检验
H 0：? ? ? 0，H 1：? ? ? 0
令F
?
n (n ? p
p)( X
?
? 0 )T S ?1 ( X
?
? 0 ),
则可以证
明当 H 0 成立时，即 ? ? ? 0时，F ～ F ( p, n ? p)
而当
H
不成立时，
0
F
有偏大的趋势。因此，对
给定的显著性水平 ? ，当
F
?
n (n ?
?
?
)T V
?1(X
?
?
)?? ?
则称随机向量 X 为 p维正态随机向量，其中 ?
称为均值向量，V 为协方差矩阵(协差阵)，且
V ? 0. 对于一般情形V ? 0, 仍可定义多维正
态随机向量， 记为X ～ N p(? ,V )。 当 V ? 0时，
X有前面的密度表示，而当 |V |? 0 时， X 的分 布是退化的正态分布。
且相互独立， 故 ? 2 ? 分布的定义知 Y TY ～ ? 2 ( p).
二、参数的估计
在此给出多元正态分布的参数 ? 和V的估
计。为简单计，仅考虑 V ? 0 的情形。 设 X 1, X 2 ,? , X n (n ? p) 是来自多元正态总
体 N p (? ,V )的简单样本，令
? X
?
1 n
Y ～N p ( A? ? b, AVA T ).
（4） X 为 p 维正态随机向量的充要条件为对任
一 p维向量c， cT X 是一维正态随机变量。
（5）
设X
?
(
X
T 1
,
X
T 2
)T
为多维正态随机向量，
关于多维正态分布的三个定理
＊收稿日期年月日,收到修改稿日期年6月3日＊＊北京市科干局基金资助关于多维正态分布的三个定理＊＊程维虎 来向荣(北京工业大学应用数学系,北京,100022)摘 要 本文得到了多维正态分布与独立性有关的三个定理。
关键词 多维正态分布,复值随机变量,独立性。
定理1 设n ≥2,X 1,X 2,…,X n 为n 个相互独立的m 维实值随机向量,A =(a ij )n ×m 和B =(b ij )n ×m 是任意两个非随机的实矩阵,记X i =(X i 1,X i 2,…,X im )′,i =1,2,…,n ,X =(X 1X 2…X n ),Y 1=tr(AX),Y 2=tr (BX),如果Y 1与Y 2相互独立,则当∑mj =1a ijb ij ≠0时,X i 服从m 维正态分布。
证:记a i =(a i 1,a i 2,…,a im )′,b i =(b i 1,b i2,…,b im )′,i =1,2,…,n ,则Y 1=tr (AX)=∑ni =1a ′i X i ,Y 2=tr (BX)=∑ni =1b ′i X i ,令U i =a ′i X i ,i =1,2,…,n由X 1,X 2…,X n 相互独立,可知U 1,U 2,…,U n 亦相互独立。
于是,由[4]的定理1.2.8可得X i =a ′+i U i +(I m -a ′+i a i )c i ,i =1,2,…,n其中,a ′+i 为a ′i 的Moore -Penrose 广义逆,c i 为某一m 的维常向量,I m 为m 阶单位阵。
当a i 不为零向量时,记其长度为‖a i ‖,则‖a i ‖≠0,由[4]的推论1.2.7可得a ′+i =‖a i ‖-2a i ,于是Y 1=∑n i =1U i ,Y 2=∑n i =1‖a i ‖-2b ′i a iU i +∑n i =1b ′i (I m -‖a i ‖-2a ′i a i )c i 由Y 1与Y 2独立,且∑n i =1b ′i (I m -‖a i ‖-2a ′i a i )c i 为一常数,可知Y 1与∑n i =1‖a i ‖-2b ′i a i U i 独立,即Y 1=∑n i =1U i 与Y 3=∑ni =1‖a i ‖-2b ′i a i U i 独立。
多维正态分布
Ma Xin, North China Electric Power University
样本均值向量
Ma Xin, North China Electric Power University
Ma Xin, North China Electric Power University
样本协方差矩阵
Ma Xin, North China Electric Power University
Ma Xin, North China Electric Power University
1 . 0 0
w1
利 润
0 . 0 0
Ma Xin, North China Electric Power University
售 电 量
ssss
- 1 . 0 0 - 1 . 0 0 0 . 0 0 1 . 0 0 2 . 0 0
s
矩阵乘： 矩阵乘：在多于一维上投影
z1=aw1是a在w1方向投影，现在我们再找一个与 在 方向投影， w1垂直的方向 2，z2=aw2是a在w2方向上的投影 垂直的方向w 在 方向上的投影. 这样， 这样，a=(a1, a2) →z=(z1,z2)=aw 。 w=(w1,w2)为一正交阵。 )为一正交阵 为一正交阵。
Ma Xin, North China Electric Power University
三、矩阵运算的几何解释 数量乘 数量乘：标量c乘以向量x 数量乘：标量c乘以向量x——尺度变换 尺度变换 在原方向上扩大或缩小c倍 将x在原方向上扩大或缩小 倍 在原方向上扩大或缩小
cx = c( x1,x2 )T = (cx1,cx2 )T
Ma Xin, North China Electric Power University
飞书多维表格正态分布公式
飞书多维表格正态分布公式
飞书多维表格是一种功能强大的数据分析工具，可以帮助用户
对数据进行多维度的分析和展示。
正态分布（也称为高斯分布）是
统计学中非常重要的一种概率分布，其概率密度函数可以用公式表
示为：
f(x) = (1 / (σ √(2π))) e^(-(x-μ)^2 / (2σ^2))。
其中，f(x)表示随机变量x的概率密度函数，μ是正态分布的
均值，σ是标准差，e是自然对数的底，π是圆周率。
在飞书多维表格中，如果你想对数据进行正态分布的计算和展示，你可以利用表格中的函数和工具来实现。
首先，你可以在表格
中计算数据的均值和标准差，然后利用上述的正态分布公式来计算
每个数据点对应的概率密度值。
接着，你可以利用图表功能将这些
概率密度值以直方图或曲线图的形式展示出来，从而直观地展示数
据的正态分布情况。
除此之外，飞书多维表格还提供了丰富的数据透视和筛选功能，可以帮助用户更好地理解数据的分布情况。
通过透视表和筛选功能，
你可以按照不同的维度对数据进行分组和筛选，从而更全面地了解数据的正态分布情况。
总之，飞书多维表格可以帮助用户对数据进行多维度的分析和展示，而正态分布公式则可以帮助用户理解和展示数据的正态分布情况。
结合这两者，用户可以更好地理解和展示数据的正态分布特性。
克罗内克符号表示的多维正态分布公式
克罗内克符号表示的多维正态分布公式
多维正态分布是统计学中经常使用的一种概率分布模型，用于描述多个随机变
量的联合概率分布。
而克罗内克符号是一种用于表示多维正态分布的公式的特殊符号。
在多维正态分布中，以一个向量表示多个随机变量的取值，在该分布中，每个
变量的取值都符合独立同分布的正态分布。
通过克罗内克符号，我们可以将这些单变量的正态分布拼接在一起，从而得到多维正态分布的公式。
克罗内克符号通常表示为⊗，在多维正态分布中，用克罗内克符号来表示协方
差矩阵。
协方差矩阵是一个对称矩阵，描述了各个随机变量之间的相关性。
多维正态分布的公式可以表示为：
P(X) = 1/((2π)^(n/2) * √|Σ|) * exp(-1/2 * (X-μ)^T * Σ^(-1) * (X-μ))
其中，P(X) 是多维正态分布的概率密度函数，X 是一个 n 维向量，μ 是一个 n
维向量，表示各个变量的平均值。
Σ 是一个 n×n 的矩阵，表示协方差矩阵。
在这个公式中，(X-μ)^T 表示向量 X 减去向量μ 的转置，Σ^(-1) 表示协方差矩
阵的逆矩阵，exp(-1/2 * (X-μ)^T * Σ^(-1) * (X-μ)) 表示以向量 X 为自变量的指数函数。
通过以上的公式，我们可以计算出给定一个多维正态分布的概率密度函数 P(X)，从而对各个变量的取值进行概率分析和预测。
总结来说，克罗内克符号表示的多维正态分布公式能够在统计学中帮助我们描
述多个随机变量之间的相关性，并计算它们的联合概率分布。
这些分析结果在许多领域中都被广泛应用，如金融、生物统计学等。