北大随机过程课件：第 5 章 第 1 讲 高斯随机变量

∫ ∫ =
∞∞
"
−∞ −∞
⎡⎣( 2π
1
)n
B
⎤1/ 2 ⎦
exp
⎛ ⎜⎝
juT x
−
1 2
(x
− μ)T
B−1 (x
− μ)⎞⎟⎠dx
∫ ∫ ( ) ∞ ∞
="
−∞
−∞
⎡ ⎣
1
2π
⎤n 1/ 2 ⎦
exp[ juT μ X
− ST S / 2]
exp[−(y − jS)T (y − jS) / 2]dy
N n=1
an
(ξ
N
n− μ n) ⋅ am (ξ
m=1
m
−
μ
m
)
⎫ ⎬ ⎭
NN
∑ ∑ =
anamE {(ξ m− μ m) ⋅ (ξ n− μ n)}
n=1 m=1
NN
∑ ∑ =
an ambnm
n=1 m=1
= aT Ba
4.2 高斯随机变量的线性变换
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是μ＝（μ1，μ2， ，μN）， 协方差矩阵是 B。 线性变换 C，是 M*N 的矩阵，ξ经过线性变换 C 得到η＝Cξ， 均值：
= exp[ juT μ X − ST S / 2] = exp[ juT μ X − uT LLT u / 2] = exp[ juT μ X − uT Bu / 2]
4
Φξ
(u)
=
exp⎜⎛ ⎝
juT μ X
−
1 uT Bu⎟⎞
2
⎠
当协方差矩阵是非负定的，可以证明若它的秩为 r<n，它的概率分布集中在 r 维子空间
N 元高斯随机变量的特征函数是:
∞∞
{ } ∫ ∫ Φξ (u) = E exp( juT x) = " exp( juT x) fξ (x)dx
−∞ −∞
∫ ∫ =
∞∞
" exp(
−∞ −∞
juT x)
⎡⎣( 2π
1
)n
B
⎤1/ 2 ⎦
exp
⎛ ⎜⎝
−
1 2
(x
− μ)T
B −1
(x
− μ)⎞⎟⎠dx
1
− x2
e2
2π
−u2
Φξ (u) = e 2
1
一元高斯随机变量 N(μ,σ2)，均值为μ、方差为σ2，其概率密度和特征函数：
fξ (x) =
1
− ( x−μ )2
e 2σ 2
2πσ 2
jμ u−σ 2u 2
Φξ (u) = e 2
2.2 二元高斯随机变量
二元高斯随机变量ξ1 ,ξ 2 ，均值为零、协方差矩阵为：
条件是 B12＝0
证明：
5
首先证明必要性。 若ξ1，ξ2 相互统计独立，它们之间的任意两个分量都统计独立，它们之间的任意 两个分量的协方差都是零，相应的协方差矩阵 B12＝0，B21＝0。 其次证明充分性。
若 B12＝0，B21＝0，相应ξ的相关矩阵 B
=
⎜⎜⎝⎛
B 11 0
0 B 22
⎟⎟⎠⎞
。
# bnn
⎟ ⎟⎟⎠
其 n 元概率密度和特征函数为
[ ] fξ (x) =
1
(2π )n B
1/ 2
exp⎜⎛ − ⎝
1 2
(x
−
μ)T
B −1 (x
−
μ)⎟⎞
⎠
Φξ
(U )
=
exp⎜⎛ ⎝
jμ T u
−
1 2
uT Bu ⎟⎞ ⎠
其中，
x = (x 1 x 2 " )xn T ， u = (u 1 u 2 " un )T
(2π )n
1/ 2
exp⎜⎛ − ⎝
1 2
N n=1
y
2 n
⎟⎞ ⎠
显然有
∞∞
∞∞
∫" ∫ fξ ( X )dX = ∫" ∫ fη (Y )dY
−∞ −∞
−∞ −∞
∞∞
∫ ∫ = " fη (Y )dy1dy2 "dyN = 1
−∞ −∞
2.4 n 元高斯随机变量的特征函数的计算
考虑以下的矩阵运算
=
exp⎜⎛ − ⎝
1 2
[u12
+
2ru1u2
+
u
2 2
]⎟⎞ ⎠
二元高斯随机变量ξ1 ,ξ 2 ，其均值、协方差矩阵为，
E⎜⎜⎝⎛
ξ1 ξ2
⎟⎟⎠⎞
=
⎜⎜⎝⎛
μ μ
1 2
⎟⎟⎠⎞
=
μ
,
( ) B
=
⎜⎜⎝⎛
σ
2 1
rσ 1σ
2
rσ 1σ
σ
2 2
2
⎟⎟⎠⎞
，
B
=
σ
12σ
2 2
1− r2
( ) B−1 =
= Φξ1 (u1 ) ⋅ Φξ2 (u2 )
等于两个子矢量的特征函数的乘积，因此这两个子矢量是相互独立的。
4 高斯随机变量的线性变换
4.1 高斯随机变量的线性组合
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是μ＝（μ1，μ2， ，μN）， 协方差矩阵是 B。 高斯随机变量ξ各个分量线性组合
B = ⎜⎜⎝⎛1r
r1⎟⎟⎠⎞ ， B−1
=1 1− r2
⎛1
⎜ ⎝
−r
−r 1
⎞ ⎟ ⎠
，
B
=1− r2
其二元概率密度和特征函数为：
fξ1 ξ2 (x1, x2 ) = 2π
1 1− r2
exp⎜⎜⎝⎛ −
2(1
1 −
r
2
)
[
x12
− 2rx1x2
+
x22 ]⎟⎟⎠⎞
Φξ 1ξ
2
(u1, u2 )
1
σ
12σ
2 2
1− r2
⎛ ⎜⎜⎝
σ −rσ
2 2
1σ
2
−
rσ 1σ
σ
2 1
2
⎞ ⎟⎟⎠
( ) =
1 1− r2
⎛ ⎜⎜⎝
1 σ12 −r σ 1σ
2
−
r 1
σ 1σ
σ
2 2
2
⎞ ⎟⎟⎠
其二元概率密度和特征函数为
fξ 1ξ
2
(x,
y)
=
2πσ
1 1σ 2
× 1− r2
⎛ exp ⎜
⎜⎝
−
1 2(1 −
∑ =
E
⎧ ⎨exp ⎩
⎛ ⎜⎝
j
N n=1
unξ
n
⎞⎫ ⎟⎠⎬⎭
∑ { ( )} =
E
⎧ ⎨exp ⎩
⎛ ⎜⎝
ju0
N n=1
un′ξ

n
⎞⎫ ⎟⎠⎬⎭
=
E
exp
ju0u′T ξ
( ) = exp ju0u′T ⋅ μ ξ− u′T Bξu′u02 / 2
( ) = exp juT ⋅μ ξ− uT Bξu / 2
Eη = E {Cξ} = CE {ξ} = Cμξ ，
协方差矩阵：
{ } D{(η− Eη} = E
(
η−
Eη)(η−
T
Eη)
{ } = E
(Cξ
−
ECξ)(Cξ
−
ECξ
T
)
{ } = E
C(ξ
−
μξ
)(ξ
−
μξ
T
)
CT
{ } = CE
(ξ
−
μξ
)(ξ
−
μξ
T
)
CT
= CBCT
4.3 定理 1
设ξ＝（ξ1，ξ2， ，ξN）是 N 维随机矢量，其数学期望是，μ＝（μ1，μ2， ， μN），协方差矩阵是 B。ξ服从 N 元高斯分布的充要条件是它的任意一个线性组合
高斯分布随机变量及其性质
¾ 中心极限定理 ¾ 高斯分布的随机变量 ¾ N 维高斯随机变量的统计独立特性 ¾ 高斯随机变量的线性变换 ¾ 高斯分布的随机变量的条件分布和边缘分布
1．引言．中心极限定理
给定 n 个独立的随机变量 xi , i = 1, 2," n，它们的和为： x = x1 + x2 +" + xn ，x 的均
数等于各自特征函数的乘积，它们是相互统计独立。
3.2 定理 2
若ξ是高斯分布的随机矢量，ξ1，ξ2 是两个子矢量，ξ＝（ξ1 ξ2）T 它们的协
方差矩阵是 B
=
⎜⎜⎝⎛
B B
11 21
B 12 B 22
⎟⎟⎠⎞
，其中
B11 和
B22 分别是ξ1，ξ2 的协方差矩阵，B12
和 B21 分别是ξ1，ξ2 的互协方差矩阵。B12＝(B21)H，ξ1，ξ2 相互统计独立的充要
令 u = (u1 u 2 )T ，与相应分量的维数与ξ＝（ξ1 ξ2）T 一致，它们的特征函数，
( ) Φξ (u) = exp juTμ − uTBu 2
( ) = exp
ju1Tμ 1+
ju2Tμ
2− [u1TB11u1
+
u
T 2
B22u
2
]
/
2
( ) ( ) = exp ju1Tμ 1− [u1TB11u1] / 2 ⋅ exp ju2Tμ 2− [u2TB22u2 ] / 2