高斯随机过程
通信原理 第三章 随机过程 学习要点及习题解答
第三章 随机过程学习目标通过对本章的学习，应该掌握以下要点： 随机过程的基本概念随机过程的数字特征（均值、方差、相关函数）；平稳过程的定义、各态历经性、相关函数和功率谱密度；高斯过程的定义和性质、一维概率密度函数；随机过程通过线性系统、输出和输入的关系；窄带随机过程的表达式和统计特性；正弦波加窄带高斯过程的统计特性；高斯白噪声及其通过理想低通信道和理想带通滤波器。
3.1 内容概要3.1.1 随机过程的基本概念随机过程是一类随时间作随机变化的过程，具有不可预知性，不能用确切的时间函数来描述。
1.定义角度一：随机过程ξ(t )是随机试验的全体样本函数{ξ1 (t ), ξ2 (t ), …, ξn (t )}的集合。
角度二：随机过程ξ(t )是在时间进程中处于不同时刻的随机变量的集合。
这说明，在任一观察时刻t 1，ξ(t 1)是一个不含t 变化的随机变量。
可见，随机过程具有随机变量和时间函数的特点。
研究随机过程正是利用了它的这两个特点。
2.分布函数和概率密度函数 一维分布函数：ξ(t )在11111(,)[()]F x t P t x ξ=≤含义：随机过程ξ(t )在t 1时刻的取值ξ(t 1)小于或等于某一数值x 1的概率。
如果存在1111111),(),(x t x F t x f ∂∂=则称111(,)f x t 为ξ(t )的一维概率密度函数。
同理，任意给定12n t t t T ∈ ，，，，则ξ(t )的n 维分布函数为{}12121122(,,,;,,)(),(),,()n n n n n F x x x t t t P t x t x t x ξξξ=≤≤≤如果此能在n21n 21n 21n n n 21n 21n x )t x ()t x (∂∂∂∂= x x t t x x F t t x x f ，，，；，，，，，，；，，，则称其为ξ(t )的n 维概率密度函数。
显然，n 越大，对随机过程统计特性的描述就越充分。
随机过程知识点汇总
随机过程知识点汇总随机过程是指一组随机变量{X(t)}，其中t属于某个集合T，每个随机变量X(t)都与一个时刻t相关联。
２．随机过程的分类随机过程可以分为离散时间随机过程和连续时间随机过程。
离散时间随机过程是指在离散的时间点上取值的随机过程，例如随机游走。
连续时间随机过程是指在连续的时间区间上取值的随机过程，例如XXX运动。
３．随机过程的数字特征随机过程的数字特征包括均值函数和自相关函数。
均值函数E[X(t)]描述了随机过程在不同时刻的平均取值。
自相关函数R(t1,t2)描述了随机过程在不同时刻的相关程度。
４．平稳随机过程平稳随机过程是指其均值函数和自相关函数都不随时间变化而变化的随机过程。
弱平稳随机过程的自相关函数只与时间差有关，而不依赖于具体的时间点。
强平稳随机过程的概率分布在时间上是不变的。
５．高斯随机过程高斯随机过程是指其任意有限个随机变量的线性组合都服从正态分布的随机过程。
高斯随机过程的均值函数和自相关函数可以唯一确定该过程。
６．马尔可夫随机过程马尔可夫随机过程是指其在给定当前状态下，未来状态的条件概率分布只依赖于当前状态，而与过去状态无关的随机过程。
马尔可夫性质可以用转移概率矩阵描述，并且可以用马尔可夫链来建模。
７．泊松过程泊松过程是指在一个时间段内随机事件发生的次数服从泊松分布的随机过程。
泊松过程的重要性质是独立增量和平稳增量。
８．随机过程的应用随机过程在金融学、信号处理、通信工程、控制理论等领域有广泛的应用。
例如，布朗运动被广泛应用于金融学中的期权定价，马尔可夫链被应用于自然语言处理中的语言模型。
t)|^2]协方差函数BZs,t)E[(ZsmZs))(ZtmZt))]，其中Zs和Zt是Z在时刻s和t的取值。
复随机过程是由实部和虚部构成的随机过程，其均值和方差函数分别由实部和虚部的均值和方差函数计算得到。
协方差函数和相关函数也可以类似地计算得到。
复随机过程在通信系统中有广泛的应用，例如调制解调、信道编解码等。
高斯随机过程超参数
高斯随机过程超参数
高斯过程（Gaussian Processes）是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。
在高斯过程中，超参数是指控制模型复杂性和行为的参数，这些参数在模型训练过程中需要进行优化。
高斯过程的超参数通常包括特征长度尺度（characteristic length-scale）和噪声水平（noise level）等。
特征长度
尺度用于控制高斯过程的平滑程度，而噪声水平则用于控制模型对数据的拟合程度。
在贝叶斯优化框架中，高斯过程的超参数可以通过最大化边缘似然函数（marginal likelihood function）来进行估计。
边缘似然函数是将超参数
与数据联系起来的关键，通过最大化该函数可以找到最优的超参数值，从而使得高斯过程模型能够最好地拟合给定的数据。
常用的核函数包括平方指数核（squared exponential kernel）和马顿核（Matern kernel）。
平方指数核的超参数包括特征长度尺度和噪声水平，而马顿核则还包括一个额外的超参数，用于控制核函数的形状。
总的来说，高斯过程的超参数对于模型的性能至关重要，需要通过优化算法进行仔细调整，以获得最佳的预测和泛化性能。
以上内容仅供参考，如需更专业的解释，建议咨询统计学或机器学习领域的专家，或查阅相关领域的专业书籍和文献。
通信原理第3章(樊昌信第七版)
3.3.3 高斯随机变量
定义：高斯过程在任一时刻上的取值是一个正态分布的 随机变量，也称高斯随机变量，其一维概率密度函数为
1
(x a)2
f (x)
2
exp
2 2
式中 a － 均值
2 － 方差
f (x) 1 2
曲线如右图：
o
a
x
7
性质
f (x)对称于直线 x = a，即
f a x f a x
1 1 xa
erf
2 2 2σ
式中
erf (x)
2
x 0
et
2
dt
－误差函数，可以查表求出其值。10
用互补误差函数erfc(x)表示正态分布函数：
式中
F
(x)
1
1 2
erfc
x
a
2
erfc(x) 1 erf (x) 2 et2dt
x
当x > 2时，
erfc(x) 1 ex2 x
11
用Q函数表示正态分布函数：
➢ Q函数定义： Q(x) 1 et2 /2dt
2 x
➢ Q函数和erfc函数的关系：
Q(x)
1 2
erfc
x 2
erfc(x) 2Q( 2 x)
➢ Q函数和分布函数F(x)的关系：
F ( x)
1
1 2
erfc
x
a
2
1
Q
x
a
➢ Q函数值也可以从查表得到。
f (x) 1 2
f (x)dx 1
a
1
f (x)dx f (x)dx
Байду номын сангаас
高斯随机过程
若统计独立，则必不相关；反 若不相关，则统计独 之，则不然，即：若不相关， 立。
则不一定统计独立。
若狭义平稳，则必广义平稳； 若广义平稳，则狭义 反之，则不然，即：若广义平 平稳。 稳，则不一定狭义平稳。
高斯分布函数的计算--查表法（附录B）
x
F (x) p( x)
1
2
R(t1,t2)= R(t1,t1+τ)= E［ξ(t1)ξ(t1+τ)］ = R(τ)
x1x2
f2 (x1,
x2 ;
)dx1dx2
R( )
仅是时间间隔τ=t2-t1的函数
平稳随机过程ξ(t)具有“平稳”的数字特征：它的均值为常数；自
相关函数只与时间间隔τ有关，R(t1,t1+τ)=R(τ)
(t,
t
) E[ (t)
1 2
E{cosw0
(t )] E[sin(w0t
cos[w0 (t2 t1) 2 ]}
) sin(w0 (t
)
)]
(2)
1 2
cosw0
0
1 2
cosw0
R( )
可见:ξ(t)的数学期望为常数，自相关函数只与时间间隔τ有关， 所以ξ(t)为广义平稳随机过程。
f (z)
1
2
蓝线下面积为为F(x)
Q(x)函数：
Q(x) 1 et2 / 2dt
2 x
红线下面积为Q函数
x
z
[例3.2-2]
Z(t)=X1cosw0t－X2sinw0t 是一随机过程。若X1、X2是彼此独立且具 有均值为0，方差为σ2的正态随机变量，求：
第三章通信原理 随机过程
体 x1t, x2 ，t,就,是xn 一t个
随机过程，记作 。
t
因此从这个角度得到随机过程的这种定义： 随机过程是所有样本函数的集合。
角度2：现在，我们在某一特定时刻如 时t1刻观察
各台接收机的噪声，可以发现在同一时刻，每个接 收机的输出噪声值是不同的，它在随机变化。
（1）随机过程的协方差函数:B(t1,t2) 描述了随机过程§(t)在任意两个时刻t1和t2，相对
均值的起伏量之间的相关程度。
B(t1, t2 ) E (t1) a(t1) (t2 ) a(t2 )
B(t1, t2 ) x1 a(t1 ) x2 a(t2 ) f2( x1, x2;t1, t2 )dx1dx2
f1x,t
F1x, t
x
F1x, t
x
f1 y, tdy
F1和x, t f即1x是, t 的函数，x 又是时间 的函数。t很显然，
一维分布函数及一维概率密度函数仅仅表示了随机过程 在任一瞬间的统计特性，它对随机过程的描述很不充分， 通常需要在足够多的时间上考察随机过程的多维分布。
测试结果表明，得到的 n张记录图形并不因为有 相同的条件而输出相同 的波形。恰恰相反，即 使n足够大，也找不到两 个完全相同的波形。这 就是说，通信机输出的 噪声电压随时间的变化 是不可预知的，因而它 是一个随机过程。
N部通信机的噪声输出记录
测试结果的每一个记录， 都是一个确定的时间函
数 ，xi 称t 之为样本函数
式中 是一个离散随机变量，且
P
、0
1 2
P 2， 试12求 和E 1。 R 0,1
12高斯过程(正态过程)
yi
dyi
n i 1
exp{
1 2
vivi }
exp{
1 2
vT
v}
于是
Y (ν)
exp{
1 2
vT v}
x = Ly + a,
(x)
=
L
=
1
C2
(y)
X (ν) exp{ jaT v}Y (Lν)
exp{
jaT v}exp{
1 2
(Lv)T
Lv}
exp{
jaT v}exp{
2
v T LT Lv}
本次作业
P189
– 第5, 7练习题。
谢谢大家
exp
1 2
y
T F -1 y
等价定义 — 重要
X1, X 2 , , X n 为联合正态分布的
充分必要条件
a1, a2 ,
n
, an ak X k k 1
正态分布
8、n维高斯随机矢量各阶矩
一阶矩 二阶矩
EE[[XXkk
]]
11 jj
nn((vv1,1,
vvk k
vnv)n ) akak
]T
,
aTv
=
[a1TaT2
]
v1 v2
=
a1T v1
+
aT2 v2
n (v) exp
jaT
v
-
1 2
vTPv
exp
ja1T v1
+
aT2 v2
-
1 2
(v1TP11v1
+
v
T 2
P22
v
2
)
(v1)(v2 )
第六讲 正态随机过程
2012-8-20
信息科学与工程学院
1
2 概率密度函数
f X ( x1 , x 2 , , x n ; t1 , t 2 , , t n ) (2 ) 1
n 2 1
K
2
( X m X )T K 1 ( X m X exp 2
)
上式中,mX是n维均值向量，K是n维协方差矩阵
x1 x 2 X xn
mX
m X ( t1 ) m X (t2 ) m X (tn )
2012-8-20
信息科学与工程学院
2
K 11 K K 21 K n1
K 12 K 22 K n2
则正态随机过程在n个不同时刻的取值不相关。 (2) 如果Xn(n＝1,2,…,)两两之间互不相关，则
0 K X ( t i , t j ) E [( X i m i )( X j m j )] 2 i
2012-8-20
i j i j
9
信息科学与工程学院
12 所以 K 0
K ij K X ( t i , t j ) E [( X i m i )( X j m j )] rij i
j
rij
K X (ti , t j )
i
j
2012-8-20
信息科学与工程学院
3
3 性质
正态随机过程的n维概率密度函数只取决于均值和 协方差和相关系数。
2
... ...
2
0 2 n
2
则
K
1
1－ 2 0
... ...
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
erf ( x )
2
x
0
e dt
t 2
它 是 自 变 量 的 递 增 函 数 ， erf(0)=0 ， erf(∞)=1 ， 且 erf(-x)=-erf(x)。我们称1-erf(x)为互补误差函数，记为erfc(x), 即 2 t 2 e dt erfc(x)=1-erf(x)=
f ( x)
1 ( x a )2 exp( ) 2 2 2
式中，a为高斯随机变量的数学期望，σ2为方差。f(x)
曲线如图 2 - 3所示。
由式（2.3 - 3）和图2 - 3可知f(x)具有如下特性： (1) f(x)对称于x=a这条直线。 (2)
f ( x)dx 1
x
它是自变量的递减函数，erfc(0)=1，erfc(∞)=0，且erfc(-
x)=2-erfc(x)。当x1时（实际应用中只要x＞2)即可近似有
erfc ( x )
1
x
e
x2
（2） 概率积分函数和Q函数。 概率积分函数定义为 1 t 2 / 2 Φ(x)= (2.3 - 10) x e dt, x 0 2 这是另一个在数学手册上有数值和曲线的特殊函数， 有Φ(∞)=1。 Q函数是一种经常用于表示高斯尾部曲线下的面积的 函数，其定义为 1 t 2 / 2 Q( x ) 1 ( x) x e dt, x 0 2 比较式（2.3 - 8）与式（2.3 - 10）和式（2.3 -] 11）， 可得
用误差函数或互补误差函数表示F(x)的好处是，它简明 的特性有助于今后分析通信系统的抗噪声性能。
2.3.3高斯白噪声
信号在信道中传输时， 常会遇到这样一类噪声， 它的功 率谱密度均匀分布在整个频率范围内，即 Pξ(ω)=
n0 2
(2.3 - 17)
这种噪声被称为白噪声，它是一个理想的宽带随机过程。 式中n0为一常数，单位是瓦/赫。显然，白噪声的自相关函数 可借助于下式求得，即 R(τ)=
例子。
ቤተ መጻሕፍቲ ባይዱ
1
fn(x1, x2, …, xn; t1, t2, …, tn)=
( 2 )
n
n
2
j
j 1
j
n
exp[
j 1
n
( x j a j )2 2 2 j
]
(2.3 - 2)
j 1
1 2
exp[
( x j a j )2 2
2 j
=f(x1, t1)· 2, t2)…f(xn, tn) f(x 也就是说，如果高斯过程在不同时刻的取值是不相关的， 那么它们也是统计独立的以后分析问题时，会经常用到高斯过 程中的一维分布。例如，高斯过程在任一时刻上的样值是一个 一维高斯随机变量，其一维概率密度函数可表示为
1 …
B B 1 21
b12 … … …
b1n … 1
… b2n
Bn1 bn2 …
|B|jk 为行列式|B|中元素bjk 的代数余因子，bjk 为归一化协 方差函数，且
2.3.2重要性质
（1） 由式(2.3 - 1)可以看出, 高斯过程的n维分布完全由n 个随机变量的数学期望、 方差和两两之间的归一化协方差函 数所决定。因此，对于高斯过程，只要研究它的数字特征就 可以了。 （2） 如果高斯过程是广义平稳的，则它的均值与时间无 关，协方差函数只与时间间隔有关，而与时间起点无关，由 性质（1）知，它的n维分布与时间起点无关。 所以，广义平 稳的高斯过程也是狭义平稳的。 （3） 如果高斯过程在不同时刻的取值是不相关的， 即对 所有j≠k有bjk=0，这时式（2.3 - 1）变为
密度函数的积分，即
F ( x ) p( x )
x
1 ( z a )2 exp[ ]dz 2 2 2
这个积分无法用闭合形式计算，我们要设法把这个积分 式和可以在数学手册上查出积分值的特殊函数联系起来，一
般常用以下几种特殊函数：
（1） 误差函数和互补误差函数。 误差函数的定义式为
2.3高斯随机过程
2.3.1定义
若随机过程ξ(t)的任意n维（n=1, 2, …）分布都是正态分布， 则称它为高斯随机过程或正态过程。 其n维正态概率密度函 数表示如下： 1 fn(x1,x2,…,xn; t1,t2,…,tn) 1 1 2 ( 2 ) 1 2 ... n B 2
x j a k xk a k 1 n n . exp[ B jk ( )( )] 2 B j 1 k 1 j k 式中, ak=E［ξ(tk)］，σ2k=E［ξ(tk)-ak］2，|B|为归一化协 方差矩阵的行列式，即
1 x Q( x ) erfc( ) 2 2 erfc ( x ) 2Q ( 2 x ) 2[1 ( 2 x )]
现在让我们把以上特殊函数与式（2.3 - 6）进行联系， 以 表示正态分布函数F(x)。
若对式（2.3 - 6）进行变量代换，令新积分变量t=(z-a)/σ， 就有dz=σdt，再与式（2.3 - 10）联系，则有
xa F(x)=
(2.3 - 15)
若对式（2.3 - 6）进行变量代换， 令新积分变量t=(z-a)/
2σ，就有dz=
σdt，再利用式（2.3 - 5），则不难得到 2
1 1 xa erf ( ), 当x a时 2 2 2
F(X)=
1 xa 1 erf ( ), 当x a时 2 2
1 f ( x )dx f ( x )dx a 2
且有
1 2
f (x)
O
a
x
图2-3 正态分布的概率
3） a表示分布中心，σ表示集中程度，f(x)图形将随着σ 的减小而变高和变窄。当a=0，σ=1时，称f(x)为标准正态分布 的密度函数。 当我们需要求高斯随机变量ξ小于或等于任意取值x的概 率P(ξ≤x)时，还要用到正态分布函数。正态分布函数是概率
n0 ( ) 2
这说明，白噪声只有在τ=0时才相关，而它在任意两个 时刻上的随机变量都是互不相关的。图 2 - 4 画出了白噪声
的功率谱和自相关函数的图形。
如果白噪声又是高斯分布的， 我们就称之为高斯白噪 声。 由式（2.3 - 18）可以看出，高斯白噪声在任意两个不 同时刻上的取值之间，不仅是互不相关的，而且还是统计独 立的。应当指出，我们所定义的这种理想化的白噪声在实际 中是不存在的。但是，如果噪声的功率谱均匀分布的频率范 围远远大于通信系统的工作频带，我们就可以把它视为白噪 声。第 3章将要讨论的热噪声和散弹噪声就是近似白噪声的