随机过程英语讲义-3
合集下载
第三讲 随机过程
• • 随机过程简记为 {xt} 或 xt。随机过程也常简称为过程。
随机过程
• 随机过程一般分为两类。一类是离散型的，一类 是连续型的。 • 如果一个随机过程{xt}对任意的tT 都是一个连 续型随机变量，则称此随机过程为连续型随机过 程。 • 如果一个随机过程{xt}对任意的tT 都是一个离 散型随机变量，则称此随机过程为离散型随机过 程。我们只考虑离散型随机过程。
随机过程
• 例如，对河流水位的测量。其中每一时刻 的水位值都是一个随机变量。如果以一年 的水位纪录作为实验结果，便得到一个水 位关于时间的函数xt。这个水位函数是预先 不可确知的。只有通过测量才能得到。而 在每年中同一时刻的水位纪录是不相同的。
随机过程
• 随机过程：由随机变量组成的一个有序序列称为随机过程， 记为{x (s， t) ， sS ， tT }。其中S表示样本空间， T表示序数集。对于每一个 t， tT， x (· t ) 是样本空 ， 间S中的一个随机变量。 • 对于每一个 s， sS ， x (s， · 是随机过程在序数集T ) 中的一次实现。
随机过程
随机过程
• 为什么在研究时间序列之前先要介绍随机 过程？就是要把时间序列的研究提高到理 论高度来认识。时间序列不是无源之水。 它是由相应随机过程产生的。只有从随机 过程的高度认识了它的一般规律。对时间 序列的研究才会有指导意义。对时间序列 的认识才会更深刻。
随机过程
• 自然界中事物变化的过程可以分成两类。一类是 确定型过程，一类是非确定型过程。 • 确定型过程即可以用关于时间t的函数描述的过程。 例如，真空中的自由落体运动过程，电容器通过 电阻的放电过程，行星的运动过程等。 • 非确定型过程即不能用一个（或几个）关于时间t 的确定性函数描述的过程。换句话说，对同一事 物的变化过程独立、重复地进行多次观测而得到 的结果是不相同的。
随机过程课程讲义
对每一固定的时刻t, X (t) cos(t )是随机变量的函数, 从而也是随机变量。它的状态空间是[- , ]. 在(0, 2 )内随机取一数 ,相应的就得到一个样本函数 x(t) cos(t ), 这族样本函数的差异在于它们相位的不同,
故这一过程称为随机相位正弦波。
6
例3：设X (t) Vcost t , 其中是常数；
一般地，FX (x1, x2 , xn;t1, t2 , tn ), n 1, 2, ti T 称为随机过程X (t),t T的有限维分布函数族
它完全确定了随机过程的统计特性
下面分别给出它们的一条样本函数：
xn
6
(1)
5
4
3
2
yn
6
xn
5
4
3
2
(2)
yn
1
1
1 2 3 45 678
n
1 2 3 45 678
n
随机过程的分类：
随机过程可根据参数集T和任一时刻的状态分为四类，参数集T 可分为离散集和连续集两种情况，任一时刻的状态分别为离散型随 机变量和连续型随机变量两种：
10
§2 随机过程的统计描述
两种描述
分布函数 特征数
(一) 随机过程的分布函数族
设随机过程X (t),t T, 对每一固定的t T , FX (x,t) PX (t) x，x R，称为随机过程X (t),t T的一维分布函数 FX (x,t),t T称为一维分布函数族
一般地，对任意n(n 2,3, )个不同的时刻，t1,t2, tn T
1. 连续参数连续型的随机过程，如例2，例3 2. 连续参数离散型的随机过程，如例1，例4 3. 离散参数离散型的随机过程，如例5 4. 离散参数连续型的随机过程时间集T t, 2 t, n t, 上观察X (t)，就得到 随机序列X1, X 2 , , X n , , X n X (n t)是连续型随机变量。
故这一过程称为随机相位正弦波。
6
例3：设X (t) Vcost t , 其中是常数；
一般地，FX (x1, x2 , xn;t1, t2 , tn ), n 1, 2, ti T 称为随机过程X (t),t T的有限维分布函数族
它完全确定了随机过程的统计特性
下面分别给出它们的一条样本函数：
xn
6
(1)
5
4
3
2
yn
6
xn
5
4
3
2
(2)
yn
1
1
1 2 3 45 678
n
1 2 3 45 678
n
随机过程的分类：
随机过程可根据参数集T和任一时刻的状态分为四类，参数集T 可分为离散集和连续集两种情况，任一时刻的状态分别为离散型随 机变量和连续型随机变量两种：
10
§2 随机过程的统计描述
两种描述
分布函数 特征数
(一) 随机过程的分布函数族
设随机过程X (t),t T, 对每一固定的t T , FX (x,t) PX (t) x，x R，称为随机过程X (t),t T的一维分布函数 FX (x,t),t T称为一维分布函数族
一般地，对任意n(n 2,3, )个不同的时刻，t1,t2, tn T
1. 连续参数连续型的随机过程，如例2，例3 2. 连续参数离散型的随机过程，如例1，例4 3. 离散参数离散型的随机过程，如例5 4. 离散参数连续型的随机过程时间集T t, 2 t, n t, 上观察X (t)，就得到 随机序列X1, X 2 , , X n , , X n X (n t)是连续型随机变量。
随机过程讲义 第一章
第一章 随机过程及其分类在概率论中，我们研究了随机变量，n 维随机向量。
在极限定理中我们研究了无穷多个随机变量，但只局限在它们之间相互独立的情形。
将上述情形加以推广，即研究一族无穷多个、相互有关的随机变量，这就是随机过程。
1． 随机过程的概念定义：设),,(P ∑Ω是一概率空间，对每一个参数T t ∈，),(ωt X 是一定义在概率空间),,(P ∑Ω上的随机变量，则称随机变量族});,({T t t X X T ∈=ω为该概率空间上的一随机过程。
其中R T ⊂是一实数集，称为指标集或参数集。
随机过程的两种描述方法： 用映射表示T X ，R T t X →Ω⨯:),(ω即),(⋅⋅X 是一定义在Ω⨯T 上的二元单值函数，固定T t ∈，),(⋅t X 是一定义在样本空间Ω上的函数，即为一随机变量；对于固定的Ω∈ω，),(ω⋅X 是一个关于参数T t ∈的函数，通常称为样本函数，或称随机过程的一次实现，所有样本函数的集合确定一随机过程。
记号),(ωt X 有时记为)(ωt X 或简记为)(t X 。
参数T 一般表示时间或空间。
常用的参数一般有：（1）},2,1,0{0 ==N T ；（2）},2,1,0{ ±±=T ；（3）],[b a T =，其中a 可以取0或∞-，b 可以取∞+。
当参数取可列集时，一般称随机过程为随机序列。
随机过程});({T t t X ∈可能取值的全体所构成的集合称为此随机过程的状态空间，记作S 。
S 中的元素称为状态。
状态空间可以由复数、实数或更一般的抽象空间构成。
实际应用中，随机过程的状态一般都具有特定的物理意义。
例1：抛掷一枚硬币，样本空间为},{T H =Ω，借此定义：⎩⎨⎧=时当出现，时当出现T 2H ,cos )(t t t X π ),(∞+-∞∈t 其中2/1}{}{==T P H P ，则)},(,)({∞+-∞∈t t X 是一随机过程。
第三章 随机过程表示法ppt课件
9
随机过程表示法
正定性：
T
f(t)Kx(t,u)f(u)dtdu0
证明见P.177
0
f (t) 为任意非0有限能量函数，满足上式>0， 称Kx为正定的
协方差平稳：K x(t,u ) K x(u ,t) K x() Kx(t,u) 只取决于 | t u |
相关平稳： R x(t,u ) R x(u ,t) R x() Rx(t,u) 只取决于 | t u |
随机过程表示法
第三章 随机过程表示法
1
随机过程表示法
3.1 引言
信号表示方法：时域表示法 频域表示法 正交级数表示法
例：对检测问题，利用归一化正交函数族：
H0 s1(t)s11(t) H0 s2(t)s22(t)
n(t) n11(t)n22(t)
T
0 i(t)f (t)dtif
1、完备的表示法
应能确定联合密度 pxt1xt2 xtn(X 1,X2, ,Xn)
确定此n阶密度困难，且不能解决所有问题
7
随机过程表示法
2、常用的两种方法
构造过程
比如马尔可夫过程
p ( X |X X ) p ( X |X ) x t n |x t n 1 x t 1 t n t n 1
2
随机过程表示法
3
随机过程表示法
r (t) (s 1 n 1 )1 (t) n 22 (t),
0tT;H1
r(t)
r (t) n 11 (t) (s 2 n 2 )2 (t),
0tT;H0
1 (t )
()dt
()dt
2 (t)
r1 r(t)1(t)dt r2 r(t)2 (t)dt
随机过程表示法
正定性：
T
f(t)Kx(t,u)f(u)dtdu0
证明见P.177
0
f (t) 为任意非0有限能量函数，满足上式>0， 称Kx为正定的
协方差平稳：K x(t,u ) K x(u ,t) K x() Kx(t,u) 只取决于 | t u |
相关平稳： R x(t,u ) R x(u ,t) R x() Rx(t,u) 只取决于 | t u |
随机过程表示法
第三章 随机过程表示法
1
随机过程表示法
3.1 引言
信号表示方法：时域表示法 频域表示法 正交级数表示法
例：对检测问题，利用归一化正交函数族：
H0 s1(t)s11(t) H0 s2(t)s22(t)
n(t) n11(t)n22(t)
T
0 i(t)f (t)dtif
1、完备的表示法
应能确定联合密度 pxt1xt2 xtn(X 1,X2, ,Xn)
确定此n阶密度困难，且不能解决所有问题
7
随机过程表示法
2、常用的两种方法
构造过程
比如马尔可夫过程
p ( X |X X ) p ( X |X ) x t n |x t n 1 x t 1 t n t n 1
2
随机过程表示法
3
随机过程表示法
r (t) (s 1 n 1 )1 (t) n 22 (t),
0tT;H1
r(t)
r (t) n 11 (t) (s 2 n 2 )2 (t),
0tT;H0
1 (t )
()dt
()dt
2 (t)
r1 r(t)1(t)dt r2 r(t)2 (t)dt
随机过程讲义(第一章)
P (Ω ) = 1 ；
对任意两两不交的至多可数集 {An } ⊂ F ， P⎛ ⎜ U An ⎞ ⎟ = P ( An ) ⎝n ⎠ ∑ n
称 P(⋅) 为 F 上的概率测度， (Ω, F , P) 称为概率空间。
1
1.4 随机变量的概念 定义：设 (Ω, F , P ) 为一概率空间， X = X ( w) 为 Ω 上的一个实值函数，若对 任意实数 x ，X −1 ((−∞, x) ) ∈ F ， 则称 X 为 (Ω, F , P ) 上的一个 （实） 随机变量。 称 F ( x) = P( X < x ) = P( X ∈ (−∞, x)) = P X −1 ((−∞, x) ) 为随机变量 X 的 分布 函数。 随 机 变 量 实 质 上 是 (Ω, F ) 到 (R, B ( R ) ) 上 的 一 个 可 测 映 射 ( 函 数 ) 。 记
_______
2
α 1 , α 2 Lα m ， ∑∑ ϕ (t l − t k )α l α k ≥ 0 ；
l =1 k =1
m
m
5) ϕ ( w) 为 R n 上的连续函数。 6) 有限多个独立随机变量和的特征函数等于各自特征函数的乘积； 7) 设 X = (ξ1 , Lξ n ) 为 n 维 随 机 向 量 ， 特 征 函 数 为 ϕ ( w1 ,L wn ) , 则
n→∞
敛到随机变量 X ；
2)
若 E X n 存在， 且 lim E X n − X
n→∞
p
p
则称 X 1 , X 2 , L X n ,L p 阶收敛到 = 0，
随机变量 X ，特别当 p = 2 ，称为均方收敛。
3) 4)
若 P lim X n = X = 1 ，称 X 1 , X 2 , L X n ,L 几乎必然收敛到随机变量 X 。
《随机过程》课件
f1(x1, t1)
F1(x1, t1) x1
4
● 随机过程 (t) 的二维分布函数：
F2 (x1, x2 ;t1,t2 , ) P (t1) x1, (t2 ) x2
● 随机过程 (t)的二维概率密度函数：
f2
(x1,
x2 ; t1, t2
)
2F2 (x1, x2;t1,t2 ) x1 x2
Dξ t Eξ 2 t 2atξ t a2 t
E[ξ 2 (t)] 2at Eξ t a2 (t)
E[ξ 2 (t)] a2 (t)
于
均
值
所以 a(t
，) 的方偏差离等程于x度2均f。1方(
x值,
t与)d均x值平[a方(t之)]差2
，
它
表
示
随
机
过
程
在
时
刻
t
对
均方值
均值平方
8
● 相关函数
在通信系统中所遇到的信号及噪声，大多数可视为平稳的随机过程。 因此，研究平稳随机过程有着很大的实际意义。
13
● 2.2 各态历经性 ● 问题的提出：我们知道，随机过程的数字特征（均值、相关函数）是对随 机过程的所有样本函数的统计平均，但在实际中常常很难测得大量的样本， 这样，我们自然会提出这样一个问题：能否从一次试验而得到的一个样本 函数x(t)来决定平稳过程的数字特征呢? ● 回答是肯定的。平稳过程在满足一定的条件下具有一个有趣而又非常有用 的特性，称为“各态历经性”（又称“遍历性”）。具有各态历经性的过 程，其数字特征（均为统计平均）完全可由随机过程中的任一实现的时间 平均值来代替。 ● 下面，我们来讨论各态历经性的条件。
R(t1,t2 ) E[ (t1) (t2 )]
最新2.3-最常见的随机过程或随机模型教学讲义PPT课件
16
ARCH类模型
事实上，现实中的金融资产的收益变化和分布主要呈现出 以下基本特征： 金融资产的收益变化和分布表现出明显的非线性特点； 与正态分布相比，金融资产的收益分布的尾部通常较厚， 方差小的变量绝大多数集中在均值附近，而方差大的变量 则多集中于分布的尾部； 收益的波动性有时很大，有时却很小，而且有关波动性 的冲击常常要持续一段时间才会消失，即同时呈现出集聚 性和持久性，这表明资产收益序列具有条件异方差的特性； 金融资产收益呈现出明显的自相关性； 金融市场尤其是股票市场，价格运动与波动性是常为负 相关的，也就是负的回报要比正的回报导致更大的条件方 差，即具有非对称的杠杆效应。
9
定义9 泊松过程
设随机过程{t }t≥0是独立增量过程，如果满足 (a) 0=0; (b) {t }t≥0是独立增量过程（t=t s）； (c) 对任一长度为t的区间中事件的个数服从均值
为(ts)的s k )k(t s k )! ke (t s),k 0 ,1 ,2 , 0
图3.1 股票价格的树型结构
5
显然，在t +t 时刻，股票的期望价格为
E(St+t)=puS+(1-p)dS，
在t +2t 时刻，股票的期望价格为：
，
E ( S t 2 t) p 2 u 2 S 2 p ( 1 p ) u ( d 1 p ) 2 S d 2 S
2
c2i pi(1p)2iuid2iS
13
移动平均过程 自回归过程表示在t时刻的事件t 只与其以前的响 应t -1，t -2，…，t -m 有关，而与以前时刻的扰 动无关。若时间序列{t }与其以前的冲击或扰动 t -1，t -2，…，t -n有关，而与以前时刻的响应 无关，那就是n阶移动平均过程，记为MA(n),即
ARCH类模型
事实上，现实中的金融资产的收益变化和分布主要呈现出 以下基本特征： 金融资产的收益变化和分布表现出明显的非线性特点； 与正态分布相比，金融资产的收益分布的尾部通常较厚， 方差小的变量绝大多数集中在均值附近，而方差大的变量 则多集中于分布的尾部； 收益的波动性有时很大，有时却很小，而且有关波动性 的冲击常常要持续一段时间才会消失，即同时呈现出集聚 性和持久性，这表明资产收益序列具有条件异方差的特性； 金融资产收益呈现出明显的自相关性； 金融市场尤其是股票市场，价格运动与波动性是常为负 相关的，也就是负的回报要比正的回报导致更大的条件方 差，即具有非对称的杠杆效应。
9
定义9 泊松过程
设随机过程{t }t≥0是独立增量过程，如果满足 (a) 0=0; (b) {t }t≥0是独立增量过程（t=t s）； (c) 对任一长度为t的区间中事件的个数服从均值
为(ts)的s k )k(t s k )! ke (t s),k 0 ,1 ,2 , 0
图3.1 股票价格的树型结构
5
显然，在t +t 时刻，股票的期望价格为
E(St+t)=puS+(1-p)dS，
在t +2t 时刻，股票的期望价格为：
，
E ( S t 2 t) p 2 u 2 S 2 p ( 1 p ) u ( d 1 p ) 2 S d 2 S
2
c2i pi(1p)2iuid2iS
13
移动平均过程 自回归过程表示在t时刻的事件t 只与其以前的响 应t -1，t -2，…，t -m 有关，而与以前时刻的扰 动无关。若时间序列{t }与其以前的冲击或扰动 t -1，t -2，…，t -n有关，而与以前时刻的响应 无关，那就是n阶移动平均过程，记为MA(n),即
随机过程(3.1)
n
1
0
2
T1
T2
T3
Tn 1
Tn
t
n Tn Tn1
给出上述定义以后，我们自然需要回答下列问题 (1):计数过程与泊松过程的关系， (2):关于Poisson过程中的这两个序列的概率分布
引理 (到达时间序列分布)
设{Nc(t),t≥0} 是计数过程,其到达时间间隔相互独立且同 服从参数为λ 的指数分布，则到达时间分布 Tn , n 1,2, 服从Γ 分布,密度为
得证
平稳性
1 , 2 , , n
的独立性
1 P{ n t 1 s1 , 2 s2 , n 1 sn 1} sn 1 ) N ( s1 s2 sn 1 ) 0}
独立性也可以证明如下
t 0时，F（ P{1 t} 1 t） 1 P{ 1 t}
P( N (t1 1 ) 0) P( N (t1 1 ) N (t1 1 ) 1) P( N (t2 2 ) N (t1 1 ) 0) P( N (t2 2 ) N (t2 2 ) 1) 4 21 2e ( 2 t2 )
1 P{ 2 t 1 s1} 1 P{N (t s1 ) N (s1 ) 0} 1 e t
平稳性
t 0时ຫໍສະໝຸດ F（ t） P{ n t} n 1 P{ n t}
1 P{N (t s1 1 P{N (t ) 0} 1 e t
RN ( s, t ) 2 st min( s, t ), s, t , 0 CN ( s, t ) min( s, t ), s, t , 0
1
0
2
T1
T2
T3
Tn 1
Tn
t
n Tn Tn1
给出上述定义以后，我们自然需要回答下列问题 (1):计数过程与泊松过程的关系， (2):关于Poisson过程中的这两个序列的概率分布
引理 (到达时间序列分布)
设{Nc(t),t≥0} 是计数过程,其到达时间间隔相互独立且同 服从参数为λ 的指数分布，则到达时间分布 Tn , n 1,2, 服从Γ 分布,密度为
得证
平稳性
1 , 2 , , n
的独立性
1 P{ n t 1 s1 , 2 s2 , n 1 sn 1} sn 1 ) N ( s1 s2 sn 1 ) 0}
独立性也可以证明如下
t 0时，F（ P{1 t} 1 t） 1 P{ 1 t}
P( N (t1 1 ) 0) P( N (t1 1 ) N (t1 1 ) 1) P( N (t2 2 ) N (t1 1 ) 0) P( N (t2 2 ) N (t2 2 ) 1) 4 21 2e ( 2 t2 )
1 P{ 2 t 1 s1} 1 P{N (t s1 ) N (s1 ) 0} 1 e t
平稳性
t 0时ຫໍສະໝຸດ F（ t） P{ n t} n 1 P{ n t}
1 P{N (t s1 1 P{N (t ) 0} 1 e t
RN ( s, t ) 2 st min( s, t ), s, t , 0 CN ( s, t ) min( s, t ), s, t , 0