随机过程 第4章
随机过程习题集-第四章马尔可夫过程

1第四章 马尔可夫过程内容提要1. 马尔可夫过程的概念 (1)马尔可夫过程给定随机过程{}(),X t t T ∈,如果对122,∀≥∀<<<∈n n t t t T ,有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。
称(){}:,==∈E x X t x t T 为状态空间。
参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. (2)k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链,称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率,称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地,当1k =时,在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . (3)初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布,记为0P ,称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布,记为P n . (4)离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链,如果其一步转移概率()ij p n 恒与起始时刻n 无关,记为ij p ,则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。
若{}(),0,1,2,=X n n2是离散参数齐次马氏链,则其k 步转移概率记为(),i j p k ,一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… },若对一切状态i ,j ,存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布,或称为最终分布,记为{},j j E ∏=∈π(6)离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… },若存在{v j , j ∈E } 满足条件:1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的,称 { v j , j ∈E } 为此马氏链的平稳分布。
随机过程第四章

pii
(n)
1
i
0
证:(1)如i为零常返则i
,由lim n
pii nd
d
i
0
而当n不能被周期d整除时n 0modd ,
必然有pii
(n)
0,故
lim
n
pii
n
0
反之,若lim n
pii
(n)
0,
而i是正常返,
则由lim n
pii (nd )
d
i
0矛盾.
(2) 如i为遍历,即d 1,由上面定理得
即 Tij minn:X m i, X mn j,n 1
而称:
fij (n) P Tij n
P{X mv j,1 v n 1,X mn j / X m i},n 1 为自状态i出发,经n步首次到达状态j的概率, 简称首达概率。
注:由齐次马氏链性质知,首达概率与出发时刻
p3
① q1 q2
p1
③ q3 ②
p2
求从状态1出发经n步转移首次到达各个状态的概率。
f12
(n)qq11p3 p3源自q m1 1m p1,
q3
,
n 2m, n 2m 1,
m 1 m0
同理:
f13 (n)
p1q2 p1q2
p m1 1
m q1,
p2
,
n 2m, n 2m 1,
m 1 m0
互通关系的状态是同一类型.
定理:如果i j, 则
(1) i与j同为常返或非常返,如为常返,则它们
同为正常返或零常返;
(2) i与j有相同的周期。
1证:因为i j,故存在正整数k与m,使
pij (m) 0, p ji (k ) 0
随机过程-第四章 更新过程

4.1 更新过程定义
上一章我们看到泊松过程的到达时间间隔是服从独立同分布的指数随机变量。现将其 进行推广,考虑到达时间间隔服从独立同分布,但分布函数任意,这样得到的计数过程称为 更新过程。 设 X n , n 1, 2, 是一列服从独立同分布的非负随机变量,分布函数为 F ( x) ,为避 免显而易见的平凡情形, 假设 F (0) P X n 0 1 。 将 X n 解释为第 n 1 个与第 n 个事件 之间相距的时间,记 E ( X n ) 有 0 。令 Tn
这其中利用了 X n , n 1, 2, 的独立同分布性质,这里 [1 F (b)] (0,1) 。又因为
k
Tmk t Tk T0 t , T2k Tk t ,, Tmk T( m1)k t
而且更新区间(相当于时间间隔)服从独立同分布,即
P 1 因 此 存 在 a 0 , 使 得 P Xn a 0 , 从 而 由 于 F( 0 ) X n 0 , P X n a 1 。而 F (a) P X n a P X n a P X n a
为 避 免 因 可 能 的
N (t ) sup n, Tn t
定义 4.1 更新过程:计数过程 N (t ), t 0 称为更新过程。
在更新过程中我们将事件发生一次叫做一次更新, 从而 X n 就是第 n 1 次与第 n 次更新 相距的时间,Tn 表示第 n 次更新发生的时刻, 而 N (t ) 就是 t 时刻或 t 时刻之前发生的总的更 新次数。更新过程一个典型的例子是机器零件的更换。 我们首先要回答是第一个问题是在有限时间内是否会有无限多次更新发生。答案是不 会发生这种情况的概率为 1。由强大数定律可知
第四章 随机过程中的平稳过程

RX ( ) E[ X (t )X (t )] =E[ X (t ) X (t )] RX ( )
R(s, t ) E[ X (s)X (t )] R( )
则称{X(t),t∈T} 为宽(弱、广义)平稳过程,简称宽 平稳过程
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
由于在许多工程技术问题中,常常仅在相关理论(一、二
阶矩)的范围内讨论问题,因此划分出广义平稳随机过程来。
而相关理论之所以重要,是因为在实际中,一、二阶矩能给出 有关平稳随机过程平均功率的几个主要指标,比如,如果随机
过程如果代表噪声电压信号,那么在相关理论范围内就可以给
出直流分量、交流分量,平均功率及功率在频域上的分布(我 们将在后面讨论功率谱密度)等。另外,在电子系统中经常遇
到最多的是正态随机过程,对于正态随机过程而言,它的任意
若令 t 2 ,得
f (t1 , t 2;x1 , x2 ) f (t1 t 2 ,0;x1 , x2 ) f (;x1 , x2 )
其中 同理
t1 t2
二维分布函数也仅与时间差 而与时间起点无关,即
t1 t2
有关,
F (t1 , t 2;x1 , x2 ) F (;x1 , x2 )
j [ l ( t ) k t ] E X X e k l k 1 l 1
bk e jk
k 1
RY ( )
所以, {Y (t ), t }具有平稳性。
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
P
k 0
(解答)《随机过程》第四章习题

第四章 二阶矩过程、平稳过程和随机分析 习题解答1、 设∑=-=Nk k k kn U n X 1)cos(2ασ,其中k σ和k α为正常数,)2,0(~πU U k ,且相互独立,N k ,,2,1 =,试计算},1,0,{ ±=n X n 的均值函数和相关函数,并说明其是否是平稳过程。
解:计算均值函数和相关函数如下0)}{cos(2)cos(2}{)(11=-=⎭⎬⎫⎩⎨⎧-==∑∑==Nk k k k N k k k k n X U n E U n E X E n ασασμ∑∑∑∑∑∑======-=--=--=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡-⋅⎥⎦⎤⎢⎣⎡-=Ni i i N i i i i i i Ni Nj j j i i j i N j j j j N i i i i X m n U m U n E U m U n E U m U n E m n R 12121111)](cos[)}cos(){cos(2)}cos(){cos(2)cos(2)cos(2),(ασαασαασσασασ因此可知,},1,0,{ ±=n X n 是平稳随机过程。
2、 设有随机过程))(cos()(t t A t X πηω+=,其中0>ω为常数,}0),({≥t t η是泊松过程,A 是与)(t η独立的随机变量,且2/1}1{}1{===-=A P A P 。
(1) 试画出此过程的样本函数,并问样本函数是否连续? (2) 试求此过程的相关函数,并问该过程是否均方连续? 解:(1)样本函数不连续。
(2)令:012≥>t t ,下面求相关函数:)(221)(212210)(1212211212121211212212122112221122121121212cos cos )]}(cos[)]({cos[21!)]([)]}(cos[)]({cos[)1(21))]}()(()(cos[))]()(()(2)({cos[21))]}()(()(cos[))]()(()({cos[21))}(cos())({cos(}{))}(cos())(cos({)}()({),(t t t t k t t k kX e t t e t t t t e k t t t t t t t t t t t t t t t E t t t t t t t t E t t t t E A E t t t t A E t X t X E t t R ----∞=--⋅=⋅-++=⋅-⋅-++-=-+-+-+++=-+-++++=++⋅=++==∑λλλωωωωλωωηηπωηηππηωηηπωηηπωπηωπηωπηωπηω因为:t t t R ωξ2cos ),(=因此该过程是均方连续的随机过程。
应用随机过程第4章随机模拟

4.2 随机数的抽样
› 生成大量不重复的seed序列
产生随机数种 子的原理,是 要产生多少个 随机数种子, 就按一定步长 递增多少次, 然后得到一个 随机数作为种 子。 这个宏有个缺 点,就是当步 长*随机数种子 数量>2**31-1 时,可能得不 到要求得到的 随机数种子数 量。
4.2 随机数的抽样
4.2 随机数的抽样
› 标准分布随机数生成,利用SAS生成标准分布 随机数
› 生成大量不重复的seed序列
– 在实际的应用中,我们经常会遇到需要大量随机数 序列的情况,这时候我们就不能靠手工输入随机数 种子。 – 当SEED=0时,我们可以用这个随机种子产生大量的 随机数序列,但是这里产生的随机数序列并不一定 能保证这些随机数序列不重复。 – 这里介绍一个产生不重复的随机数种子的宏
4.2 随机数的抽样
› 标准分布随机数生成
– SAS随机数函数
4.2 随机数的抽样
› 标准分布随机数生成 › 利用SAS生成标准分布随机数一般有两种方法 – 由随机数函数产生随机数序列 其语法为:var = name(seed,<arg>) – CALL子程序产生随机数序列 其语法为:call name(seed,<arg>,var)。 ー 两种方法的主要区别在于: ー 随机数函数产生随机数序列时,其序列的值只由 第一个随机数种子的值决定,而用CALL子程序时, 每一次调用随机函数,都会重新产生新的随机数 种子。
4.2 随机数的抽样
› 标准分布随机数生成 – 伪随机数生成算法 – 在SAS系统中, – 常数a=397,204,094 – m = 2^31-1=2,147,483,647(是一个素数) – c=0 – 种子R(0)必须是一个整数并且其值介于1到m-1之 间。 – 这里c=0的数据生成器被称为multiplicative congruential generator,被广泛地应用。
第四章 平稳随机过程的谱分析

1 2
S
X
(
)e
j
d
自相关函数和功率谱密度皆为偶函数
若随机过程X t是平稳的,自相关函数绝对可积,则自相关函数
jt
ddt
1
2
XX
()
x(t)e jt dtd
1
2
X
X
()X
* X
()d
1
2
X
X
()
2d
4.1、平稳随机过程的功率谱密度 ❖功率谱
功率型信号:能量无限、平均功率有限的信号
P lim 1 T s(t) 2 dt T 2T T 其能谱不存在,而功率谱存在
持续时间无限长的信号一般能量无限
4.1、平稳随机过程的功率谱密度
❖如何计算随机信号的平均功率?
2)时域计算方法
任一样本函数的平均功率为
W
lim
T
1 2T
T x2(t, )dt
T
随机过程的平均功率为
W
E[W
]
lim
T
1 2T
T E{X 2(t)}dt
T
若为各态历经过程:
W =W
4.1、平稳随机过程的功率谱密度 ❖如何计算随机信号的平均功率?
2020/5/20
6
4.1、平稳随机过程的功率谱密度
❖傅立叶变换
则 x(t)的傅立叶变换为:
X () x(t)e jt dt
其反变换为:
x(t) 1 X ()e jt d
2
频谱密度存在的条件为:
频谱密度
x(t)dt
2020/5/即20 信号为绝对可积信号
包含:振幅谱 相位谱
求各样本函数功率谱密度的统计平均
电子科大 应用随机过程及应用 (陈良均 朱庆棠)第四章作业

为独立增量过程 Y (n )
∴ Y (n ) 为马氏链
Y (0 ) = 0
Pij (m , k ) = P { Y (m + k ) = j Y (m ) = i } = P{ Y (m + k ) − Y (m ) = j − i Y (m ) − Y (0 ) = i } m+k = P ∑ X (i ) = j − i i= m +1
16 8 ) λ (17 41 , 41 , 41 放在 A 处好
1 1
1 1
习题十三
1 1 2 3 4 5 . . ∞
1 2
习题十四
2
1 1 2 2
3 0
1 1 2 2
4 0 0
1 1 2 2
5 0 0 0
1 1 2 2
6 0 0 0 0
1 2
7 ........
∞
0 0 0 0 0 0
0 0 0 0 0
0 0
1
=
1
2
p
a −1
+
p
a +1
p (a + b ) − p (a + b − 1 ) = p (a + b − 1 ) − p (a + b − 2 ) p (a + b − 1 ) − p (a + b − 2 ) = p (a + b − 2 ) − p (a + b − 3 . p (a . p( 1 ) − p (0
0 0 0
+ + +
0 0 0 0 0 0
1 1 1
3 3 3
× 60 × 10 × 10
7 7 7 30 30 30
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2
2 n
lim D( X n ) D( l .i .m X n ) D( X );
n
n
) E( X
2
)
n
5)
若实随机变量 X, X n H , 则
E (e
it l i m X n
n
) E (e ) lim E[e
n
itX
itX n
].
11
4.1 二阶矩过程
lim d X ( t ), X lim X t X 0
t t0
15
4.2 均方连续
注 l .i .m X t X 成立的充分必要条件是
对任意的数列 t k , 若 t k t 0 ( k ), 有
l .i .m X t k X
tk t0
对 s 0 , t 0 T , 有
4.2 均方连续
定理1
i .m X t X t 0 l .i .m X s X s0 , lt. t
s s0
t t0
lim R s, t lim E X s X t E X s0 X t0 R s0 , t0 s s0 s s0
称X(t)在t处均方可微(可导),称Y为X(t) 在 t 处的均方导数, 记为
dX t dt 或 X ( t ) .
23
4.3 均方导数
若对t∈T, X( t )都均方可微,称 { X ( t ), t T } 为 均方可微过程. 其均方导数过程 { X ( t ), t T } 仍是二阶矩过程. 类似地,可定义 { X ( t ), t T }的均方导数过程
l .i .m X t X t 0
t t0
s ,t t0
定理5′及均 方连续定义
lim E X s X t E X t 0 X t 0
即
s ,t t0
lim R s, t Rt 0 , t 0 .
18
4.2 均方连续
定理:二阶矩过程的均方连续 相关函数R(s,t)在对角线上连续. 推论 二阶矩过程{X(t),t∈T}的相关函数R(s,t) 对 t T 在点(t, t)处连续, 则它在T×T 上连续. t
T
0
T
s
R(s,t)在整个区 域T×T上连 续,等价于在对 角线上连续.
19
证
R( s , t )对 t T , 在( t , t )处连续 {X(t),t∈T}在T上均方连续
t t0
0
由s0, t0 的任意性知R(s, t)在T×T上连续. 定理2 若二阶矩随机过程{X(t),t∈T}均方连续, 则其均值函数、方差函数也在T上连续. 20
4.2 均方连续
EX.1 {N(t),t≥0}为参数为λ的Poisson过程,
均值函数 自相关函数 m N ( t ) t , RN ( s , t ) min( s , t ) 2 st
l .i .m X t X t 0
t t0
(2) 若X(t)对 t T都均方连续,称随机过程 {X(t),t∈T} 是均方连续的.
17
定理1 (均方连续准则)
4.2 均方连续
二阶矩过程 {X(t),t∈T} 在 t0∈T 处连续的充 分必要条件是 {X(t),t∈T} 的相关函数 R(s,t) 在(t0,t0) 处连续. 证 由均方收敛准则知
{ X ( t ), t T },
将随机过程的均方导数转移到实数域进行讨论 分析,引进广义二阶导数概念:
24
4.3 均方导数
定义 二元函数 f(s,t) 称为在(s, t)处广义二 阶可微, 若极限 f ( s s, t t ) f ( s s, t ) f ( s, t t ) f ( s, t ) lim ts s0
2 2
lim Yn
n
2
0. l i mYn .
n
9
4.1 二阶矩过程
四、随机变量序列的均方极限性质 定理3 (均方极限的线性性质)
设
ln. i.mX n X , 且 l .i .m Yn Y , a , b是复常数 , 则
n
l .i .m aX n bYn aX bY ;
m ,n
lim
X
m
X
n
0
称为完备性定理,说明H 是完备的线性赋范空间. 证 仅证必要性
n
称{Xn}为均方收敛 基本列(柯西列).
若 l.i.mX n X ,
因
lim
Xm Xn Xm X Xm X
Xm Xn
m , n
0.
8
4.1 二阶矩过程
第四章 随机分析
§4.1 二阶矩过程与二阶矩随机变量空间 §4.2 随机过程的均方极限与均方连续 §4.3 随机过程的均方导数 §4.4 随机过程的均方积分
1
§4.1 二阶矩过程与二阶矩随机变量空间 一、二阶矩过程
二阶矩过程是一类重要的随机过程,在物理、 生物、通讯与控制、系统工程与管理科学等方 面,有广泛的应用. 不少实际问题通过对二阶矩的讨论就足以了 解过程的统计特征. (如 Gauss 过程) 本章着重介绍二阶矩过程的随机分析—均方 意义下的微积分.
1)得证 .
在1)中令Yn≡1,得2). 在1)中令Yn≡Xn,得3). 由 1) 与 2) 可证4 ).
12
4.1 二阶矩过程
5)
E(e
jtXn
itX
) E(e ) E(e
(1 e
it ( X n X )
itX
itXn
e )
itX
E[e
)]
E[ 1 e
it ( X n X )
2
4.1 二阶矩过程
定义 如过程XT={X( t ),t∈T},对每个t∈T,有
E { X ( t ) }
称过程是二阶矩过程.. 二阶矩过程的均值函数和协方差函数一定存在. 注:(1) 随机变量矩性质: 高阶矩存在则低阶矩一定存在, 柯西-许瓦兹不等式. (2) 正态过程是二阶矩过程.
3
必要性 由定理4之1)即得.
充分性 设 lim E X m X n c ,由
m ,n
2
Xm Xn
E Xn
E Xm Xn
2 m n
2
E X EX X EX X
m m n
2
asn , m
14
0
由柯西均方收敛准则知{Xn}均方收敛.
对任意 t 0, R X ( t , t ) 3 4 t 2 是连续函数, 故X ( t )是均方连续过程 .
22
§4.3 随机过程的均方导数 一、均方导数概念 定义 {X(t),t∈T}是二阶矩过程, 对于确定的 t∈T , 若存在 Y∈H, 使得
X t t X t lim Y t 0 t
t t0
随机过程有类似随机变量序列 的均方收敛意义下的性质. 定理5′(洛易夫均方收敛准则) X(t) 在 t0 处收敛的充分必要条件是极限
s ,t t0
lim E X ( s ) X ( t ) 存在.
16
4.2 均方连续
二、均方连续 定义:(1) 称二阶矩过程{X(t),t∈T}在t0∈T处均 方连续,如果
证
aX n bYn aX bY a X n X bYn Y
a X n X b Yn Y 0
asn
10
n
4.1 二阶矩过程
定理4 (均方极限的数字特征)
设
且 l .i .m X n X,
n
1)
2)
定理1 H为线性空间,即设X, Y∈H, 则对任意 复数 a, b, 有aX+bY∈H. 范数:
X ˆ [ E ( X )]
2
1 2
由许瓦兹不等式可知 H构成一个线性赋范空间. 距离: d ( X , Y ) ˆ X Y H构成一个距离空间
5
4.1 二阶矩过程
三、随机变量序列的均方极限 定义 设Xn, X∈H,n=1,2, …,如果
] Et( X n X )
t X n X方收敛,其相应的数学 期望数列,方差数列及特征函数列也收敛.
13
4.1 二阶矩过程
定理5 (洛易夫均方收敛判别准则) 随机变量序列{Xn}∈H 均方收敛的充分必要 条件是极限 证
lim E X m X n 存在. m ,n
2
4.1 二阶矩过程
二、二阶矩随机变量空间H
定义 称定义在概率空间(Ω,F,P)上的具有有限二阶 矩的随机变量的全体组成的集合
H={X | E[|X|2]<+∞}
为二阶矩随机变量空间.
注: 在 H 中称 X 与 Y 相等,若 P{ X Y } 1 (记为X Y,a .e .)
4
4.1 二阶矩过程
§4.2 随机过程的均方极限与均方连续 本节将随机变量序列的均方收敛定义及前述 各定理推广到连续参数集的情形,并引进均方 连续的概念. 一、过程的均方极限 定义 设(X(t), t∈T}是二阶矩过程, X∈H, 如果
i .m X t X 称X(t) 均方收敛于X,记为 lt. t
0
t t0
证 1)仅证实随机变量的情形
E[ X mYn ] E ( XY ) E ( X mYn XY ) E[ XmYn XmY XmY XYn XYn XY XY XY] E ( X m X )(Yn Y ) E X (Yn Y ) E ( X m X )Y X m X Yn Y X Yn Y X m X Y 因 X, Y H, X , Y , 令m , n ,