随机过程第四章(1)
随机过程习题集-第四章马尔可夫过程
1第四章 马尔可夫过程内容提要1. 马尔可夫过程的概念 （1）马尔可夫过程给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<<∈n n t t t T ，有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。
称(){}:,==∈E x X t x t T 为状态空间。
参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链，称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布，记为0P ，称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链，如果其一步转移概率()ij p n 恒与起始时刻n 无关，记为ij p ，则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。
若{}(),0,1,2,=X n n2是离散参数齐次马氏链，则其k 步转移概率记为(),i j p k ，一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若对一切状态i ，j ，存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布，或称为最终分布，记为{},j j E ∏=∈π（6）离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若存在{v j , j ∈E } 满足条件：1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的，称 { v j , j ∈E } 为此马氏链的平稳分布。
随机过程第四章
pii
(n)
1
i
0
证：(1)如i为零常返则i
，由lim n
pii nd
d
i
0
而当n不能被周期d整除时n 0modd ,
必然有pii
(n)
0，故
lim
n
pii
n
0
反之，若lim n
pii
(n)
0,
而i是正常返，
则由lim n
pii (nd )
d
i
0矛盾.
(2) 如i为遍历，即d 1，由上面定理得
即 Tij minn：X m i, X mn j，n 1
而称：
fij (n) P Tij n
P{X mv j，1 v n 1，X mn j / X m i}，n 1 为自状态i出发，经n步首次到达状态j的概率， 简称首达概率。
注：由齐次马氏链性质知，首达概率与出发时刻
p3
① q1 q2
p1
③ q3 ②
p2
求从状态1出发经n步转移首次到达各个状态的概率。
f12
(n)qq11p3 p3源自q m1 1m p1,
q3
,
n 2m, n 2m 1,
m 1 m0
同理：
f13 (n)
p1q2 p1q2
p m1 1
m q1,
p2
,
n 2m, n 2m 1,
m 1 m0
互通关系的状态是同一类型.
定理：如果i j， 则
(1) i与j同为常返或非常返，如为常返，则它们
同为正常返或零常返；
(2) i与j有相同的周期。
1证：因为i j，故存在正整数k与m，使
pij (m) 0, p ji (k ) 0
随机过程-第四章 更新过程
4.1 更新过程定义
上一章我们看到泊松过程的到达时间间隔是服从独立同分布的指数随机变量。现将其 进行推广，考虑到达时间间隔服从独立同分布，但分布函数任意，这样得到的计数过程称为 更新过程。 设 X n , n 1, 2, 是一列服从独立同分布的非负随机变量，分布函数为 F ( x) ，为避 免显而易见的平凡情形， 假设 F (0) P X n 0 1 。 将 X n 解释为第 n 1 个与第 n 个事件 之间相距的时间，记 E ( X n ) 有 0 。令 Tn
这其中利用了 X n , n 1, 2, 的独立同分布性质，这里 [1 F (b)] (0,1) 。又因为
k
Tmk t Tk T0 t , T2k Tk t ,, Tmk T( m1)k t
而且更新区间（相当于时间间隔）服从独立同分布，即
P 1 因 此 存 在 a 0 ， 使 得 P Xn a 0 ， 从 而 由 于 F( 0 ) X n 0 ， P X n a 1 。而 F (a) P X n a P X n a P X n a
为 避 免 因 可 能 的
N (t ) sup n, Tn t
定义 4.1 更新过程：计数过程 N (t ), t 0 称为更新过程。
在更新过程中我们将事件发生一次叫做一次更新， 从而 X n 就是第 n 1 次与第 n 次更新 相距的时间，Tn 表示第 n 次更新发生的时刻， 而 N (t ) 就是 t 时刻或 t 时刻之前发生的总的更 新次数。更新过程一个典型的例子是机器零件的更换。 我们首先要回答是第一个问题是在有限时间内是否会有无限多次更新发生。答案是不 会发生这种情况的概率为 1。由强大数定律可知
第四章 随机过程中的平稳过程
RX ( ) E[ X (t )X (t )] =E[ X (t ) X (t )] RX ( )
R(s, t ) E[ X (s)X (t )] R( )
则称{X(t),t∈T} 为宽（弱、广义）平稳过程，简称宽 平稳过程
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
由于在许多工程技术问题中，常常仅在相关理论(一、二
阶矩)的范围内讨论问题，因此划分出广义平稳随机过程来。
而相关理论之所以重要，是因为在实际中，一、二阶矩能给出 有关平稳随机过程平均功率的几个主要指标，比如，如果随机
过程如果代表噪声电压信号，那么在相关理论范围内就可以给
出直流分量、交流分量，平均功率及功率在频域上的分布(我 们将在后面讨论功率谱密度)等。另外，在电子系统中经常遇
到最多的是正态随机过程，对于正态随机过程而言，它的任意
若令 t 2 ，得
f (t1 , t 2；x1 , x2 ) f (t1 t 2 ,0；x1 , x2 ) f (；x1 , x2 )
其中 同理
t1 t2
二维分布函数也仅与时间差 而与时间起点无关，即
t1 t2
有关，
F (t1 , t 2；x1 , x2 ) F (；x1 , x2 )
j [ l ( t ) k t ] E X X e k l k 1 l 1
bk e jk
k 1
RY ( )
所以， {Y (t ), t }具有平稳性。
2008年12月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
P
k 0
(解答)《随机过程》第四章习题
第四章 二阶矩过程、平稳过程和随机分析 习题解答1、 设∑=-=Nk k k kn U n X 1)cos(2ασ，其中k σ和k α为正常数，)2,0(~πU U k ，且相互独立，N k ,,2,1 =，试计算},1,0,{ ±=n X n 的均值函数和相关函数，并说明其是否是平稳过程。
解：计算均值函数和相关函数如下0)}{cos(2)cos(2}{)(11=-=⎭⎬⎫⎩⎨⎧-==∑∑==Nk k k k N k k k k n X U n E U n E X E n ασασμ∑∑∑∑∑∑======-=--=--=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡-⋅⎥⎦⎤⎢⎣⎡-=Ni i i N i i i i i i Ni Nj j j i i j i N j j j j N i i i i X m n U m U n E U m U n E U m U n E m n R 12121111)](cos[)}cos(){cos(2)}cos(){cos(2)cos(2)cos(2),(ασαασαασσασασ因此可知，},1,0,{ ±=n X n 是平稳随机过程。
2、 设有随机过程))(cos()(t t A t X πηω+=，其中0>ω为常数，}0),({≥t t η是泊松过程，A 是与)(t η独立的随机变量，且2/1}1{}1{===-=A P A P 。
（1） 试画出此过程的样本函数，并问样本函数是否连续？ （2） 试求此过程的相关函数，并问该过程是否均方连续？ 解：（1）样本函数不连续。
（2）令：012≥>t t ，下面求相关函数：)(221)(212210)(1212211212121211212212122112221122121121212cos cos )]}(cos[)]({cos[21!)]([)]}(cos[)]({cos[)1(21))]}()(()(cos[))]()(()(2)({cos[21))]}()(()(cos[))]()(()({cos[21))}(cos())({cos(}{))}(cos())(cos({)}()({),(t t t t k t t k kX e t t e t t t t e k t t t t t t t t t t t t t t t E t t t t t t t t E t t t t E A E t t t t A E t X t X E t t R ----∞=--⋅=⋅-++=⋅-⋅-++-=-+-+-+++=-+-++++=++⋅=++==∑λλλωωωωλωωηηπωηηππηωηηπωηηπωπηωπηωπηωπηω因为：t t t R ωξ2cos ),(=因此该过程是均方连续的随机过程。
随机信号4.1
∧
ω0 +∆ω / 2
−ω0 +∆ω / 2
令 ω = ω −ω0 ,ω = ω +ω0 则有
' ''
∧ ∆ω / 2
'
j jω0t j − jω0t j ' jω t ' '' jω''t '' x(t) = − e ∫/A(ω )e dω + 2 e −∆∫/ 2 2 A(ω )e dω = 2 −∆ω 2 ω j jω0t j − jω0t − e a(t) + e a(t) = a(t) sin ω0t 2 2
1
∞
π −∞
∫
x(t −τ )
∧
τ
dτ =
∞
π −∞
∫
x(t +τ )
∧
τ
dτ
x(t)的希尔伯特变换为 的希尔伯特变换为x(t)与1/πt的卷积 的卷积. 的希尔伯特变换为 与 的卷积 因此， 因此，可以把希尔伯特变换看作是信号通过一个冲 激响应为h(t)= 1/πt的线性时不变网络。 的线性时不变网络。 激响应为 的线性时不变网络
一. 希尔伯特变换 ∧ 设有实信号x(t),它的希尔伯特变换记作x(t)或H[x(t)] 设有实信号 它的希尔伯特变换记作 并定义为 ∞
x(t) x(t) = H[x(t)] = ∫ dτ π −∞t −τ 1
∞ ∧
∧
反变换为
1 x(t) ∧ −1 x(t) = H x(t) = − ∫ dτ π −∞t −τ
R∧ ( ) = RXT ( ) τ τ
XT
XT
τ =0
R∧ (0) = RXT (0)
第四章-马尔可夫链-随机过程
计算 n 步转移概率的方法。
切普曼一柯尔莫哥格夫方程：对一切n,m 0，一切 i，j，有(4.2.1)
P nm ij
Pikn Pkmj
k0
证明：
P nm ij
P{ X nm
j|
X0
i}
P{Xn k | X0 i}P{Xnm j | Xn k, X0 i}
顾客数构成一个泊松过程。所以，
Pi, j
e t (t )i1 j dG(t ), j 1,
0
(i 1 j)!
i 1
这是因为若一个来客发现有 i 个人在系统中，那么下一个来客将
发现人数为 i+1 减去已服务完毕的人数，易知有 i+1-j 个人被服
务完毕的概率(对相继来到之间的时间取条件)等于上式的右端。
0
0
0 P43
例 4．1(b) G/M/1 排队系统。假设顾客 依照一个任意的更新过
程来到一个单服务台的服务中心，来到间隔分布为 G。进一步
假设服务分布是指数分布，参数为。若以 Xn 记第 n 个顾客来
到时见到系统中的顾客数，以 Yn 记第 n 个顾客与第(n+1)个顾客
不可被 d 整除的 n 有 Piin 0，且 d 是具有此性质的最大整数(d 是
{n : Piin 0}的最大公约数)。(若对一切 n>0， Piin 0，则定义 i 的周 期是无穷大。)具有周期 1 的状态称为非周期的(aperiodic)。以 d(i)记 i 的周期。
例设马尔可夫链的状态空间I={1,2,,9}， 转移概率如下图
P nm ij
第四章随机过程
设状态空间为 S ，一步转移概率为 P ，初始分布为 p i = P( X 0 = i ), i ∈ S 的齐次
Markov 链 {X n , n ≥ 0}，令 Pij( n ) = P ( X n + m = j X m = i ) = P (X n = j X 0 = i ), n ≥ 2 ，表示
证：
5
Pij( n ) = P( X n = j X 0 = i ) = ∑ P(τ ij = l , X n = j X 0 = i )
l =1 n n
= ∑ P(τ ij = l X 0 = i ) P( X n = j τ ij = l , X 0 = i )
l =1 n
= ∑ P(τ ij = l X 0 = i ) P( X n = j X 0 = i, X 1 ≠ j , L X l −1 ≠ j , X l = j )
4.4 常返与瞬过
在事件 {X 0 = i}上引入一个重要的概率 f ij( n ) ，表示从 i 出发在 n 步转移时首次 到达 j 的概率。用式子表示即是
f ij( 0) = 0, f ij( n ) = P( X n = j , X k ≠ j , k = 1, L n − 1 X 0 = i ) 。
i =1
(m) 定理 4.3.3 的一个直接推论是： 若 Pji > 0 ，存在正整数 N 使得对所有的 ( m + nd ( i )) n > N 恒有 Pji > 0。
定理 4.3.4：设 P 为不可约、非周期、有限状态 Markov 链的一步转移概率矩阵， 则存在正整数 N 使得当 n > N 时， n 步转移概率矩阵 P ( n ) 的所有元素都大于 0。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
j
(2) p j (n) pi (n 1) pij 或 p(n) p(n 1) P
2
1.定义：若过程X (t )在m k时刻处在任一状态 ai 的概率, 只与过程在m时刻的状态有关, 而与
mk
过程在m时刻以前的状态无关,即条件概率满足：
PX m k ai
PX m k ai
mk
/ X m ai , X m1 ai ,, X 1 ai
同理：PX n in / X n1 in1 Pn i n in1
PX 0 i0 , X 1 i1 , X n in PX 0 i0 , X 1 i1 , X n1 in 1
PX n in / X 0 i0 , X 1 i1 , X n 1 in 1
n j i n ji m1 m2 n m1 , m2 2 2 m1 1 m2 (1) j i
20
由于m1 , m2只能取整数，所以n ( j i )必须是 偶数，且在 n 步中哪 m1 步向右，哪m2步向左 是任意的，选取方法为：Cnm
10
ar I
PX
PX m ai
m
PX m k ar / X m ai PX m n a j / X m k ar pir k prj n k
用矩阵形式表示为： Pn Pk Pn k
0 1 n 0 01 1 2 n 0 01
(2) PX 1 ai , X 2 ai ,, X n ai / X 0 ai pi i pi
n 1in
n 1in
总结： 1）齐次马氏链多步转移概率可由一步转移概率确定； P ( n) P n 2) 绝对概率可由初始概率及n步转移概率确定
n
ai I
1
n 1in
证：P{ X 1 ai , X 2 ai ,, X n ai } P U X 0 ai , X 1 ai ,, X n ai
ai I
1
1
2
n
n
PX 0 ai P{ X 1 ai / X 0 ai } P{ X 2 ai /
ai I
1 2
X 0 ai , X 1 ai } P{ X n ai / X 0 ai , X 1 ai X n1 ai }
1 n 1 n 1
pi (0) pii pi i pi
ai I
1 12
n 1in
15
推论： (1) PX 0 ai , X 1 ai ,, X n ai pi (0) pi i pi
第四章 马尔可夫链
1. 2.
3.
4. 5. 6.
马尔可夫链定义 一步转移概率及多步转移概率 Chapman-Kolmogorov方程 初始概率及绝对概率 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布
1
§4.1 马尔可夫链的概念及转移概率 一、马尔可夫链的概念
而X t 在每一时刻t n 0,1,2,, 所处状态记为： X (n) X n，则所能取的状态必为a1 ,a 2 ,之一， 且过程只在0,1,2,, n, 可列个时刻发生状态转移， 即参数空间为：T 0,1,2,, n 假定马尔可夫过程X t 的状态空间为I a1 , a2 ,,
ij
1
即 ai 转 到 态 间 某 从 移 状 空 的 一 即 阵 任 行 素 矩 中 一 元 之 矩 称 随 矩 。 阵 为 机 阵
个 态 必 事 ， 状 是 然 件
和 1， 足 (1)、 )性 的 转移概率中取k n时,即得n步转移概率： pij n pij m, m n PX m n a j / X m ai 对应的n步转移概率矩阵为： p n p n p n p n p n p n P n P(n)也为随机矩阵， 即也满足性质：
p (0), a
j
分布和绝对分布，简记为和p j (0)和p j (n) 。
写成向量形式: p (0) p1 (0), p2 (0),, p j (0), p (n) p1 (n), p2 (n),, p j (n),
12
j
(2) 绝对概率与初始概率的关系
由所有的一步转移概率 pij 构成的矩阵
p11 p12 p1n p p p P 21 22 2n
称为马氏链的一步转移概率矩阵
5
pij 具有性质： (1) (2) pij 0 ai , a j I ai I
p
a jI
ij
整数n 0, ai , a j I， 有：pij n
或 Pn Pk Pn k
简称c k方程。
ar I
p
ir
(k ) prj n k
此乃有名的切普曼 柯尔莫哥洛夫方程，
8
ar
aj
ai
m
m k mn
直观解释对照图
9
证明：利用概率公式及马尔可夫性有： PX m ai , X m n a j PX m ai
17
对任意的n 1， 和整数i0 , i1 , in
P 0 i0 , 1 i1 i0 , n in in 1 P 0 i0 , 1 i1 i0 ,, n 1 in 1 in 2 P n in in 1.
pi ,i 1 p 一步转移概率为： pi ,i 1 q p 0 ii
i I ,0 p 1
j i 1, i 1, j I
下面求它的 n步转移概率 pij (n)
已知每次转移只有两种可能， 向左的概率为q， 向右的概率为p，而n次转移的结果是从i j， 如果n次转移中向右m1次，向左m2次，则
X n , n 0是一随机过程。 向 移 一 1 , 第k次 右 动 格 令 k 向 移 一 1 ， 第k次 左 动 格
则 X n n为 机 动 它 一 随 游 ， 是 个
其状态空间为：
k 0
n
齐 马 链 次 氏 。
19
I ， 2， 1， ，， ， 012
m mk
/ X m ai
m
m 1
1
则称此随机过程X n , n 0为马尔可夫链， 简称马氏链。
3
2、马氏链的转移概率
称条件概率
ai
m
aj
mk
P{X mk a j / X m ai } pij m, m k
为马氏链在m时刻处于ai 状态经k步，在m k时刻 转移到a j 状态的转移概率，记为：pij m, m k
m1 n m1 m2
1
C p q , n j i 为偶数 pij (n) n j i 为奇数 0 C p q , n为偶数 pii (n) 0 n为奇数
p j (n) pi (0) pij (n)
ai I
3)有限维分布可完全由初始概率及一步转移概率确定。
16
例：随机游动，设 0 , 1 , 2 ,是整数值独立随机 变量序列，且 0 , 1 , 2 ,有相同的分布，令X n k
k 0 n
则称X n , n 0为随机游动。
11
5、初始概率与绝对概率
(1) 定义：设X n , n 0为马尔可夫链, 分别称
p j (0) PX 0 a j 和p j (n) PX n a j (a j I ) ， I 和p j (n), a j I 为马氏链的初始
为马氏链的初始概率和绝对概率，并分别称
一步转移概率为： pij PX n j / X n1 i P n j i p j i
18
几种特殊的随机游动 例.无限制的随机游动：质点在直线上作随机游动，
如某一时刻质点位于i，则下一步质点以概率p向 右移动一格到达i 1， 或以概率q 1 p向左移一 格到达i 1， 若以X n 表示时刻n时质点的位置，则
随机游动可以解释为质点在直线上的整数格点上作 运动的质点，初始位置为X 0 0，每隔一个单位时 间质点移动一次，第k次移动的长度为整数 k，于是 X n k 表示在时刻n质点的位置，则X n , n 0是
k 0 n
随机游动，随机游动X n , n 0是时齐马氏链。
11 12 1n 21 22 2n
(1) (2)
pij n 0.
a j I
ai , a j I ai I
7
p n 1.
ij
通常我们还规定：
1 i j p 0 pij m, m ij 0 i j (2)、切普曼—柯尔莫哥洛夫方程 （Chapman-Kolmogorov） 定理：设X n , n 0为齐次马氏链， 则对任意的
i, j , m, k均为正整数, 一般pij m, m k 与i, j , m, k有关， 若pij m, m k 与m无关，则称马氏链为齐次的， 下面我们仅讨论齐次马氏链。
4
3、一步转移概率及矩阵
在上面转移概率中，取k 1即得一步转移概率
pij pij m, m 1 P{X m1 a j / X m ai }
ai I ai I
Pi (n 1) pij