第五章 连续时间马尔可夫链
合集下载
连续时间马尔可夫链定义
为连续时间马氏链的齐次转移矩阵 其中
p00 (t ) p10 (t ) P(t ) pi j (t ) p20 (t ) ...
pij (t ) 0
p01 (t ) p11 (t ) p21 (t ) ...
p02 (t ) p12 (t ) p22 (t ) ...
0
6 4 10 例：Q 2.5 2.5 0 1 1 2
2.5 1
4
6
1
2 1
状态流图
8
4 Q矩阵P(t)
依据K氏微分方程，可以从Q矩阵求得P(t), P(0)=I. 例：考察E＝{0,1}的连续时间马氏链X，设t极小
p01 (t ) t o(t ) p10 (t ) t o(t )
lim j '(t ) lim i (t ) qij
t t i
写成矩阵形式： Q 0
12
4 平稳概率例题
一个连续时间的马氏链E={0,1,2},其状态强度转移矩阵和状 态转移图为 1 1 0 平衡方程： Q 2 3 1 0 1 1 ( 0 , 1, 2 ) Q 0 列出方程组
k
初值： i (0) pi
为求瞬时概率分布函数的方程组
10
5 平稳分布
定义 j (t ) j ( j E ) 存在，且 j 1 ，则{ }称为齐次 若lim t j j 马尔可夫链的平稳分布 如何判别连续马尔可夫链的平稳分布必定存在？
转移概率矩阵是标准的 不可约的齐次马氏链，则极限存在，且与初始分布无关 正常返的齐次马氏链，则此极限值为平稳分布，且全部大 于0
11
刘次华 随机过程 第五章
i∈ I
1 1 2
i∈I
i
ij
(t )
i∈I
n−1i n
(t n − t n −1 )
5.1 连续时间马尔可夫链
例5.1 证明泊松过程{X(t), t≥0}为连续时间 齐次马尔可夫链。 证明：先证泊松过程的马尔可夫性。 证明： 泊松过程是独立增量过程，且X(0)=0，对 任意0<t1< t2<…< tn< tn+1有
j ≠i
1 − pii (∆t ) qii = lim = lim ∆t →0 ∆t →0 ∆t 注：一般而言qii
∑p
j ≠i
ij
(∆t )
∆t
= ∑ qij
j ≠i
∑q
j ≠i
ij
5.2 柯尔莫哥洛夫微分方程
若连续时间齐次马尔可夫链具有有限状态 空间I={0,1,2,…,n}, 则
⎛ − q00 ⎜ ⎜ q10 Q= ⎜ ⎜ ⎜ q ⎝ n0 q01 − q11 qn1 q0 n ⎞ ⎛ Q1 ⎞ ⎟ ⎜ ⎟ q1n ⎟ ⎜ Q2 ⎟ = ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ − qnn ⎠ ⎝ Qn ⎠
5.1 连续时间马尔可夫链
定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t)) ，i,j∈I，t ≥0 命题：若τi为过程在状态转移之前停留在 命题： 状态i的时间，则对s, t≥0有 (1) P{τ i > s + t | τ i > s} = P{τ i > t} (2) τi 服从指数分布 证(1) 事实上
5.1 连续时间马尔可夫链
过程在状态转移之前处于状态i的时间τi服 从指数分布 Fτ i ( x ) = 1 − e − λi x F (1)当λi=+∞时， τ ( x ) = 1, P{τ i > x} = 1 − Fτ ( x ) = 0, 状态i的停留时间τi 超过x的概率为0， 则称状态i为瞬时状态； F (2)当λi=0时，τ ( x ) = 0, P{τ i > x} = 1 − Fτ ( x ) = 1, 状态i的停留时间τi 超过x的概率为1，则 称状态i为吸收状态。
1 1 2
i∈I
i
ij
(t )
i∈I
n−1i n
(t n − t n −1 )
5.1 连续时间马尔可夫链
例5.1 证明泊松过程{X(t), t≥0}为连续时间 齐次马尔可夫链。 证明：先证泊松过程的马尔可夫性。 证明： 泊松过程是独立增量过程，且X(0)=0，对 任意0<t1< t2<…< tn< tn+1有
j ≠i
1 − pii (∆t ) qii = lim = lim ∆t →0 ∆t →0 ∆t 注：一般而言qii
∑p
j ≠i
ij
(∆t )
∆t
= ∑ qij
j ≠i
∑q
j ≠i
ij
5.2 柯尔莫哥洛夫微分方程
若连续时间齐次马尔可夫链具有有限状态 空间I={0,1,2,…,n}, 则
⎛ − q00 ⎜ ⎜ q10 Q= ⎜ ⎜ ⎜ q ⎝ n0 q01 − q11 qn1 q0 n ⎞ ⎛ Q1 ⎞ ⎟ ⎜ ⎟ q1n ⎟ ⎜ Q2 ⎟ = ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ − qnn ⎠ ⎝ Qn ⎠
5.1 连续时间马尔可夫链
定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t)) ，i,j∈I，t ≥0 命题：若τi为过程在状态转移之前停留在 命题： 状态i的时间，则对s, t≥0有 (1) P{τ i > s + t | τ i > s} = P{τ i > t} (2) τi 服从指数分布 证(1) 事实上
5.1 连续时间马尔可夫链
过程在状态转移之前处于状态i的时间τi服 从指数分布 Fτ i ( x ) = 1 − e − λi x F (1)当λi=+∞时， τ ( x ) = 1, P{τ i > x} = 1 − Fτ ( x ) = 0, 状态i的停留时间τi 超过x的概率为0， 则称状态i为瞬时状态； F (2)当λi=0时，τ ( x ) = 0, P{τ i > x} = 1 − Fτ ( x ) = 1, 状态i的停留时间τi 超过x的概率为1，则 称状态i为吸收状态。
随机过程Ch连续时间的马尔可夫链课件
注：虽然前进方程和后退方程在形式上有所不同， 但两者的解都是同一的，费勒在1940年已证明。
由柯尔莫哥洛夫向前方程旳矩阵形式可得
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
当i 1,2,, N时，qii (N 1)，求pij t 。
互通：i j i j，j i。 若所有状态都是互通的，则称此马尔可夫链 为不可约的。
定理5.7 设连续时间马尔可夫链是不可 约旳，则有下列性质：
(1)若它是正常返旳，则极限
lim
t
pij (t)
存在
且等于j >0，jI。这里j 是
jq jj kqkj ,
j 1
k j
jI
旳唯一非负解，此时称{j >0，jI}是该过
对任意0 t1 t2 tn tn1有
PX tn1 in1 / X t1 i1,, X tn in P{X tn1 X tn in1 in / X t1 X 0 i1,
X t2 X t1 i2 i1,, X tn X tn1 in in1} PX tn1 X tn in1 in
pii h 1 qiih oh
pij
h
qij h
oh
称qij 为齐次马尔可夫过程从状态i 到状态j 的转移
速率或跳跃强度，定理的概率含义为：在一个长
为h的时间区间内，从状态i 转移到其它状态的概率
为：1 pii h 等于 qiih o h ；而由状态i转移 到状态j的概率pij h 等于qij h o h 。
定理：设pij (t)是齐次马尔可夫过程的转移概率， 则下列极限存在：
dpij t
由柯尔莫哥洛夫向前方程旳矩阵形式可得
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
当i 1,2,, N时，qii (N 1)，求pij t 。
互通：i j i j，j i。 若所有状态都是互通的，则称此马尔可夫链 为不可约的。
定理5.7 设连续时间马尔可夫链是不可 约旳，则有下列性质：
(1)若它是正常返旳，则极限
lim
t
pij (t)
存在
且等于j >0，jI。这里j 是
jq jj kqkj ,
j 1
k j
jI
旳唯一非负解，此时称{j >0，jI}是该过
对任意0 t1 t2 tn tn1有
PX tn1 in1 / X t1 i1,, X tn in P{X tn1 X tn in1 in / X t1 X 0 i1,
X t2 X t1 i2 i1,, X tn X tn1 in in1} PX tn1 X tn in1 in
pii h 1 qiih oh
pij
h
qij h
oh
称qij 为齐次马尔可夫过程从状态i 到状态j 的转移
速率或跳跃强度，定理的概率含义为：在一个长
为h的时间区间内，从状态i 转移到其它状态的概率
为：1 pii h 等于 qiih o h ；而由状态i转移 到状态j的概率pij h 等于qij h o h 。
定理：设pij (t)是齐次马尔可夫过程的转移概率， 则下列极限存在：
dpij t
第05章 连续时间马尔可夫链S
体诸成员的年龄之和的均值。时刻 t 诸年龄之和，记为 A(t)，
X (t )1
可表示为 A(t) a0 t (t Si ) i 1
其中 a0 是初始个体在 t=0 时的年龄。对 X(t)取条件
n
E[A(t) | X (t) n 1} a0 t E[ (t Si ) | X (t) n 1} i 1
1 vi
i 1
1 i2
）。假设所考虑的全部马尔可
夫链是规则的。
第四页，共六十九页。
对一切i j，qij定义为
qij vi Pij
因为vi是过程离开状态 i 的速率而 Pij 是它转移到 j 的概率，所以
qij是过程从状态 i 转移到状态 j 的速率；称qij 是从 i 到 j 的转移
率。显然vi qij ji
连续时间马尔可夫链是具有马尔可夫性的随机过程，即已 知现在 s 时的状态 X(s)及一切过去时刻 u,0u<s 的状态 X(u)的 条件下在将来时刻 t+s 的状态 X(t+s)的条件分布只依赖现在的状 态 X(s)而与过去独立。
第一页，共六十九页。
二、连续时间马尔可夫链的状态逗留时间和转移速率
命题 以i 记过程在转移到另一状态之前停留在状态 i 的时 间，则对一切 s，t0 有 P{ i t s | i s} P{ i t}，因此， 随机变量i 是无记忆的必有指数分布，其参数设为vi
态 i-1 或 i+1，当状态增长 l 时，就说生了一个；而当它减少 1
时，就说死了一个。设i qi,i1，i qi,i1，值{i , i 0}与{i , i 1}
分 别 称 为 生 长 率 与 死 亡 率 。 因 为 qij vi ， 可 见 ji
连续时间的马尔可夫链
P X t n 1 i n 1 X t1 i1 , X t 2 i 2 , ..., X t n i n P X t n 1 in 1 X t n in
成立，称{X(t),t ≥0}为连续参数马尔可夫链。
(0)
1, Pij
(0)
1 , i j 0 ( i j ) 知 lim p ij ( t ) t 0 0 , i j
定义5.5：连续参数齐次马氏链{X(t),t ≥0}称 p P X 0 j
j
即X(0)的概率分布，为连续参数齐次马氏链的初 始分布。 称
ii ii
(1) lim
1 p ii ( t ) t p ij ( t ) t
t 0
i q ii
( 2 ) lim
t 0
q ij , j i
q ii 表 示 在 t时 刻 通 过 状 态 i的 通 过 速 度 , q ij 表 示 在 时 刻 t由 状 态 i 到 状 态 j的 速 度 。
证
由切普曼-柯尔莫哥洛夫方程有
kI
p ij ( t h )
p ik ( h ) p k j ( t )
p ij ( t h ) p ij ( t ) p ij ( t ) lim
k i
p ik ( h ) p k j ( t ) [1 p ii ( h )] p ij ( t )
e p ij ( s , t ) p ij ( t ) 0
t
( j i )! , j i
, j i
转移概率与s无关，泊松过程具有齐次性。
成立，称{X(t),t ≥0}为连续参数马尔可夫链。
(0)
1, Pij
(0)
1 , i j 0 ( i j ) 知 lim p ij ( t ) t 0 0 , i j
定义5.5：连续参数齐次马氏链{X(t),t ≥0}称 p P X 0 j
j
即X(0)的概率分布，为连续参数齐次马氏链的初 始分布。 称
ii ii
(1) lim
1 p ii ( t ) t p ij ( t ) t
t 0
i q ii
( 2 ) lim
t 0
q ij , j i
q ii 表 示 在 t时 刻 通 过 状 态 i的 通 过 速 度 , q ij 表 示 在 时 刻 t由 状 态 i 到 状 态 j的 速 度 。
证
由切普曼-柯尔莫哥洛夫方程有
kI
p ij ( t h )
p ik ( h ) p k j ( t )
p ij ( t h ) p ij ( t ) p ij ( t ) lim
k i
p ik ( h ) p k j ( t ) [1 p ii ( h )] p ij ( t )
e p ij ( s , t ) p ij ( t ) 0
t
( j i )! , j i
, j i
转移概率与s无关，泊松过程具有齐次性。
连续时间马氏链
X (n) i 有关，而与以前的状态 X(n 1 ) in1 ，…， X( 0 ) i0 无关。
一、连续时间马尔科夫链的有关定义及其性质
现在讨论时间连续状态离散的马尔可夫过程，取时间参数 t 0 ，状态空间 I={0,1,2,…} 定义 4.17 设随机过程 { X (t ), t 0} 的状态空间为 I={in，n0}，若对任意的 0t1<t2<…<tn<tn+1，及 i1 , i2 ,
pij ( s,t ) P{ X (t s ) j | X ( s ) i }
它表示系统在 s 时刻处于状态 i，经过时间 t 后转移到状态 j 的转移概率。 若上述概率与 s 无关，则称连续时间马尔科夫链为齐次马尔科夫链，此时转移概率简 记为
pij ( s,t ) pij (t )
定义 4.16 设随机过程 { X(t),t T } ，其中时间 T={0,1,…}，状态空间 I={0,1,2,…}， 若对任一时刻 n，以及任意状态 i0 ,i1, ,in1,i,j ，
1 2014 年 12 月 11 日星期四 大连海事大Байду номын сангаас数学系
第五章 连续时间马氏链
有 P{ X(n 1 ) j | X(n) i, X(n 1 ) in1 ,
定义 4.18 对于任一 t0，记
p j (t ) P{ X (t ) j }
p j p j (0) P{ X (0) j }, j I
分别称 { p j (t ), j I } 和 { p j , j I } 为齐次马氏链的绝对概率分布和初始概率分布。 性质 2：对任意 0 t0 t1 tn ， i0 ,i1, ,in I ，有
第五章 连续时间马尔可夫链
的停留时间
i 超过x的概率为1,则称状态i为吸收状态. 随机过程讲义
第五章 连续时间的马尔可夫链
定理5.1 齐次马尔可夫过程的转移概率具有下列性：
(1) pij(t) 0; (2)
kI
p (t ) 1;
jI ij
(3) pij ( t s ) pik ( t ) pkj ( s ) 证 由概率的定义, (1)(2)显然成立, 下证(3).
ji
p ( t )
ijtຫໍສະໝຸດ qij .ji
说明 对状态空间无限的齐次马尔可夫过程, 一般只有
qii qij .
ji
随机过程讲义
第五章 连续时间的马尔可夫链
二、柯尔莫哥洛夫方程
问题：若连续时间齐次马尔可夫链具有有限状态空间为 I={0,1,2, ,n}, 则其转移速率可构成矩阵
iI iI
(4) p j ( t ) pi ( t ) pij ( );
iI
jI
pi pii1 ( t1 ) pi1i2 ( t 2 t1 )
, X ( t n ) in }
pin1in ( t n t n1 ).
随机过程讲义
第五章 连续时间的马尔可夫链
分布律
(n) pij 0,
转移方程
( n) ( l ) ( nl ) pij pik pkj k I
j I
(n) pij 1
时间 连续
1 , i j lim pij ( t ) t 0 0 , i j
pij ( t ) 0
p (t ) 1
j I ij
则对一切i,j及t 0, 有
( t ) qik pkj ( t ) qii pij ( t ) Qi Pj . pij
5--连续时间马尔可夫链--beamer
特别地, 当 ������������+1 − ������������ = ������ 时, 有
������ (������ (������) = ������, ������ (2������) = ������, · · · , ������ (������������) = ������|������ (0) = ������) = [������������������ (������)] .
(������ −������)!
当 ������
������,
⎩ 0, ������ = ������, ������ ̸= ������.
第五章: 连续时间马尔可夫链
当 ������ < ������,
其中 ������������������ 是马氏链.
������������������ (0) = ������������������
并且对于 ������ ������, 有
∞ ∞ ∑︁ ������������ (������) ∑︁ ������������ ������ −������ ������������������ = (������)������ ������������ (−1)������−������ ������! ������! ������=0 ∞ ∑︁
称矩阵 ������ = (������������������ (������))������,������ ∈������ 为马氏链的一步转移概率矩阵, 简称为转移矩阵.
韩参变量 (某某大学)
第五章: 连续时间马尔可夫链
3 / 61
连续时间马氏链的性质
1. ������������������ 是 ������ 函数, 即 ������������������ (0) = ������������������ = ⎧ ⎨ 1, ⎩ 0, ������ = ������, ������ ̸= ������.
������ (������ (������) = ������, ������ (2������) = ������, · · · , ������ (������������) = ������|������ (0) = ������) = [������������������ (������)] .
(������ −������)!
当 ������
������,
⎩ 0, ������ = ������, ������ ̸= ������.
第五章: 连续时间马尔可夫链
当 ������ < ������,
其中 ������������������ 是马氏链.
������������������ (0) = ������������������
并且对于 ������ ������, 有
∞ ∞ ∑︁ ������������ (������) ∑︁ ������������ ������ −������ ������������������ = (������)������ ������������ (−1)������−������ ������! ������! ������=0 ∞ ∑︁
称矩阵 ������ = (������������������ (������))������,������ ∈������ 为马氏链的一步转移概率矩阵, 简称为转移矩阵.
韩参变量 (某某大学)
第五章: 连续时间马尔可夫链
3 / 61
连续时间马氏链的性质
1. ������������������ 是 ������ 函数, 即 ������������������ (0) = ������������������ = ⎧ ⎨ 1, ⎩ 0, ������ = ������, ������ ̸= ������.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
随机过程讲义
第五章 连续时间的马尔可夫链
P { i s t } P { i s } P { i t },
即有
G ( s t ) G ( s )G ( t ).
由此可推出G(t)为指数函数, G ( t ) e i t . 设 i的分布函数为F(x), (x 0), 则有
pij ( t s ) P { X ( t s ) j | X (0) i }
P { X ( t s ) j , X ( t ) k | X (0) i } P { X ( t s ) j | X ( t ) k , X (0) i }
P { i t };
(2) 设 G ( t ) P { i t }( t 0). 由于
P { i t } P{ i s t | i s }
可得
P { i s t , i s } P { i s t } , P { i s } P { i s }
分布律
(n) pij 0,
转移方程
( n) ( l ) ( nl ) pij pik pkj k I
j I
(n) pij 1
时间 连续
1 , i j lim pij ( t ) t 0 0 , i j
pij ( t ) 0
p (t ) 1
j I ij
ji
p ( t )
ij
t
qij .
ji
说明 对状态空间无限的齐次马尔可夫过程, 一般只有
qii qij .
ji
随机过程讲义
第五章 连续时间的马尔可夫链
二、柯尔莫哥洛夫方程
问题：若连续时间齐次马尔可夫链具有有限状态空间为 I={0,1,2, ,n}, 则其转移速率可构成矩阵
P { X ( t n1 ) X ( t n ) in1 in | X ( t1 ) X (0) i1 , X ( t 2 ) X ( t1 ) i2 i1 , , X ( t n ) X ( t n1 ) in in1 } P { X ( t n1 ) X ( t n ) in1 in }. 另一方面 P { X ( t n 1 ) i n 1 | X ( t n ) i n } P{ X ( t n1 ) X ( t n ) in1 in | X ( t n ) X (0) in } P { X ( t n1 ) X ( t n ) in1 in }.
例5.1 证明泊松过程{X(t), t 0}为连续时间齐次马尔可夫 链. . 证 先证泊松过程的马尔可夫性 根据定义知, 泊松过程是独立增量过程, 且X(0)=0, 对任 意0<t1< t2< < tn< tn+1 , 有 P { X ( t n1 ) in1 | X ( t1 ) i1 , , X ( t n ) in }
F ( t ) 1 G ( t ) 1 e i t . 故 i 服从指数分布.
两点说明： 1) 当 i= 时,F i ( x ) 1, P{ i x } 1 F i ( x ) 0, 状态i 的停留时间 i 超过x的概率为0, 则称状态i为瞬时状态； 2) 当 i=0时,F i ( x ) 0, P{ i x } 1 F i ( x ) 1, 状态i
第五章 连续时间的马尔可夫链
第五章 连续时间的马尔可夫链
§5.1 连续时间的马尔可夫链 §5.2 科尔莫哥洛夫微分方程
§5.3 生灭过程
随机过程讲义
第五章 连续时间的马尔可夫链
§5.1 连续时间的马尔可夫链
定义5.1 设随机过程{X(t), t 0 }, 状态空间I={0,1,2, }, ,in+1 , 有 若对任意0 t1< t2< <tn+1及非负整数i1,i2, =P{X(tn+1)=in+1|X(tn)=in}, 则称{X(t), t 0 }为连续时间马尔可夫链.
随机过程讲义
§5.2 科尔莫哥洛夫微分方程
一、转移概率pij(t)的性质
第五章 连续时间的马尔可夫链
引理5.1 设齐次马尔可夫过程满足正则性条件 1 , i j , lim pij ( t ) t 0 0 , i j, 则对于任意i, j I, pij(t)是t的一致连续函数. 注：以下讨论均假定马尔可夫过程满足正则性条件. 定理5.3 设pij(t)是齐次马尔可夫过程的转移概率, 则下 列极限存在 呵称为齐次马尔 可夫过程从状态i 1 pii ( t ) 到状态j的转移速 (1) lim i qii ; t 0 t 率(跳跃强度). pij ( t ) (2) lim qij , j i . t 0 t
P { i s t | i s } P{ X ( u) i ,0 u s ,
X (v ) i , s v s t | X ( u) i ,0 u s } P{ X (v ) i , s v s t | X ( u) i ,0 u s } (条件概率) P{ X (v ) i , s v s t | X ( s ) i } (马尔可夫性) P{ X (u) i ,0 u t | X (0) i } (齐次性)
(3) 初始分布 (4) 绝对分布
{ p j , j I }; { p j ( t ) , j I } ( t 0).
定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分 布具有下列性质： (1) p j ( t ) 0; (2) p j ( t ) 1; (3) p j ( t ) pi pij ( t ); (5) P { X ( t1 ) i1 ,
q0 n Q1 q11 q1n Q2 . qn 1 qnn Qn 能否由Q可求转移概率矩阵P？ 定理5.4 (柯尔莫哥洛夫向后方程) 假设 qii qik , q01 q00 q Q 10 qn 0
随机过程讲义
第五章 连续时间的马尔可夫链
推论 对有限齐次马尔可夫过程, 有
qii qij .
ji
证 由定理5.1知 pij (t ) 1,
jI
即Байду номын сангаас
1 pii ( t ) pij ( t ).
ji
由于求和是在有限集中进行, 故有
1 pii ( t ) qii lim lim t 0 t 0 t
kI kI kI
随机过程讲义
第五章 连续时间的马尔可夫链
注：转移概率的正则性条件
1 , i j , lim pij ( t ) t 0 0 , i j.
时间离散与时间连续马尔可夫链的比较
正则性 时间 p 1, ( 0) 离散 pij 0( i j )
( 0) ii
kI kI
P { X ( t ) k | X (0) i }
P { X ( t s ) j | X ( t ) k }P { X ( t ) k | X (0) i } pkj ( s ) pik ( t ) pik ( t ) pkj ( s ).
随机过程讲义
第五章 连续时间的马尔可夫链
连续时间马尔可夫链的性质 若 i为过程在状态转移之前停留在状态i的时间, 则 对s, t 0有 (1) P { i s t | i s } P{ i t }; (2)
i 服从指数分布.
证 (1) 如图所示, 有 i i
0 s
t
i s+t
随机过程讲义
第五章 连续时间的马尔可夫链
所以 P { X ( t n1 ) in1 | X ( t1 ) i1 ,
, X ( t n ) in }
P { X ( t n1 ) in1 | X ( t n ) in },
即泊松过程是一个连续时间马尔可夫链. 再证齐次性. 当j i时， P{ X ( s t ) j | X ( s ) i } P{ X ( s t ) X ( s ) j i } ji ( t ) et . ( j i )! 当j<i时, 因过程的增量只取非负整数值, 故pij(s,t)=0, 所以 t ( t ) j i , ji e pij ( s , t ) pij ( t ) ( j i )! 0 , j i 转移概率与s无关, 泊松过程具有齐次性.
pik ( h) pkj ( t ) pii ( h) pij ( t ).
k i
pij ( t h) pij ( t ) pik ( h) pkj ( t ) [1 pii ( h)] pij ( t )
i
i
{ i s } { X ( u) i ,0 u s | X (0) i }, { i s t } { X ( u) i ,0 u s , X (v ) i , s v s t | X (0) i }
随机过程讲义
第五章 连续时间的马尔可夫链
pij (t s ) pik (t ) pkj ( s )
k I
随机过程讲义
第五章 连续时间的马尔可夫链
定义5.3 设 { X ( t ), t 0} 为连续时间的马尔可夫过程, 则 (1) 初始概率 p j p j (0) P{ X (0) j }, j I ; (2) 绝对概率 p j ( t ) P { X ( t ) j }, j I , t 0;
第五章 连续时间的马尔可夫链
P { i s t } P { i s } P { i t },
即有
G ( s t ) G ( s )G ( t ).
由此可推出G(t)为指数函数, G ( t ) e i t . 设 i的分布函数为F(x), (x 0), 则有
pij ( t s ) P { X ( t s ) j | X (0) i }
P { X ( t s ) j , X ( t ) k | X (0) i } P { X ( t s ) j | X ( t ) k , X (0) i }
P { i t };
(2) 设 G ( t ) P { i t }( t 0). 由于
P { i t } P{ i s t | i s }
可得
P { i s t , i s } P { i s t } , P { i s } P { i s }
分布律
(n) pij 0,
转移方程
( n) ( l ) ( nl ) pij pik pkj k I
j I
(n) pij 1
时间 连续
1 , i j lim pij ( t ) t 0 0 , i j
pij ( t ) 0
p (t ) 1
j I ij
ji
p ( t )
ij
t
qij .
ji
说明 对状态空间无限的齐次马尔可夫过程, 一般只有
qii qij .
ji
随机过程讲义
第五章 连续时间的马尔可夫链
二、柯尔莫哥洛夫方程
问题：若连续时间齐次马尔可夫链具有有限状态空间为 I={0,1,2, ,n}, 则其转移速率可构成矩阵
P { X ( t n1 ) X ( t n ) in1 in | X ( t1 ) X (0) i1 , X ( t 2 ) X ( t1 ) i2 i1 , , X ( t n ) X ( t n1 ) in in1 } P { X ( t n1 ) X ( t n ) in1 in }. 另一方面 P { X ( t n 1 ) i n 1 | X ( t n ) i n } P{ X ( t n1 ) X ( t n ) in1 in | X ( t n ) X (0) in } P { X ( t n1 ) X ( t n ) in1 in }.
例5.1 证明泊松过程{X(t), t 0}为连续时间齐次马尔可夫 链. . 证 先证泊松过程的马尔可夫性 根据定义知, 泊松过程是独立增量过程, 且X(0)=0, 对任 意0<t1< t2< < tn< tn+1 , 有 P { X ( t n1 ) in1 | X ( t1 ) i1 , , X ( t n ) in }
F ( t ) 1 G ( t ) 1 e i t . 故 i 服从指数分布.
两点说明： 1) 当 i= 时,F i ( x ) 1, P{ i x } 1 F i ( x ) 0, 状态i 的停留时间 i 超过x的概率为0, 则称状态i为瞬时状态； 2) 当 i=0时,F i ( x ) 0, P{ i x } 1 F i ( x ) 1, 状态i
第五章 连续时间的马尔可夫链
第五章 连续时间的马尔可夫链
§5.1 连续时间的马尔可夫链 §5.2 科尔莫哥洛夫微分方程
§5.3 生灭过程
随机过程讲义
第五章 连续时间的马尔可夫链
§5.1 连续时间的马尔可夫链
定义5.1 设随机过程{X(t), t 0 }, 状态空间I={0,1,2, }, ,in+1 , 有 若对任意0 t1< t2< <tn+1及非负整数i1,i2, =P{X(tn+1)=in+1|X(tn)=in}, 则称{X(t), t 0 }为连续时间马尔可夫链.
随机过程讲义
§5.2 科尔莫哥洛夫微分方程
一、转移概率pij(t)的性质
第五章 连续时间的马尔可夫链
引理5.1 设齐次马尔可夫过程满足正则性条件 1 , i j , lim pij ( t ) t 0 0 , i j, 则对于任意i, j I, pij(t)是t的一致连续函数. 注：以下讨论均假定马尔可夫过程满足正则性条件. 定理5.3 设pij(t)是齐次马尔可夫过程的转移概率, 则下 列极限存在 呵称为齐次马尔 可夫过程从状态i 1 pii ( t ) 到状态j的转移速 (1) lim i qii ; t 0 t 率(跳跃强度). pij ( t ) (2) lim qij , j i . t 0 t
P { i s t | i s } P{ X ( u) i ,0 u s ,
X (v ) i , s v s t | X ( u) i ,0 u s } P{ X (v ) i , s v s t | X ( u) i ,0 u s } (条件概率) P{ X (v ) i , s v s t | X ( s ) i } (马尔可夫性) P{ X (u) i ,0 u t | X (0) i } (齐次性)
(3) 初始分布 (4) 绝对分布
{ p j , j I }; { p j ( t ) , j I } ( t 0).
定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分 布具有下列性质： (1) p j ( t ) 0; (2) p j ( t ) 1; (3) p j ( t ) pi pij ( t ); (5) P { X ( t1 ) i1 ,
q0 n Q1 q11 q1n Q2 . qn 1 qnn Qn 能否由Q可求转移概率矩阵P？ 定理5.4 (柯尔莫哥洛夫向后方程) 假设 qii qik , q01 q00 q Q 10 qn 0
随机过程讲义
第五章 连续时间的马尔可夫链
推论 对有限齐次马尔可夫过程, 有
qii qij .
ji
证 由定理5.1知 pij (t ) 1,
jI
即Байду номын сангаас
1 pii ( t ) pij ( t ).
ji
由于求和是在有限集中进行, 故有
1 pii ( t ) qii lim lim t 0 t 0 t
kI kI kI
随机过程讲义
第五章 连续时间的马尔可夫链
注：转移概率的正则性条件
1 , i j , lim pij ( t ) t 0 0 , i j.
时间离散与时间连续马尔可夫链的比较
正则性 时间 p 1, ( 0) 离散 pij 0( i j )
( 0) ii
kI kI
P { X ( t ) k | X (0) i }
P { X ( t s ) j | X ( t ) k }P { X ( t ) k | X (0) i } pkj ( s ) pik ( t ) pik ( t ) pkj ( s ).
随机过程讲义
第五章 连续时间的马尔可夫链
连续时间马尔可夫链的性质 若 i为过程在状态转移之前停留在状态i的时间, 则 对s, t 0有 (1) P { i s t | i s } P{ i t }; (2)
i 服从指数分布.
证 (1) 如图所示, 有 i i
0 s
t
i s+t
随机过程讲义
第五章 连续时间的马尔可夫链
所以 P { X ( t n1 ) in1 | X ( t1 ) i1 ,
, X ( t n ) in }
P { X ( t n1 ) in1 | X ( t n ) in },
即泊松过程是一个连续时间马尔可夫链. 再证齐次性. 当j i时， P{ X ( s t ) j | X ( s ) i } P{ X ( s t ) X ( s ) j i } ji ( t ) et . ( j i )! 当j<i时, 因过程的增量只取非负整数值, 故pij(s,t)=0, 所以 t ( t ) j i , ji e pij ( s , t ) pij ( t ) ( j i )! 0 , j i 转移概率与s无关, 泊松过程具有齐次性.
pik ( h) pkj ( t ) pii ( h) pij ( t ).
k i
pij ( t h) pij ( t ) pik ( h) pkj ( t ) [1 pii ( h)] pij ( t )
i
i
{ i s } { X ( u) i ,0 u s | X (0) i }, { i s t } { X ( u) i ,0 u s , X (v ) i , s v s t | X (0) i }
随机过程讲义
第五章 连续时间的马尔可夫链
pij (t s ) pik (t ) pkj ( s )
k I
随机过程讲义
第五章 连续时间的马尔可夫链
定义5.3 设 { X ( t ), t 0} 为连续时间的马尔可夫过程, 则 (1) 初始概率 p j p j (0) P{ X (0) j }, j I ; (2) 绝对概率 p j ( t ) P { X ( t ) j }, j I , t 0;