刘次华 随机过程 第五章

i∈ I
1 1 2
i∈I
i
ij
(t )
i∈I
n−1i n
(t n − t n −1 )
5.1 连续时间马尔可夫链
例5.1 证明泊松过程{X(t), t≥0}为连续时间 齐次马尔可夫链。 证明：先证泊松过程的马尔可夫性。 证明： 泊松过程是独立增量过程，且X(0)=0，对 任意0<t1< t2<…< tn< tn+1有
j ≠i
1 − pii (∆t ) qii = lim = lim ∆t →0 ∆t →0 ∆t 注：一般而言qii
∑p
j ≠i
ij
(∆t )
∆t
= ∑ qij
j ≠i
∑q
j ≠i
ij
5.2 柯尔莫哥洛夫微分方程
若连续时间齐次马尔可夫链具有有限状态 空间I={0,1,2,…,n}, 则
⎛ − q00 ⎜ ⎜ q10 Q= ⎜ ⎜ ⎜ q ⎝ n0 q01 − q11 qn1 q0 n ⎞ ⎛ Q1 ⎞ ⎟ ⎜ ⎟ q1n ⎟ ⎜ Q2 ⎟ = ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ − qnn ⎠ ⎝ Qn ⎠
5.1 连续时间马尔可夫链
定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t)) ，i,j∈I，t ≥0 命题：若τi为过程在状态转移之前停留在 命题： 状态i的时间，则对s, t≥0有 (1) P{τ i > s + t | τ i > s} = P{τ i > t} (2) τi 服从指数分布 证(1) 事实上
5.1 连续时间马尔可夫链
过程在状态转移之前处于状态i的时间τi服 从指数分布 Fτ i ( x ) = 1 − e − λi x F (1)当λi=+∞时， τ ( x ) = 1, P{τ i > x} = 1 − Fτ ( x ) = 0, 状态i的停留时间τi 超过x的概率为0， 则称状态i为瞬时状态； F (2)当λi=0时，τ ( x ) = 0, P{τ i > x} = 1 − Fτ ( x ) = 1, 状态i的停留时间τi 超过x的概率为1，则 称状态i为吸收状态。
5.1 连续时间马尔可夫链
i 0
i s
t
i s+t
i
τi
{τ i > s} ⇔ { X (u) = i ,0 < u ≤ s | X (0) = i} {τ i > s + t} ⇔ { X (u) = i ,0 < u ≤ s, X (v ) = i , s < v ≤ s + t | X (0) = i}
= P{ X (t n+1 ) = in +1 | X (t n ) = in }
即泊松过程是一个连续时间马尔可夫链。
5.1 连续时间马尔可夫链
P{ X ( s + t ) = j | X ( s ) = i} = P{ X ( s + t ) − X ( s ) = j − i} = e − λt (λt ) j − i ( j − i )!
′ pij (t ) = lim
h →0
pij (t + h) − pij (t ) h 1 − pii (h) pik (h) pkj (t ) − lim pij (t ) h →0 h h
= lim ∑
h →0 k ≠i k ≠i
= ∑ qik pkj (t ) − qii pij (t )＝Qi Pj
5.1 连续时间马尔可夫链
pij (t + s ) = P{ X (t + s ) = j | X (0) = i} = ∑ P{ X (t + s ) = j , X (t ) = k | X (0) = i} = ∑ P{ X (t + s ) = j | X (t ) = k , X (0) = i}
5.1 连续时间马尔可夫链
★正则性条件
⎧1 , i = j lim pij (t ) = ⎨ t →0 ⎩0 , i ≠ j
5.1 连续时间马尔可夫链
正则性 时间 离散 时间 连续
p
(0) ii
分布律
( p ijn ) ≥ 0,
转移方程
( ( ( pijn ) = ∑ pikl ) pkjn − l ) k ∈I
再证齐次性 当j ≥ i时，
当j<i时,因增量只取非负整数值,故 pij(s,t)=0， ⎧ − λt (λ t ) j − i , j≥i ⎪e 所以 p ij ( s , t ) = p ij ( t ) = ⎨ ( j − i )!
⎪0 ⎩ , j<i
转移概率与s无关，泊松过程具有齐次性。
5.2 柯尔莫哥洛夫微分方程
定理5.5(柯尔莫哥洛夫向前方程) 5.5 在适当的正则条件下有
p′ (t ) = ∑ pik (t )qkj − pij (t )q jj ij
5.1 连续时间马尔可夫链
另一方面
P{ X (t n+1 ) = in +1 | X (t n ) = in }
= P{ X (t n+1 ) − X (t n ) = in+1 − in | X (t n ) − X (0) = in } = P{ X (t n+1 ) − X (t n ) = in+1 − in } 所以 P{ X (t n +1 ) = in+1 | X (t1 ) = i1 , , X (t n ) = in }
I
i pi(0)
5.1 连续时间马尔可夫链
初始概率、绝对概率
pi(t)
j pij(t,τ)
t
t+τ
T
5.1 连续时间马尔可夫链
定义5.3 (1)初始概率 p j = p j (0) = P{ X (0) = j}, j ∈ I (2)绝对概率 p j (t ) = P{ X (t ) = j}, j ∈ I , t ≥ 0 (3)初始分布 (4)绝对分布 p (t ) = { p j (t ) , j ∈ I }
P{ X (t n +1 ) = in +1 | X (t1 ) = i1 , X (t 2 ) − X (t1 ) = i2 − i1 , , X (t n ) = in } = P{ X (t n +1 ) − X (t n ) = in +1 − in | X (t1 ) − X (0) = i1 , , X (t n ) − X (t n−1 ) = in − in−1} = P{ X (t n +1 ) − X (t n ) = in +1 − in }
p = { p j , j ∈ I}
t≥0
5.1 连续时间马尔可夫链
定理5.2 齐次马尔可夫过程的绝对概率及有 限维概率分布具有下列性质： (1) pj(t)≥0 (2) (3)
∑ p (t ) = 1 p (t ) = ∑ p p
j∈I j
j
(4) p j (t + τ ) = ∑ pi (t ) pij (τ ) (5) P{ X (t1 ) = i1 , , X (t n ) = in } = ∑ pi pii (t1 ) pi i (t 2 − t1 ) pi
k ≠i
k ≠i
证明：由切普曼-柯尔莫哥洛夫方程有 证明：
pij (t + h) = ∑ pik (h) pkj (t ) pij (t + h) − pij (t ) = ∑ pik (h) pkj (t ) − [1 − pii (h)] pij (t )
k ≠i k ∈I
5.2 柯尔莫哥洛夫微分方程
i i i i
5.1 连续时间马尔可夫链
定理5.1 齐次马尔可夫过程的转移概率具 有： (1) pij(t)≥0; (2)
∑p
j∈I
ij
(t ) = 1;
(3) pij ( t + s ) =
∑p
k ∈I
ik
(t ) pkj ( s )
证明：由概率的定义，(1)(2)显然成立，下 证明： 证(3)
问题：能否可由Q求转移概率？ 问题：
P (∆t)－I Q = lim ∆t →0 ∆t
5.2 柯尔莫哥洛夫微分方程
定理5.4(柯尔莫哥洛夫向后方程) 5.4 假设 qii = ∑ qik ，则对一切i, j及t ≥0，有
′ pij (t ) = ∑ qik pkj (t ) − qii pij (t ) = Qi Pj
5.1 连续时间马尔可夫链
P{τ i > s + t | τ i > s} = P{ X (u ) = i, 0 < u ≤ s, X (v) = i, s < v ≤ s + t | X (u ) = i, 0 ≤ u ≤ s} = P{ X (v) = i, s < v ≤ s + t | X (u ) = i, 0 ≤ u ≤ s} 条件概率 = P{ X (v) = i, s < v ≤ s + t | X ( s ) = i} 马尔可夫性 齐次性 = P{ X (u ) = i, 0 < u ≤ t | X (0) = i} = P{τ i > t}
第五章 连续时间马尔可夫链
I
5 4 3 2 1 0 1
马尔可夫链
2
3
4
5
T
ห้องสมุดไป่ตู้
5.1 连续时间马尔可夫链
定义5.1 设随机过程{X(t)，t ≥0 }，状态空间 I={0,1,2,…}，若对任意 0≤t1< t2<…< tn+1及非负整数i1,i2, …,in+1 ，有 P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,…, X(tn)=in} =P{X(tn+1)=in+1|X(tn)=in}， 则称{X(t)，t ≥0 }为连续时间马尔可夫链。 转移概率：在s时刻处于状态i，经过时间t后 转移到状态j的概率 pij(s,t)= P{X(s+t)=j|X(s)=i}