中南大学随机过程第九章

即
tl im p i(jt)j, j E
存在且与i无关，并且极限分布{j,jE}是唯一的平稳
分布： j 0 ,
j 1 , j ip i( jt) 。
5. 对固定的i,j，函数j E pij(t)是t>0的一i E 致连续函数。
6. 满足连续性条件的连续参数齐次马氏链{X(t),t0}存
在下列极限
2020/5/30
计算机科学与工程学院 顾小丰
37－6
绝对分布、遍历性、平稳分布
设{X(t),t0}为连续参数齐次马氏链 1) pj＝P{X(0)=j}，jE，称{pj,jE}为该马氏链的初始分
布； 2) Pj(t)＝P{X(t)=j}，jE，称{pj(t),jE}为该马氏链的绝
对分布； 3) i如无果关转则移称概此率连极续限参存数在齐，次tl i 马m p 氏i(jt链) 为 遍j 历0,的i,马j 氏E链，，且此与
P(s,t)＝(pij(s,t))i,jE 为此马氏链的转移矩阵。
这里，pij(s,t)的直观意义是：系统(或质点)在 时刻s时处于状态i，再经过t时间转到状态j的条
件概率。
2020/5/30
计算机科学与工程学院 顾小丰
37－5
连续参数齐次马氏链
若{X(t),t0}为连续参数马氏链的转移概率pij(s,t)与 时间起点s无关，即
j E,ji
8. 设{X(t),t0}为连续参数齐次马氏链，当qi<+， qij
＝qi 时，满足柯尔莫哥洛夫后退微分方程
jE , j i
ddip j(tt)qipij(t)kE,k q iikpk(jt)
即
P’(t)＝QP(t)
9.
设{X(t),t0}为连续参数齐次马氏链,当qi<+, ＝qri 时，则有柯尔莫哥洛夫前进微分方程
时，我们说该链具有遍历性。
4) 若j>0，j 1 ，则称{j,jE}为齐次马氏链{X(t),t0}
的极限分j布E 。
5)
如果{vj,jE}满足
vj vj
0,
jE
v
iE
vj ip ij
(t
1 )
则称{vj，jE}为齐次马氏链{X(t),t0}的平稳分布。
2020/5/30
计算机科学与工程学院 顾小丰
设随机过程{X(t),t0}，状态空间E={0,1,2, …}。若对于0<t1<t2<…<tn<tn+1及非负整数i1,i2, …in,in+1，有 P{X(tn+1)＝in+1|X(t1)=i1,X(t2)=i2,…,X(tn)=in} ＝P{X(tn+1)＝in+1|X(tn)=in} 即马尔可夫性成立，则称{X(t),t0}为连续参数马
Q-矩阵。
由连续性条件和导数的定义，显然有
p'i j(0)qqi ji,i,
i j i j
பைடு நூலகம்
即
P’(+0)＝Q。
2020/5/30
计算机科学与工程学院 顾小丰
37－10
转移概率函数的性质(续2)
7. 设齐次马氏链{X(t),t0}，状态空间E={0,1,2,…,s}，其
转移速度
qij0, qii qij
计算机科学与工程学院 顾小丰
37－9
状态转移速度矩阵
设连续参数齐次马氏链{X(t),t0}，状态空间
E={0,1,2,…,s}，下面s+1阶方阵：
q00 q01 q02
q10 q11 q12
Q
q2 0
q21 q22
qs0
qs1
qs2
q0s
q1s
q2s
qss
称为齐次马氏链{X(t),t0}的状态转移速度矩阵，简称
如果齐次马氏链{X(t),t0}是遍历马氏链，则
t l ip m j(t) t l ip m i( jt) j, j E
2020/5/30
计算机科学与工程学院 顾小丰
37－8
转移概率函数的性质(续1)
4. 设齐次马氏链{X(t),t0}的状态有限，E={0,1,2,…,
s}，如果存在t0>0，使得对任意i,jE，都有pij(t0)> 0，则此齐次马氏链{X(t),t0}为遍历的齐次马氏链。
随机过程与排队论
数学科学与计算技术学院 胡朝明
Email：math_ 2020/5/30
上一讲内容回顾
➢ 齐次马氏链状态的分类
• 互通 首达 • 常返与非常返 • 正常返与零常返 • 状态空间分解 • 不可约马氏链 • 状态的周期性
2020/5/30
计算机科学与工程学院 顾小丰
37－2
本讲主要内容
➢ 连续参数马尔可夫链
• 转移概率函数、转移矩阵 • 连续参数齐次马氏链 • 初始分布、绝对分布、遍历
性、平稳分布
• 转移概率函数的性质 • 状态转移速度矩阵
➢ 生灭过程
2020/5/30
计算机科学与工程学院 顾小丰
37－3
§3.4 连续参数马尔可夫链
类似离散参数马氏链，只是把离散的时间参数 改为连续的时间参数，便可得到类似的结果。
尔可夫链。
2020/5/30
计算机科学与工程学院 顾小丰
37－4
转移概率函数
设{X(t),t0}为连续参数马氏链，对任意i,jE
＝{0,1,2,…}，任意非负实数s,t，条件概率
pij(s,t)＝P{X(t+s)=j|X(s)=i} 称为此马氏链{X(t),t0}的转移概率函数，显然
我们称
0pi(js,t)1, pi(js,t)1 j E
pij(s,t)＝P{X(s+t)=j|X(s)=i}＝pij(t) 则称{X(t),t0}为连续参数齐次马氏链。
类似地，
P(t)＝(pij(t))i,jE 称为此齐次马氏链的转移矩阵。
0pij(t)1， pij(t) 1。 jE
一般地，我们要求齐次马氏链的转移概率函数满足如 下的连续性条件：
1, ij tl i0m pij(t)ij0, ij
( 1 )t l 0 i1 m p t i( t i) q i iq i, ( 2 )t l 0 ip im t ( t j) q i,ji j
其中qi表示在时刻t时通过状态i的通过速度(或通过强 度)；qij表示时刻t时从状态i转移到状态j的速度(或强 度)，qij统称转移速度。
2020/5/30
37－7
转移概率函数的性质
1. 0pij(t)1，i,jE；pij(t) 1。 jE
1, ij 连续性条件：pij(0)ij0, ij 2. pij(t)满足C-K方程
pij(ts) pir(t)pr(js) r E
矩阵形式: P(t+s)＝P(t)P(s)
3. 绝对概率满足
pj(t) pipij(t) iE