107511-概率统计随机过程课件-第十三章马氏链第三节(上)
第三节 参数连续的齐次马尔可夫链
在实际应用中, 马尔可夫链的参
数t 通常表示时间,参数集T 通常取非负实数集.本节就来讨论这类参数连续的马尔可夫链.
一. 转移概率函数
定义 5 设}0),({≥t t X 是参数连续
的马尔可夫链,对于任意非负实数t
和任意正实数τ,以及链的任意两
个状态j i ,,条件概率 )(})(|)({)(t p i t X j t X P ij ττ===+
称为马尔可夫链在时刻t 由状态i 出
发,经过时间间隔τ,在时刻τ+t 到
达状态j 的转移概率.τ称为转移时
间.
一般来说, )()(t p ij τ既依赖于出发
时刻t ,又依赖于转移时间τ.
特殊地,如果)()(t p ij
τ不依赖于出
发时刻t ,仅依赖于转移时间τ,则
称马尔可夫链}0),({≥t t X 具有齐次性
或时齐性.此时可记
)(})(|)({)()(τττij ij p i t X j t X P t p ===+=,(13.15)就是说,对于参数连续的齐次马尔可夫链,从状态i 转移到状态j 的转移概率仅仅依赖于完成状态转移的转移时间τ,而与出发时刻无关.)(τij p 是转移时间τ的函数.
一般地, 参数连续的齐次马
尔可夫链的转移概率函数具有如下性质:
性质1 当0>τ时, 0)(≥τij p .
当0=τ时,规定
???≠===j i j i p ij ij ,0,1)0(δ,(13.16) ij δ称为克罗纳克(Kronecker)符号.
?
??≠===j i j i p ij ij ,0,1)0(δ表示:在任何瞬时,一个状态留在原位的概
率为1,而跳离原位的概率为0.
性质 2 1)(=∑∈τS
j ij p , S 是状态空间.
性质3 满足切普曼-柯尔莫哥洛夫
方程
)(21ττ+ij p ∑∈?=S k kj ik p p )()(21ττ, )0,0(21>>ττ 证 由转移概率的定义,条件概率,概率的可加性,马氏性和齐次性,得 )(21ττ+ij p })(|)({21i t X j t X P ==++=ττ })({})(,)({21i t X P i t X j t X P ===++=ττ })({})(,)(,)({121i t X P i t X k t X j t X P S k ===+=++=∑∈τττ
∑∈=+==++=+==S k k t X i t X P j t X k t X i t X P })(,)({})(,)(,)({1211ττττ })({})(,)({1i t X P k t X i t X P ==+=?τ })(,)(|)({121k t X i t X j t X P S k =+==++=∑∈τττ
})(|)({1i t X k t X P ==+?τ
)()(12ττik S
k kj p p ∑∈= )()(21ττkj S
k ik p p ∑∈=.
性质4 (实际上是规定)
?
??≠===+→j i j i p p ij ij ,0,1)0()(lim 0ττ , (13.18) 式(13.18)表明:转移概率函数
)(τij p 在0=τ处右连续(假设条件).当
τ充分小时,齐次马尔可夫链的状态几乎滞留原位,几乎不发生转移.
二. 转移速率矩阵
定义 6 如果齐次马尔可夫链的转
移概率函数)(τij
p 在0=τ的右导数存
在,即存在 ij ij ij ij q p p p =-='+→τττ)0()()0(lim 0,(13.19)
则称导数值ij q 为由状态i 转移到状态j 的转移速率,或称转移密度.
不访设状态空间S 为非负整数集,
以ij q 为元素的矩阵
????=010
00i q q q Q ?????????????????????????????????????????????????????????ij i j j q q q q q q 1111001 , (13.20)
称为转移速率矩阵,或称转移密度矩阵.简称Q 阵.
转移速率具有两个性质:
(1) j i q ij ≠≥,0; 0≤ii q ;
(2)当状态空间为有限集时,
ij q 满足
0=∑∈S j ij q
, (13.21)
性质(1)可由式(13.19)直接得到.
性质(2)的证明如下:
由转移概率函数的性质2得
01)()(=-+∑≠ττi j ii ij p p
,
在等式两边除以τ,再令+→0τ求
极限,其中 ij ij ij ij q p p p =-=++→→ττττττ)0()()(lim lim 00, j i ≠,
ii ii ii ii q p p p =-=-++→→ττττττ)0()(1)(lim lim 00
于是得到0=∑∈S
j ij q . 式(13.21)表明:在Q 阵中,每行元
素之和均为零.
必须指出,当状态空间S 为无限集
时,式(13.21)不一定成立.一般有0≤∑∈S j ij q
.
事实上 ,对任有限和
01)()(≤-+∑≠i j ii ij p p
ττ,在此不等式两边除
以τ,再令+→0τ求极限,得
任有限和0≤+∑≠i
j ii ij q q , 从而0≤∑∈S
j ij q . 三、柯尔莫哥洛夫方程
由于篇幅所限，我们不加证明地引
入柯尔莫哥洛夫前进方程和后退方程。
定理三 设}0),({≥t t X 是参数连续的
齐次马尔可夫链，转移概率函数)(τij
p ，转移速率矩阵)(ij q Q =，
（1） 若对状态j ，+∞<∑≠j i ij q ，
则转移概率函数)(τij p
满足微分方程
∑∈='
S k kj ik ij q p p )()(ττ， （13.22）
称为柯尔莫哥洛夫前进方程。S 为状态空间。
（2） 若对状态i ，+∞<∑≠i
j ij q ，则转移概率函数)(τij p
满足微分方程
∑∈='
S k kj ik ij p q p )()(ττ， （13.23）
称为柯尔莫哥洛夫后退方程。
分别以)(τij p 为元素，以)(τ'ij p 为
元素作矩阵 )]([)(ττij p P =，)]([)(ττ'='ij p P
则柯尔莫哥洛夫前进方程、后退
方程写成矩阵微分方程形式分别为
Q P P )()(ττ='，（13.24）
)()(ττQP P ='，（13.25）
四、瞬时概率
参数连续的齐次马尔可夫链的一维概率分布
})({)(j t X P t p j ==， ,2,1,0=j
称为瞬时概率，又称为绝对概率。 )0(j p （ ,2,1,0=j ）称为初始概率。
定理四 参数连续的齐次马尔可夫链的)(t p j （ ,2,1,0=j ）满足微分方程
∑∈='
S
i ij i j q p t p )()(τ， ,2,1,0=j ，（13.26） 即 )),(,),(),((10 t p t p t p j ''' Q t p t p t p i )),(,),(),((10 =
称为福克—普朗克(Fokker —Planck)方程。