4 随机过程连续时间的马尔可夫链

合集下载

第四章马尔可夫链

股市预测
预测股票价格变化基于历史数据建立模型考虑股票之间的相关性用于投资决策和风险管理
05
马尔可夫链的算法
状态转移矩阵算法
定义：状态转移矩阵算法是马尔可夫链中用于描述状态转移概率的算法
计算方法：根据历史数据和当前状态计算未来的状态转移概率
应用场景：广泛应用于自然语言处理、语音识别、机器翻译等领域
类问题等。
可扩展性强：马尔可夫链可以通过增加状态和转移概率来扩展模型，以处理更复杂
的问题。
缺点
状态转移概率矩阵必须已知
无法处理连续时间或非齐次过程
无法处理多维或多状态过程
无法处理非马尔可夫过程
YOUR LOGO
THANK YOU
汇报人：儿
特点：隐马尔可夫链的状态转移和观测概率是参数化的，需要通过训练数据来估计。
应用：隐马尔可夫链在语音识别、自然语言处理、机器翻译等领域有广泛应用。
算法：隐马尔可夫链的算法包括前向-后向算法、Viterbi算法和Baum-Welch算法等。
04
马尔可夫链的应用
自然语言处理
文本分类：利用马尔可夫链对文本进行分类，如垃圾邮件过滤、情感
01
添加章节标题
02
马尔可夫链的定义
状态转移
定义：马尔可夫链的状态转移概率是描述状态之间转移的规则
特性：状态转移具有无记忆性，即下一个状态只与当前状态有关，与过去状态无关
转移矩阵：描述状态转移概率的矩阵
稳态分布：在长期状态下，马尔可夫链将趋于一个稳态分布，该分布描述
YOUR LOGO
马尔可夫链
,a click to unlimited possibilities

随机过程第四章马尔可夫链

0,
p(n) ij
1, i,
jI
jI
即P(n)也为随机矩阵.
当n
1时,
p (1) ij
pij
,
P (1)
P
当n
0时,规定pi(j0)
0 , i 1 , i
j j
13
4.1 马尔可夫链与转移概率
• 定理4.1 设{Xn, nT}为马尔可夫链, 则对任意整数n0, 0l<n和i,jI, n步转移概率 p具i(jn) 有性
Ckx 0
pxqy ，
,
k ( j i)为偶数 k ( j i)为奇数
11
4.1 马尔可夫链与转移概率
例4.4 具有吸收壁和反射壁的随机游动状态空间 {1,2,3,4}, 1为吸收壁, 4为反射壁.
解：状态转移图
状态转移矩阵
1 3
1 0 0 0
1
1
3
1 1
3
1
1
1 1 1
1 3
1 3
2
P 3
5
4.1 马尔可夫链与转移概率
= =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。
6
4.1 马尔可夫链与转移概率
定义称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔可夫链{Xn, nT}在时刻n的一步转移概率,简称转移概率,其中i,jI.
P{X 0 i}P{X1 i1 | X 0 i} iI
P{X 2 i2 | X1 i1} P{X n in | X n1 in1}

随机过程-第五章-连续时间的马尔可夫链

第五章连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率.定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 ),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有},{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质: (1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布;(2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质:;0)1(≥ij p (2);1=∑∈ij Ij p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程. 证明只证(3).由全概率公式及马尔可夫性可得 ===+=+)})0()({)(i X j s t X P s t p ij =∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足:⎩⎨⎧≠==→.,0,1)(lim 0j i ji t p ij t(5.3)称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任一0≥t 记 },)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布.定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: (1) ,0)(≥t p j (2),1)(=∑∈t p j Ij(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i i i i ii Ii i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链. 证明先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义它是独立增量过程,且X(0)=0.11,...0+<<<n n t t t ,有})(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++ =,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X } = })()({11n n n n i i t X t X P -=-++ . 另一方面,因为})()({11n n n n i t X i t X P ==++=})0()()()({11n n n n n n i X t X i i t X t X P =--=-++ =})()({11n n n n i i t X t X P -=-++所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++. 即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性. 当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+=)!()(i j t eij t---λλ j<i.时,由于过程的增量只取非负整数,故,0),(=t s p ij 所以⎪⎩⎪⎨⎧<≥-==--i j ij i j t e t p t s p i j t ij ij ,0,)!()()(),(λλ, 即转移概率只与t 有关,泊松过程具有齐次性.5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(t p ij 的求解一般比较复杂.下面首先讨论)(t p ij 的可微性及)(t p ij 满足的柯尔莫哥洛夫微分程.引理5.1 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数.证明设h>0,由定理5.1得)()()()()(t p t p h p t p h t p ij rj Ir ir ij ij -=-+∑∈)()()()()(t p t p h p t p h p ij ij ii rj ir ir -+=∑≠=)()](1[)()(t p h p t p h p ij ii rj ir ir --=∑≠故有)],(1[)()](1[)()(h p t p h p t p h t p ii ij ii ij ij --≥--=-+ ),(1)()()()()(h p h p t p h p t p h t p ii ir ir rj ir ir ij ij -=≤≤-+∑∑≠≠因此).(1)()(h p t p h t p ii ij ij -≤-+对于h<0,同样有).(1)()(h p t p h t p ii ij ij --≤-+ 综上所述得到).(1)()(h p t p h t p ii ij ij -≤-+ 由正则性条件知,0)()(lim 0=-+→t p h t p ij ij h 即)(t p ij 关于t 是一致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率,则下列极限存在 (1);)(1lim 0∞≤==∆∆-→∆ii i ii t q v t t p (2).,)(lim 0j i q tt p ij ij t ≠∞<=∆∆→∆我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t ∆的时间区间内,过程从状态i 转移到另一其他状态的转移概率为)(1t p ii ∆-等于t q ii ∆加一个比t ∆高阶的无穷小量,而过程从状态i 转移到状态j 的转移概率为)(t p ij ∆等于t q ij ∆加一个比t ∆高阶的无穷小量. 推论对有限齐次马尔可夫过程,有 ∞<=∑≠ij ij ii q q证明由定理5.1 ,有)()(1,1)(t p t p t pij ij ii Ij ij∆=∆-=∆∑∑≠∈由于求和是在有限集中进行,故有.)(lim )(1lim 00∑∑≠≠→∆→∆=∆∆=∆∆-=ij ij ij i j t ii t ii q t t p t t p q (5.4)对于状态空间无限的齐次马尔可夫过程,一般只有 ∑≠≥ij ij ii q q .若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=nn n n n n q q q q q qq q q Q .....................11111000100 (5.5) 由(5.4)式知,Q 矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,≥ij q 利用Q 矩阵可以推出任意时间间隔t 的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有 ),()()(t p h p h t p Ik kj ik ij ∑∈=+或等价地)()](1[)()()()(t p h p t p h p t p h t p ij ii kj ik ik ij ij --=-+∑≠两边除以h 后令0→h 取极限,应用定理5.3得到 )()()(lim )()(lim 00t p q t p hh p ht p h t p ij ii kj ik ik h ij ij h -=-+∑≠→→ (5.6) 假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论: 定理5.4 (柯尔莫哥洛夫向后方程)假设,ii ik ik q q =∑≠则对一切i,j 及0≥t ,有,)()(ij ii ik kj ik ijp q t p q t p -='∑≠ (5.7) 证明只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有≥∑≠→)()(inflim 0t p hh p kj ik ik h )()()(inf lim ,,0t p q t p h h p kj Nk i k ik kj Nk i k ik h ∑∑<≠<≠→= 因为上式对一切N 成立,所以)()()(inflim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≥ (5.8) 为了倒转不等式,注意对于N>i,由于,1)(≤t p kj 所以 ≤∑≠→)()(sup lim ,0t p hh p kj i k ik h ≤+≤∑∑≥<≠→])()()(sup[lim ,0Nk ik kj Nk i k ik h h h p t p h h p ≤--+≤∑∑<≠<≠→])()(1)()(sup[lim ,,0Nk i k ik ii kj Nk i k ik h h h p h h p t p h h p ,)(,,∑∑<≠<≠-+≤Nk i k ikii kj Nk i k ikqq t p q令∞→N ,由定理5.3和条件得)()()(sup lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≤. 上式连同(5.8)可得 )()()(lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→=.定理5.4中)(t p ij 满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h 的状态的概率分布时我们对退后到时刻h 的状态取条件,即我们从)()(})0()({..})(,)0()({)(h p t p i X k h X P k h X i X j h t X P h t p ik Ik kj Ik ij ∑∑∈∈======+=+开始计算.对时刻t 的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得),()()(h p t p h t p kj Ik ik ij ∑∈=+)()()()()(t p h p t p t p h t p ij kj Ik ik ij ij -=-+∑∈=)()](1[)()(t p h p h p t p ij jj kj jk ik --=∑≠,所以 )}.()(1)()({lim )()(lim 00t p h h p h h p t p ht p h t p ij jj kj jk ik h ij ij h --=-+∑≠→→假定我们能交换极限与求和,则由定理5.3便得到),()()(t p q q t p t p ij ii jk kj ik ij-='∑≠ 令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的. 定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,,)()()(jj ij kj ik ik ijq t p q t p t p -='∑≠ (5.9) 利用方程组(5.7)或(5.9)及初始条件 .,0)0(,1)0(j i p p ij ii ≠==我们可以解得)(t p ij .柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解)(t p ij 是相同的.在实际应用中,当固定最后所处状态j,研究)(t p ij 时(i=0,1,2,…,n),采用向后方程比较方便;当固定状态i,研究)(t p ij 时(j=0,1,2,…,),则采用向前方程较方便.向后方程和向前方程可以写成矩阵形式),()(t QP t P =' (5.10) ,)()(Q t P t P =' (5.11) 其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---= (222120121110)020100q q q q q qq q q Q ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=............ (222120121110)020100p p p p p pp p p P 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q 决定.特别地,若Q 是一个有限维矩阵,则(5.10)和(5.11)的解为 .!)()(0∑∞===j jQtj Qt et P定理5.6 .齐次马尔可夫过程在t 时刻处于状态I j ∈的绝对概率)(t p j 满足下列方程:.)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' (5.12)证明由定理5.2,有)()(t p p t p ij Ii i j ∑∈=t将向前方程(5.9)式两边乘以,i p 并对i 求和得.)())(()(kj jk ikiIi jj ijiIi ijIi iq t pp q t pp t p p ∑∑∑∑≠∈∈∈+-='故 .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' .与离散马尔可夫链类似,我们讨论转移概率 )(t p ij 当 ∞→t 时的极限分布与平稳分布的有限性质.定义5.4 设)(t p ij 为连续时间马尔可夫链的转移概率,若存在时刻 21,t t ,使得 ,0)(1>t p ij ,0)(2>t p ij则称状态i 和j 是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约的.定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限)(lim t p ij t ∞→存在且等于.,0I j j ∈>π这里.,0I j j ∈>π是方程组1,==∑∑∈≠Ij j kj jk k jj j q q πππ (5.13)的唯一非负解.此时称.,0{I j j ∈>π是该过程的平稳分布,并且有 .)(lim j j t t p π=∞→ (2) 若它是零常返的或非常返的,则.,,0)(lim )(lim I j i t p t p j t ij t ∈==∞→∞→在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解.例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为 ),()(01h o h h p +=λ),()(10h o h h p +=μ由定理5.3知由柯尔莫哥洛夫向前方程得到)()()(000100t p t p t p λμ-='=,)()(00μμλ++-t p 其中最后一个等式来自).(1)(0001t p t p -=因为,1)0(00=p 由常数变易法得 ,)()(00t e t p μλμλλμλμ+-+++=若记,,00μλμμμλλλ+=+=则,)()(0000t e t p μλλμ+-+=类似地由向前方程)()()(010001t p t p t p μλ-=' ,)()(lim )(1lim 1001010011011q h p dhdhh p h h p q h h h ====-==→→μ,)()(lim )(1lim 0100101000000q h p dhdhh p h h p q h h h ====-==→→λ可解得 ,)()(0001t e t p μλλλ+--= 由对称性知,)()(0011t e t p μλμλ+-+= ,)()(0010t e t p μλμμ+--= 转移概率的极限为),(lim )(lim 10000t p t p t t ∞→∞→==μ),(lim )(lim 11001t p t p t t ∞→∞→==λ 由此可见,当∞→t 时, )(t p ij 的极限存在且与i 无关.定理5.6知,平稳分布为 0100,λπμπ== 若取初始分布为平稳分布,即,}0)0({00μ===p X P ,}1)0({01λ===p X P 则过程在时刻t 的绝对概率分布为 )()()(1010000t p p t p p t p +==0)(000)(00]1[][μμλμλμμλμλ=-+++-+-t t e e=0)(000)(00][]1[λμλλλμμλμλ=++-+-+-t t e e .例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例5.2相同,即在h 时间内,机器从正常工作变为出故障的概率为),()(01h o h h p +=λ在h 时间内,机器从有故障变为经修复后正常工作的概率为),()(10h o h h p +=μ试求在t=0时正常工作的机器,在t=5时为正常工作的概率. 解由例5.2已求得该过程的Q 矩阵为⎪⎪⎭⎫⎝⎛--=μμλλQ .根据题意,要求机器最后所处的状态为正常工作,只需计算)(00t p 即可. 由例5.2知,)()(0000t e t p μλλμ+-+=,,00μλμμμλλλ+=+=故 ,)5(5)(0000μλλμ+-+=e p 因为P{X(0)=0}=1=,0p 所以)()()(1010101t p p t p p t p +=====)5()5(}0)5({0000p p p X P .)5(5)(0000μλλμ+-+=e p5.3 生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在很短的时间内,系统的状态只能从状态i 转移到状态i-1或i+1或保持不变,确切定义如下. 定义5.5 设齐次马尔可夫过程}0),({≥t t X 的状态空间为I={0,1,2,…},转移概率为)(t p ij ,如果,0),()(1,>+=+i i i i h o h h p λλ,0,0),()(01,=>+=-μμμi i i i h o h h p),()(1)(,h o h h p i i i i ++-=μλ则称 }0),({≥t t X 为生灭过程,i λ为出生率, i μ为死亡率.若,λλi i =μλμμ,(,i i =是正常数),则称}0),({≥t t X 为线性生灭过程. 若0≡i μ,则称}0),({≥t t X 为纯生过程. 若0≡i λ,则称}0),({≥t t X 为纯灭过程. 生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t 时刻的大小,则在很短的时间h 内(不计高阶无穷小),群体变化有三种可能,状态由i 变到i+1,即增加一个个体,其概率为h i λ;.状态由i 变到i-1,即减少一个个体,.其概率为h i μ;群体大小保持不变,其概率为.)(1h i i μλ+-由定理5.3得到,0,)()(,0≥+=-==i h p dhd t q i i h ii ii μλ ⎩⎨⎧≥-=≥+====,1,1,,0,1,)()(0i i j i i j h p dh d t q ii h ij ij μλ ,2,0≥-=j i q ij故柯尔莫哥洛夫向前方程为.,),()()()()(1,11,1I j i t p t p t p t p j i j ij j j j i j ij∈++-='++--μμλλ 故柯尔莫哥洛夫向后方程为.,),()()()()(,11,I j i t p t p t p t p j i i ij j j j i i ij∈++-='+-λμλμ 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有 ,2),()(,≥-=j i h o h p j i,1100πμπλ=.1,)(1111≥+=+++--j j j j j j j j πμπλπμλ逐步递推得,0101πμλπ=…, ,11--=j jj j πμλπ 再利用11=∑∞=j j π,得平稳分布,11211100)......1(-∞=-∑+=j j j μμμλλλπ, 112111021110)......1(......-∞=--∑+=j jj j j j μμμλλλμμμλλλπ 例5.4 生灭过程例子M/M/S 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继来到之间的时间是均值为λ1的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队系列.当一个服务员结束对一位顾客的服务时顾客就离开服务系统,排队中的下一顾客进入服务. 假定相继的服务时间是独立的指数随机变量,均值为μ1.如果我们以X(t)记时刻t 系统中的人数,则}0),({≥t t X 是生灭过程⎩⎨⎧>≤≤=,,,1,s n s s n n n μμμ .0,≥=n n λλM/M/s 排队系统中M 表示马尔可夫过程,s 代表s 个服务员.特别在M/M/1排队系统中,μμλλ==n n ,,若1<μλ,则由(5.14)可得 .0),1()()(1)(1≥-=+=∑∞=n n n nnn μλμλμλμλπ。

第五章连续时间马尔可夫链-随机过程

二、连续时间马尔可夫链的状态逗留时间和转移速率命题以 i 记过程在转移到另一状态之前停留在状态 i 的时间，则对一切 s，t0 有 P{ i t s | i s} P{ i t } ，因此，随机变量 i 是无记忆的必有指数分布，其参数设为 v i
证明： P{ i t s | i s}
P{T1 t } 1 e t
P{T1 T2 t } P{T1 T2 t | T1 x } e t dx
0 t
= (1 e 2 ( t x ) ) e x dx (1 e t )2
0
t
P{T1 T2 T3 t } P{T1 T2 T3 t | T1 T2 x }dFT1 T2 ( x )
i 1 n
其中 f 是密度函数(5.3.2)
e (t x) ,0 x t f ( x) 1 et 0, 其它
但因为(5.3.1)是 n 个密度为 f 的随机变量的子样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的联合密度函数。于是得命题 5.3.1 一个尤尔过程，其 X(0)=1，则给定 X(t)=n+1 时，出生时刻 S1,S2,, Sn 的分布如同取自密度为(5.3.2)的母体的容量为 n 的子样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的分布。
0 1 2 3
…Байду номын сангаас
n
n

2
3
… (n 1)
若对一切 n， n 0 (即若死亡是不可能的)，则生灭过程称为纯生过程，i 个个体开始的纯生过程，生长率为 n , n i 。

刘次华随机过程第五章

i∈ I
1 1 2
i∈I
i
ij
(t )
i∈I
n−1i n
(t n − t n −1 )
5.1 连续时间马尔可夫链
例5.1 证明泊松过程{X(t), t≥0}为连续时间齐次马尔可夫链。证明：先证泊松过程的马尔可夫性。证明：泊松过程是独立增量过程，且X(0)=0，对任意0<t1< t2<…< tn< tn+1有
j ≠i
1 − pii (∆t ) qii = lim = lim ∆t →0 ∆t →0 ∆t 注：一般而言qii
∑p
j ≠i
ij
(∆t )
∆t
= ∑ qij
j ≠i
∑q
j ≠i
ij
5.2 柯尔莫哥洛夫微分方程
若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,…,n}, 则
⎛ − q00 ⎜ ⎜ q10 Q= ⎜ ⎜ ⎜ q ⎝ n0 q01 − q11 qn1 q0 n ⎞ ⎛ Q1 ⎞ ⎟ ⎜ ⎟ q1n ⎟ ⎜ Q2 ⎟ = ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ − qnn ⎠ ⎝ Qn ⎠
5.1 连续时间马尔可夫链
定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t)) ，i,j∈I，t ≥0 命题：若τi为过程在状态转移之前停留在命题：状态i的时间，则对s, t≥0有 (1) P{τ i > s + t | τ i > s} = P{τ i > t} (2) τi 服从指数分布证(1) 事实上
5.1 连续时间马尔可夫链
过程在状态转移之前处于状态i的时间τi服从指数分布 Fτ i ( x ) = 1 − e − λi x F (1)当λi=+∞时， τ ( x ) = 1, P{τ i > x} = 1 − Fτ ( x ) = 0, 状态i的停留时间τi 超过x的概率为0，则称状态i为瞬时状态； F (2)当λi=0时，τ ( x ) = 0, P{τ i > x} = 1 − Fτ ( x ) = 1, 状态i的停留时间τi 超过x的概率为1，则称状态i为吸收状态。

4马氏链

可见,｛Xn,n=0，1，2,…｝是一个马氏链。
Pij ( m , m + n)∆ P { X n + m = j | X m = i}
称为马氏链在时刻 m 系统处于状态 i 的条件下，在时刻 m+n 转移到状态 j 的转移概率。
2．转移概率的性质
(1) Pij≥0；
(2)
∑ P (m , m + n) = 1, i = 0,1, 2,⋯
对任意的 n 及 i 0 , i 1 , ⋯ , i n , i n + 1 ∈ x ,
P {X n +1 = i n +1 X 0 = i 0 , X 1 = i1 , ⋯ , X n = i n } 0 i n+1 > i n =1 = P{X n+1 = i n+1 | X n = i n } i n +1 ≤ i n in
马尔可夫链及其概率分布引言
直观上，过程（或系统）在时刻t0所处的状态为已知的条件下,过程在时刻t＞t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。用分布函数表达此性质，设随机过程{X(t),t∈T}，状态空间为χ，若对于t 的任意n个值t1<t2<…<tn,n≥3, 有
P {X ( t n ) ≤ xn X ( t1 ) = x1 , X ( t 2 ) = x 2 , ⋯ , X ( t n−1 ) = x n−1 }
条件下，即在 X ( t i ) = x i , i = 1,2,⋯ , n − 1条件下，X ( t n )的条件分布函数等于在条件 X ( t n−1 ) = x n−1下X ( t n )的条件分布函数。
则称过程{X(t),t∈T}具有马尔可夫性，或称 {X(t),t∈T}为马尔可夫过程。

随机过程Ch连续时间的马尔可夫链课件

注：虽然前进方程和后退方程在形式上有所不同，但两者的解都是同一的，费勒在1940年已证明。
由柯尔莫哥洛夫向前方程旳矩阵形式可得
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
当i 1,2,, N时，qii (N 1)，求pij t 。
互通：i j i j，j i。若所有状态都是互通的，则称此马尔可夫链为不可约的。
定理5.7 设连续时间马尔可夫链是不可约旳，则有下列性质：
(1)若它是正常返旳，则极限
lim
t
pij (t)
存在
且等于j >0，jI。这里j 是
jq jj kqkj ,
j 1
k j
jI
旳唯一非负解，此时称{j >0，jI}是该过
对任意0 t1 t2 tn tn1有
PX tn1 in1 / X t1 i1,, X tn in P{X tn1 X tn in1 in / X t1 X 0 i1,
X t2 X t1 i2 i1,, X tn X tn1 in in1} PX tn1 X tn in1 in
pii h 1 qiih oh
pij
h
qij h
oh
称qij 为齐次马尔可夫过程从状态i 到状态j 的转移
速率或跳跃强度，定理的概率含义为：在一个长
为h的时间区间内，从状态i 转移到其它状态的概率
为：1 pii h 等于 qiih o h ；而由状态i转移到状态j的概率pij h 等于qij h o h 。
定理：设pij (t)是齐次马尔可夫过程的转移概率，则下列极限存在：
dpij t

连续时间的马尔可夫链

P X t n 1 i n 1 X t1 i1 , X t 2 i 2 , ..., X t n i n P X t n 1 in 1 X t n in

成立，称{X(t),t ≥0}为连续参数马尔可夫链。
(0)
1, Pij
(0)
1 , i j 0 ( i j ) 知 lim p ij ( t ) t 0 0 , i j
定义5.5：连续参数齐次马氏链{X(t),t ≥0}称 p P X 0 j
j
即X(0)的概率分布，为连续参数齐次马氏链的初始分布。称
ii ii
(1) lim
1 p ii ( t ) t p ij ( t ) t
t 0
i q ii
( 2 ) lim
t 0
q ij , j i
q ii 表示在 t时刻通过状态 i的通过速度 , q ij 表示在时刻 t由状态 i 到状态 j的速度。
证
由切普曼-柯尔莫哥洛夫方程有

kI
p ij ( t h )
p ik ( h ) p k j ( t )
p ij ( t h ) p ij ( t ) p ij ( t ) lim

k i
p ik ( h ) p k j ( t ) [1 p ii ( h )] p ij ( t )
e p ij ( s , t ) p ij ( t ) 0
t
( j i )! , j i
, j i
转移概率与s无关，泊松过程具有齐次性。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

j 1
k j
jI
的唯一非负解，此时称{j >0，jI }是该
过程的平稳分布，并且有
lim
t
pj
(t)

j
(2)若它是零常返的或非常返的，则
lim
t
pij (t)

lim
t
pj (t)

0,
i, j I
定理：不可约链是正常返的充要条件是它存在平稳分布，且此时平稳分布就等于极限分布。
n+1
n
n+1 n
{ ( ) ( ) ( ) } ( ) ( ) \ P X t n +1 = in +1 / X t1 = i1, L , X t n = in = P {X t n +1 = in +1 / X t n = in }
即具有马尔可夫性
证：齐次性，当j i时，由泊松过程定义
PX s t j / X s i
注：虽然前进方程和后退方程在形式上有所不同，但两者的解都是同一的，费勒在1940年已证明。
例：考虑两个状态的连续时间马氏链，在转移到状态1之前马氏链在状态0停留的时间是参数
为的指数变量，而在回到状态0之前，它停留在状态1的时间是参数为的指数变量。显然该
马氏链是一个齐次马氏链。
ìïïíïïïî

pij
t q
jj
称为前进方程
或
dPt
dt

QPt
Pt Q

Pt
eQt

j0
Qt j
j!
在实际应用中，当固定最后所处状态j，研究pij t 时i 0,1,, N ，采用向后方程较方便，解出prj t， r I；当固定状态i，研究pij t时， j 0,1,2,, N 则采用向前方程较方便，解出pir t,r I。
记：p (t ) = ij
P
{X (t ) =
j
| X (0) =
i }为转移概率.
( ) ( P (t ) = p (t ) ，i, j 纬I , t ij
0)为转移矩阵。
å (1) pij (t ) ? 0, pij (t ) 1
jÎ I
(2)
CK
方程：p ij
(t
+
s)=
å
p ik
(t
)p kj
称Q为保守矩阵，对应的马尔可夫过程为保守的。
三.前进方程与后退方程
定理：设X t,t 0，I 1,2,, N为连续参数
有限马氏链。
则
dpij t dt

k i
qik
pkj t
qii
pij
t
称为后退方程
dpij t dt

k
j
pik
t qkj
28
例题（机器维修问题2）设有m台机床，s个维修工，s m，机床或是工作，或是损坏等待修理。机床损坏后，空着的维修工立即修理，若维修工不空，则机床按先坏先修队列排队等待修理。假定每台机床从工作到损坏的时间服从参数为λ的指数分布；每台修理的机床修理好的时间为参数为μ的指数分布。用X(t)表示时刻t损坏的机床台数，则{X(t)，t 0}是状态空间 E={0,1,2， m}的时间连续的生灭过程。
定理：设pij (t)是齐次马尔可夫过程的转移概率，则下列极限存在：
( ) p h
( ) 即 : 1 q = lim ij (= p ' (0))
ij
h® 0 h
ij
i? j
( ) 1 - p h
( )2 q = lim
ii (= - p ' (0))
ii
h® 0
h
ii
往往给出如下式子：
pij (h ) = l h + o (h )
rI
r j
rI

dpij t
dt

N
1 pij
t
1
pij
t

Npij t 1
pij t
ce Nt

1. N
i, j 1,2,, N
利用初始条件：pii 0 1，pij 0 0i j
当i

j时，c
p 01
p10
(h (h
) )
= =
lh mh
+ +
0 (h ) 0 (h )
ìïïíïïïî
p01 p10
(h (h
) )
= =
lh mh
+ +
0 (h ) 0 (h )
q = lim p01 (h ) = l
h 01
h0
Q = 骣çççç桫-ml
q = lim p10 (h ) = m
h 10
n
n+1 n
另一方面
{ ( ) ( ) } ( ) ( ) ( ) ( ) P X t n +1 = in +1 / X t n = in = P {X t n +1 - X t n = in +1 - in / X t n - X 0 = in }
( ) ( ) = P {X t - X t = i - i }
h0
l -
m÷÷÷÷÷
由柯尔莫哥洛夫前进方程：
P't PtQ

p00 t p10 t

p01t p11t

p00 p10
t t

p01 p11
t t

\
p¢ 00
(t
)
=
mp 01
(t
)
-
l
p 00
29
由柯尔莫哥洛夫向前方程的矩阵形式可得
例题（理发店问题）：一个理发店有一位理发师，两个等待座位，顾客的到达率为每小时5个，理发师一小时可给两个人理发。假定顾客到达为泊松分布，理发师的服务时间为指数分布，用X(t)表示理发店内的顾客数，则X(t)为生灭过程。
互通：i j i j，j i。若所有状态都是互通的，则称此马尔可夫链为不可约的。
定理5.7 设连续时间马尔可夫链是不可约的，则有下列性质：
(im
是t
pij (t)
存在
jqjj kqkj ,
其状态空间为I {0,1, 2, }，i为出生率，i为死亡率。
若i =i，i i，称{X (t),t 0}为线性生灭过程。
若i =0，称{X (t),t 0}为纯生过程。
若i =0，称{X (t),t 0}为纯灭过程。
27
例题（M/M/s排队系统）：顾客到达为参数为λ的泊松过程，系统内有s个服务台，每个顾客的服务时间为的指数分布且与顾客到达时间相互独立。用X(t)表示系统t时刻的顾客数，则X(t)为生灭过程
n+1
n+1
1
1
n
n
( ) ( ) ( ) ( ) ( ) ( ) = P {X tn+1 - X tn = in+1 - in | X t1 - X 0 = i1,L , X tn - X tn- 1 = in - in- 1}
{ } ( ) ( ) = P X t - X t = i - i
n+1
生灭过程
设马氏链{X (t), t 0}具有转移概率
pii1(h) ih 0(h), i 0

pii
1
(h)

ih 0(h), i

0, 0

0

pii
(h)
1
(i

i
)h

0(h)
pij (h) 0(h), i j 2
称{X (t), t 0}为生灭过程。
p01 t 0 1 e t
p11 t

0

e t 0
p10 t 0 1 e t
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
第五章连续时间的马尔可夫链
内容
连续时间的马尔可夫链柯尔莫哥洛夫微分方程
5.1 连续时间的马尔可夫链
一、定义和一般性质
为方便计，以下设参数集T 0,，状态空间
I 0,1,2, 定义：随机过程X t,t 0状态空间I 0,1,2,
若对任意0 t1 t2 tn1及非负整数 i1,i2 ,,in1 I有：

PX s t
X s
j

i

et
t j
ji
i!
当j i时由过程增量仅取非负整数，
故 pij s,t 0

pij
s, t

pij
t

et
t ji j i!,
0,
与s无关，所以是齐次的。
j i,t 0 ji
定理：设连续参数齐次马氏链满足正则性条件，则：
1pii (t) 0，t 0； 2若有t0使pij (t0 ) 0，则对一切t t0均有pij (t) 0；
3pij (t)是0,上的一致连续函数。
二.Q矩阵对连续参数马氏链而言，担当一步转移概率
角色的是转移强度，它是用转移概率函数在0点的导数来定义的。
在每个状态的停留时间是指数分布，参数可能不同。