第5章 Markov过程(2)(使用版)
《Markov过程》课件
欢迎来到《Markov过程》PPT课件，在本课件中，我们将深入探讨Markov过程 的定义、特点、应用以及在自然语言处理中的具体应用。
什么是Markov过程？
定义
Markov过程是一种随机过程， 具有马尔可夫性质，即未来 状态只依赖于当前状态，而 不受过去状态的影响。
马尔可夫过程模型
物理模型
马尔可夫过程可以用 于描述物理系统的转 变过程，如粒子的扩 散和能量的传统中的群 体行为和信息传播过 程，如疾病传播和舆 论演化。
经济学模型
马尔可夫过程可应用 于经济系统的预测和 优化，如股市走势和 消费者购买行为。
生物学模型
马尔可夫过程可用于 描述生物系统中的遗 传变异和生态演化等 过程，如基因突变和 种群动态。
1 离散时间、连续时间
马尔可夫过程根据时间的离散性或连续性进行分类，可应用于不同时间尺度的系统建模。
2 有限状态、无限状态
马尔可夫过程根据状态的数目进行分类，可用于多种不同规模和复杂度的系统建模。
3 时间齐次、时间非齐次
马尔可夫过程根据状态转移概率是否随时间变化进行分类，适用于不同动态变化的过程 建模。
转移矩阵
转移矩阵表示了Markov链中状态之间的概率转移关 系，是分析和计算稳态分布的重要工具。
稳态分布
稳态分布是指Markov链在长期演化后，各个状态的 概率分布趋于稳定的分布情况。
细致平衡条件
细致平衡条件是指Markov链中的所有状态满足的条 件，保证了马尔可夫链在平衡状态下的特性。
马尔可夫过程的分类
特点
Markov过程具有无记忆性、 一步转移性和时间齐次性等 特点，使其在建模与分析中 具有广泛应用。
应用
第5章 马尔可夫链PPT课件
状态.
精选PPT课件
18
马尔可夫链
一般,一个特定的参保人年理赔要求的次数是参数为λ 的泊松随机变量,那么此参保人相继的状态将构成一个马 尔可夫链,并具有转移概率
但昨天没下雨,那么明天下雨的概率为0.5;如果昨天下雨
但今天没下雨,那么明天下雨的概率为0.4;如果昨、今两
天都没下雨,那么明天下雨的概率为0.2.
假设在时间n的状态只依赖于在时间n-1是否下雨,那么
上述模型就不是一个马尔可夫链.
但是,当假定在任意时间的状态是由这天与前一天两者
的天气条件所决定时,上面的模型就可以转变为一个马尔
令Xn为第n天结束时的存货量,则
XSX-nYn-nY++n1+1=,1,
若Xn≥s, 若Xn＜s.
构成的{Xn,n≥1}是Markov链.
例5.11 以Sn表示保险公司在时刻n的盈余,这里的时间以
适当的单位来计算(如天,月等), 初始盈余S0=x显然为
已知,但未来的盈余S1,S2,…却必须视为随机变量,增量
参保人的状态随着参保人要求理赔的次数而一年一年
地变化.低的状态对应于低的年保险金. 如果参保人在上
一年没有理赔要求,他的状态就将降低; 如果参保人在上
一年至少有一次理赔要求,他的状态一般会增加(可见,无
理赔是好的,并且会导致低保险金;而要求理赔是坏的,一
般会导致更高的保险金).
对于给定的一个好-坏系统, 以si(k)记一个在上一年 处在状态i,且在该年有k次理赔要求的参保人在下一年的
矩阵为
p11 p12 p13 p14
P=
p21 p22 p23 p24 0010
0001
例5.5(赌徒的破产或称带吸收壁的随机游动)系统的状态
Ch5 连续时间的Markov链
Th.5.4 (Kolmogorov后方程) 假设 qij =qii ,
j i
则i, j及t 0,有 pij (t )= qik pkj (t ) qii pij (t ).
k i
Th.5.5(Kolmogorov前方程) 在适当的正则条件下 pij (t )= pik (t )qkj pij (t )qij .
(1) 在转移到另一状态之前处于状态 i 的时间服从参数 为 vi 的指数分布 (2) 当过程离开状态 i 时,接着以概率 pij 进入状态 i ,
p
j i
ij
1
当 vi 时, 称状态 i 为瞬时状态,因为过程一进入此 状态就立即离开. 当 vi 0时, 称状态 i 为吸收状态, 过程一进入此状态就永远不再离开了.
j i
(1) 对无限齐次MP,只有 qii qij
j i
(2) 对有限状态I {0,1, , n}，定义 q00 q01 qij q10 q11 Q矩阵 q ji qnn 矩阵的每一行元素之和为0, 对角线元素为负或0 问题: 如何由Q矩阵求出转移矩阵.
Th.5.2 齐次MP有下列性质： (1) p j (t ) 0; (2)
p (t ) 1;
jI j iI
(3) p j (t ) pi pij (t ); (4) p j (t ) pi (t ) pij ( );
iI
(5) P ( X (t1 ) i1 , , X (tn ) in )
定义.5.2 若(5.2)式的转移概率与s无关,则称连续时间 Markov链具有平衡的或齐次的转移概率, 此时转移 概率简记为:pij ( s, t ) pij (t ) 注:下面仅讨论齐次Markov过程(MP)
第五章 连续时间马尔可夫链-随机过程
二、连续时间马尔可夫链的状态逗留时间和转移速率 命题 以 i 记过程在转移到另一状态之前停留在状态 i 的时 间，则对一切 s，t0 有 P{ i t s | i s} P{ i t } ，因此， 随机变量 i 是无记忆的必有指数分布，其参数设为 v i
证明： P{ i t s | i s}
P{T1 t } 1 e t
P{T1 T2 t } P{T1 T2 t | T1 x } e t dx
0 t
= (1 e 2 ( t x ) ) e x dx (1 e t )2
0
t
P{T1 T2 T3 t } P{T1 T2 T3 t | T1 T2 x }dFT1 T2 ( x )
i 1 n
其中 f 是密度函数(5.3.2)
e (t x) ,0 x t f ( x) 1 et 0, 其它
但因为(5.3.1)是 n 个密度为 f 的随机变量的子样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的联合密度函数。于是得 命题 5.3.1 一个尤尔过程，其 X(0)=1，则给定 X(t)=n+1 时，出生时刻 S1,S2,, Sn 的分布如同取自密度为(5.3.2)的母体的容量为 n 的子 样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的分布。
0 1 2 3
…Байду номын сангаас
n
n
2
3
… (n 1)
若对一切 n， n 0 (即若死亡是不可能的)，则生灭过程称为纯 生过程，i 个个体开始的纯生过程，生长率为 n , n i 。
随机过程-第五章-连续时间的马尔可夫链
第五章 连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率.定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有},{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质:(1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布;(2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质:;0)1(≥ij p(2) ;1=∑∈ij I j p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程.证明 只证(3).由全概率公式及马尔可夫性可得===+=+)})0()({)(i X j s t X P s t p ij=∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足:⎩⎨⎧≠==→.,0,1)(lim 0j i j i t p ij t (5.3) 称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任 一0≥t 记},)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布. 定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质:(1) ,0)(≥t p j(2) ,1)(=∑∈t p j I j(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i i i i ii I i i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链.证明 先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义它是独立增量过程,且X(0)=0.11,...0+<<<n n t t t ,有})(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++=,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X }= })()({11n n n n i i t X t X P -=-++ .另一方面,因为})()({11n n n n i t X i t X P ==++ =})0()()()({11n n n n n n i X t X i i t X t X P =--=-++=})()({11n n n n i i t X t X P -=-++ 所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++.即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性.当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+=)!()(i j t e ij t ---λλ j<i.时,由于过程的增量只取非负整数,故,0),(=t s p ij 所以⎪⎩⎪⎨⎧<≥-==--i j i j i j t e t p t s p ij t ij ij ,0,)!()()(),(λλ, 即转移概率只与t 有关,泊松过程具有齐次性.5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(t p ij 的求解一般比较复杂.下面首先讨论)(t p ij 的可微性及)(t p ij 满足的柯尔莫哥洛夫微分程.引理5.1 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数.证明 设h>0,由定理5.1得)()()()()(t p t p h p t p h t p ij rj Ir ir ij ij -=-+∑∈)()()()()(t p t p h p t p h p ij ij ii rj ir ir -+=∑≠=)()](1[)()(t p h p t p h p ij ii rj ir ir --=∑≠故有)],(1[)()](1[)()(h p t p h p t p h t p ii ij ii ij ij --≥--=-+),(1)()()()()(h p h p t p h p t p h t p ii ir ir rj i r ir ij ij -=≤≤-+∑∑≠≠因此).(1)()(h p t p h t p ii ij ij -≤-+对于h<0,同样有).(1)()(h p t p h t p ii ij ij --≤-+综上所述得到).(1)()(h p t p h t p ii ij ij -≤-+由正则性条件知,0)()(lim 0=-+→t p h t p ij ij h即)(t p ij 关于t 是一致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率,则下列极限存在(1);)(1lim 0∞≤==∆∆-→∆ii i ii t q v tt p(2).,)(lim 0j i q t t p ij ij t ≠∞<=∆∆→∆我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t ∆的时间区间内,过程从状态i 转移到另一其他状态的转移概率为)(1t p ii ∆-等于t q ii ∆加一个比t ∆高阶的无穷小量,而过程从状态i 转移到状态j 的转移概率为)(t p ij ∆等于t q ij ∆加一个比t ∆高阶的无穷小量.推论 对有限齐次马尔可夫过程,有∞<=∑≠ij ij ii q q证明 由定理5.1 ,有)()(1,1)(t p t p t pij ij ii I j ij ∆=∆-=∆∑∑≠∈ 由于求和是在有限集中进行,故有.)(lim )(1lim 00∑∑≠≠→∆→∆=∆∆=∆∆-=ij ij ij i j t ii t ii q t t p t t p q (5.4) 对于状态空间无限的齐次马尔可夫过程,一般只有∑≠≥ij ij ii q q .若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=nn n n n n q q q q q q q q q Q .....................101111000100 (5.5) 由(5.4)式知,Q 矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,≥ij q利用Q 矩阵可以推出任意时间间隔t 的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有),()()(t p h p h t p Ik kj ik ij ∑∈=+或等价地)()](1[)()()()(t p h p t p h p t p h t p ij ii kj ik ik ij ij --=-+∑≠两边除以h 后令0→h 取极限,应用定理5.3得到)()()(lim )()(lim 00t p q t p hh p h t p h t p ij ii kj i k ik h ij ij h -=-+∑≠→→ (5.6) 假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论:定理5.4 (柯尔莫哥洛夫向后方程)假设,ii ik ik q q =∑≠则对一切i,j 及0≥t ,有,)()(ij ii ik kj ik ijp q t p q t p -='∑≠ (5.7) 证明 只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有≥∑≠→)()(inf lim 0t p h h p kj i k ik h )()()(inf lim ,,0t p q t p h h p kj Nk i k ik kj N k i k ik h ∑∑<≠<≠→= 因为上式对一切N 成立,所以 )()()(inf lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≥ (5.8) 为了倒转不等式,注意对于N>i,由于,1)(≤t p kj 所以≤∑≠→)()(sup lim ,0t p hh p kj i k ik h ≤+≤∑∑≥<≠→])()()(sup[lim ,0N k ik kj N k i k ik h h h p t p h h p ≤--+≤∑∑<≠<≠→])()(1)()(sup[lim ,,0Nk i k ik ii kj N k i k ik h h h p h h p t p h h p ,)(,,∑∑<≠<≠-+≤N k i k ik ii kj N k i k ik q q t p q令∞→N ,由定理5.3和条件得)()()(sup lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≤. 上式连同(5.8)可得)()()(lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→=.定理5.4中)(t p ij 满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h 的状态的概率分布时我们对退后到时刻h 的状态取条件,即我们从)()(})0()({..})(,)0()({)(h p t p i X k h X P k h X i X j h t X P h t p ik I k kj I k ij ∑∑∈∈======+=+开始计算.对时刻t 的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得 ),()()(h p t p h t p kj Ik ik ij ∑∈=+)()()()()(t p h p t p t p h t p ij kj Ik ik ij ij -=-+∑∈=)()](1[)()(t p h p h p t p ij jj kj jk ik --=∑≠,所以)}.()(1)()({lim )()(lim 00t p hh p h h p t p h t p h t p ij jj kj j k ik h ij ij h --=-+∑≠→→ 假定我们能交换极限与求和,则由定理5.3便得到),()()(t p q q t p t p ij ii jk kj ik ij-='∑≠ 令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的.定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,,)()()(jj ij kj ik ik ijq t p q t p t p -='∑≠ (5.9) 利用方程组(5.7)或(5.9)及初始条件.,0)0(,1)0(j i p p ij ii ≠==我们可以解得)(t p ij .柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解)(t p ij 是相同的.在实际应用中,当固定最后所处状态j,研究)(t p ij时(i=0,1,2,…,n),采用向后方程比较方便;当固定状态i,研究)(t p ij 时(j=0,1,2,…,),则采用向前方程较方便.向后方程和向前方程可以写成矩阵形式),()(t QP t P =' (5.10),)()(Q t P t P =' (5.11)其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=............ (222120121110)020100q q q q q q q q q Q ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡= (22)2120121110020100p p p p p p p p p P 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q 决定.特别地,若Q 是一个有限维矩阵,则(5.10)和(5.11)的解为.!)()(0∑∞===j jQt j Qt e t P 定理5.6 .齐次马尔可夫过程在t 时刻处于状态I j ∈的绝对概率)(t p j 满足下列方程: .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' (5.12)证明 由定理5.2,有)()(t p p t p ij Ii i j ∑∈=t将向前方程(5.9)式两边乘以,i p 并对i 求和得.)())(()(kj j k ik i I i jj ij iI i ij I i i q t p p q t p p t p p ∑∑∑∑≠∈∈∈+-='故 .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' .与离散马尔可夫链类似,我们讨论转移概率 )(t p ij 当 ∞→t 时的极限分布与平稳分布的有限性质.定义5.4 设)(t p ij 为连续时间马尔可夫链的转移概率,若存在时刻 21,t t ,使得,0)(1>t p ij ,0)(2>t p ij则称状态i 和j 是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约的. 定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限)(lim t p ij t ∞→存在且等于.,0I j j ∈>π这里.,0I j j ∈>π是方程组1,==∑∑∈≠Ij j kj j k k jj j q q πππ (5.13)的唯一非负解.此时称.,0{I j j ∈>π是该过程的平稳分布,并且有.)(lim j j t t p π=∞→(2) 若它是零常返的或非常返的,则.,,0)(lim )(lim I j i t p t p j t ij t ∈==∞→∞→在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解.例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为),()(01h o h h p +=λ),()(10h o h h p +=μ由定理5.3知由柯尔莫哥洛夫向前方程得到)()()(000100t p t p t p λμ-='=,)()(00μμλ++-t p 其中最后一个等式来自).(1)(0001t p t p -=因为,1)0(00=p 由常数变易法得,)()(00t e t p μλμλλμλμ+-+++=若记,,00μλμμμλλλ+=+=则 ,)()(0000t e t p μλλμ+-+=类似地由向前方程)()()(010001t p t p t p μλ-=' 可解得 ,)()(0001t e t p μλλλ+--=由对称性知,)()(0011t e t p μλμλ+-+=,)()(0010t e t p μλμμ+--=转移概率的极限为),(lim )(lim 10000t p t p t t ∞→∞→==μ),(lim )(lim 11001t p t p t t ∞→∞→==λ由此可见,当∞→t 时, )(t p ij 的极限存在且与i 无关.定理5.6知,平稳分布为0100,λπμπ==若取初始分布为平稳分布,即,}0)0({00μ===p X P ,}1)0({01λ===p X P则过程在时刻t 的绝对概率分布为,)()(lim )(1lim 1001010011011q h p dh d h h p h h p q h h h ====-==→→μ,)()(lim )(1lim 010********00q h p dhd h h p h h p q h h h ====-==→→λ)()()(1010000t p p t p p t p +==0)(000)(00]1[][μμλμλμμλμλ=-+++-+-t t e e=0)(000)(00][]1[λμλλλμμλμλ=++-+-+-t t e e .例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例 5.2相同,即在h 时间内,机器从正常工作变为出故障的概率为),()(01h o h h p +=λ在h 时间内,机器从有故障变为经修复后正常工作的概率为),()(10h o h h p +=μ试求在t=0时正常工作的机器,在t=5时为正常工作的概率.解 由例5.2已求得该过程的Q 矩阵为⎪⎪⎭⎫ ⎝⎛--=μμλλQ . 根据题意,要求机器最后所处的状态为正常工作,只需计算)(00t p 即可.由例5.2知,)()(0000t e t p μλλμ+-+=,,00μλμμμλλλ+=+=故 ,)5(5)(0000μλλμ+-+=e p因为P{X(0)=0}=1=,0p 所以====)5()5(}0)5({0000p p p X P .)5(5)(0000μλλμ+-+=e p5.3 生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在很短的时间内,系统的状态只能从状态i 转移到状态i-1或i+1或保持不变,确切定义如下.定义 5.5 设齐次马尔可夫过程}0),({≥t t X 的状态空间为I={0,1,2,…},转移概率为)(t p ij ,如果,0),()(1,>+=+i i i i h o h h p λλ,0,0),()(01,=>+=-μμμi i i i h o h h p),()(1)(,h o h h p i i i i ++-=μλ则称 }0),({≥t t X 为生灭过程,i λ为出生率,i μ为死亡率.)()()(1010101t p p t p p t p +=,2),()(,≥-=j i h o h p j i若,λλi i =μλμμ,(,i i =是正常数),则称}0),({≥t t X 为线性生灭过程.若0≡i μ,则称}0),({≥t t X 为纯生过程. 若0≡i λ,则称}0),({≥t t X 为纯灭过程.生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t 时刻的大小,则在很短的时间h 内(不计高阶无穷小),群体变化有三种可能,状态由i 变到i+1,即增加一个个体,其概率为h i λ;.状态由i 变到i-1,即减少一个个体,.其概率为h i μ;群体大小保持不变,其概率为.)(1h i i μλ+-由定理5.3得到,0,)()(,0≥+=-==i h p dh d t q i i h ii ii μλ ⎩⎨⎧≥-=≥+====,1,1,,0,1,)()(0i i j i i j h p dh d t q i i h ij ij μλ ,2,0≥-=j i q ij故柯尔莫哥洛夫向前方程为.,),()()()()(1,11,1I j i t p t p t p t p j i j ij j j j i j ij∈++-='++--μμλλ 故柯尔莫哥洛夫向后方程为.,),()()()()(,11,I j i t p t p t p t p j i i ij j j j i i ij∈++-='+-λμλμ 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有,1100πμπλ=.1,)(1111≥+=+++--j j j j j j j j πμπλπμλ逐步递推得,0101πμλπ=…, ,11--=j jj j πμλπ 再利用11=∑∞=j j π,得平稳分布,11211100)......1(-∞=-∑+=j j j μμμλλλπ, 112111021110)......1(......-∞=--∑+=j jj j j j μμμλλλμμμλλλπ 例5.4 生灭过程例子M/M/S 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继来到之间的时间是均值为λ1的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队系列.当一个服务员结束对一位顾客的服务时顾客就离开服务系统,排队中的下一顾客进入服务.假定相继的服务时间是独立的指数随机变量,均值为μ1.如果我们以X(t)记时刻t 系统中的人数,则}0),({≥t t X 是生灭过程⎩⎨⎧>≤≤=,,,1,s n s s n n n μμμ .0,≥=n n λλM/M/s 排队系统中M 表示马尔可夫过程,s 代表s 个服务员.特别在M/M/1排队系统中,μμλλ==n n ,,若1<μλ,则由(5.14)可得.0),1()()(1)(1≥-=+=∑∞=n n n nn n μλμλμλμλπ。
markov过程.ppt
隐马尔科夫过程
实例约束
在上述实验中，有几个要点需要注意：
不能被直接观察缸间的转移 从缸中所选取的球的颜色和缸并不是
一一对应的 每次选取哪个缸由一组转移概率决定
隐马尔科夫过程
隐马尔科夫过程概念
HMM的状态是不确定或不可见的，只有通过观 测序列的随机过程才能表现出来
观察到的事件与状态并不是一一对应，而是通 过一组概率分布相联系
初始化：
递归： 终结：
1(i) pibi (O1) 1 t T
N
t1( j) [ i (i)aij ]bj (Ot1) 1 t T 1,1 j N i 1
N
P(O / ) T (i)算法
目的：给定观察序列O以及模型λ,如何选择一个对应 的状态序列S ，使得S能够最为合理的解释观察序列 O？
n1
n1
为系统在0时从状态i 出发经过有限步转移后迟早要
回状态j 的概率，简称迟早概率.
马尔科夫链
Doeblin公式
Doeblin公式：i, j ，S有：
N
p(n) ij
fij
lim
N
n1 N
1
p(n) jj
n1
推论1：
fii
1 lim N 1
1
N
p(n) ii
n1
证明思路： （1）上极限存在 （2）下极限存在 （3）相等
0
，则称系统X可以自状
态I到达状态j，并记ij。如果ij，并且ji，则
状态i与j互通，并记为ij
互通性的性质
自反律： i i (假定每个状态0步转移到自己)
对称律： i j 当且仅当j i
传递律： i k 且k j，则i j
i
第五章_马尔科夫过程汇总
2020年6月27日星期六
机动 目录 上页 下页 返回 结束
第4页共72页
随机过程(西电版） 5.1 马氏过程的定义
或 P{Xn in X0 i0, X1 i1,, Xn1 in1} P{Xn in Xn1 in1}
第5章 马尔科夫过程
2020年6月27日星期六
机动 目录 上页 下页 返回 结束
pi(lk ) (n) pl(jm) lS
即
P(km) (n) P(k) (n)P(m) (n k)
C K 方程中，令 m 1, 得 P(k1) (n) P(k) (n)P(n 1)
2020年6月27日星期六
机动 目录 上页 下页 返回 结束
第8页共72页
5.2 随机过程(西电版） 马氏链的转移概率与概率分布第5章 马尔科夫过程
类推可得
P(k1) (n) P(n)P(n 1)P(n 2) P(n k) 这就表明任何 k步转移概率矩阵都可以用一步转移概率矩阵
表示。
设 qi P( X 0 i), i S 并称{qi , i S}为初始分布，记
q(0) (q1, q2 ,) 称 q (0) 为X的初始分布向量，由C K 方程，得:
同样地,
p(k ij
)
(n)
也具有以上性质。
约定
p(0) ij
(n)
ij
1,i 0,i
j j
称以 pij (n) 为第 i 行、第j 列的元素的矩阵为一步转移概率
矩阵，记作P(n), 类似地 k步转移概率矩阵为
P(k) (n)
p(k ij
)
(n)
,
特别，P(0) (n) I.
2、C K方程
随机过程(西电版） 5.1 马氏过程的定义
第五章 连续时间马尔可夫链
的停留时间
i 超过x的概率为1,则称状态i为吸收状态. 随机过程讲义
第五章 连续时间的马尔可夫链
定理5.1 齐次马尔可夫过程的转移概率具有下列性：
(1) pij(t) 0; (2)
kI
p (t ) 1;
jI ij
(3) pij ( t s ) pik ( t ) pkj ( s ) 证 由概率的定义, (1)(2)显然成立, 下证(3).
ji
p ( t )
ijtຫໍສະໝຸດ qij .ji
说明 对状态空间无限的齐次马尔可夫过程, 一般只有
qii qij .
ji
随机过程讲义
第五章 连续时间的马尔可夫链
二、柯尔莫哥洛夫方程
问题：若连续时间齐次马尔可夫链具有有限状态空间为 I={0,1,2, ,n}, 则其转移速率可构成矩阵
iI iI
(4) p j ( t ) pi ( t ) pij ( );
iI
jI
pi pii1 ( t1 ) pi1i2 ( t 2 t1 )
, X ( t n ) in }
pin1in ( t n t n1 ).
随机过程讲义
第五章 连续时间的马尔可夫链
分布律
(n) pij 0,
转移方程
( n) ( l ) ( nl ) pij pik pkj k I
j I
(n) pij 1
时间 连续
1 , i j lim pij ( t ) t 0 0 , i j
pij ( t ) 0
p (t ) 1
j I ij
则对一切i,j及t 0, 有
( t ) qik pkj ( t ) qii pij ( t ) Qi Pj . pij
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
13/34
三、状态间的关系
1.定义 状态 i可达状态j 简记为 i→j
( n N , 使得pijn) 0
状态 i与状态j互通 i→j 且 2.性质 传递性、对称性 j →i 3.利用首达概率刻画 可达和互通关系
14/34
结论1
解
先按一步转移概率，画出各状态间的传递图
22/34
1/2 1/2 4 1 由图可知 1
1 1/2 2 1 5 1/2 3
状态3为吸收态 故
C1 = {3}为闭集
且
C2 ={1,4} 闭集， C3 ={1,3,4} 闭集，
C4 ={1,2,3,4}闭集， 其中 C1 ， C 2 是不可约。
又因状态空间I有闭子集， 故此链为非不可约链。
pij 1, i C
jC
18/34
B. 有关等价类
结论1 等价类若是闭集，则必定是不可约的。 结论2 设C是闭集，当且仅当C中的任何两个状态都互 通时， C是不可约的。 结论3 齐次马氏链不可约的充要条件是它的任意两个 状态均互通。 结论4 包含常返态的等价类是不可约闭集。
19/34
其均值为
1 ， 即 1 f ii
平均回到 i 共
1 次 就不再回到 i 了。 1 f ii
也就是说以概率1只有有穷次返回i。
10/34
2.判别
（1）判别是否常返态
fii 1 fii 1
定理3
( piin ) n 1
( piin ) n 1
f ij lim
C1，C2， ，Ck 是互不相交的由正常返态组成的闭集。
26/34
（3）状态空间的分解 定理8(周期链分解定理)
设 C 是周期为 d 的不可约闭集，则 C 可唯一的分解成 d 个互不相交的子集
J1 , J 2 ,, J d 之并，即
C J m , J m J l , m l , m, l 1,, d
m 1
( pijn ) f ij( m) p (jjnm)
说明1
该定理表示n步转移概率按照首次到达时间的所有可能 (n 值进行分解 建立了 f ij(m) 与 pij ) 之间的关系公式
说明2
0 f
( n) ij
p
( n) ij
fij 1
3/34
2.平均返回时间 首达时间 系统首次到达状态j的时刻
收敛于某一正数的收敛子列
定理4
lim p
n
( ndi ) ii
ii
di
对任意给定的状态i，如 果i是常返态且有周期di， 则存在极限
12/34
2.判别
（3）判别是否有周期
( ( （1）若有正整数n, 使piin) 0, piin1) 0, 则i非周期
（2）若有正整数m, 使得m步转移概率矩阵P m中 相应于j的那列元素全不为0，则状态j非周期。 （ ）设状态i有周期d , 则必存在正整数 3
0
1/2 1 1/2 1/4
1/3
2/3
2 1/4
由图可知
状态0可到达状态1，经状态1又可到达状态2； 反之，从状态2出发经状态1也可到达状态0。
因此，状态空间I的各状态都是互通的。 又由于I 的任意状态i (i = 0，1，2)不能到达I 以外的任 何状态， 所以I是一个闭集 而且I 中没有其它闭集 所以此马氏链是不可约的。
Tj min{n：X n j, n 0}
称为首次进入状态 j 的时间，或称首达时间。 如果这样的n不存在，规定 说明1
Tj
Tj 是一个随机变量，它的取值是系统
使 X n j 的最小正整数 n。
4/34
说明2
f
( n) ij
P{Tj n | X 0 i}
(n) ij
N
N
1 p (jjn )
n 1
11/34
n 1 N
( pijn )
2.判别
（2）判别是否零常返态、正常返有（非）周期
零常返
( lim piin ) 0 n
正常返非周期 正常返有周期
lim p
n
(n) ii
1
ii
0
( lim piin )不存在，但有一 n
i, j I , i j fij 0, i j fij f ji 0
结论2
设i j I , j是常返态，j i, 则j i, 且fij f ji 1
4.互通的两个状态的状态类型 定理5 互通的两个状态必有相同的状态类型
15/34
四、状态空间的分解
J1 P ( d 1) J d 1 0 Jd
28/34
周期链的分 解
P (1) 0 0
例3 已知马氏链{ X n , n 0,1,2, }的状态空间
I {1,2,3,4}
转移矩阵
1 4 0 0 0 1 4 1 0 0 1 4 0 1 0
m 1 d
且 k J m , m 1, 2,, d , 有
jJ m1
pkj 1
其中， J d 1 J1
27/34
def
转移概率矩阵的标准形式
状态空间的分解
PN P
0 P (d ) P
PN 1 PC1
PN 2 N C1 C PC2 2
说明2
p
说明3
( ndi ) ii
0
( n) ii
hi gcd{n : n 1, f
0}
6/34
引理
( n) (1) 若 pii 0 ，则存在 m 1 ，使得 n mdi
fii( n) 0 ，则存在 m 1 ，使得 n mhi (2) 若
(3) 若d i 和 hi 中一个存在，则另一个也存在，并 且相等。 例 设MC：0，1，2，3，转移概率矩阵如下，试 求状态0的周期。
互通满足：自反性、对称性、传递性。 互通是一种等价关系 说明 按互通关系是等价关系，可以把状态空间 I 划 分为若干个不相交的集合（或者说等价类），并称之 为状态类。 若两个状态相通，则这两个状态属于同一类。 任意两个类或不相交或者相同。 （1）定义
16/34
（常返态）
A．闭集
设C为状态空间I 的一个子集，
1 4 P0 0 1 试对其状态分类。
1/4 1/4 1 1/4 1 3 1/4 1
29/34
解 按一步转移概率， 画出各状态间的传递图
Eg.
1 4
2
从图可知，此链的每一状态都可到达另一状态，即4个 状态都是相通的。 考虑状态1是否常返，需要计算 f11 ：
f
(1) 11
1 4
必定以概率1返回状态i。
再由马氏性 系统返回状态i要重复发生 这样，系统从状态i出发，又返回，再出发，再返回，随着 时间的无限推移，将无限次访问状态i。
9/34
1 若 f ii 1 则每次回到 i 后都有正的概率 f ii 不返回 i，
将“不返回i”称为成功， 则首次成功出现的次数服从几何分布，
25/34
说明2
定理7
设{ X n , n 0,1,2, }是状态空间 I 有限的马氏链，则
（1）非常返态集N不可能是闭集； （2）至少有一个常返态； （3）不存在零常返态； （4）若链是不可约的，那么状态都是正常返的 （5）其状态空间可分解为
I N C1 C2 Ck
其中 N 是非常返态集，
fij(n) P{X n j, X k j, k 1,2,n 1| X 0 i}
自状态i出发，经有限步终于到达状态j的概率
fij fij( n )
n 1
自状态i出发，经有限步终于返回状态 i的概率
fii
2/34
定理1 对任意 i, j I 及 nn 1，有
( i C 和任意 j C 有 pijn) 0 （n 0 ） ， 若对任意
则C称为闭集。 注1 若C为闭集，则表示自C内任意状态i出发，始 终不能到达C以外的任何状态j。 整个状态空间构成一个闭集。 指一个闭集中只含一个状态，即如{i}是闭集， 则其是吸收态。 若状态空间含有吸收状态，那么这 个吸收状态构成一个最小的闭集。
例1
设马氏链{X n , n 0} 的状态空间 I={0，1，2}
其一步转移矩阵为
1 2 1 P 1 2 0
1 2 1 4 1 3
0 1 4 2 3
试研究各状态间的关系，并画出状态传递图。
解
先按一步转移概率，画出各状态间的传递图
20/34
1/2
第二节 Markov链的状态分类及性质 1 基本概念
返回概率 平均返回时间 周期
2 状态类别的划分和判别 3 状态间的关系
分类 判别
定义（可达、互通） 性质 互通的两个状态之间的关系
4 状态空间的分解
定义及重要结论（闭集、等价类） 分解定理（两个定理）
1/34
一、基本概念
1.返回概率 自状态 i出发，经过n步首次到达状态j 的概率
0 1 0 0 0 0 1 0 P 0 0 0 1 1 0 1 0 2 2
7/34
二、状态类别的划分及判别
1.状态类别的划分 非常返态 状态 i 零常返态 常返态 周期 正常返态
fii
ii
di
非周期（遍历态）
fii 1 常返态
ii 正常返态
23/34