第五章 连续时间的Markov链

第五章 连续时间的马尔可夫链

第四章我们讨论了时间和状态都是离散的Markov 链，本章我们研究的是时间连续、状态离散的Markov 过程，即连续时间的Markov 链. 连续时间的Markov 链可以理解为一个做如下运动的随机过程：它以一个离散时间Markov 链的方式从一个状态转移到另一状态，在两次转移之间以指数分布在前一状态停留. 这个指数分布只与过程现在的状态有关，与过去的状态无关（具有无记忆性），但与将来转移到的状态独立.

5.1 连续时间马尔可夫链的基本概念

定义 5.1 设随机过程{(),0}X t t ≥，状态空间{,1}n I i n =≥，若对任意的正整数

1210n t t t +≤<<

{}111122()|(),(),,()n n n n P X t i X t i X t i X t i ++====L

{}11()|()n n n n P X t i X t i ++=== （5.1）

则称{(),0}X t t ≥为连续时间的Markov 链.

由定义知，连续时间的Markov 链是具有Markov 性（或称无后效性）的随机过程，它的直观意义是：过程在已知现在时刻n t 及一切过去时刻所处状态的条件下，将来时刻1n t +的状态只依赖于现在的状态而与过去的状态无关.

记(5.1)式条件概率的一般形式为

{()|()}(,)ij P X s t j X s i p s t +=== （5.2）

它表示系统在s 时刻处于状态i ，经过时间t 后在时刻s t +转移到状态j 的转移概率，通常称它为转移概率函数.一般地，它不仅与t 有关，还与s 有关.

定义 5.2 若(5.2)式的转移概率函数与s 无关，则称连续时间Markov 链具有平稳的转移概率函数，称该Markov 链为连续时间的齐次（或时齐）Markov 链. 此时转移概率函数简记为(,)()ij ij p s t p t =.相应地，转移概率矩阵简记为()(()),(,,0)ij P t p t i j I t =∈≥. 若状态空间{0,1,2,}I =L ，则有

()000102101112012()()()...()()()()()............()()()............ij n n n p t p t p t p t p t p t P t p t p t p t p t ?? ? ?

?== ? ? ???

L L （5.3）

假设在某时刻，比如说时刻0，Markov 链进入状态i ，在接下来的s 个单位时间内过程未离开状态i （即未发生转移），我们要讨论的问题是在随后的t 个单位时间中过程仍不离开

状态i 的概率是多少？由Markov 性知，过程在时刻s 处于状态i 的条件下，在区间[,]

s s t +

中仍处于状态i 的概率正是它处在状态i 至少t 个单位时间的（无条件）概率，若记i τ为过程在转移到另一状态之前停留在状态i 的时间，则对一切,0s t ≥有

{|}{}i i i P s t s P t τττ>+>=>

可见，随机变量i τ具有无记忆性，因此，i τ服从指数分布.

因此，一个连续时间的Markov 链，每当它进入状态i ，具有如下性质： （1） 在转移到另一个状态之前处在状态i 的时间服从参数为i v 的指数分布； （2） 当过程离开状态i 时，接着以概率ij p 进入状态j ,且

1ij

j i

p

≠=∑.

当i v =∞时，称状态i 是瞬时状态，因为过程一旦进入状态就离开；若0i v =，称状态为吸收状态. 因为过程一旦进入永远不再离开.尽管瞬时状态在理论上是可能的，但我们以后还是假设一切i ，0i v ≤<∞.因此，考虑连续时间Markov 链，可以按照离散时间的

Markov 链从一个状态转移到另个状态，但在转移到另一状态之前，它在各个状态停留的时间服从指数分布，而且在状态i 停留的时间与下一个状态必须是相互独立的随机变量.

定理5.1 齐次Markov 链的转移概率函数具有下列性质：

（1）()0ij p t ≥； （2）

()1ij j I

p t ∈=∑；

（3）()()()ij ik

kj k I

p t s p

t p s ∈+=

∑.

（2）式表明转移概率矩阵中任一元素行和为1；（3）式称为连续时间齐次Markov 链的

Chapman Kolmogorov -方程，简称C K -方程.

证明 （1）和（2）由概率定义及()ij p t 的定义易知，下面只证明（3）式 由全概率公式和Markov 性可得

(){()|(0)}ij p t s P X t s j X i +=+==

{(),()|(0)}k I

P X t s j X t k X i ∈=+===∑

{()|(0)}{()|()}k I

P X t k X i P X t s j X t k ∈===+==∑

{()|(0)}{()|(0)}k I

P X t k X i P X s j X k ∈=====∑

()()ik

kj k I

p

t p s ∈=

∑

对于转移概率函数，我们约定

1,,

lim ()0ij ij t i j p t i j

δ→=?==?

≠? （5.4） 称上式为连续性条件或正则性条件.连续性条件保证转移概率函数()ij p t 在边界点0t =处右连续.它的直观意义在于：当系统经过很短时间，其状态几乎不变，也就是认为系统刚进入一个状态又立刻离开这个状态是不可能的.

定义 5.3 连续时间Markov 链{(),0}X t t ≥在初始时刻（即零时刻）取各状态的概率

(0){(0)},i i p p P X i i I ===∈ （5.5）

称为它的初始分布.{(),0}X t t ≥在t 时刻取各状态的概率

(){()},j p t P X t j == ,0j I t ∈≥

称为它在时刻t 的绝对（概率）分布.

初始分布和绝对分布都是概率分布，对于任意0t ≥，()j p t 总满足： （1）0()1j p t ≤≤； （2）

()1j j

p t =∑.

利用全概率公式容易得到

()(0)(),j i ij i I

p t p p t j I ∈=∈∑ （5.6）

（5.6）式表明：连续时间Markov 链的绝对概率分布完全由其初始分布和转移概率函数所

确定.下面举一个简单的例子说明转移概率函数的计算方法.

例5.1 证明Poisson 过程{(),0}N t t ≥是连续时间的齐次Markov 链. 证明 先证明Poisson 过程具有Markov 性.

由Poisson 过程的独立增量性和()0N t =，对任意1210n n t t t t +<<<<

1111{()|(),,()}n n n n P N t i N t i N t i ++===L

=1111{()()|()(0),n n n n P N t N t i i N t N i ++-=--=

212111()(),,()()}n n n n N t N t i i N t N t i i ---=--=-L

11{()()}n n n n P N t N t i i ++=-=- 另一方面，因为

11{()|()}n n n n P N t i N t i ++===11{()()|()(0)}n n n n n n P N t N t i i N t N i ++-=--=

=11{()()}n n n n P N t N t i i ++-=-

因此 1111{()|(),,()}n n n n P N t i N t i N t i ++===L =11{()|()}n n n n P N t i N t i ++== 即Poisson 过程是连续时间的Markov 链.

再证齐次性. 当j i ≥时，由Poisson 过程的定义，得到

{()|()}{()()}P N s t j N s i P N s t N s j i +===+-=-()()!

j i

t

t e

j i λλ--=-

当j i <时，由于过程的增量只取非负整数值，因此，(,)0ij p s t =，故

(),(,)()()!

0,j i

t ij ij t e

j i p s t p t j i j i

λλ--?≥?==-??

即转移概率函数只与t 有关，因此，Poisson 过程具有齐次性.容易看出，固定,i j 时，

()ij p t 是关于t 的连续可微函数。

5.2 Kolmogorov 微分方程

对于离散时间齐次Markov 链，如果已知其一步转移概率矩阵()ij P p =，则k 步转移概率矩阵由一步转移概率矩阵的k 次方即可求得.但是，对于连续时间齐次Markov 链，由于

“步长”的概念失效，转移概率函数的求法较为复杂，一般通过解微分方程求出转移概率函数.为此，我们首先讨论()ij p t 的可微性及所满足的Kolmogorov 微分方程.

定理5.2 设齐次Markov 链满足连续性条件(5.4)，则对于任意固定的,,i j I ∈转移概率函数()ij p t 是t 的一致连续函数.

证明 设0t ?>，由C K -方程，有

()()()()()ij ij ik kj ij k I

p t t p t p t p t p t ∈+?-=?-∑

()()()()()ii ij ij ik kj k i

p t p t p t p t p t ≠=?-+?∑

[1()]()()()ii ij ik kj k i

p t p t p t p t ≠=--?+?∑

由此可知 ()()[1()]()[1()]ij ij ii ij ii p t t p t p t p t p t +?-≥--?≥--? 以及 ()()()()()1()ij ij ik

kj ik ii k i

k i

p t t p t p

t p t p t p t ≠≠+?-≤

?≤?=-?∑∑

因此 |()()|1()ij ij ii p t t p t p t +?-≤-?

对于0t ?<，可得到类似的不等式.

因此 |()()|1(||)ij ij ii p t t p t p t +?-≤-?. 由连续性条件，令0t ?→可得到证明.

定理5.3 设()ij p t 是齐次连续时间Markov 链的转移概率函数，则有

()(1)lim

,ij ij t p t q i j t

?→?<∞≠?@； (5.7)

01()

(2)lim

,ii ii t p t q i I t

?→-?≤∞∈?@ (5.8)

证明：略

定理5.3中定义的ij q 是齐次连续时间Markov 链从状态i 到状态j 的转移概率密度或称转移速率（transition rate ）.也可称为从状态i 到状态j 的跳跃强度.转移速率函数刻画了Markov 链的转移概率函数在零时刻对时间的变化率. 定理中极限的概率意义为：在长为

t ?的时间区间内，过程从状态i 转移到状态j 的概率()ij p t ?，等于.ij q t ?加上一个比t ?高

阶的无穷小量；从状态i 到转移到另一其它状态的转移概率1()ii p t -?等于ii q t ?加上一个比

t ?高阶的无穷小量.转移速率函数也可以表示为以下形式：当t ?充分小时

{()|(0)}()1()ii ii P X t i X i p t q t t ο?===?=-?+? {()|(0)}()(),ij ij P X t j X i p t q t t ο?===?=?+? i j ≠

推论 对有限齐次Markov 过程，有

ii ij j i

q q ≠=<∞∑ （5.9）

证明 由定理5.1，

()1ij

j I

p t ∈?=∑，即1()()ii

ij

j i

p t p t ≠-?=?∑

由于求和是在有限集上进行，因此

00()1()

lim lim ij ii ij t t j i j i

p t p t q t t ?→?→≠≠?-?==??∑∑ 即ii ij

j i

q q

≠=

<∞∑.证毕.

对于状态是无限的齐次Markov 过程，一般只有ii ij

j i

q q

≠≥

∑.

若连续时间齐次Markov 链是具有有限状态空间{0,1,2,,}I n =L ，则其转移概率速率可构成以下形式的Q 矩阵

0001010

1110

1

.....................n n n n nn q q q q q q Q q q q -??

?- ?

= ? ?

-??

（5.10） 由(5.10)知，Q 矩阵的每一行元素之和为0，主对角线元素为负或为0，其余j i ≠时，0ij q ≥. 利用Q 矩阵可以推出任意时间间隔t 的转移概率函数所满足的方程组，从而可以求出转移概率函数.

下面我们给出转移概率函数()ij p t 满足的微分方程.

定理 5.4 (Kolmogorov 向后方程) 设()ij p t 是满足连续性条件的有限齐次Markov 链的转移概率函数，则对一切,i j 及0t ≥，有

()()()ij

ik kj ii ij k i

p t q p t q p t ≠'=-∑ 0,1,2,,i n =??? (5.11) 证明 由C K -方程

()()()()()n

ij ij ik kj ij k p t t p t p t p t p t =+?-=?-∑

()()()()()()ik kj ii ij ij k i

p t p t p t p t p t ≠=?+?-∑

()()()1()()ik kj ii ij k i

p t p t p t p t ≠=?--?∑

于是，由速率函数ij q 的定义，得

()()

()lim ij ij ij

t p t t p t p t t

?→+?-'=?

0()1()

lim

()lim ()ik ii kj ij t t k i

p t p t p t p t t t

?→?→≠?-?=-??∑

()()ik

kj ii ij k i

q

p t q p t ≠=

-∑

定理 5.4中()ij p t 满足的微分方程组称为向后方程（或称后退方程）（backward equation ），是因为在计算时刻t t +?状态的概率分布时，我们对退后时刻t ?的状态取条件，即我们从

(){()|(0),()}ij k I

p t t P X t t j X i X t k ∈+?=+?==?=∑{()|(0)}P X t k X i ??==

()()ik

kj k I

p

t p t ∈=

?∑

开始计算.

对于时刻t 的状态取条件，类似地可以导出另一组方程，称为Kolmogorov 向前方程或前进方程（forward equation ）.

定理5.5 (Kolmogorov 向前方程)在连续性条件下，有

()()()ij

ik kj ij jj k j

p t p t q p t q ≠'=-∑， 0,1,2,i n =??? (5.12) 利用Kolmogorov 向后方程和向前方程及初始条件(0)1,

(0)0,ii ij

p p i j =???=≠??可以求出()ij p t .

Kolmogorov 向后方程和向前方程虽然形式上不同，

但可以证明它们所求得解()ij p t 是相同的，在实际应用中，当固定最后所处状态j ,研究()ij p t (0,1,)i =L 时，采用向后方程较为方便；当固定状态i ，研究()ij p t (0,1,)j =L ，则采用向前方程较方便.

需要指出的是：对于状态空间为{0,1,2,}I =???的齐次Markov 链，当ii q <+∞时，

Kolmogorov 向后方程和向前方程依然成立.

向后方程和向前方程可以写成矩阵形式

()()P t QP t '= （5.13） ()()P t P t Q '= （5.14）

此时Q 矩阵为

00

010210

1112202122............

...

...

...q q q q q q Q q q q -?? ?- ?

= ?- ???

（5.15） 其中矩阵()P t '的元素为矩阵()P t 各元素的导数，而

00010210

1112202122()()()...()

()()...()()()()......

...

......p t p t p t p t p t p t P t p t p t p t ??

?

?

= ?

?

??

（5.16）

由此，连续时间Markov 链转移概率函数的求解问题就是矩阵微分方程的求解问题，其转移概率函数由其转移速率矩阵Q 决定.

特别地，若Q 矩阵是一个有限维矩阵，则(5.13),(5.14)的解为

()()!j

Qt

j Qt P t e j ∞

===∑ （5.17） 有关齐次Markov 链在时刻t 处在状态j I ∈的绝对分布()j p t ，我们有下面的定理

定理 5.6（Fokker Planck -方程） 齐次Markov 链在时刻t 处在状态j I ∈的绝对分布()j p t 满足下列方程：

()()()j j jj k kj k j

p t p t q p t q ≠'=-+∑ （5.18）

证明 由于()()j i ij

i I

p t p p

t ∈=

∑，将向前方程两边乘以i p ，并对i 求和，得

()()()()i ij

i ij

jj

i ik

kj i I

i I

i I k j

p p t p p t q p p

t q ∈∈∈≠'=-+∑∑∑∑

因此 ()()j j jj k kj

k j

p t p t q p q

≠'=-+

∑

由式（5.18）可得到任意时刻t 时Markov 链的一维分布.

同离散Markov 链类似，()ij p t 在0t →时的性质，如连续性、可微性，这些性质称为

()ij p t 的无穷小性质.下面我们进一步讨论()ij p t 当t →∞时的性质（即遍历性）.

定义 5.4 设()ij p t 为连续时间Markov 链的转移概率，若存在时刻1t 和2t ，使得

12()0,()0ij ji p t p t >> （5.19）

则称状态,i j 是互通的；若所有的状态都是互通的，则称此链Markov 是不可约的. 定义 5.5 设()ij p t 为连续时间Markov 链的转移概率函数，{,0,1,2,}j p j =L 为一概率分布，如果对于一切0t >，有

()j i ij i p p p t ∞

==∑ （5.20）

则称概率分布{,0,1,2,}j p j =L 为Markov 链的平稳分布.

我们知道，所谓平稳分布就是不因转移而变化的分布，与无条件概率

()(0)()j i ij i I

p t p p t ∈=∑

相比较，当无条件概率(){()}j j p t P X t j p ===是与j 有关的常数时，该Markov 链存在平稳分布.

如果连续时间的Markov 链存在平稳分布，记

()j j p t π=（常数），0,1,2,j =L （5.21）

则用(0)i p 乘以向前方程的两边，再对i 相加，可得

k

kj

j jj k j

q

q ππ≠=∑ （5.22）

（5.22）给出了平稳分布所必须满足的方程.

定理5.7 设连续时间Markov 链是不可约的，则有下面的性质：

（1） 若它是正常返的，则极限lim ()ij t p t →∞

存在且等于0,j j I π>∈，这里j π是方程组

1j jj k kj k j

j j I

q q πππ≠∈?=??

=??∑∑ （5.23） 的唯一非负解，此时，称{,}j j I π∈是该过程的平稳分布，且lim ()ij j t p t π→∞

=

（2） 若它是零常返的或非常返的，则

lim ()lim ()0,,ij j t t p t p t i j I →∞

→∞

==∈ （5.24）

证明：略

在实际应用中，有些问题可以直接用Kolmogorov 向前或向后方程求解，有些问题不能直接求解，我们用（5.23）来求解.

例5.2 设Markov 链{(),0}X t t ≥的状态空间为{1,2,,}I m =L ，当i j ≠时，1,ij q =

,1,2,,i j m =L ；当1,2,,i m =L 时，1ii q m =-.求()ij p t

解 根据Kolmogorov 向前方程（5.12），

()(1)()()ij ij ik k j

dp t m p t p t dt

≠=--+∑

由于

()1ik

k I

p

t ∈=∑，因此()1()ik ij k j

p t p t ≠=-∑，

所以

()(1)()(1())ij ij ij dp t m p t p t dt

=--+-()1ij mp t =-+ (,1,2,,)i j m =L

解得 1

()mt

ij p t Ce

m

-=+

(,1,2,,)i j m =L 利用初始条件 (0)1,(0)0()ii ij p p i j ==≠，

则当i j =时，11C m =-

，而当i j ≠时，1C m

=-， 于是 11

()(1)mt ii p t e m m

-=-+ (1,2,,)i m =L ，

1

()(1)mt ij p t e m

-=

- (,,1,2,,)i j i j m ≠=L 例 5.3 （随机信号）设信号仅取两个可能值“0”和“1”，()X t 表示t 时刻接收到的信号.{(),0}X t t ≥是状态空间为{0,1}I =的齐次Markov 链.设在转移到状态1之前在状态

0停留的时间是参数为λ的指数变量，而在回到状态0之前它停留在状态1的时间是参数为

μ的指数变量，即转移概率函数为

01()(),p t t t λο?=??+? 0,λ> 10()()p t t t μο?=??+?，0μ>

由此并利用定理5.3，有

000100001()()lim

lim t t p t p t q t t ?→?→-??==??=01010()t d

p t q d t

λ?=?==?，

10111100()1()lim lim t t p t p t q t t ?→?→?-?==??10010()|.t d

p t q d t

μ?==?==?

故得Q 矩阵为 Q λλμμ-??

=

?-??

相应的Kolmogorov 向前方程为

00

0001()()()p t p t p t λμ'=-+，010001()()()p t p t p t λμ'=-， 10

1011()()()p t p t p t λμ'=-+，111011()()().p t p t p t λμ'=- 初始条件为 0011(0)(0)1,p p ==0110(0)(0)0.p p == 化为一阶线性微分方程可解得

()00()t p t e λμλμλμ

λμ

-+=

+

++，()11()t p t e λμλμλμ

λμ

-+=

+

++

记00,λμλμλμ

λμ

=

=

++，则

()0000()t p t e λμλμ-+=+，()1100()t p t e λμμλ-+=+

而 ()010000()1()t p t p t e λμλλ-+=-=-，()101100()1()t

p t p t e λμμμ-+=-=-.

令t →∞，可得 00010lim ()lim ()t t p t p t μ→∞

→∞

==，11001lim ()lim ()t t p t p t λ→∞

→∞

==.

由此可见，当t →∞时，lim ()ij t p t →∞

存在且与i 无关，由定理5.7，平稳分布为

0010,πμπλ==

若取初始分布为平稳分布，即

00{(0)0},p P X μ=== 10{(0)1},p P X λ=== 则在时刻t 的绝对概率分布为

0000110()()()p t p p t p p t =+()()000000[][]t t e e λμλμμλμλμμ-+-+=++-2

000μλμμ=+= 1001111()()()p t p p t p p t =+()()000000[][]t t e e λμλμμλλλλμ-+-+=-++0λ=

在平稳状态时，此Markov 链的均值函数和协方差函数分别为 010()()0()1()m t EX t p t p t λ==?+?=，

(,){[()()][()()]}C s t E X s m s X t m t =--

22

[()()](){()1,()1}()E X s X t m t P X s X t m t =-===- 2

{()1|()1}{()1}()P X t X s P X s m t ===?=-

2()()

21110000()()()[]t s p s p t s m t e λμλλμλ-+-=?--=+- ()()

00,.t s e

t s λμλμ-+-=> 例5.4 （机器维修问题）设在例5.3中，状态0代表某机器正常工作，状态1代表机器

出现故障.状态转移概率与例5.3中相同，即在t ?时间内，机器从正常工作变为出故障的概率为01()()p t t t λο?=??+?；在t ?时间内，机器从有故障变修复后正常工作的概率为

10()()p t t t μο?=??+?，求在0t =时正常工作的机器，在5t =时为正常工作的概率.

解 由例5.3，要求机器最后所处的状态为正常工作，只需计算00()p t 即可.

由于 ()0000()t

p t e

λμλμ-+=+，且 0{(0)0}1p P X === 因此 0000(5){(5)0}(5)p P X p p ==== 5()

00.e

λμμλ-++ 例5.5 （排队问题）设有一随机服务系统到达服务台的顾客数是强度为λ的Poisson 过程{(),0}N t t ≥.服务台只有一个服务员，对顾客的服务时间T 是服从参数为μ的指数分布的随机变量.假定顾客接受服务的时间与顾客到达服务台的人数情况相互独立，如果服务员

空闲时到达的顾客立刻接受服务；如果顾客到达时服务员正在为一顾客服务，则他必须排队等待；如果一顾客到达时发现已经有两个人在等待，则他就离开不再回来.设{(),0}X t t ≥是t 时刻服务台里的顾客数（包括正在被服务的顾客和排队等待的顾客）

，这是一个连续时间的Markov 链，其状态空间为{0,1,2,3}I =，假设在0时刻系统处在零状态，求在t 时刻系统处在j 状态的概率().((){()}j j p t p t P X t j ==所满足的微分方程.

解 考虑建立Fokker Planck -方程，为此，先求Markov 链的Q 矩阵.

若()0X t =，当有一顾客来到服务台时，则状态由0转移到1，，因到达服务台的顾客数是强度为λ的Poisson 过程，因此，在(,]t t t +?内有一顾客达到服务台的概率为

01(){()1}()p t P N t t t λο?===?+?

因此有 01010

0()()

lim

lim t t p t t t q t t

λολ?→?→??+?===?? 在(,]t t t +?有两个或两个以上顾客到达的概率为()t ο?，故有02030q q == 又利用Q 矩阵的性质，得到00q λ=-.

若()1X t =，表示在t 时刻有一顾客正在被服务，由于对顾客服务的时间是服从参数为

μ的指数分布的随机变量，则在(,]t t t +?内完成服务的概率为1()t e t t μμο-?-=?+?.因

此，在(,]t t t +?内系统由状态1转移到状态0的概率，也就是在这段时间内没有顾客到来，且完成对那个顾客的服务的概率为

10()[()][1()]p t t t t t μολο?=?+?-?+?=()t t μο?+?

因此 10100

0()()lim

lim t t p t t t q t t

μομ?→?→??+?===?? 同理 12()[()][1()]p t t t t t λομο?=?+?-?+?=()t t λο?+? 从而得到 12q λ=， 同理130q =，11101213()q q q q =-++=()μλ-+ 仿上面的做法，得到 202123220,,,().q q q q μλλμ====-+

若()3X t =，则这时系统不能接受新顾客，则状态3只能转移到状态2或仍保持在状态

3，在此情况下，在(,]t t t +?内对顾客服务结束的概率为 1()t e t t μμο-?-=?+?，从而，

32()()p t t t μο?=?+?，由此得到32q μ=，30310q q ==，33q μ=-.

所求的Q 矩阵为 00()00()0

0Q λ

λμλμλμλμλμμ-??

?

-+ ?

= ?

-+ ?

-??

根据Fokker Planck -方程得

01()()(),p t p t p t λμ'=-+

1

012()()()()(),p t p t p t p t λλμμ'=-++ 2

123()()()()(),p t p t p t p t λλμμ'=-++ 3

23()()()p t p t p t λμ'=- 初始条件为0(0)1,(0)0,1,2,3.i p p i ===

5.3 生灭过程

5.3.1 生灭过程的基本概念

连续时间的Markov 链的一类重要的特殊情况是生灭过程，它的特征是在很短时间内，系统的状态只能从状态i 转移到状态1i -或1i +或保持不变，而且生灭过程的所有状态都是互通的，确切的定义如下：

定义5.6 设连续时间的齐次Markov 链{(),0}X t t ≥的状态空间为{0,1,2,}I =L ，转移概率函数为()ij p t ，如果

,1,10()(),0

()(),0,0

1()()()(),||2i i i i i i i i ii i i ij p t t t p t t t p t t p t t i j λολμομμλμοο+-?=?+?>??

?=?+?>=??

=-+?+????=?-≥?

（5.25） 则称{(),0}X t t ≥为生灭过程，i λ为出生率，i μ为死亡率.若i i λλ=，,(,i i μμλμ=为正常数），则称{(),0}X t t ≥为线性生灭过程；若0i μ≡，则称{(),0}X t t ≥为纯生过程；若

0i λ≡，则称{(),0}X t t ≥为纯灭过程.

从定义可以看出，如果不计高阶无穷小()t ο?，则生灭过程的变化状态只有3种情形：或由i 变到1i +，即增加1（如果()X t 是群体个数，则表明“生”了一个个体），其概率为i t λ?；或由i 变到1i -，即减少1（表明群体“死”了一个个体），其概率为i t μ?；或群体个数没有变化，其概率为1()i i t λμ-+?.因此，生灭过程所有状态是相通的，但在很短的时间内，只能在相邻的状态内变化：或状态无变化，或“生”一个，或“灭”一个，故有生灭过程之称.

由定理5.3得

0()|,0ii ii t i i d

q p t i d t

λμ?==-

?=+≥?，

0,1,0()|,1,1

i ij ij t i j i i d

q p t j i i d t λμ?==+≥?=

?=?

=-≥??， 0,||2ij q i j =-≥

由此我们得到生灭过程的Q 矩阵为

1111

2

222

3

333

000()

00

()

00()Q λλμλμλμλμλμλμλ-??

?-+ ?

?=-+ ?-+ ? ??

?

L L L L L L

L L L

L （5.26）

相应地，Kolmogorov 向后方程

1,1,()()()()()ij i i ij i i j i i j p t p t p t p t λμλμ+-'=-+++， （5.27）

Kolmogorov 向前方程是

1,11,1()()()()()ij j j ij j i j j i j p t p t p t p t λμλμ--++'=-+++ （5.28）

因为上述方程组的求解比较困难，同离散时间的Markov 链的情形一样，我们通过引进遍历

性、极限分布来讨论其平稳分布，由定理5.7

00111111,

(),1j

j j j j j j j λπμπλμπλπμπ--++=???

+=+≥?? （5.29） 用递推法得

0011102101212

,...λλλλ

πππππμμμμ=

== 1011

10

12j j j j j j λλλλπππμμμμ---=

=L L L 利用

1

1j

j π

∞

==∑，得到平稳分布

1

011

01121j j j λλλπμμμ-∞-=??=+ ? ??

?∑L L ， 1

011011

112121, 1.j j j j j j j λλλλλλπμμμμμμ-∞--=??=+≥ ? ???

∑L L L L (5.30) 上式也指出生灭过程平稳分布存在的充要条件是

011

112j j j

λλλμμμ∞

-=<∞∑L L （5.31）

生灭过程在计算机（通信网络）、系统更换（维修）、生态学等问题有广泛的应用，下面给出几个实例.

5.3.2 生灭过程的几个应用实例

例5.6 (//M M s 排队系统) （续例5.5）假设顾客按照参数为λ的Poisson 过程来到一个有s 个服务员的服务站，即相继来到之间的时间是均值为1λ的独立指数随机变量，每个顾客一来到，如果有服务员空闲，则直接进行服务，否则此顾客要加入排队行列（即在队中等待）.当一个服务员结束对一个顾客的服务时，顾客就离开服务系统，排队中的下一位顾客（若有顾客等待）进入服务.假定相继服务时间是相互独立的指数随机变量，均值为1μ.如果记()X t 为时刻t 系统中的人数，则{(),0}X t t ≥是生灭过程

,1,

,,n n n s s n s μμμ≤≤?=?

>?

,0n n λλ=≥ （5.32） //M M s 排队系统中M 表示Markov 过程，s 代表s 个服务员.特别地，在//1M M 排队

系统中，,n n λλμμ==，于是若

1λ

μ

<，则由(5.25)式得 ()

()()1()1,01n n

n n

n n λμπλμλμλμ∞

==

=-≥+∑

要平稳分布（即极限分布）存在，λ必须小于μ是直观的.顾客按速率λ到来且以速率μ受到服务，因此，当λμ>时，他们到来的速率高于他们接受服务的速率，排队的长度趋于无穷；λμ=的情况类似于对称的随机游动，它是零常返的，从而没有极限概率.

例5.7 （电话问题的爱尔朗（Erlang ）公式）两个电话分局，假定它们之间有s 条线路，两电话局用户之间通话要占用这些中继线，每个电话局都有许多用户，其数量比s 大得多，因此，不管通话的用户占有几条中继线，不在通话的用户几乎总是不变的.因此，可以假定在(,]t t t +?中又有一用户要求通话的概率为()t t λο?+?，而与正在通话的用户无关，如此时有空着的中继线，则上述用户就可以占用空着的中继线路而进行通话，否则该用户的要求因线路占满而取消.再假定每一个时刻t 占用中继线通话的用户，在(,]t t t +?内将结束通话，从而空出一条中继线的概率为()t t μο?+?，并且各用户之间是相互独立的.在上述假定下，用()X t 表示时刻t 正在使用的中继线路的条数，则{(),0}X t t ≥是一个齐次的有限

Markov 链，记其转移概率为()ij p t ，则有

,1()(),0,1,2,,1,i i p t t t i s λο+?=?+?=-L ,1()(),0,1,2,,i i p t i t t i s μο-?=?+?=L

()1()(),0,1,2,,1ii p t i t t i s λμο?=-+?+?=-L ()1()ss p t s t t μο?=-?+? ()0,||1ij p t i j ?=->. 这是一个生灭过程，相应的

,0,1,,1,i i s λλ==-L ,1,2,,i i i s μμ==L 由(5.30)知它的平稳分布为

()01100121,1,2,,!

k

k k k k s k λλλππλμπμμμ-=

==L L L

()()1

1

010111!!s

s k k k k k k πλμλμ--==????=+=????????

∑∑

于是 ()

()0

1!

,0,1,,1!k

k s l l k k s l λμπλμ===∑L （5.33） 这就是著名的Erlang 公式.

例 5.8 (机床维修) 设有m 台机床，s 个维修工人（s m ≤），机床或者工作，或者等

待维修.机床损坏后，如有维修工人空着，则空着的工人立即来维修，否则等待，直到有一个工人修好手中的一台机床后再来维修，机床按先坏先修的原则排队，如果进一步假定：

（1） 在时刻t 正在工作的一台机床在(,]t t t +?中损坏的概率为()t t λο?+?； （2） 在时刻t 正在修理的一台机床在(,]t t t +?中被修好的概率为()t t μο?+?； （3） 各机床之间的状态（指工作或损坏）是相互独立的.

在上述假定下，如用()X t 表示在时刻t 损坏了的（包括正在维修和等待维修的，即不在工

作的）机床台数，则{(),0}X t t ≥是一个齐次的有限Markov 链，{0,1,2,,}I m =L ，用()

ij p t 表示该Markov 链的转移概率，根据上述假设，有

,1()()(),0,1,2,,1k k p t m k t t k m λο+?=-?+?=-L

事实上，,1(){()1|()}k k p t P X t t k X t k +?=+?=+=，表明在时刻t 有k 台机床损坏的条件

下，在(,]t t h +中又有一台机床损坏且min{,}k s 台正在修理的机床在该段时间内都未修好的概率为

111[()][1()]

m k m k C t t t t λολο---?+?-?-??min{,}[1()]k s t t μο-?-?()()m k t t λο=-?+? 即 ,1()()(),k k p t m k t t λο+?=-?+? 0,1,2,,1k m =-L

类似地，有 ,1(),1,

()(),,

k k k t t k s p t s t t s k m μομο-?+?≤≤??=?

?+?<≤?

1[()](),1,

()1[()](),,kk m k k t t k s p t m k s t t s k m λμολμο--+?+?≤≤??=?

--+?+?<≤?

()(),|| 2.kj p t t k j ο?=?-≥ 可见这是一个纯生过程，相应地有

(),0,1,,1k m k k m λλ=-=-L

,1,

,.k k k s s s k m μμμ≤≤?=?<≤?

因此，可以得到它的平稳分布如下：

（1） 当1k s ≤≤时，有

0110012(1)(1)12k k k k m m m k k λλλπππμμμμ---+==???L L L L 0k

k m C λπμ??= ???

（2） 当s k m <≤时，有

0111

121s s k k s s k λλλλλππμμμμμ--+=

L L L L

0(1)(1)()(1)12k

k s k

m m m s m s m k s s λπμ---+--+=

??L L L L ()

0(1)(2)....k

k

m

k s

s s k C s λμπ-++= 而

1

01101121m k k k λλλπμμμ--=??=+????

∑L L ()()1

11(1)(2)1s m

k k k k m m k s k k s s s k C C s λμλμ--==+++??=++????∑∑L 由此可见，在给定的,,m λμ之后，对于不同的s 就可用上述公式求出相应的{}k π，进而求出相应的均值

1

m

k

k k π

=∑（即安排s 个维修工人时，平均不工作的机床台数）等，根据这些数

据来确定合适的工人数.

例5.9 (尤尔（Yule ）过程) 设群体中各个个体的繁殖是相互独立、强度为λ的Poisson 过程.若假设没有任何成员死亡，以()X t 记时刻t 群体的总数量，则()X t 是一个纯生过程，其,0n n n λλ=>.称此纯生过程为尤尔过程，计算

（1） 从一个个体开始，在时刻t 群体总量的分布；

（2） 从一个个体开始，在时刻t 群体诸成员年龄之和的均值.

解 记(1)i T i ≥为第i 个与第1i +个成员出生之前的时间，即(1)i T i ≥是群体总数从i 变

化到1i +所花的时间.由尤尔过程的定义知道，

(1)i T i ≥是独立的具有参数为i λ的指数分布，因此 1{}1t

P T t e λ-≤=-

1212110

{}{|}t

x P T T t P T T t T x e dx λλ-+≤=+≤=?

2()0

(1)t

t x x e e dx λλλ---=

-?

2(1)t e λ-=-

12123123120

{}{|}()t T T P T T T t P T T T t T T x dF x +++≤=++≤+=?

3()

(1(1)2()t

t x t x e

e e x λλλλ----=

--?3(1).t e λ-=-

由归纳法可以证明

12{}j P T T T t +++≤=L (1).t j e λ--

由于 12{}j P T T T t +++≤=L {()1|(0)1}P X t j X ≥+= 因此 11()(1)(1)t

j t j j p t e

e λλ---=---1(1), 1.t t j e e j λλ---=-≥

由此可见，从一个个体开始，在时刻t 群体的总量具有几何分布，其均值为t

e λ.一般地，如果群体从i 个个体开始，在时刻t 群体总量是i 个独立同几何分布随机变量之和，具有负二项分布，即

1()(1), 1.1i t t j i

ij j p t e e j i i λλ----??=-≥≥

?-??

（2）记()A t 为群体在时刻t 诸成员年龄之和，则可以证明

00

()(),t

A t a X s ds =+?

其中0a 是最初个体在0t =的年龄，取期望得

000

()[()][()]t t EA t a E X s ds a E X s ds =+=+??000

1

s t

s

e a e ds a λλλ

-=+=+

?

例5.10 (传染模型) 有m 个个体的群体，在时刻0由一个已感染的个体与1m -个未受到感染但可能被感染的个体组成.个体一旦受到感染将永远地处于此状态.假定在任意长为h 的时间区间内任意一个已感染的个体将以概率为()a t t ο?+?引起任一指定的未感染个体为感染者.我们以()X t 记时刻t 群体中已受到感染的个体数，则{(),0}X t t ≥是一个纯生过程

1,2,,1

(),0,n n m m n na λ=--?=?

?

L 其它 这是因为当有n 个已受到感染的个体时，则m n -个未受到感染者的每一个将以速率na 变

成感染者.

记T 为直到整个群体被感染的时间，i T 为从第i 个已感染者到第1i +个已感染者的时间，则 1

1

m i i T T -==

∑

由于i T 是相互独立的指数随机变量，其参数分别为(),1,2,,1,i m i ia i m λ=-=-L

因此 1

111

11

,()m m i i i ET ET a i m i --====-∑∑

2

1

1

2

1

11

1.()m m i i i DT DT a i m i --==??== ?-??

∑∑

对规模合理的群体，ET 渐近地为

11111m i ET ma m i i -=??=+ ?-??∑111112ln(1)

.m m dt ma m t t ma

--??≈+= ?

-??? 习 题 五

5.1 一质点在1，2，3点上作随机游.若在时刻t 时质点位于这三点之一，则在[,)t t t +?内，它以概率

1

()2

t t ο?+?分别转移到其它二点之一.试求质点随机游动的Kolmogorov 方程，转移概率函数()ij p t 及平稳分布.

5.2 设某车间有M 台机床，由于各种原因车床时而工作，时而停止.假设时刻t ，一台正在工作的机床，在时刻t t +?停止工作的概率为()t t μο?+?，而时刻t 不工作的机床，在时刻t t +?工作的概率为()t t λο?+?，且各车床工作情况是相互独立的.若()N t 表示时刻t 正在工作的车床数，求

（1）齐次Markov 过程{(),0}N t t ≥的平稳分布；

（2）若10,60,30M λμ===，系统处于平稳状态时有一半以上车床在工作的概率.

5.3 一条电路供m 个焊工用电，每个焊工均是间断用电，现作如下假设：（1）若一焊工在t 时用电，而在(,)t t t +?内停止用电的概率为()t t μο?+?；（2）若一焊工在t 时没有用电，而在(,)t t t +?内用电的概率为()t t λο?+?；（3）每个焊工的工作情况是相互独立的，设()X t 表示在t 时刻正在用电的焊工数.

（1） 求该过程的状态空间和Q 矩阵；

（2） 设(0)0X =，求绝对概率()j p t 所满足的微分方程； （3） 当t →∞时，求极限分布j p .

5.4 设[0,]t 内达到的顾客服从Poisson 分布，参数为t λ，设有单个服务员，服务时间为指数分布的排队系统(//1)M M ，平均服务时间为

1

μ

，试证明： （1）在服务员的服务时间内达到顾客的平均数为

λμ

； （2）在服务员的服务时间内无顾客达到的概率为

μλμ

+.