马尔可夫链的定义及例子

3、转移概率
定义 i, j S, 称 P Xn1 j Xn i
的一步转移概率。
pij n 为n时刻
若i, j S, pij n pij ，即pij与n无关，称转移概率
具有平稳性.此时称{Xn,n≥0}为齐次（或时齐的）马尔 可夫链。记P=(pij)，称P为{Xn,n≥0}的一步转移概率矩阵.
0
j!
j 0,1, i
pi0公式略有不同，它是服务台由有i个顾客转为空闲的
概率，即第n个顾客来到时刻到第n+1个顾客来到时刻之
间系统服务完的顾客数≥i+1。

pi0 P X n1 0 X n i P(Yn i 1) P(Yn k) k i1
et (t)k dG t ,

0 P{Yn
j Tn1 x}dG x
( x) j exdG x, j 0,1, 2,
0 j!
因此， {Xn，n≥1}是马尔可夫链。其转移概率为
P0 j P( X n1 j X n 0) P(Yn j X n 0)
P(Yn
P( X n1 in1 X n in )
所以{Xn,n≥0}是马尔可夫链，且
pij P( X n1 j X n i) P( f i,Yn1 j) P( f i,Y1 j)
二、切普曼-柯尔莫哥洛夫方程
1，随机矩阵 定义：称矩阵A=(aij)S×S为随机矩阵，若aij ≥0，且
一步转移概率矩阵

0.5009
0.0458 0.2559 0.1388 0.2134
0.0466 0.0988 0.36584 0.14264
0.01820
0.04355

0.01196
0.14306

半年后A种鲜奶的市场占有率为
0.8894


(0.25, 0.30, 0.35,
0.10)

0.60175


0.624
0.4834

0.5009

例
甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，
乙胜的概率是q，和局的概率是 r ,( p q r 1 )。
设每局比赛后，胜者记“+1”分，负者记“-1”分，和
局不记分。当两人中有一人获得2分结束比赛。以X n
P X n k X 0 i P X nm j X n k k 0
pink pkmj k 0
Pn P Pn1 P P Pn2 Pn
例（马尔可夫预测）P82 解 一阶转移矩阵为
0.95 0.02 0.02 0.01

i r
nc
,
0,

j ic ji else
这是一个非齐次的马尔可夫链，在传染病研究中有用。
下面的定理提供了一个非常有用的获得马尔可夫链的方 法，并可用于检验一随机过程是否为马尔可夫链。 定理：设随机过程{Xn,n≥0}满足 （1） Xn=f(Xn-1,Yn),(n ≥1), 其中f:S× S→ S,且Yn取值在S上， （2） {Yn,n≥1}为独立同分布随机变量，且X0与{Yn,n≥1}也相 互独立，则{Xn,n≥0}是马尔可夫链，其一步转移概率为
i S,有 aij 1 jS
显然马尔可夫链{Xn,n≥0}的一步转移概率矩阵P为 随机矩阵。
2，n步转移概率 定义：设{Xn,n≥0}是一马尔可夫链，称
pinj P Xnm j Xm i , n 0, i, j 0
为马尔可夫链{Xn,n≥0}的n步转移概率。记
表示比赛至第n局时甲获得的分数。
（1）写出状态空间；（2）求P(2)；
（3）问在甲获得1分的情况下，再赛二局可以结束比 赛的概率是多少？
解
（1）
记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1，2，3，4，5}
M/G/1排队系统中字母M代表顾客来到时间间隔服从 指数分布， G代表服务时间的分布， 数字1代表只有一个 服务员。
若以X(t)记在t时刻系统中的顾客数，{X(t),t≥0}则不 具马尔可夫性。因为，若我们知道在t时刻系统中的顾客 数，那么为了预测将来的状态，我们不用关心从最近的一 位顾客来到后已过去了多长时间（因为来到过程是无记忆 的），但和服务中的顾客服务了多长时间有关（因为服务 时间分布不具无记忆性）。
CHAPTER 5 马尔可夫链
第一节 基本概念
一、马尔可夫链的定义及例子
1、分类 按马尔可夫过程参数空间和状态空间的不同可分为
X t
t
离散
连续
离散 连续
马尔可夫链
可数状态马 尔可夫过程
马尔可夫序列
连续状态马 尔可夫过程
2. 马尔可夫链的定义
随机过程 Xn, n 0,1, 2, 称为马尔可夫链，若
0 k i1
k!
i0
例4 直线上的随机游动
（1）无限制的随机游动 设有一质点在数轴上随机游 动，每隔一单位时间移动一次，每次只能向左或向右移动一 单位，或原地不动。设质点在0时刻的位置为a,向右移动的概 率为p，向左移动的概率为q，原地不动的概率为r(p+q+r=1), 且各次移动相互独立，以Xn表示质点经n次移动后所处的位 置，则{Xn,n≥0}是一马尔可夫链,转移概率为 Pi,i+1=p, Pi,i-1=q, Pi,i=r, 其余Pi,j=0
P


0.30 0.20
0.60 0.10
0.06 0.70
0.04

0.00

0.20
0.20
0.10
0.50

初始分布为
(1, 2, 3, 4 ) (0.25, 0.30, 0.35, 0.10)
则
ቤተ መጻሕፍቲ ባይዱ 0.8894
P3


0.60175
0.4834
pij=P[f(i,Y1)=j] 证明：设n≥1 ，则Yn+1与X0, X1, …, Xn相互独立，事实上，
因为X1=f(X0,Y1)， Y2与X0,Y1独立，所以， Y2与X1， X0 独立。同理， X2=f(X1,Y2)= f(f(X0,Y1),Y2)，所以， Y3与X2，
X1， X0独立。归纳可得Yn+1与X0, X1, …, Xn相互独立。
j i 1,i 1
Pij 0,
其它
例3 G / M /1排队系统 来到时间间隔分布为G，服务时间分布为指数分布，参
数为 ，且与顾客到达过程独立。
Xn-----第n个顾客来到时见到系统中的顾客数（包括 该顾客），则{Xn，n≥1}是马尔可夫链。记
Yn -----第n个顾客来到时刻到第n+1个顾客来到时刻之 间系统服务完的顾客数，则
P X 0 i0 P X1 i1 X 0 i0 P X 2 i2 X 0 i0, X1 i1
P X n in X 0 i0 , , X n1 in1
P X0 i0 P X1 i1 X 0 i0 P X 2 i2 X1 i1
p00 p01 p02


p10
p11
p12

P



pi0 pi1 pi2





1, pij 0i, j 0

2, pij 1i 0,1, 2, j 1
4、马尔可夫链的例子
例1 独立随机变量和的序列
设 {Yn,n≥1}为独立同分布随机变量序列，且Yn取 值为非负整数，其概率分布为P{Yn=i}=ai，i=0,1,2, …令 X0=0,Xn=Y1+…+ Yn ，则易证{Xn,n≥0}是一马尔可夫链， 且
罐中有b只黑球及r只红球，每次随机地取出一只后 把原球放回，并加入与抽出球同色的球c只，再第二次 随机地取球重复上面步骤进行下去，{Xn=i}表示第n回 摸球放回操作完成后，罐中有i只黑球这一事件，所以

i, b r nc
P
X n1 j X n i


1
b
所以有
P( X n1 in1 X 0 i0 , X n in )
P( f X n ,Yn1 in1 X 0 i0 , X n in ) P( f in ,Yn1 in1 X 0 i0 , X n in ) P( f in ,Yn1 in1)
pij a0j,i ,
ji ji
显然{Yn,n≥1}也是一马尔可夫链。
例2 M/G/1排队系统
假设顾客依参数为 的泊松过程来到一服务中心，
只有一个服务员，来客发现服务员空着即刻得到服务；其 他人排队等待服务。相继来到的顾客的服务时间Ti假定为 相互独立的随机变量，具有共同的分布G；且假定他们与 来到过程独立。
i (n) P Xn i,
称
1(n),2(n), ,i (n),
为n时刻Xn的概率分布向量。
1(0),2(0), ,i (0),
称为马尔可夫链{Xn,n≥0}的初始分布向量。 结论：一个马尔可夫链的特性完全由它的一步转移概
率矩阵及初始分布向量决定。
事实上
P X 0 i0 , X1 i1, , X n in
j)
ex x j dG x,
0
j!