马尔科夫链考试例题整理

1 6 1 6 1 6 4 6 0 0
1 6 1 6 1 6 1 6 5 6 1
1 6 1 6 1 6 1 6 1 6 0
12
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率 是p，乙胜的概率是q，和局的概率是 r ， （ p q r 1 ）。设每局比赛后，胜者记“+1” 分，负者记“—1”分，和局不记分。当两人中有 一人获得2分结束比赛。以 X n 表示比赛至第n局 时甲获得的分数。 （1）写出状态空间； （3）问在甲获得1分的情况下，再赛二局可以 结束比赛的概率是多少？
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
3
状态空间I={1，2，3，4，5}， 参数集T={1，2，3，………}，
1 其一步转 1 移矩阵为 2 P1 0 0 0
0 0 1 2 0 0
0 1 2 0 1 2 0
0 0 1 2 0 0
0 0 0 p 1
14
（2）二步转移概率矩阵
P
(2)
P
2
1 q rp q2 0 0
0
0
0 p2 2pr r2 pq 0
r2 pq 2pr 2rq r2 2pq q2 0 2qr 0
0 0 p2 p rp 1
用同样的方法可以求得乙先输光的概率
b 当 r 1 即 p q 时， 甲先输光的概率为 c
q a 1 ( ) 当 p q 时，乙输光的概率为 p a 当 p q 时，乙先输光的概率为 c q c 1 ( ) p
22
q a q c ( p) ( p)
p01 P( X1 1| X0 0) P(Y0 1) p1
p10 P( Xn1 0 | Xn 1) P( Xn 1 Yn 0 | Xn 1)
p20 P( Xn1 0 | Xn 2) P( Xn 1 Yn 0 | Xn 2)
(u u
di
j0
r d0
i1
j
1 rc d0 1 r
)
i r d0 i j i j j c r r j c j 1 d0 r (1 r r )d 0 1 r j c 两式相比 r r uj c 1 r

c 1
20
故
r r ua c 1 r
2
一步转移概率矩阵的计算 引例 例1 直线上带吸收壁的随机游动（醉汉游动） 设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”

k
pk 1
记 X n 为服务周期 n 开始时服务台前顾客数 则有 在第n周期已有一个
Xn 1Yn, Xn1 Yn,
若Xn 1 顾客在服务，到第n+1 若Xn 0 周期已服务完毕
23
此时{ X n ， n 1 }为一马氏链， 求其转移矩阵
解
先求出转移概率
p00 P( X1 0 | X 0 0) P(Y0 0) p0
根据全概率公式有
u j u j 1 p u j 1q
这一方程实质上是一差分方程，它的边界条件是
u0 1, uc 0
18
欲求
于是
ua
先求
uj
设
q r p
q u j u j 1 ( )(u j 1 u j ) p
d j u j u j 1
则可得到两个相邻差分间的递推关系
0 0 0 1 2 1
有两个吸收壁的随机游动
4
例2．带有反射壁的随机游动 设随机游动的状态空间I = {0，1，2，…}，移动的 规则是： （ 1 ）若移动前在 0 处，则下一步以概率 p 向右移 动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。 设 X n 表示在时刻n质点的位置， 则 { X n ， n 0 }是一个齐次马氏链，写出其一步转 移概率。
13
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1， 2，3， 4，5}
一步转移概率矩阵
1 q P 0 0 0
0 r q 0 0
0 p r q 0
0 0 p r 0
15
Biblioteka Baidu
（3）
从而结束比赛的概率；
从而结束比赛的概率。 所以题中所求概率为
( p rp ) 0 p (1 r )
16
例2 赌徒输光问题 赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲 获胜的概率为p，乙获胜的概率为 q 1 p ， 求甲输光的概率。 分 析 这个问题实质上是带有两个吸收壁的随机游动。从 甲的角度看，他初始时刻处于a，每次移动一格，向 右移（即赢1元）的概率为p，向左移（即输1元）的 概率为q。如果一旦到达0（即甲输光）或a + b（即 乙输光）这个游动就停止。这时的状态空间为{0，1， 2，…，c}，c = a + b，。现在的问题是求质点从a出 发到达0状态先于到达c状态的概率。 17
9
5 ．设袋中有 a 个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有 k 个白球，则称系统处于状态 k ， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为 0 0 I={0，1，2，…，a} 0 1 1 a 1 0 0 a a 一步转移矩阵是 2 a2 0 0 P a a 1 ... ... ... ... a 1 0 ... 0 a 0 ... 0 0
于是
d j rd j 1
d j rd j 1 r d j 2 r d 0
2 j
需讨论 r
19
当
r 1 c 1 1 u 0 u c ( u j u j 1 )


c 1 j0
d j
c1 i j c 1
j 0 c 1

i
而
u j u j uc
若 X (n) 表示质点在时刻n所处的位置，分析它的 概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X (t), 是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
... 0 ... 0 ... 0 ... ... 1 0 a 1 0
10
练习题． 扔一颗色子，若前 n 次扔出的点数的最大值为 j ， 就说 Xn j, 试问 Xn j, 是否为马氏链？求一步转移概率矩 阵。
I={1，2，3，4，5，6}
11
1 1 1 6 6 6 0 2 1 6 6 3 0 0 P 6 0 0 0 0 ... 0 0 ... 0
5
q
p
q
p m 右反射壁
0 左反射壁
1
2
m-1
q q 0 P 1 ... 0 0
p 0 q ... 0 0
0 p 0 ... 0 0
0 0 p ... 0 0
0 0 0 ... 0 0
... ... ... ... ... ...
0 0 0 ... q 0
0 0 0 ... 0 q
24
P(Yn 1) 0
所以转移矩阵为
p0 p1 p2 p3 p4 p p1 p2 p3 p4 0 P 0 p0 p1 p2 p3 1 0 0 p p1 p2 0

25
证
P{ X n j} P{ X n j , X 0 i} i P{ X n j , X 0 i}
解 设0 j c 考虑质点从j出发移动一步后的情况
设 u j 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
在以概率 p 移到 j 1 的假设下，
到达 0 状态先于到达 c 状态的概率为 u j 1
同理 以 概 率 q 移 到 j 1 的 前 提 下 ，
到达 0 状态先于到达 c 状态的概率为u j 1
0 0 0 ... p p
6
q q P 1 0 ...
p 0 0 0 ... 0 p 0 0 ... q 0 p 0 ... ... ... ... ... ...
q 0 反 射 壁
p 1 2 3
7
例 3．一个圆周上共有 N 格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率 q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2, ..., N }
a
c
q a q c ( p) ( p)
当
q c 1 ( p )
r 1
u0 uc 1 cd 0
c j uj c
而 因此 故
u j (c j ) d 0
ca b ua c c
21
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
E {..., 2, 1,0,1, 2,...}
... ... P 1 ... ... ... ... ... ... ... ... ... 0 p r q 0 0 ... 0 0 p r q 0 ... ... ... ... ... ... ... ...
0 q 0 P 1 ... 0 p p 0 q ... 0 0 p 0 ... ... 0 0 p ... 0 ... ... ... ... q 0 0 0 0 ... 0 q 0 0 ... p q 0
8
0 ... 0
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到 i+1，以概率r停留在i，且 r p q 1 ，试 求转移概率矩阵。
p11 P(Xn1 1| Xn 1) P( X n 1 Yn 1| X n 1) P(Yn 1) p1
P(Yn 0) p0
P(Yn 0) p0 p22 P( Xn1 2 | Xn 2) P(Yn 1) p1
p21 P( Xn1 1| Xn 2) P( Xn 1 Yn 1| Xn 2)
q c 1 ( p )
例3 排队问题 顾客到服务台排队等候服务，在每一个服务周期中只 要服务台前有顾客在等待，就要对排在前面的一位提 供服务，若服务台前无顾客时就不能实施服务。
设在第 n 个服务周期中到达的顾客数为一随机变量 Yn
且 诸 Yn 独 立 同 分 布 ：