北大随机过程课件：第 2 章 第 4 讲 马尔可夫链渐进分析

解：
设系统处于状态 i，坛子中有 i 个黑球，则以概率 i 摸出一个黑球，使坛子里变成 i-1 c
个黑球；以概率 c − i 摸出一个红球，使坛子里变成 i+1 个黑球。 c
当系统处于状态 i 时，它转移到状态 i-1 的概率是 i ，它转移到状态 i+1 的概率是 c − i 。
c
c
⎧ ⎪⎪
pi
⎨
( ) 则极限分布是π =
π0
π1
π2
= ⎜⎛ 21 , 23 , 18 ⎟⎞ ⎝ 62 62 62 ⎠
判断稳态解的存在性，并求马尔科夫链的稳态解
例2 设有一个无穷状态{0,1,2,3, },的齐次马尔可夫链，它的一步转移概率是，
p01 = p0 p12 = p1 p23 = p2 L
, p00 = 1− p0 , , p10 = 1− p1, , p20 = 1− p2 ,
=1−
p q
，随机游动是常返的。
若 p ≥ q ，即 p ≥ 1/ 2
∑⋅
∞ j=0
⎜⎜⎝⎛
p q
⎟⎟⎠⎞ j
不收敛，随机游动是非常返的，无极限分布。
分析状态的一步转移概率，系统状态的特性，建立稳态概率的方程，求出稳态解。
例 5 艾伦菲斯特（Ehrenfest）模型。一个坛子装有 c 个球，它们或是红色的或是黑色的。从 坛子随机地摸出一个球并换入另一个颜色的球，经过 n 次摸换，把坛子中的黑球数定义为系 统的状态, 试分析各个状态的特性。
例 6 设有一个具有两个吸收壁的随机游动，它的状态空间是{-2,-1,0,1,2}, -2 和 2 为吸收态。
问题： 状态分析：常返态、非常返态，状态空间的分解，闭集 渐进分析 平稳分布：平稳分布存在的条件；平稳分布的特性；确定平稳分布的方法； 过渡分析：到达常返态的概率、进入时间的分布与期望
状态转移概率的渐进性和平稳分布
c c
⎟⎟⎠⎞
⋅
π
(0)
根据归一化条件，有
∑ ∑ ∑ 1 =
c
π ( j)
j=0
=
j
c =0
∑ P(ξn = j) = P(ξn = j / ξ0 = i)P(ξ0 = i) i
∑ = Pij(n)P(ξ0 = i) i
∑ lim
n→∞
P(ξn
=
j) = lim n→∞
Pij(n) P(ξ0 = i)
i
∑ = πij P(ξ0 = i) i
∑ = π j P(ξ0 = i) i
=πj
lim
π (1) = c ⋅π (0) = ⎜⎜⎝⎛1c ⎟⎟⎠⎞ ⋅π (0)
π
(2)
=
c
−1 2
⋅
π
(1)
=
c(c
2
−1)
⋅1
⋅
π
(0)
=
⎜⎜⎝⎛
c2 ⎟⎟⎠⎞
⋅π
(0)
L
L
L
π
(
j
+
1)
=
c j
− +
j 1
⋅π
(
j)
=
⎜⎜⎝⎛
j
c +
1⎟⎟⎠⎞
⋅π
(0)
L
L
L
π
(c)
=
1 c
⋅π
(c
− 1)
=
⎜⎜⎝⎛
pπ (1) + qπ (1) = qπ (2) + pπ (0)
pπ (2) + qπ (2) = qπ (3) + pπ (1)
L
L
L
pπ ( j) + qπ ( j) = qπ ( j + 1) + pπ ( j −1)
L
L
L
将上述方程进行整理，即得平衡方程：
pπ (0) = qπ (1)
pπ (1) = qπ (2)
π = lim p(n) = lim p(n+1) = lim p(n)p = π p ， π = π p
n→∞
n→∞
n→∞
∑π i pi j = π j i
∑ 归一化条件， π i = 1 i
矩阵π是唯一的 推论 2：系统稳定后状态的概率（渐进状态）与初始状态无关，稳态分布为π的行矢量
系统稳定后处于状态 j 的概率：
pπ (0) = qπ Biblioteka Baidu1)
pπ (1) = qπ (2)
pπ (2) = qπ (3)
L
L
L
pπ ( j) = qπ ( j + 1)
L
L
L
平衡方程分析： 系统的稳态状态方程组：
pπ (0) + qπ (0) = qπ (1) + qπ (0)
即，
pπ (0) = qπ (1)
对于状态1, 2, L 有
=
p0 (1 −
p1 )
=
p0
−
p0 p1
f (n) 00
=
p0 p1 L pn−2 (1 −
pn−1 ) =
p0 p1 L pn−2
−
p0 p1 L pn−2 pn−1
n
∑ f (n) 00
=1−
p0 p1 L pn−2 pn−1
k =1
迟早返回 0 状态的概率是
n
∑ ( ) f00
= lim n→∞ k =1
定理 1 设有一个有限状态的马尔可夫链，若存在一个正整数 m，使得对状态空间的任何状
态
i,j 有
p (m) ij
>
0 ，则 lim P (n) n→∞
=π
。
极限矩阵 π 的性质：
矩阵有相同的行矢量，每一列元素都相同。
pπ = π
∑ 推论 1：π的行矢量满足下列关系： π = π p ， π i = 1 i π给出状态的极限分布：
0
状态是非常返的，如果
f (n) 00
等
n=1
n=1
n=1
于 1，则 0 状态是常返的。
∞
∞
∑ ∑ 也可以计算
p (n) 00
。如果
p (n) 00
是有限的，则
0
状态是非常返的，如果
n=1
n=1
∞
∑ p(n) 00
是无限的，则
0
状态是常返的。
n=1
引用研究随机游动的矩生成函数：
∞
∑ 返回原点的概率
f (n) 00
c
c
c
c
c ⋅π (c) = c − (c −1) ⋅π (c −1)
c
c
c − 0 π (0) = 1 π (1)
c
c
c −1 ⋅π (1) = 2 ⋅π (2)
c
c
L
L
L
c − j ⋅π ( j) = j + 1 ⋅π ( j + 1)
c
c
L
L
L
1 ⋅π (c −1) = ⋅π (c) c
进一步得到递推关系:
n=0 pn n=0 n + 1
如果 pn = e−1/(n+1)2 , n = 0,1,2,L ，
∑ ∑ ∞
则有， ln
1
=
∞
1 < ∞ ，这个链是非常返的。
n=0 pn n=0 (n + 1) 2
它迟早返回零状态的概率是
∑ f 00
=1−
exp⎨⎧− ⎩
∞ n=0
(n
1 + 1)2
⎫ ⎬ ⎭
=
=
⎜⎜⎝⎛
p q
⎟⎟⎠⎞
j
π
(0)
L
L
L
考虑到所有状态概率的和为 1，有
∑ ∑ ∑ ∞
π ( j)
j=0
=
∞ j=0
⎜⎜⎝⎛
p q
⎟⎟⎠⎞
j
π
(0)
= π (0) ⋅
∞ j=0
⎜⎜⎝⎛
p q
⎟⎟⎠⎞
j
=1
若 p < q ，即 p < 1/ 2
∑⋅
∞ j=0
⎜⎜⎝⎛
p q
⎟⎟⎠⎞ j
收敛， π
(0)
p0i = 0, (i ≠ 0,1) p1i = 0, (i ≠ 0, 2) p2i = 0, (i ≠ 0, 3)
L
p j j+1 = p j , p j0 = 1− p j , pji = 0, (i ≠ 0, j)
求状态 0 的特性。 解：
⎡1− p0 p0 0 0 0 0 0 ⎤
⎢⎢1− p1
0
p1
0
0
0
0
⎥ ⎥
⎢1 ⎢ ⎢
− p2 L
0
0
p2 0 L
0 0⎥ ⎥ ⎥
⎢1 ⎢ ⎣
−p L
j
0
0
0
0
p
j
0⎥ L ⎥⎦
所有的状态之间是相同的，状态空间是一个不可约闭集。
所有状态或全部是常返，或全部是非常返的
分析 0 状态的常返特性
求
f (n) 00
f (1) 00
= 1−
p0
f (2) 00
p j j+1 = p p j j−1 = q p00 = q L pjk = 0 p0k = 0
, ( j = 0,1,2,L) , ( j = 1,2,3,L)
L , ( j ≠ 0, k ≠ j + 1, j −1) , (k ≠ 0,1)
绘出状态转移图:
定义到达稳态后系统处于状态 j 的概率是 π ( j) ，系统有平衡方程：
马尔可夫链的渐进分析（续三）
马尔可夫链的例子： 例 1 设有一个三状态{0,1,2}的马尔可夫链，它的一步转移概率矩阵是
⎜⎛ 0.5 0.4 0.1⎟⎞ P = ⎜ 0.3 0.4 0.3⎟
⎜⎝ 0.2 0.3 0.5⎟⎠
例 2 设有一个无穷状态{0,1,2,3,……},的齐次马尔可夫链，它的一步转移概率是
n→∞
P{ξ
n=
j}
=
lim
n→∞
p (n) ij
=π
j
初始状态概率分布W = [ p0 (ξ = 0), p0 (ξ = 1)L p0 (ξ = n)]
稳态分布
Wπ = π的行矢量
马尔可夫链的稳态渐进分析举例
例1 设有一个三状态{0,1,2}的马尔可夫链，它的一步转移概率矩阵是
⎜⎛ 0.5 0.4 0.1⎟⎞ P = ⎜ 0.3 0.4 0.3⎟ ，求它的极限分布。
它的一步转移概率是，
⎧ ⎪
pi
i +1
=
p
⎨ pi i−1 = q
⎪ ⎩
pi
j
= 0,
if j ≠ i + 1,i −1
无限制随机游动各状态都相通，则所有状态或全部是常返的或全部是非常返的。
研究状态 0 的常返和非常返的性质：
∞
∞
∞
∑ ∑ ∑ 可以计算
f (n) 00
。如果
f (n) 00
小于
1，则
1
−
exp⎨⎧− ⎩
⎢⎣⎡1
+
1 22
+
1 32
+ L⎥⎦⎤⎭⎬⎫
= 1 − exp(− π ) = 0.8070 2
( ) 结论：0 状态是常返的条件是 lim n→∞
p0 p1 L pn−2 pn−1
=0
分析 0 状态的常返特性，研究从 0 状态出发，返回 0 状态的概率。 例3
无限制随机游动的 0 状态常返行为的分析 解：
f (n) 00
= 1 − lim n→∞
p0 p1 L pn−2 pn−1
( ) 0 状态是常返的条件是 lim n→∞
p0 p1 L pn−2 pn−1
=0
∑∞
这等价于 ln
1
=∞
p n=0
n
如果 pn = e−1/(n+1) , n = 0,1,2,L ，
∑ ∑ ∞
则有， ln
1
=
∞
1 = ∞ ，这个链是常返的。
⎪ ⎪⎩
pi
i −1 i +1
= =
i ,
c c−
c
i
,
i = 1, 2, 3, L, c i = 0, 1, 2,L, c −1
系统的状态转移图：
系统中各个状态是相通的，它是一个不可约的马尔科夫链，它的稳态分布存在。 建立达到稳定状态后，系统的稳态方程是:
c − 0 π (0) = 1 π (1)
n =1 ∞
∑u2n = U (z = 1) < ∞,
n =1
p = q =1/2 p ≠ q ≠1/2
结论：p=1/2，零状态是常返的，p≠1/2 零状态是非常返的。 分析 0 状态的常返特性，研究从 0 状态出发，返回 0 状态的概率。 例4 设有一个具有一个弹性壁的随机游动，它的状态空间是{0,1,2,3, }，0 是弹性壁试分析 各个状态的特性。 解： 状态之间的转移概率是，
⎡1− p0 p0 0 0 0 0 0 ⎤
⎢⎢1− p1
0
p1
0
0
0
0
⎥ ⎥
⎢1 ⎢ ⎢
− p2 L
0
0
p2 0 L
0 0⎥ ⎥ ⎥
⎢1 ⎢ ⎣
−p L
j
0
0
0
0
p
j
0⎥ L ⎥⎦
例 3 无限随机游动
例 4 设有一个具有一个弹性壁的随机游动，它的状态空间是{0,1,2,3, }，0 是弹性壁
例 5 艾伦菲斯特（Ehrenfest）模型
pπ (2) = qπ (3)
L
L
L
pπ ( j) = qπ ( j + 1)
L
L
L
进一步得到递推关系，
π (1) = p π (0) q
π (2)
=
p π (1) q
=
⎜⎜⎝⎛
p q
⎟⎟⎠⎞
2
π
(0)
π (3)
=
p π (2) q
=
⎜⎜⎝⎛
p q
⎟⎟⎠⎞
3
π
(0)
L
L
L
π ( j)
=
pπ(j q
− 1)
c
c
c −1 ⋅π (1) + 1 ⋅π (1) = 2 ⋅π (2) + c − 0 ⋅π (0)
c
c
c
c
L
L
L
c − j ⋅π ( j) + j ⋅π ( j) = j + 1 ⋅π ( j + 1) + c − ( j −1) ⋅π ( j −1)
c
c
c
c
L
L
L
c − (c −1) ⋅π (c −1) + c −1 ⋅π (c −1) = c ⋅π (c) + c − (c − 2) ⋅π (c − 2)
⎜⎝ 0.2 0.3 0.5⎟⎠
解： 按照稳态分布的存在定理进行判断，三状态{0,1,2}的马尔可夫链存在稳态解。
( ) 设极限分布是π = π 0 π 1 π 2 ，它满足方程π = π P ，即
0.5π 0+ 0.3π 1+ 0.2π 2= π 0 0.4π 0+ 0.4π 1+ 0.3π 2= π 1 0.1π 0+ 0.3π 1+ 0.5π 2= π 2 π 0+ π 1+ π 2= 1
：
n=1
V (z) = 1− 1− 4 pqz2
∞
∑ v2n = V (z = 1) = 1,
n=1 ∞
∑ v2n = V (z = 1) < 1,
n=1
p = q =1/ 2 p ≠ q ≠1/ 2
∞
∑ 返回原点的概率之和
p (n) 00
：
n=1
U(z) =
1
1− 4 pqz2
∞
∑u2n = U (z = 1) = ∞,