第二节离散时间马尔可夫链的几个性质-资料
合集下载
第四章 马尔可夫链
一步转移概率
定义4.2 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔 可夫链{Xn，nT }在时刻n的一步转移概率， 简称转移概率，其中i,jI。 定义4.3 若对任意的i,jI，马尔可夫链{Xn,nT } 的转移概率pij(n)与n无关，则称马尔可夫链是 齐次的，并记pij(n)为pij。
如果d>1，就称i为周期的， 如果d=1，就称i为非周期的。
引理4.1 如果i的周期为d，则存在正整数M，对一切 ( nd ) n≥M ，有 p ii 0。
例4.6
设马尔可夫链的状态空间I={1,2,,9}，转移概率如 下图所示。
1 1
8
9
1
1 3
2
1
7
1
1 6
1
3
1
5
2 3
4
1
从状态1出发再返回状态1的可能步数为T={4,6,8,10, }，T的最大公约数为2，从而状态1的周期为2。
P{ X n j | X n1 i}P{ X n1 i} pi (n 1) pij
iI iI iI
(3)(4)为(1)(2)的矩阵表示。
定理4.3 设{Xn，nT }为马尔可夫链，则对任意 整数i1, i2,,inI和n1 ，有性质
P{ X1 i1 ,, X n in } pi pii1 pi1i2 pin1in
证明： (1) p j (n) P{ X n j} P{ X 0 i , X n j}
P{ X n j | X 0 i}P{ X 0 i}
iI ( p i p ijn ) iI iI
(2) p j (n) P{ X n j} P{ X n1 i , X n j}
马尔可夫链
2020年5月21日星期四
例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}， 转移概率矩阵为
1 2
1
2
0 0
0
1 2
1 2
0
0
0
P 0 0 1 0 0
3 / 16 . 1/ 4
于是: (1) P{X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0} 1 5 5 ;
3 16 48
2020年5月21日星期四
(2)P{X2 1}
P{X0 0}P{X2 1 | X0 0} P{X0 1}P{X2 1 | X0 1}
显然有
p(n) 11
p(n) 21
P(n)
p(n j1
)
L
p(n) 12
p(n) 22
p(n) 1j
L
p(n) 2j
L
p(n) j2
p(n) jj
L
LL
L
(1)
0
p(n) ij
1
(2)
p(n) ij
1,
i
1,
2,L
j
2020年5月21日星期四
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
的矩阵
p11 p21
P
L
pj1 L
p12 L p22 L LL pj2 L LL
p1 j L
p2 j L
L
L
p jj L
L L
称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,L
j
2020年5月21日星期四
3、马尔可夫链举例
例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}， 转移概率矩阵为
1 2
1
2
0 0
0
1 2
1 2
0
0
0
P 0 0 1 0 0
3 / 16 . 1/ 4
于是: (1) P{X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0} 1 5 5 ;
3 16 48
2020年5月21日星期四
(2)P{X2 1}
P{X0 0}P{X2 1 | X0 0} P{X0 1}P{X2 1 | X0 1}
显然有
p(n) 11
p(n) 21
P(n)
p(n j1
)
L
p(n) 12
p(n) 22
p(n) 1j
L
p(n) 2j
L
p(n) j2
p(n) jj
L
LL
L
(1)
0
p(n) ij
1
(2)
p(n) ij
1,
i
1,
2,L
j
2020年5月21日星期四
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
的矩阵
p11 p21
P
L
pj1 L
p12 L p22 L LL pj2 L LL
p1 j L
p2 j L
L
L
p jj L
L L
称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,L
j
2020年5月21日星期四
3、马尔可夫链举例
第4章马尔可夫链1-2
假设马尔可夫过程 { X n , n T } 的参数集 T 是离散的 时间集 I 合，即 T {0,1, 2,} ，其相应 X n 可能取值的 全体组成的状态空间 I 是离散的状态集。
定义 1 设有随机过程{ X n , n T } ，若对于任意的整数 n T 和任意的 i0 , i1 , , in1 I ，条件概率满足
转移概率矩阵为
q 0 p 0 P 0 q 0 p
设在第k步转移中向右移了x步，向左移了y步，且 经过k步转移状态从i进入j，则
x y k x y j i
从而
k ( j i) k ( n 和 i , j I ，n 步转移概率 ij 具有下列
性质
( n) ( l ) ( n l ) (1) pij pik pkj ; k I
(2) p
( n) ij
k1I
kn1I
pik1 pk1k2 pkn1 j ;
(3) P ( n ) PP ( n1) ; (4) P ( n ) P n .
第4章 马尔可夫链
定义 2.9 设 X t , t T 为随机过程，若对任意正 整数 n 及 t1 t2 , tn , P X (t1 ) x1 , , X t n1 xn1 0 ，且其 条件分布
P X (tn ) xn | X t1 x1 ,, X t n1 xn1 P X ( t n ) xn | X t n 1 x n 1
定义 2 称条件概率
pij (n) P{ X n1 j | X n i }
为马尔可夫链 { X n , n T } 在时刻 n 的一步转移概率，其 中 i , j I ，简称为转移概率。
定义 1 设有随机过程{ X n , n T } ，若对于任意的整数 n T 和任意的 i0 , i1 , , in1 I ，条件概率满足
转移概率矩阵为
q 0 p 0 P 0 q 0 p
设在第k步转移中向右移了x步，向左移了y步，且 经过k步转移状态从i进入j，则
x y k x y j i
从而
k ( j i) k ( n 和 i , j I ，n 步转移概率 ij 具有下列
性质
( n) ( l ) ( n l ) (1) pij pik pkj ; k I
(2) p
( n) ij
k1I
kn1I
pik1 pk1k2 pkn1 j ;
(3) P ( n ) PP ( n1) ; (4) P ( n ) P n .
第4章 马尔可夫链
定义 2.9 设 X t , t T 为随机过程，若对任意正 整数 n 及 t1 t2 , tn , P X (t1 ) x1 , , X t n1 xn1 0 ，且其 条件分布
P X (tn ) xn | X t1 x1 ,, X t n1 xn1 P X ( t n ) xn | X t n 1 x n 1
定义 2 称条件概率
pij (n) P{ X n1 j | X n i }
为马尔可夫链 { X n , n T } 在时刻 n 的一步转移概率，其 中 i , j I ，简称为转移概率。
马尔可夫链课件
PPXX00 ii00，X1PXi1，1L，i1 |XXk01 ii0k1L PXk 马ik |氏Xk性1 ik1 P X k ik |X 0 i0，X1 i1，L ，X k 1 ik 1
P即X马0尔 i可0，夫X链1 {i1，XLn，，Xn k10}i的k1有 限维分布完全由初始
分布PPX{kX0 ik|Xi}k1 和 ik条1件概率 P{Xn j | Xn1 i} 确定.
PX 0 i0，X1 i1，L ，X k 2 ik 2
马氏性
P X k 1 ik 1 | X 0 i0，L ，X k 2 ik 2
P X k ik |X k 1 ik 1
• 第一节 基本概念 • 第二节 状态的分类及性质 • 第三节 极限性态及平稳分布 • 第四节 Markov链的应用
第一节 基本概念
一、Markov链的定义 二、转移概率 三、Markov链的例子 四、n步转移概率，C-K方 程
第一节 基本概念
一、Markov链的定义
马尔可夫性(无后效性)
过程(或系统)在时刻t0所处的状态为已知的条件下，过程在时 刻t>t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。
则称 {Xn，n 0}为齐次马尔可夫链，称 pij 为从状态 i 转移到状态 j 的一步转移概率.
若马尔科夫链 {Xn，n 0}的状态空间是有限集，则 称 {Xn，n 0}为有限状态的马尔科夫链；
若马尔科夫链 {Xn，n 0}的状态空间是可列集，则 称 {Xn，n 0}为可列状态的马尔科夫链.
是状态有限的马尔科夫链. 1.求其一步转移概率矩阵； 2.若 0.7， 0.4 ，且今天有雨，求第四天有雨的
概率.
四、n步转移概率、C-K方程
Markov Chain(马尔科夫链)
状态转换矩阵：
1 0 0 1 − ������ 0 ������ 0 1 − ������ 0 0 0 1 − ������ 0 0 0
0 0 ������ 0 0
0 0 0 ������ 1
0
赌徒问题（续）
• ������ =
0 ������ 1 − ������ 0 0 1 − ������ 0 0 0 0 0 ������ 0 0 0 0 1 − ������ 0 0 ������ 0 1 阵������的元素������������������ 等于从状态������������ 出发到达稳定时经过������������ 的次数的期望值。 推论：马尔可夫过程中，从非稳定状态������������ 出发，到达稳定状态时的步数期望值 等于矩阵������的������行元素的和。
赌徒问题
• 一个赌徒，假设拿两元钱，一次赌一美元，赢的概率是������，输的概率是1 − ������，当赢够4元，或者全部输光就不赌了。 • 状态转换图：
1 − ������ 1 1 − ������ 1 ������ 2 ������ 3 ������ 1 − ������ 1 4 ������ =
������
������������
.此矩阵
������������������ = 1, ������ = 1,2, … , ������.
������=1
重新标记这些状态的序号，把对角线是1的元素调整到右下角，也就是变成 ������������×������ ������������× ������−������ ������������×������ → ������ ������−������ × ������ ������(������−������)×(������−������) 矩阵������ = ������ − ������������×������
马尔可夫链
三.有限维概率分布 马尔可夫链{ X ( t ), t t
0
, t 1 , t 2 , }在初始时刻t 0 的概率
分布:
p j ( t 0 ) P { X ( t 0 ) j },
j 0 ,1, 2 ,
称为初始分布. 初始分布与转移概率完全地确定了马尔可夫链的 任何有限维分布.下面的定理二正是论述这一点. 不妨设齐次马尔可夫链的参数集和状态空间都是 非负整数集,那么有如下定理。
P { X ( k 1 ) j1 , X ( k 2 ) j 2 , , X ( k n ) j n }
p i ( 0 ) p ij1 1 p j1 j22
(k )
( k k1 )
p j n n1 j n n 1
(k k
)
i0
(13.9)
例6 在本节例5中,设初始时输入0和1的概率分别为 1/3和2/3,求第2、3、6步都传输出1的概率.
t 2 t n t n 1
和 S 内任意 n 1 个状态
j1 , j 2 , , j n , j n 1 , 如果条件概率
P { X ( t n 1 ) j n 1 | X ( t 1 ) j1 , X ( t 2 ) j 2 , , X ( t n ) j n }
二：马尔可夫链的分类 状态空间 S 是离散的(有限集或可列集),参数集 T 可为离散或连续的两类. 三：离散参数马尔可夫链 （1）转移概率 定义2 在离散参数马尔可夫链{ X ( t ), t 中,条件概率 P { X ( t
m 1
t 0 , t 1 , t 2 , , t n , }
1
离散时间马氏链 -回复
离散时间马氏链-回复离散时间马尔可夫链（Discrete-Time Markov Chain）是一种随机过程，它的状态在离散的时间步长内发生变化。
这种变化是由一个概率转移矩阵来描述的，该矩阵表示从一个状态转移到另一个状态的概率。
本文将逐步介绍离散时间马尔可夫链的基本概念、性质以及其在实际中的应用。
一、基本概念1. 马尔可夫链：马尔可夫链是一种特殊的随机过程，它满足无后效性，即当前状态只与前一状态有关，而与其他历史状态无关。
2. 状态空间：马尔可夫链的状态空间是所有可能状态的集合。
3. 转移概率：在马尔可夫链中，从一个状态转移到另一个状态的概率称为转移概率。
4. 初始分布：马尔可夫链的初始状态分布通常用一个向量来表示，这个向量的每个元素对应于状态空间中的一个状态，其值表示开始时处于该状态的概率。
5. 转移矩阵：马尔可夫链的转移矩阵是一个方阵，其中的每个元素表示从一个状态转移到另一个状态的概率。
二、性质1. 无后效性：马尔可夫链最重要的特性就是无后效性，也称为马尔可夫性质。
这意味着系统未来的状态只与当前状态有关，而不依赖于过去的任何状态。
2. 平稳分布：如果一个马尔可夫链在经过足够长时间后，无论初始状态如何，其状态分布都会收敛到一个固定的分布，那么这个分布就称为平稳分布。
3. 回顾性和展望性：回顾性是指系统的当前状态可以完全由过去的状态决定；展望性则是指系统的未来状态只与当前状态有关。
三、应用1. 信息检索：在信息检索中，马尔可夫链可以用来预测用户下一个可能的查询词，从而提高搜索结果的相关性。
2. 自然语言处理：马尔可夫链模型被广泛应用于自然语言处理任务，如词性标注、命名实体识别等。
3. 生物信息学：马尔可夫链模型在生物信息学中有多种应用，如蛋白质序列分析、基因结构预测等。
4. 经济学和金融学：马尔可夫链模型也被用于经济学和金融学领域，如股票价格预测、经济周期分析等。
四、总结离散时间马尔可夫链是一种重要的随机过程模型，其无后效性的特性使得它在许多领域都有广泛的应用。
马尔科夫模型
简单马氏模型
1、离散时间马尔科夫链（时间取值离散，状 态空间也是离散集合）； 2、数学表示方法
= P{X = P{X
P{X t +1 = s X t = s, X t −1 = st −1 ,..., X 0 = s0 }
＇ t +1 1
= s X 0 = s}
＇
= s X t = s}
＇
3、在一个时间间隔里，从状态 si变化到状态sj 的概率与实际开始观察的时刻是无关的，这就 是DTMC在两个状态之间的一步转移概率公式。 所有状态之间的一步转移概率构成一个转移矩 阵，DTMC可以由这个矩阵完全决定，如此可以 定义DTMC。 4、定义：一个离散时间马尔可夫链（DTMC） 是一个三元组（S, P, P。）其中： S是状态空间{s1,s2,…,sn}的集合（n通常是有限 的）； P：S×S→[0,1]是（一步）转移概率矩阵； P。是初始分布。
记为
2011-12-7
15
性质 : (1) pij (m, n) ≥ 0,
∑ p (m, n) = 1
j∈I ij
(2) pii (m, m) = 1, pij ( m, m) = 0若j ≠ i
对所有i, j , m, n, 若pij (m, n)只与i, j , n − m有关时, 称为齐次Markov链
0.7
0S1 S1
S2
0.3 0.7 P= S2 0.8 0.2
P
2
0 . 65 = 0 . 40
0 . 35 0 . 60
例4 设任意相继的两天中 , 雨天转晴天的概率为
1 3 , 晴天转雨天的概率为 1 2 , 任一天晴或雨是互 为逆事件 . 以 0 表示晴天状态 ,以1 表示雨天状态 , X n 表示第 n 天状态 ( 0 或 1 ) . 试写出马氏链 { X n , n ≥ 1 } 的一步转移概率矩阵 . 又已知 5月1日为晴 天 , 问5月3日为晴天 , 5月5日为雨天的概率各等 于多少 ? 解 由于任一天晴或雨是互 为逆事件且雨天转
1、离散时间马尔科夫链（时间取值离散，状 态空间也是离散集合）； 2、数学表示方法
= P{X = P{X
P{X t +1 = s X t = s, X t −1 = st −1 ,..., X 0 = s0 }
＇ t +1 1
= s X 0 = s}
＇
= s X t = s}
＇
3、在一个时间间隔里，从状态 si变化到状态sj 的概率与实际开始观察的时刻是无关的，这就 是DTMC在两个状态之间的一步转移概率公式。 所有状态之间的一步转移概率构成一个转移矩 阵，DTMC可以由这个矩阵完全决定，如此可以 定义DTMC。 4、定义：一个离散时间马尔可夫链（DTMC） 是一个三元组（S, P, P。）其中： S是状态空间{s1,s2,…,sn}的集合（n通常是有限 的）； P：S×S→[0,1]是（一步）转移概率矩阵； P。是初始分布。
记为
2011-12-7
15
性质 : (1) pij (m, n) ≥ 0,
∑ p (m, n) = 1
j∈I ij
(2) pii (m, m) = 1, pij ( m, m) = 0若j ≠ i
对所有i, j , m, n, 若pij (m, n)只与i, j , n − m有关时, 称为齐次Markov链
0.7
0S1 S1
S2
0.3 0.7 P= S2 0.8 0.2
P
2
0 . 65 = 0 . 40
0 . 35 0 . 60
例4 设任意相继的两天中 , 雨天转晴天的概率为
1 3 , 晴天转雨天的概率为 1 2 , 任一天晴或雨是互 为逆事件 . 以 0 表示晴天状态 ,以1 表示雨天状态 , X n 表示第 n 天状态 ( 0 或 1 ) . 试写出马氏链 { X n , n ≥ 1 } 的一步转移概率矩阵 . 又已知 5月1日为晴 天 , 问5月3日为晴天 , 5月5日为雨天的概率各等 于多少 ? 解 由于任一天晴或雨是互 为逆事件且雨天转
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（书 第24页）
6
1.6不可约
可约的马氏链：
1
1
2，3 闭集
2/3
0
1
2
3
1/3
1
4 闭集(吸收态)
1
0
1 2/3 2 1
1/3
7
2 .1周期性
定义
若记di为数集{n:
n1,
p (n) ii
0
}的最大公约数，则
称它为状态i的周期。若对一切n1有
p (n) ii
0，
则约定di=.
当di>1时，称i是有周期的状态，当di=1时，称i 是非周期的状态。
我也是非周期的， 因为我与非周期 状态1互通
3/4 1
2
1
9
3 .1常返性
常返性是考察马氏链由一个状态出发之后能否 再次回归到本状态的特性 常返性分三种
正常返（必定会返回，平均返回时间为有限值） 零常返（必定会返回，平均返回时间为 ） 非常返（可能不再返回）
（书 第21页）
10
3.2 常返性定义
q 0 p
0 1
1 qq 01 p
qqqq
…. i-1 i i+1
p p pp 状态转移图
q
1
…. a-1 a
pp
5
1.5不可约
若一个马氏链的任意两个状态都互通，则此马氏链称 为不可约马氏链；否则称为可约的马氏链。
不可约的马氏链： 1
1 1/3
0
1
0 2/3 1
1
1/2
2 1/2
在排队论中，用到的马尔可夫链大多是不可约的
13
3.5 常返性判定
判断马氏链的常返性经常使用如下定理： 定理2.2 对有限状态齐次马氏链，必有
若此马氏链不可约，则E全由常返态组成； 不存在零常返态 不可约马氏链均由正常返态组成
1
1
0
2/3
1
2
非常返
3
1/2
常返
1/3
1/2
14
3.4 常返性
定理2.3 设X是不可约马氏链，那么其状态集E或者全由 非常返态组成，或者全为零常返态，或者全为 正常返态，且每个状态周期相同 这个定理称作“不可约马氏链的状态一致性”
21
5.5离散时间马尔可夫链性质举例
S={0,1,2,3}
0
1
2
3
状态个数有限 不可约 非周期的 正常返 遍历链
22
1 0
q
0
p
q0p
P
...
...
...
...
...
...
.
.
.
q 0 p
0 1
q=(1-p)
p
0
i-1 i i+1
a
4
1.4互通性举例
考察具有两个吸收壁的随机游动，E＝{0,1,2,3,…,a}它的一
步转移概率矩阵为
1 0
q
0
p
q0p
P
.
.
.
...
...
...
...
...
...
j
1 Mj
而且i可由下述关系式唯一地确定
i 1
j ip ij
i
i
16
4.2 遍历性
如果齐次马氏链的一个状态j是非周期、正常返 的，则此状态j为遍历的。 如果一个不可约的马氏链所有状态均为遍历的， 则此马氏链就是遍历链。（修正书 25页）
遍历链
平稳分布：存在、与 初始分布无关、唯一、
且全部都大于0
17
5 .1离散时间马尔可夫链性质举例
S={0,1}
a
1-a
0
1
1-b
b
状态数有限 不可约（两两互通） 非周期（有自环） 正常返（状态有限，不可约） 遍历（不可约，非周期，正常返）
18
5 .2离散时间马尔可夫链性质举例
S={0,1,2,3….}
p
p
p pp
p
0
1
2
3
n
1-p 1-p 1-p 1-p 1-p 1-p 1-p
状态数无限 不可约 非周期 常返性要看p的取值
19
5 .3离散时间马尔可夫链性质举例
有 p33 1
1
0
1
2
3
可约（ 为吸收态） 非周期 非常返 正常返 遍历的 此马氏链不是遍历的
20
5.4离散时间马尔可夫链性质举例
S={0,1,2,3}
0
1
2
3
状态个数有限 不可约 周期 d0=d1=d2=d3=3 正常返 不是遍历链
1. 平均返回时间
Mj nfj(n) n1
jS
若fj=1，同时Mj=，则称j是零常返的或消极 常返的； 若fj=1，同时Mj<，则称j是正常返的或积极 常返的。 2. 若j是正常返且非周期的，则称j是遍历的
12
3.4 常返性举例
p
p
p pp
p
0
1
2
3
n
q
q
q
qq q q
p+q =1 p<q 正常返 p=q 零常返 p>q 非常返
15
定理2.4
4.1 遍历性
若马氏链X是齐次，不可约，非周期的，那么下列极限
i lni m i(n)
iE
总存在且与初始分布无关。此外，或者
A）所有状态全为非常返或者全为零常返，这是对一切j，
j=0，且不存在平稳分布。或者
B）所有状态全为正常返，且对一切j有j>0，这时{j}就 是平稳分布，同时有
定理2.1
若ij，则di=dj
1j
i
1
（书 第20页）
1k1 1/3 jli12/3 1 k
8
2 .2周期性
如何判别一个状态是非周期的？
若此状态带有自环，则必为非周期的（虽然非周期 的状态不一定有自环）
若此状态与一个非周期的状态互通，则必为非周期 的
以上是两个充分条件
我是非周期的， 因为我有自环
1/4
引入符号
f (n) j
fj
1. fj(n )P (从 状 态 j出 发 经 过 n 步 第 一 次 回 到 状 态 j)
P (X nj,X kj,1kn|X 0j)
2.
fj
f(n) j
n1
P(从状态j出发经能够回到状态j)
3. 若fj=1，则称j是常返的；若fj<1则称j是非常返的
11
3.3 常返性定义
第二节 离散时间马尔可夫链的几个性质
1 互通性 2 周期性 3 常返性 4 遍历性
1
1 .1互通性
若对某一n1，有
p (n) ij
0
，则称系统X可以自
状态I到达状态j，并记ij。如果ij，并且ji，
则状态i与j互通，并记为ij
若对一切n1，有
p (n) ij
0
或
p (n) ji
0
，或两式
均成立，则称状态i与j不通
（书 第18页）
2
1 .2互通性
互通性的性质
自反律： i i (假定每个状态0步转移到自己) 对称律： i j 当且仅当j i 传递律： i k 且k j，则i j
i
j
i与j不通
i
k
j
i，j，k互通
3
1.3互通性举例
考察具有两个吸收壁的随机游动，E＝{0,1,2,3,…,a}它的 一步转移概率矩阵为