第七讲 马尔可夫链

而存在n使得 p01 (n) 0 ，故状态“0”可以到达 状态“1”。
2016/12/2
《随机信号分析》教学组
15
2．状态的分类
为了对马氏链进行分类，需要明白马氏链存在哪些状态， 哪些是暂时出现（最多有限次到达），哪些永恒出现（无限 次到达）。
设 {X (n), n 0,1, 2, } 为一马氏链，对任一状态i 与j，称
2 pq p2 q2
8
2016/12/2
《随机信号分析》教学组
(4) 初始分布与绝对分布
为了完整的描述一个随机过程，需要给出任意 有限维概率函数。 对于马氏链的任意有限维概率函 数完全由初始分布和转移概率矩阵来描述。 设 { X (n), n 0,1, 2, } 为一马氏链，其状态空间
均有
pi (n) 0
p (n) 1
iE i
则称 { pi (n), i E} 为该马氏链的绝对分布，也称 绝对概率。
2016/12/2
《随机信号分析》教学组
10
定理
马氏链的绝对概率由初始分布和相应的转移概 率唯一确定。 利用C-K方程，则n步转移矩阵可由一步转移 矩阵唯一确定。
推论
《随机信号分析》教学组
马尔可夫
马尔可夫过程的分类：
T表示时间空间 E表示状态空间
1 2 3 4
T连续，E连续——连续马尔可夫过程 T连续，E离散——离散马尔可夫过程 T离散，E连续——马尔可夫序列 T离散，E离散——马尔可夫链
2016/12/2
《随机信号分析》教学组
2
马尔可夫链
1 马尔可夫链的定义 设 {X n , n 1, 2, } 为一随机序列，其状态空间为
0 pij (n) 1
p N 2 ( n)
p
j 1
N
ij
( n) 1
为了数学处理便利，通常规定
2016/12/2
1 i j pij (m, m) P{X m a j | X m ai } ij 0 i j
《随机信号分析》教学组
6
(3)
Tij min{ n, X 0 i, X n j, n 0}
为 {X (n), n 0,1, 2, } 自状态i出发首次进入状态j的时 刻，或称为自i到j的首达时。
Tij 是一随机变量。
如果 X n 可能永不取值j，规定 Tij 。
2016/12/2
《随机信号分析》教学组
2016/12/2
《随机信号分析》教学组
13
相通：若自状态i可达状态j，同时自状态j也可达状态 i，则称状态和状态相通，记为 i j 。 相通具有以下等价关系： （1）若 i （2）若 i
j ，则 i i j ，则 j i
自返性 对称性 传递性
（3）若 i r ，r j ，则 i j
2016/12/2
《随机信号分析》教学组
9
当 n 1 时，马氏链处于状态i的概率称为绝对概率或绝对分布。
设 { X 态空间
E {0,1,2, } 或为有限子集。 令 pi (n) P[ X (n) i], i E ，且对任意的 i E
表示马氏链由状态 ai 经过n步转移到 a j 的概率。 由所有n步转移概率 pij (n) 构成n步转移概率矩阵
p11 (n) p ( n) P(n) 21 p N 1 ( n) p12 (n) p 22 (n) p1N (n) p 2 N ( n) p NN (n)
马氏链的绝对概率由初始分布和一步转移概率 唯一确定。
2016/12/2
《随机信号分析》教学组
11
转移图（状态转移图与概率转移图）
状态转移图就是在一张图中，首先将马氏链所具有的 各个状态一一标出，然后用标有箭头的连线将各个状态连 接起来，箭头所指的状态，就是箭尾所连接的状态一步能 够达到的状态，若在连线上再标出一步转移概率，就构成 了概率转移图。 有了概率转移图，为状态的连通性、可达性、常返性 以及马氏链的可约性提供方便。
pii1 pi1i2 pin1 j , n 1
i1 j in1 j
从而
fij (1) pij P[ X 1 j | X 0 i ] fij () P[ X m j , 对一切m | X 0 i ]
2016/12/2
《随机信号分析》教学组
1.6 马尔可夫（Markov）过程
马尔可夫过程是一类重要的随机过程。在实 际应用中，它是许多工程问题和物理现象的数学 模型。因此广泛应用在物理学、生物学、通信、 信息和信号处理、语音处理以及自动控制等领域。 当已知随机过程在时刻 t i 所处的状态的条件下， 过程在时刻 t ( t i ) 所处的状态与过程在时刻 t i 以前 的状态无关，而仅与过程在 t i 所处的状态有关，则 称该过程为马尔可夫过程。这种特性称为随机过程的 “无后效性”或马尔可夫性。
《随机信号分析》教学组
4
(1) 一步转移概率 在齐次条件下，令 pij (m, m k ) P[ X mk a j | X m ai ] 中 k 1 则 pij (1) pij (m, m 1) pij
称为一步转移概率。
由所有一步转移概率 pij 构成的矩阵
p11 p P 21 p N1 p12 p 22 pN 2 p1N p2 N p NN
f ij () P{Tij } 1 f ij
0 f ij (n) f ij 1
2016/12/2
《随机信号分析》教学组
18
定理
对任何状态 i, j E, n 1，有
pij (n) f ij (l ) p jj (n l )
l 1
n
说明：马氏链从状态i出发经过n步转移到状态j的概率： 从i出发经过l步首次到达状态j，在从状态j出发经过n-l 步转移又到了状态j（l 1, 2,..., n ），这些事件的概率 之和。
0 pij 1
p
j 1
N
ij
1
称为一步转移概率矩阵，简称转移概率矩阵。
2016/12/2
《随机信号分析》教学组
5
(2) n步转移概率 在齐次条件下，令 pij (m, m k ) P[ X mk a j | X m ai ]
中k n 则
pij (n) pij (m, m n) P[ X mn a j | X m ai ]
E {a1 , a2 , , a N } ，若对于任意的 n ，满足
P{ X n ai ( n ) | X n1 ai ( n1) , X n2 ai ( n2) , , X 1 ai (1) } P{ X n ai ( n ) | X n1 ai ( n1) }
如果马尔可夫链的所有状态都是相通的，则这样 的马尔可夫链为不可约的。
2016/12/2
《随机信号分析》教学组
14
例 设一两状态 E {0,1} 马氏链具有以下转移 概率矩阵 1 1
p00 P p10 p01 2 p11 0 2 1
讨论其状态的到达特性。
表明在 t m 时刻出现 X m ai 的条件下，tm k时刻出 现 X mk a j 的条件概率。
pij (m, m k ) 不仅与 i, j , k 有关，而且与m有关。
若与m无关，则称该马氏链为齐次马氏链，此时
pij (m, m k ) 表示为 pij (k ) 。
2016/12/2
16
设 {X (n), n 0,1, 2, } 为一马氏链，对任一状态i与j，
称
fij (n) P[Tij n | X 0 i]
为 {X (n), n 0,1, 2, } 自状态i出发经过n步首次进入状
态j的概率。
显然有 fij (n) P[ X n j ; X m j , m 1, 2, , n 1| X 0 i ]
解 系统每一级的输入状态和输出状态构成一个两状态的 马氏链，其一步转移概率矩阵为
p 00 P p10 p 01 p p11 q q p
于是，两级传输时的概率转移矩阵等效于两步转移概 率矩阵为
2 2 p q p q p q P(2) P 2 q p q p 2 pq
如果 f jj 1 ，则称状态j是常返的。 如果 f jj 1 ，则称状态j是非常返的(或称为瞬时的)
P(k ) P(1)P(k 1) [P(1)]k (P) k
即任意k步转移概率矩阵可由一步转移概率矩阵自乘 k次来得到。
2016/12/2
《随机信号分析》教学组
7
例
在某数字通信系统中多级传输0、1两种数字信号。由 于系统中存在干扰，在任一级输入0、1数字信号后， 其输出不产生错误的概率为p，产生错误的概率为q=1p，求两级传输时的概率转移矩阵。
(i 1,2, , N )
则称 { X n }为马尔可夫链（简称马氏链）。 表示n-1时刻 tn 1的状态是ai ( n1)
2016/12/2
《随机信号分析》教学组
3
2 马尔可夫链的转移概率及性质
pij (m, m k ) P[ X mk a j | X m ai ]
解 要讨论这一马氏链两个状态的到达性，可先求出它 的n步转移概率矩阵。由于
p00 (n) n P p10 (n)
n 1 n p01 (n) ( 1 ) 1 ( 2 2) p11 (n) 0 1
对于所有的n, p10 (n) 0 ，故状态“1”不能到达 状态“0”；