马尔科夫过程

设子序列
{ X r , X r 1 , , X r m } { X n , X n 1 , , X 1 }
则有
f X ( xr , xr 1 , , xr m ) f X ( xr | xr 1 , xr 2 , xr m ) f X ( xr 1 , xr 2 , xr m )
证毕
4、 如果条件概率密度 是齐次的。
f X ( xn | xn1 )
与 n 无关，则称该马尔可夫序列
5、 如果一个马尔可夫序列是齐次的，并且所有的随机变量 X n 具有相同的概率密度，则称该马尔可夫序列是平稳的。
6、 对于 n r s, 马尔可夫序列的转移概率满足
f X ( xn | xs ) f X ( xn |xr ) f X ( xr | xs )dxr
f X ( xr | xr 1 ) f X ( xr 1 | xr 2 ) f X ( xr m1 | x r m ) f X ( xr m )
所以子序列 { X r , X r 1 , , X r m } 也是马尔可夫序列。
2、 一个马尔可夫序列按其相反方向组成的逆序列仍为马尔可夫序 列。即对于任意的整数n和k,有 f X ( xn | xn1 , , xn k ) f X ( xn | xn1 )
iE iE
iE
iE
即:绝对概率 p j (n)由初始概率 { pi (0), i E} 及n步转移概率 { pij (n), i E}唯 利用C-K方程，则n步转移矩阵可由一步转移矩阵唯一确定。 一确定。
5、
马尔科夫链的有限维分布
P{ X 0 ii0 , X 1 ii1 , , X n iin } P{ X 0 ii0 }P{ X n iin , , X 1 ii1 | X 0 ii0 }
由所有n步转移概率 pij (n) 可构成 n步转移概率矩阵
p11 (n) p ( n) P(n) 21 p N 1 ( n) p12 (n) p 22 (n) p1N (n) p 2 N ( n) p NN (n)
4．初始分布与绝对分布
定义 设 {X (n), n 0,1,2, } 为一马氏链，其状态空间
E {0,1,2, }
或为有限子集。令 pi (0) P{ X (0) i}, i E，且对任意的 i E ，均有 （1） pi (0) 0 （2） pi (0) 1
iE
则称 { pi (0), i E} 为该马氏链的初始分布，也称初始概率。初始 概率是马氏链在初始时间 n 0 时处于状态 i的概率。 当 n 1 时，马氏链处于状态i的概率称为绝对概率或绝对分布。 定义36 设 {X (n), n 0,1,2, } 为一马氏链，其状态空间 E {0,1,2, } 或为有限子集。令 pi (n) P{ X (n) i}, i E ，且对任意的 i E （1） pi (n) 0 （2） pi (n) 1
对于 n k l 步转移概率，有如下的切普曼-柯尔莫哥洛夫方程的 离散形式
pij (n) pij (k l ) pir (l ) p rj (k )
r 1 N
若用概率矩阵表示，有 P(n) P(l )P(k )
2 2 当 n 2 时，有 P(2) P(1)P(1) [P(1)] (P)
p j (n) P{ X (n) j} P{( X (n) j )( X (0) i )}
P{ ( X (n) j, X (0) i)} P{X (n) j, X (0) i}
iE
iE
iE
P{X (0) i}P{X (n) j | X (0) i} pi (0) pij (n)
证：因为
f X ( xn , xn1 , , xn k ) f X ( xn k | xn k 1 ) f X ( xn1 | xn ) f ( x ) X n
同理
f X ( xn1 , xn 2 , , xn k ) f X ( xn k | xn k 1 ) f X ( xn 2 | xn1 ) f X ( xn1 )
称为一步转移概率。由所有一步转移概率 p ij 构成的矩阵
称为一步转移概率矩阵，简称转移概率矩阵。 （1） 0 pij 1 （2）
p
j 1
N
ij
1
（二）n步转移概率 在齐次条件下， k n 时，可得到
n 步转移概率
pij (n) pij (m, m n) P{ X m n j | X m im }
定义33：若对于任意的n，有
f X ( xn | xn1 , xn2 , , x1 ) f X ( xn | xn1 )
则称此 X n 为马尔可夫序列。这一概率密度函数称为转移概率密度函数。 可以推出
f X ( x1 , x2 , , xn ) f X ( xn | xn1 ) f X ( xn 1 | xn2 ) f X ( x2 | x1 ) f X ( x1 )
p P 00 p10 p 01 p p11 q q p
于是，两级传输时的概率转移矩阵等效于两步转移概率矩阵为
p P ( 2) P q
2
q p p q
q p2 q2 p 2 pq
2 pq p2 q2
马尔可夫序列
一、马尔可夫序列的定义 设 X 1 , X 2 , , X n , 表示随机过程X (t ) 在 t 为整数时刻的取样的随机序 列，记为 {X (n), n 1,2, , n } 简记为 X (n)或 X n ），则可按以下方式定义马 （ 尔可夫序列。
P{ X n iin | X n 1 iin1 } P{ X 1 ii1 | X 0 ii0 }P{ X 0 ii0 }
iE
均有
则称 { pi (n), i E} 为该马氏链的绝对分布，也称绝对概率。
定理3 马氏链的绝对概率由初始分布和相应的转移概率唯一确定。
证：设 {X (n), n 0,1,2, }为一马氏链， 为状态集，则对任意 E
j E, n 1 时马氏链处于状态 j 的概率为
p j (1) P{ X (1) j} P{( X (1) j )( X (0) i )}
同理可推出，当 n k 时，有
P(k ) P(1)P(k 1) [P(1)] k (P) k
即任意 k 步转移概率矩阵可由一步转移概率矩阵自乘 k 次来得到。
例2-1 在某数字通信系统中多级传输0、1两种数字信号。由于系统中存 在干扰，在任一级输入0、1数字信号后，其输出不产生错误的概率为p， 产生错误的概率为q=1-p ，求两级传输时的概率转移矩阵。 解：系统每一级的输入状态和输出状态构成一个两状态的马氏链， 其一步转移概率矩阵为

此式就是有名的切普曼—柯尔莫哥洛夫方程（C-K方程）。
三、马尔可夫链
1、马尔可夫链的定义 定义：设
{ X n , n 1,2, } 为一随机序列，其状态空间
E {i1 , i2 , , iN }，若对于任意的
n
，满足
P{ X n 1 j | X n in , X n 1 in 1 , X n 2 in 2 , , X 1 i1} P{ X n 1 j | X n in }
马尔可夫过程
一、马尔可夫过程的概念
当已知随机过程在时刻 t i 所处的状态的条件下，过程在时刻 t ( t i ) 所 处的状态与过程在时刻 ti 以前的状态无关，而仅与过程在 t i 所处的状态 有关，则称该过程为马尔可夫过程。这种特性称为随机过程的“无后效 性”或马尔可夫性。 分为四类： 1 T和E都取连续集时，称为马尔可夫过程。 2 若T取连续集而E取离散集时，称为可列马尔可夫过程。 3 若T取离散集而E取连续集时，称为马尔可夫序列。 4 若T和E都取离散集时，称为马尔可夫链。状态可列的马尔可夫链称 为可列马尔可夫链；状态有限的马尔可夫链称为有限马尔可夫链。
根据条件概率定义和以上两式有
f X ( x n | x n 1 , , x n k )
f X ( x n | x n 1 )
f X ( x n , x n 1 , , x n k ) f (x | x ) f (x ) X n 1 n X n f X ( x n 1 , x n 2 , , x n k ) f X ( x n 1 )
iE
P{ ( X (1) j, X (0) i)} P{X (1) j, X (0) i}
iE
P{X (0) i}P{X (1) j | X (0) i} pi (0) pij (1)
iE
即: n 1 时,绝对概率 p j (1) 由初始概率 { pi (0), i E}及一步转移概率 { pij (1), i E}唯一确定。 当 n 2 时，绝对概率由下式确定：
则称 { X n } 为马尔可夫链（简称马氏链）。
(i 1,2, , N )
2、马尔可夫链的转移概率及性质
（一）
k 1 时，有 p ij (1) pij (m, m 1) pij
p11 p P 21 p N1 p12 p 22 pN 2 p1N p2 N p NN
证：因为
f X ( xn , xs | xr ) f X ( xn , xr , xs ) f X ( xn | xr ) f X ( xs | xr ) f X ( xr ) f X ( xr ) f X ( xr )