随机过程 第4章 马尔可夫链
4.马尔可夫链1
qr p
i 1
p,
pij
r, q,
0,
i i 1
j i 1 j i j i 1 其它
其一步转移概率矩阵为
i 2 i 1 i i 1... ... ...
... ... ... ... ... ... ... ... ... ... q r p 0 0 ... 0 ... i 1 ... 0 q r p 0 ... 0 ... i ... 0 0 q r p ... 0 ... i 1 ... ... ... ... ... ... ... ... ...
（时间离散、状态连续的马尔可夫过程，通常用泛函中 二元函数的范数进行研究）
例1 独立过程 X t,t T 是马尔可夫过程
证 设Xt,t T是独立过程，对于t1 t2 ... tn T,
X t1, X t2 ,..., X tn 相互独立，因此
P X tn xn X t1 x1, X t2 x2,..., X tn1 xn1 =P X tn xn =P X tn xn X tn1 xn1
率r原地不动。若以 X n 表示时刻 n 时质点的位置，
则X n，n 0,1, 2，...是一个随机过程。而且当
X n i 时，X n+1，X n+2，...，X n+k,...等 n时刻后质点所处的状态，只与X n i 有关，而与
质点在n以前是如何到达i的完全无关。所以它是一
个齐次马尔可夫链，其状态空间为I= ,-2,-1,0,1,2,
则称 Xn,nT 为马尔可夫链.
定义4.1 设有随机过程Xn ,n T，若
对于任意的整数n T和任意的 i0,i1,...,in1 I 条件概率满足
随机过程报告——马尔可夫链
马尔可夫链马尔可夫链是一种特殊的随机过程，最初由A.A .M arkov 所研究。
它的直观背景如下:设有一随机运动的系统E (例如运动着的质点等)，它可能处的状态记为,....E ,...,E ,E n 10总共有可数个或者有穷个。
这系统只可能在时刻t=1,2,…n,…上改变它的状态。
随着∑的运动进程，定义一列随机变量Xn,n=0,1, 2, ⋯其中Xn=k ，如在t=n 时，∑位于Ek 。
定义1.1 设有随机过程}{T n X n ∈，，若对任意的整数T n ∈和任意的,,...,110I i i i n ∈+条件概率满足}i {},...,i X i {1n 10001n 1n n n n n n i X X P i X X P ======++++ 则称}{T n X n ∈，为马尔可夫链，简称为马氏链。
实际中常常碰到具有下列性质的运动系统∑。
如果己知它在t=n 时的状态，则关于它在n 时以前所处的状态的补充知识，对预言∑在n 时以后所处的状态，不起任何作用。
或者说，在己知的“现在”的条件下， “将来”与“过去”是无关的。
这种性质，就是直观意义上的“马尔可夫性”，或者称为“无后效性”。
假设马尔可夫过程}{T n X n ∈，的参数集T 是离散时间集合，即T={0,1,2,…},其相应Xn 可能取值的全体组成的状态空间是离散状态空间I={1,2,..}。
定义1.2 条件概率}{P 1)(i X j X p n n n ij ===+称为马尔可夫链}{T n X n ∈，在时刻n 的一步转移矩阵，其中i ，j ∈I ，简称为转移概率。
一般地，转移概率)(P n ij 不仅与状态i,j 有关，而且与时刻n 有关。
当)(P n ij 不依赖于时刻n 时，表示马尔可夫链具有平稳转移概率。
若对任意的i ，j ∈I ，马尔可夫链Xn,n ∈T}的转移概率)(P n ij 与n 无关，则称马尔可夫链是齐次的。
随机过程习题集-第四章马尔可夫过程
1第四章 马尔可夫过程内容提要1. 马尔可夫过程的概念 （1）马尔可夫过程给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<<∈n n t t t T ，有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。
称(){}:,==∈E x X t x t T 为状态空间。
参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链，称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布，记为0P ，称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链，如果其一步转移概率()ij p n 恒与起始时刻n 无关，记为ij p ，则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。
若{}(),0,1,2,=X n n2是离散参数齐次马氏链，则其k 步转移概率记为(),i j p k ，一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若对一切状态i ，j ，存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布，或称为最终分布，记为{},j j E ∏=∈π（6）离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若存在{v j , j ∈E } 满足条件：1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的，称 { v j , j ∈E } 为此马氏链的平稳分布。
马尔可夫链
例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}， 转移概率矩阵为
1 2
1
2
0 0
0
1 2
1 2
0
0
0
P 0 0 1 0 0
3 / 16 . 1/ 4
于是: (1) P{X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0} 1 5 5 ;
3 16 48
2020年5月21日星期四
(2)P{X2 1}
P{X0 0}P{X2 1 | X0 0} P{X0 1}P{X2 1 | X0 1}
显然有
p(n) 11
p(n) 21
P(n)
p(n j1
)
L
p(n) 12
p(n) 22
p(n) 1j
L
p(n) 2j
L
p(n) j2
p(n) jj
L
LL
L
(1)
0
p(n) ij
1
(2)
p(n) ij
1,
i
1,
2,L
j
2020年5月21日星期四
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
的矩阵
p11 p21
P
L
pj1 L
p12 L p22 L LL pj2 L LL
p1 j L
p2 j L
L
L
p jj L
L L
称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,L
j
2020年5月21日星期四
3、马尔可夫链举例
随机过程第四章马尔可夫链
0,
p(n) ij
1, i,
jI
jI
即P(n)也为随机矩阵.
当n
1时,
p (1) ij
pij
,
P (1)
P
当n
0时,规定pi(j0)
0 , i 1 , i
j j
13
4.1 马尔可夫链与转移概率
• 定理4.1 设{Xn, nT}为马尔可夫链, 则对任意 整数n0, 0l<n和i,jI, n步转移概率 p具i(jn) 有性
Ckx 0
pxqy ，
,
k ( j i)为偶数 k ( j i)为奇数
11
4.1 马尔可夫链与转移概率
例4.4 具有吸收壁和反射壁的随机游动状态空间 {1,2,3,4}, 1为吸收壁, 4为反射壁.
解：状态转移图
状态转移矩阵
1 3
1 0 0 0
1
1
3
1 1
3
1
1
1 1 1
1 3
1 3
2
P 3
5
4.1 马尔可夫链与转移概率
= =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。
6
4.1 马尔可夫链与转移概率
定义 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔 可夫链{Xn, nT}在时刻n的一步转移概率,简 称转移概率,其中i,jI.
P{X 0 i}P{X1 i1 | X 0 i} iI
P{X 2 i2 | X1 i1} P{X n in | X n1 in1}
第四章马尔可夫链
i1
Pi , j 0
j . i 1 ,i-1 , i 1
1 0 0 0 0 . .
q
0
p
0
0
.
.
0 q 0 p 0 . .
P
0
0
q
0
p
.
.
0 0 0 q 0 . . . . . . . . .
.
例题：带2个吸收壁的随机游动
质点在数轴上移动，规律同上例。随机游动的状态 空间I={0,1,2…a}, 其中0和a为吸收态 。求一步转移p12 p1n Pp21 p22 p2n
称为系统状态的一步转移概率矩阵，它具有 如下性质：
1. pij 0, i, jI
2. pij 1, i, jI jI
满足上述两个性质的矩阵成为随机矩阵
.
定义4.4
称条件概率 p i(n ) j P { X m n j|X m i}i,j I,m 0 ,n 1 为马尔可夫链{Xn,n∈T}的n步转移概率，并称
0 1 1
.
马尔可夫链的状态分类
周期、非周期 常返、非常返
其中，常返分为正常返、零常返 非周期的正常返称为遍历状态
到达和互通
.
设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}， 状态转移图如下图
8
9
2
7
1
3
6
5
4
观察状态1
.
定义4.6 如集合{n: n≥1,pii(n)>0}非空，则称该集合的 最大公约数d=d(i)=G.C.D{n:pii(n)>0}为状态i 的周期。如d>1就称i为周期的，如d=1就称i 为非周期的。
.
随机过程课件-马尔可夫链
对于不可约的马尔可夫链，其极限分 布是遍历的，即极限分布与初始状态 无关。
05
马尔可夫链的模拟与实现
随机数生成
伪随机数生成器
使用数学公式和种子值生成一系列近似 随机的数列。
VS
真随机数生成器
利用物理现象（如电路噪音）产生真正的 随机数。
马尔可夫链蒙特卡洛方法
采样分布
通过多次重复模拟马尔可夫链的路径来估计 某个事件的概率或某个参数的值。
收敛性
随着模拟次数的增加，估计值逐渐接近真实 值。
马尔可夫链在决策分析中的应用
要点一
决策树
要点二
强化学习
将马尔可夫链应用于决策分析中，帮助决策者评估不同策 略的风险和收益。
在强化学习中，马尔可夫链用于描述环境状态转移和奖励 函数。
06
马尔可夫链的扩展与改进
时齐马尔可夫链
定义
时齐马尔可夫链是指时间 参数为离散的马尔可夫链 ，其状态转移概率不随时 间而变化。
遍历性是马尔可夫链达到平稳分布的必要条件之一，也是判 断马尔可夫链是否具有唯一平稳分布的重要依据。
03
马尔可夫链的转移概率
转移概率的定义与性质
定义
马尔可夫链中，给定当前状态$i$，未来状态$j$在某个时间步长内发生的概率称为转移 概率，记作$P(i,j)$。
性质
转移概率具有非负性、归一性和时齐性。非负性指$P(i,j) geq 0$；归一性指对于每个 状态$i$，所有可能转移到该状态的转移概率之和为1，即$sum_{ j} P(i,j) = 1$；时齐性
周期性会影响马尔可夫链的平稳分来自的性质和计算。状态空间的分解
状态空间的分解是将状态空间划分为若干个子集，每个子集内的状态具有相似的 性质和转移概率。
4马氏链
可见,｛Xn,n=0，1，2,…｝是一个马氏链。
Pij ( m , m + n)∆ P { X n + m = j | X m = i}
称为马氏链在时刻 m 系统处于状态 i 的条件下，在时 刻 m+n 转移到状态 j 的转移概率。
2．转移概率的性质
(1) Pij≥0；
(2)
∑ P (m , m + n) = 1, i = 0,1, 2,⋯
对任意的 n 及 i 0 , i 1 , ⋯ , i n , i n + 1 ∈ x ,
P {X n +1 = i n +1 X 0 = i 0 , X 1 = i1 , ⋯ , X n = i n } 0 i n+1 > i n =1 = P{X n+1 = i n+1 | X n = i n } i n +1 ≤ i n in
马尔可夫链及其概率分布 引言
直观上，过程（或系统）在时刻t0所处的状态为已 知的条件下,过程在时刻t＞t0所处状态的条件分布与过 程在时刻t0之前所处的状态无关。 用分布函数表达此性质，设随机过程{X(t),t∈T}， 状态空间为χ，若对于t 的任意n个值t1<t2<…<tn,n≥3, 有
P {X ( t n ) ≤ xn X ( t1 ) = x1 , X ( t 2 ) = x 2 , ⋯ , X ( t n−1 ) = x n−1 }
条件下， 即在 X ( t i ) = x i , i = 1,2,⋯ , n − 1条件下，X ( t n )的条件分 布函数等于在条件 X ( t n−1 ) = x n−1下X ( t n )的条件分布函 数。
则称过程{X(t),t∈T}具有马尔可夫性，或称 {X(t),t∈T}为马尔可夫过程。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
C-K方程
k n 1 I
p ik 1 p k1 k 2 p k n 1 j
( 3 ) P ( n ) P P ( n 1 ) (4) P (n) P n
初始概率和绝对概率
初始概率：
p j P{ X 0 j}, ( j I )
绝对概率：
p j ( n ) P{ X n j}, ( j I )
初始分布：
{ p j} { p j , j I}
绝对分布：
{ p j ( n )} { p j ( n ) , j I }
初始概率向量：
P (0) p1 , p 2 ,
T
绝对概率向量：
P T ( n ) p1 ( n ), p 2 ( n ), , ( n 0)
绝对概率 pj(n) 的性质
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数 n 1 和 j I ，绝对概率 pj (n) 具有下列性质：
(1) p j ( n ) (2) p j (n)
i I
(n) p i p ij
i I
p i ( n 1) p ij
描述马氏链的三种方式
（1）状态转移图
1 1/3 1/3 1/3 1/3 1/3
①
吸收壁
②
③
1
④
1/3 反射壁
（2）转移概率矩阵
0 0 0 1 1 / 3 1 / 3 1 / 3 0 P 0 1 / 3 1 / 3 1 / 3 0 1 0 0
pij = f ( i , j )
n
k 0
f ij( n k ) p (jjk )
上式可用来求从状态 i 经 n 步首次到达状态 j 的概率：
(n) f ij( n ) p ij f ij( k ) p (jjn k ) k 1 n 1
周期的等价定义
G .C .D {n : n 1, p
(n) ii
f ij
f
n 1
(n) ij
0 f ij( n ) f ij 1
常返性的定义
1) 若 fii = 1，则称状态 i 是常返的；若 fii < 1，则称
状态 i 是非常返的（或滑过的）。
2) 称期望值 i
(n) n f ii 为状态 i 的平均返回时间。 n 1
0}
G .C .D {n尔可夫链的状态空间 I = {1, 2, 3}，其 转移概率矩阵为
0 P q2 p3
p1 0 q3
q1 p2 0
①
p3
③
q1 q2 q3 p2
p1
②
求从状态1出发经n步转移首次到达各状态的概率。 解：
f
(n) 12
( q1 p 3 ) m 1 q1 q 3 , m ( q1 p 3 ) p1 ,
n 2m, m 1 n 2 m 1, m 0
(n) f13
( p1 q 2 ) m 1 p1 p 2 , n 2 m , m 1 m n 2 m 1, m 0 ( p1 q 2 ) q1 ,
马尔可夫链的统计特性完全由以下条件概率所决定：
P{ X n 1 in 1 X n in }
转移概率
[定义] 称条件概率
pij ( n ) P{ X n 1 j X n i}
为马尔可夫链 { Xn , n T } 在时刻 n 的一步转移概 率，其中 i , j I ，简称为转移概率。
( 2 ) P{ X n 2 c X n b} 1 (2) Pbc 6
P ( 2)
17 30 2 8 P 15 17 30
9 40 3 10 3 20
5 24 1 6 17 90
4.2 马尔可夫链的状态分类
设 { Xn , n >0 } 是齐次马尔可夫链，其状态空间 I = { 0, 1, 2, … }，转移概率是 pij ， i , j I ，初始分布 为 { Pj , j I } 。
（3）函数表达式
[例3] 设{ Xn , nT }是一个马尔可夫链，其状态空 间 I = {a, b, c}，转移矩阵为
1 / 2 1 / 4 1 / 4 P 2 / 3 0 1 / 3 3 / 5 2 / 5 0
求： (1) P{ X 1 b , X 2 c , X 3 a , X 4 c X 0 c};
8 1 9 2 1 1 6 1 5 2/3 1/3 1 4 1
1 7
1
1 3
（1）状态的周期性
[定义] 如集合 { n : n 1, pii(n) > 0 } 非空，则称该集合 的最大公约数 d = d(i) = G.C.D{ n : pii(n) > 0 }为状态 i 的周期。 如 d > 1 就称 i 为周期的；如 d = 1 就称 i 为非周期的。 [定理] 如果状态 i 的周期为d ，则存在正整数 M，对一 切 n M ，有 pii(nd) > 0 。
i I
p i p ii1 p i n 1i n
马尔可夫链的有限维分布完全由它的初始概率和 一步转移概率所决定。
马尔可夫链的几个简单例子
[例1] 二进制对称信道模型——是常用 于表征通信系统的错误产生机制的离 散无记忆信道模型。假设某级信道输 入 0, 1 数字信号后，其输出正确的概 1 率为p，产生错误的概率为q，则该级 信道输入状态和输出状态构成一个两 状态的齐次马尔可夫链。 一步转移概率矩阵： p q P q p 0
3) 若 i < ，则称常返态 i 是正常返的；
若 i = ，则称常返态 i 是零常返的。
4) 非周期的正常返态称为遍历状态。
p
(n) ij
与 f
(n) ij
的关系
[定理] 对任意状态 i , j I 及 1 n < ，有
(n) p ij
n
k 1
f ij( k ) p (jjn k )
( 2 ) P{ X n 2 c X n b}
解：
(1)
1 / 2 1 / 4 1 / 4 P 2 / 3 0 1 / 3 3 / 5 2 / 5 0
P{ X 1 b, X 2 c , X 3 a , X 4 c X 0 c} P{ X 0 c , X 1 b, X 2 c , X 3 a , X 4 c} / P{ X 0 c} P{ X 4 c X 3 a} P{ X 3 a X 2 c} P{ X 2 c X 1 b} P{ X 1 b X 0 c} P{ X 0 c} / P{ X 0 c} Pac Pca Pbc Pcb 1 3 1 2 1 4 5 3 5 50 二步转移概率矩阵：
p q q p
0 1
p, i j pij q, i j (i , j 0,1)
二步转移概率矩阵：
P
( 2)
2 2 p q P2 2 pq
2 pq 2 2 p q
[例2] （例4.4）具有吸收壁和反射壁的随机游动
设质点在线段 [1,4] 上作随机游动。假设它只能在时刻 nT 发生移动，且只能停留在1,2,3,4点上。当质点转移 到2,3点时，它以1/3的概率向左或向右移动一格，或停 留在原处。当质点移动到点 1 时，它以概率 1 停留在原 处。当质点移动到点4时，它以概率1移动到点3。若以 Xn 表示质点在时刻 n 所处的位置，则{ Xn , n T }是一 个齐次马尔可夫链。
（2）状态的常返性
首中概率——状态 i 经 n 步首次到达状态 j 的概率：
f ij( n ) P{ X m n j , X m v j , 1 v n 1 X m i}, n 1
f ij( 0 ) 0
系统从状态 i 出发，经有限步迟早会（首次）到达 状态 j 的概率：
第4章 马尔可夫链
内容提要
马尔可夫链的概念及转移概率 马尔可夫链的状态分类 状态空间的分解 pij(n) 的渐近性质与平稳分布
马尔可夫过程的四种类型
马尔可夫链
时间、状态都离散 时间离散、状态连续 时间连续、状态离散 时间、状态都连续
马尔可夫序列
纯不连续马尔可夫过程
连续马尔可夫过程（或扩散过程）
(3) P T ( n ) P T ( 0 ) P ( n ) ( 3 ) P T ( n ) P T ( n 1) P
有限维概率分布
[定理] 设 { Xn , n T } 是马尔可夫链，则对任意 n 1和 i1 , … , in I ，有
P X 1 i1 , , X n i n
7.1 马尔可夫链的概念及转移概率
[定义] 设有随机过程 { Xn , n T }， 若对于任意的整 数n T 和任意的 i0, i1, …, in+1 I ，条件概率满足
P{ X n 1 in 1 X 0 i0 , X 1 i1 , , X n in } P{ X n 1 in 1 X n in }
n 步转移概率 p 的性质
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数
(n) n 0, 0 l < n 和 i , j I ，n 步转移概率 pij 具有下
(n) ij
列性质：
(n) (1) p ij