随机过程 第三章 马尔科夫连资料

为马尔可夫链的n步转移矩阵。规定
p
(0) ij
0, i j 1, i j
例题 设马尔可夫链{Xn,n∈T}有状态空间I={0,1}，其一步转移概率矩阵为
p00 P p 10
求
p01 p11
10
P{X m2 0 | X m 0} 和两步转移概率矩阵P(2)
则称{Xn,n∈T}为马尔可夫链，简称马氏链
3
定义 称条件概率
pij (n) P{X n1 j | X n i}
为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。
定义 若对任意的i,j∈I，马尔可夫链{Xn,n∈T}的转移概率与n无关，则称马尔 可夫链是齐次马尔可夫链。我们只讨论齐次马氏链。
第三章 马尔可夫链
1. 2.
3.
4. 5. 6.
马尔可夫链定义 一步转移概率及多步转移概率 初始概率及绝对概率 Chapman-Kolmogorov方程 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布
1
马尔可夫过程
设随机过程 X (t ), t T , 其状态空间为I , 对参数集T中任意n个数值t1 t2
4
设P表示一步转移概率所组成的矩阵，则
p11 p12 p1n P p p p 2n 21 22
称为系统状态的一步转移概率矩阵，它具有如下性质：
1 、pij 0, i, j I
2、
p
jI
ij
1, i, j I
1
2
3
4
5
7
例：排队模型 设服务系统由一个服务员和只可以容纳两个人的等候室组 成。服务规则为：先到先服务，后来者需在等候室依次排队， 假设一个需要服务的顾客到达系统时发现系统内已有3个顾客， 则该顾客立即离去。 设时间间隔⊿t内有一个顾客进入系统的概率为q，有一接 受服务的顾客离开系统(即服务完毕)的概率为p,又设当⊿t充分 小时，在这时间间隔内多于一个顾客进入或离开系统实际上是 不可能的，再设有无顾客来到与服务是否完毕是相互独立的。
p j (n)
pj
(n) p (n 1) p
满足上述两个性质的矩阵称为随机矩阵。
5
例：(0-1传输系统)
X0 1 X1
2
X2
…
Xn-1
n
Xn
…
如图所示，只传输数字0和1的串联系统中，设每一级的传真率为p， 误码率为q=1-p。并设一个单位时间传输一级，X0是第一级的输入， Xn是第n级的输出(n≥1)，那么{Xn,n=0,1,2…}是一随机过程， 状态空间I={0,1}，而且当Xn=i为已知时，Xn+1所处的状态的概率分布 只与Xn=i有关，而与时刻n以前所处的状态无关，所以它是一个马氏 链，而且还是齐次的。
P X (tn ) xn | X t1 x1 X tn1 xn1 PX (tn ) xn | X tn1 xn1
tn , n 3, ti T
则称过程 X (t ), t T 具有马尔可夫性或无后效性， 并称此过程为马尔可夫过程。
6
例：一维随机游动。设一醉汉Q(或看作一随机游动的 质点)在直线上的点集I={1,2,3,4,5}作随机游动， 游动的概率规则是：如果Q现在位于点i(1<i<5)， 则下一时刻各以1/3的概率向左或向右移动一格， 或以1/3的概率留在原处；如果Q现在处于1(或5) 这一点上，则下一时刻就以概率1移动到2(或4)这点上， 1和5这两点称为反射壁，这种游动称为带有两个反射壁 的随机游动。
将来的状态只与当前状态有关，与过去状态无关义
时间和状态都离散的马尔可夫过程称为马尔可夫链
定义：设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的 i0,i1, …,in+1∈I，条件概率满足
P{ X n 1 in 1 | X 0 i0 , X 1 i1 ,, X n in } P{ X n 1 in 1 | X n in }
定理 设{Xn,n∈T}为马尔可夫链，则对任意整数n≥0，0≤l<n和 (n) i,j∈I，n步转移概率 pij 具有下列性质：
1 、p
(n) ij
p
kI
(l ) ik
p
( n l ) kj
ChapmanKolmogorov方程
( n) 2、pij k1I
kn1I

pik1 pk1k2
定义： 称 p j P{X 0 j}, ( j I ) 为马尔可夫链的初始分布； 称 { p j , j I} 为马尔可夫链的初始分布； 称 PT (0) ( p1 , p2 ,)为马尔可夫链的初始概率向量。
12
定理 设{Xn,n∈T}为马尔可夫链，则对任意j∈I和n≥1，绝对概率pj(n)具有下 列性质： 1. 2. 3. 4.
bi , j i 1 pij ri , j i a , j i 1 i
9
定义
( n) 称条件概率 pij P{X mn j | X m i}, i, j I , m 0, n 1
为马尔可夫链{Xn,n∈T}的n步转移概率，并称
( n) P(n) ( pij )
pkn1 j
3、P( n ) PP( n1)
4、P ( n ) P n
11
定义：
称 p j (n) P{X n j}, ( j I ) 为时刻n马尔可夫链的绝对概率； 称 { p j (n), j I } 为马尔可夫链的绝对分布； 称 PT (n) { p1 (n), p2 (n),}, n 0 为n时刻的绝对概率向量。
服务台
随机到达者
等候室
离去者
系统
8
例：生灭链 观察某生物群落，以Xn表示在时刻n群体的数目，设为i个数 量单位，如在时刻n+1增加到i+1个数量单位的概率为bi，减 灭到i-1个数量单位的概率为ai，保持不变的概率为 ri=1- ai - bi ，则 {Xn，n>=0}为齐次马尔科夫链，其转移概率为