第四章马尔可夫链
合集下载
4.马尔可夫链1
而其一步转移概率为
qr p
i 1
p,
pij
r, q,
0,
i i 1
j i 1 j i j i 1 其它
其一步转移概率矩阵为
i 2 i 1 i i 1... ... ...
... ... ... ... ... ... ... ... ... ... q r p 0 0 ... 0 ... i 1 ... 0 q r p 0 ... 0 ... i ... 0 0 q r p ... 0 ... i 1 ... ... ... ... ... ... ... ... ...
（时间离散、状态连续的马尔可夫过程，通常用泛函中 二元函数的范数进行研究）
例1 独立过程 X t,t T 是马尔可夫过程
证 设Xt,t T是独立过程，对于t1 t2 ... tn T,
X t1, X t2 ,..., X tn 相互独立，因此
P X tn xn X t1 x1, X t2 x2,..., X tn1 xn1 =P X tn xn =P X tn xn X tn1 xn1
率r原地不动。若以 X n 表示时刻 n 时质点的位置，
则X n，n 0,1, 2，...是一个随机过程。而且当
X n i 时，X n+1，X n+2，...，X n+k,...等 n时刻后质点所处的状态，只与X n i 有关，而与
质点在n以前是如何到达i的完全无关。所以它是一
个齐次马尔可夫链，其状态空间为I= ,-2,-1,0,1,2,
则称 Xn,nT 为马尔可夫链.
定义4.1 设有随机过程Xn ,n T，若
对于任意的整数n T和任意的 i0,i1,...,in1 I 条件概率满足
qr p
i 1
p,
pij
r, q,
0,
i i 1
j i 1 j i j i 1 其它
其一步转移概率矩阵为
i 2 i 1 i i 1... ... ...
... ... ... ... ... ... ... ... ... ... q r p 0 0 ... 0 ... i 1 ... 0 q r p 0 ... 0 ... i ... 0 0 q r p ... 0 ... i 1 ... ... ... ... ... ... ... ... ...
（时间离散、状态连续的马尔可夫过程，通常用泛函中 二元函数的范数进行研究）
例1 独立过程 X t,t T 是马尔可夫过程
证 设Xt,t T是独立过程，对于t1 t2 ... tn T,
X t1, X t2 ,..., X tn 相互独立，因此
P X tn xn X t1 x1, X t2 x2,..., X tn1 xn1 =P X tn xn =P X tn xn X tn1 xn1
率r原地不动。若以 X n 表示时刻 n 时质点的位置，
则X n，n 0,1, 2，...是一个随机过程。而且当
X n i 时，X n+1，X n+2，...，X n+k,...等 n时刻后质点所处的状态，只与X n i 有关，而与
质点在n以前是如何到达i的完全无关。所以它是一
个齐次马尔可夫链，其状态空间为I= ,-2,-1,0,1,2,
则称 Xn,nT 为马尔可夫链.
定义4.1 设有随机过程Xn ,n T，若
对于任意的整数n T和任意的 i0,i1,...,in1 I 条件概率满足
第四章 马尔可夫链
股市预测
预测股票价格变化 基于历史数据建立模型 考虑股票之间的相关性 用于投资决策和风险管理
05
马尔可夫链的算法
状态转移矩阵算法
定义：状态转移 矩阵算法是马尔 可夫链中用于描 述状态转移概率 的算法
计算方法：根据 历史数据和当前 状态计算未来的 状态转移概率
应用场景：广泛 应用于自然语言 处理、语音识别、 机器翻译等领域
类问题等。
可扩展性强： 马尔可夫链可 以通过增加状 态和转移概率 来扩展模型， 以处理更复杂
的问题。
缺点
状态转移概率矩 阵必须已知
无法处理连续时 间或非齐次过程
无法处理多维或 多状态过程
无法处理非马尔 可夫过程
YOUR LOGO
THANK YOU
汇报人：儿
特点：隐马尔可夫链的状态转移和观测概率是参数化的，需要通过训练数据来估计。
应用：隐马尔可夫链在语音识别、自然语言处理、机器翻译等领域有广泛应用。
算法：隐马尔可夫链的算法包括前向-后向算法、Viterbi算法和Baum-Welch算法等。
04
马尔可夫链的应用
自然语言处理
文本分类：利 用马尔可夫链 对文本进行分 类，如垃圾邮 件过滤、情感
01
添加章节标题
02
马尔可夫链的定义
状态转移
定义：马尔可夫链的状态转移概率是描述状态之间转移的规则
特性：状态转移具有无记忆性，即下一个状态只与当前状态有关，与过去状态无关
转移矩阵：描述状态转移概率的矩阵
稳态分布：在长期状态下，马尔可夫链将趋于一个稳态分布，该分布描述
YOUR LOGO
马尔可夫链
,a click to unlimited possibilities
马尔可夫链课件
1的概率向左或向右移动一 3
格，或以
Q现在处于1(或5)这 1的概率留在原处；如果 3
一点上，则下一时刻就以概率1移动到2(或4)这点上，1 和5这两点称为反射壁，这种游动称为带有两个反射壁的
随机游动。以Xn表示时刻n时Q的位置，说明{Xn,n =
0,1,2 …}是一齐次马氏链，并写出它的一步转移概率矩 阵。
二、转移概率
定义3 设 { X n，n 0} 是齐次马尔可夫链，其一步 矩阵的每一行都 转移概率为 pij (i, j S )，记 是一条件分布律
p00 p10 P ( pij ) p 20 pi 0
.
p 01 p 02 p11 p12 p 21 p 22 pi1 pi 2
1 2 3 4 5
三、马氏链的例子
解：它的一步转移概率矩阵为： 0 1 0 0 0
1 3 P 0 0 0
1 3 1 3 1 3 1 3 1 3
0
1 3 1 3
0 0
0
1
0 0 1 3 0
如果把1这点改为吸收壁，即Q一旦到达1这一点，则永远 留在点1时，此时的转移概率矩阵为：
• 第一节 基本概念 • 第二节 状态的分类及性质 • 第三节 极限性态及平稳分布
• 第四节 Markov链的应用
第一节
基本概念
一、Markov链的定义 二、转移概率 三、Markov链的例子 四、n步转移概率，C-K方程
第一节
基本概念
一、Markov链的定义
马尔可夫性(无后效性 )过程(或系统)在时刻t 所处的状态为已知的条件下，过程在时
1 1 3 P 0 0 0 0
1 3 1 3
0
格，或以
Q现在处于1(或5)这 1的概率留在原处；如果 3
一点上，则下一时刻就以概率1移动到2(或4)这点上，1 和5这两点称为反射壁，这种游动称为带有两个反射壁的
随机游动。以Xn表示时刻n时Q的位置，说明{Xn,n =
0,1,2 …}是一齐次马氏链，并写出它的一步转移概率矩 阵。
二、转移概率
定义3 设 { X n，n 0} 是齐次马尔可夫链，其一步 矩阵的每一行都 转移概率为 pij (i, j S )，记 是一条件分布律
p00 p10 P ( pij ) p 20 pi 0
.
p 01 p 02 p11 p12 p 21 p 22 pi1 pi 2
1 2 3 4 5
三、马氏链的例子
解：它的一步转移概率矩阵为： 0 1 0 0 0
1 3 P 0 0 0
1 3 1 3 1 3 1 3 1 3
0
1 3 1 3
0 0
0
1
0 0 1 3 0
如果把1这点改为吸收壁，即Q一旦到达1这一点，则永远 留在点1时，此时的转移概率矩阵为：
• 第一节 基本概念 • 第二节 状态的分类及性质 • 第三节 极限性态及平稳分布
• 第四节 Markov链的应用
第一节
基本概念
一、Markov链的定义 二、转移概率 三、Markov链的例子 四、n步转移概率，C-K方程
第一节
基本概念
一、Markov链的定义
马尔可夫性(无后效性 )过程(或系统)在时刻t 所处的状态为已知的条件下，过程在时
1 1 3 P 0 0 0 0
1 3 1 3
0
第四章 马尔可夫链
一步转移概率
定义4.2 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔 可夫链{Xn，nT }在时刻n的一步转移概率， 简称转移概率，其中i,jI。 定义4.3 若对任意的i,jI，马尔可夫链{Xn,nT } 的转移概率pij(n)与n无关，则称马尔可夫链是 齐次的，并记pij(n)为pij。
如果d>1，就称i为周期的， 如果d=1，就称i为非周期的。
引理4.1 如果i的周期为d，则存在正整数M，对一切 ( nd ) n≥M ，有 p ii 0。
例4.6
设马尔可夫链的状态空间I={1,2,,9}，转移概率如 下图所示。
1 1
8
9
1
1 3
2
1
7
1
1 6
1
3
1
5
2 3
4
1
从状态1出发再返回状态1的可能步数为T={4,6,8,10, }，T的最大公约数为2，从而状态1的周期为2。
P{ X n j | X n1 i}P{ X n1 i} pi (n 1) pij
iI iI iI
(3)(4)为(1)(2)的矩阵表示。
定理4.3 设{Xn，nT }为马尔可夫链，则对任意 整数i1, i2,,inI和n1 ，有性质
P{ X1 i1 ,, X n in } pi pii1 pi1i2 pin1in
证明： (1) p j (n) P{ X n j} P{ X 0 i , X n j}
P{ X n j | X 0 i}P{ X 0 i}
iI ( p i p ijn ) iI iI
(2) p j (n) P{ X n j} P{ X n1 i , X n j}
马尔可夫链
2020年5月21日星期四
例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}， 转移概率矩阵为
1 2
1
2
0 0
0
1 2
1 2
0
0
0
P 0 0 1 0 0
3 / 16 . 1/ 4
于是: (1) P{X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0} 1 5 5 ;
3 16 48
2020年5月21日星期四
(2)P{X2 1}
P{X0 0}P{X2 1 | X0 0} P{X0 1}P{X2 1 | X0 1}
显然有
p(n) 11
p(n) 21
P(n)
p(n j1
)
L
p(n) 12
p(n) 22
p(n) 1j
L
p(n) 2j
L
p(n) j2
p(n) jj
L
LL
L
(1)
0
p(n) ij
1
(2)
p(n) ij
1,
i
1,
2,L
j
2020年5月21日星期四
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
的矩阵
p11 p21
P
L
pj1 L
p12 L p22 L LL pj2 L LL
p1 j L
p2 j L
L
L
p jj L
L L
称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,L
j
2020年5月21日星期四
3、马尔可夫链举例
例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}， 转移概率矩阵为
1 2
1
2
0 0
0
1 2
1 2
0
0
0
P 0 0 1 0 0
3 / 16 . 1/ 4
于是: (1) P{X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0} 1 5 5 ;
3 16 48
2020年5月21日星期四
(2)P{X2 1}
P{X0 0}P{X2 1 | X0 0} P{X0 1}P{X2 1 | X0 1}
显然有
p(n) 11
p(n) 21
P(n)
p(n j1
)
L
p(n) 12
p(n) 22
p(n) 1j
L
p(n) 2j
L
p(n) j2
p(n) jj
L
LL
L
(1)
0
p(n) ij
1
(2)
p(n) ij
1,
i
1,
2,L
j
2020年5月21日星期四
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
的矩阵
p11 p21
P
L
pj1 L
p12 L p22 L LL pj2 L LL
p1 j L
p2 j L
L
L
p jj L
L L
称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,L
j
2020年5月21日星期四
3、马尔可夫链举例
a第11讲第四章马尔可夫链4-3
江西理工大学理学院
由状态转移图易见各状态的周期 d = 3 ， 固定状态 i = 1，
令
( G0 = { j : 对某 n ≥ 0有p1,3jn ) > 0} = {1,4,6} ( 3 n + 1) G1 = { j : 对某 n ≥ 0有p1, j > 0} = ( G2 = { j : 对某 n ≥ 0有p1,3jn + 2 ) > 0} =
由比值判别法
n =1
∑
∞( Biblioteka ) p00=m =1
∑ am
∞
收敛，
故状态0是非常返的。
江西理工大学理学院
定理 4.10 任一马氏链的状态空间 I ,可惟一地分解成有限个或 可列个互不相交的子集 D, C1 , C 2 ,L之和，使得
(1) 每一C n 是常返态组成的不可约闭集 (2) C n 中状态同类，或全是正常返，或全是零常返。 它们有相同的周期且 f ik = 1, j , k ∈ C n (3) D 由全体非常返态组成。自 C n 中的状态不能到达
{3,5} {2}
江西理工大学理学院
∴ C = G0 U G1 U G2 = {1,4,6} U { 3,5} U { 2}
定理 4 .12 设{X n , n ≥ 0}是周期为 d 的不可约马氏链，则在 定理 4.11 的结论下有 （1） 如只在时刻 0, d ,2d ,L上考虑{X n }，即得一新马氏链， 其转移阵 P
证
无限制随机游动的所有状态都是互通的。 故只需判断状态0是零常返还是非常返态。
m ⎧C 2 m p m q m (n Q p00 ) = ⎨ 0 ⎩ 其中 q = 1 − p ，
∞ ∞
n = 2m n = 2m − 1, m = 1,2,L,
马尔可夫链
马尔可夫过程一类随机过程。
它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。
该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 ( 过去 ) 。
例如森林中动物头数的变化构成——马尔可夫过程。
在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。
关于该过程的研究，1931年 A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。
目录马尔可夫过程离散时间马尔可夫链连续时间马尔可夫链生灭过程一般马尔可夫过程强马尔可夫过程扩散过程编辑本段马尔可夫过程Markov process1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。
1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。
流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
类重要的随机过程，它的原始模型马尔可夫链，由俄国数学家Α.Α.马尔可夫于1907年提出。
人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。
这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。
荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。
青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的，当现在所处的位置已知时，它下一步跳往何处和它以往走过的路径无关。
如果将荷叶编号并用X0,X1,X2，…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。
液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。
第8讲 第4章马尔科夫链(3)
由（2）知， C i 的每一个状态都与i互通闭集。
故C i 是不可约集， 其中的每个状态都常返。
本例是马尔科夫链的常返态的一个重要性质！ 据此可对是马尔科夫链进行状态分解：
定理4.10：任一马氏链的状态空间I，都可以唯一分 解为互不相交的子集 D, C1 , C2 , 之和：
I D C1 C2
(1) 每一Cn 是不可约的常返闭集
其中
(2) D 是所有非常返态的集合。
它们有相同的周期， 注1： Cn中所有状态是互通的， 且同为正常返或零常返
注2： D 是所有非常返态的集合，其中各状态未必互 通，周期也未必相同。 1 j Cn 注3： i Cn时, fij 0 j Cn
i I
若链不为正常返（则为非常返，或零常返），则：
i, j
与
lim pij n 0
n
j lim i pij n i lim pij n =0 n n
iI
iI
i
1 矛盾，所以该链必为正常返链。
iI
华北电力大学数理学院 何凤霞
所以必有极限分布，且极限分布就是平稳分布。
极限分布 (1 , 2 ,, 5 )满足方程组:
华北电力大学数理学院 何凤霞
P
即： (1 , 2 ,
例6： 证明（马尔科夫链的常返态的几个性质） 1 对于互通的常返态i和j, 必有fij 1 ，f ji 1
2 i是常返的，若i j, 则必有 j i
从而j也是是常返的。 即j i，
3 i是常返的, 则C i j, i j ,则C i 是不可约的常返闭集。
n
证明
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i1
Pi , j 0
j . i 1 ,i-1 , i 1
1 0 0 0 0 . .
q
0
p
0
0
.
.
0 q 0 p 0 . .
P
0
0
q
0
p
.
.
0 0 0 q 0 . . . . . . . . .
.
例题：带2个吸收壁的随机游动
质点在数轴上移动，规律同上例。随机游动的状态 空间I={0,1,2…a}, 其中0和a为吸收态 。求一步转移p12 p1n Pp21 p22 p2n
称为系统状态的一步转移概率矩阵，它具有 如下性质：
1. pij 0, i, jI
2. pij 1, i, jI jI
满足上述两个性质的矩阵成为随机矩阵
.
定义4.4
称条件概率 p i(n ) j P { X m n j|X m i}i,j I,m 0 ,n 1 为马尔可夫链{Xn,n∈T}的n步转移概率，并称
0 1 1
.
马尔可夫链的状态分类
周期、非周期 常返、非常返
其中，常返分为正常返、零常返 非周期的正常返称为遍历状态
到达和互通
.
设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}， 状态转移图如下图
8
9
2
7
1
3
6
5
4
观察状态1
.
定义4.6 如集合{n: n≥1,pii(n)>0}非空，则称该集合的 最大公约数d=d(i)=G.C.D{n:pii(n)>0}为状态i 的周期。如d>1就称i为周期的，如d=1就称i 为非周期的。
.
.
.
一个有限状态的马氏链,当满足
p(s) ij
0
条件时,
经过一段试验时间后,过程将到平稳(或平稳)状态,
此后过程那一个状态的概率不再随时间而变化.
.
.
.
(1) 解: 显然遍历
(0,1)(0,1)12//25
1/2 3/5
0
1
1 2
0
1 2
0
2 5
1
3 5
1
0 1
4/9 5/9
P{Xm2 0, Xm1 1,Xm 0}P{Xm1 1,Xm 0}
P{Xm1 1,Xm 0}P{Xm 0}
P{Xm2 0|Xm1 0,Xm 0}P{Xm1 0|Xm 0}
P{Xm2 0 | Xm1 1,Xm 0}. P{Xm1 1|Xm 0}
P{Xm2 0|Xm1 0}P{Xm1 0|Xm0} P{Xm2 0|Xm1 1}P{Xm1 1|Xm0}
.
解：设状态0代表有雨，状态1代表无雨， 则一步转移矩阵为：
P=PP1000
PP101100..74
0.3 0.6
P (4 )= P 4 = P P 1 0 0 0 P P 1 0 1 1 4 0 0 ..5 5 7 6 4 6 9 80 0 ..4 4 3 2 3 5 2 1 P P 1 0 ( (0 0 4 4 ) ) P P 1 0 ( (1 1 4 4 ) ) 所以今天有雨，第5天有雨的概率为：
由定义知,当n不能被d整除时,pii(n)=0
引理4.1 如i的周期为d，则存在正整数M，对一切n≥M， 有pii(nd)>0。
.
例题:设有4个状态的马尔可夫链,它的一步转移概
率矩阵为: 0 0 1/2 1/2
0
0
1/ 2
1
/
2
1/ 2 1/ 2 0 0
1
/
2
1/ 2
0
0
画出其状态传递图,该过程是否具有周期性?
. .
. .
. .
. . . . . . . .
.. . .
.
.
.
.
. . . . . . . .
..q
0
p
0
0
0
. . 0 q 0 p 0 0
. . 0 0 q 0 p 0
..0 ..0
00 0. 0
q 0
0 0
p 1
例题：天气预报问题
如果明天是否有雨仅与今日是否有雨有 关，而与过去的天气无关. 并设今日下雨，明 日有雨概率为0.7，今日无雨明日有雨的概率 为0.4，并把有雨称为0状态，无雨称为1状态。 则问：今日有雨且第5日仍有雨的概率为多少？
例题： 设某地区有1600居民，有甲、乙、丙三个工厂的产 品在该地区销售，据调查8月份买甲、乙、丙三个 工厂产品的户数分别为480，320，800，9月份调 查发现原买甲48户转买乙，96户转买丙；原买乙的 有32户转买甲，有64户转买丙；原来买丙的有64户 转买甲，有32户转买乙，估算9月份及12月份，甲、 乙、丙三个工厂的产品在该地区市场占用率。
第四章 马尔可夫链
1. 马尔可夫链定义 2. 一步转移概率及多步转移概率 3. 初始概率及绝对概率 4. Chapman-Kolmogorov（C-K）方程 5. 遍历的马尔可夫链及平稳分布 6. 马尔可夫链状态分类
.
时间、状态都是离散的马尔可夫过程，称 为马尔可夫链。 例如：天气预报
质点的随机游动
pp1011
求 P{Xm 20|Xm0}和两步转移概率矩阵P(2)
.
解：
P(2) 00
P{Xm2
0|
Xm
0}
P{Xm2 0, Xm P{Xm 0}
0}
P{Xm2 0, Xm1 0,Xm 0} P{Xm2 0, Xm1 1,Xm 0}
P{Xm 0}
P{Xm 0}
P{Xm2 0, Xm1 0,Xm 0}P{Xm1 0,Xm 0} P{Xm1 0,Xm 0}P{Xm 0}
.
例如：在某数字通信系统中传递0，1两种 信号，且传递需要经过若干级。因为系统中有 噪声，各级将造成错误，若某级输入0，1信号 后，其输出不产生错误的概率为p，产生错误 的概率为1-p，则该级的输入输出状态构成了 一个两个状态的马氏链。
.
马尔可夫链定义
设有随机过程{Xn,n∈T}，若对于任意的整数 n∈T和任意的i0,i1, …,in+1∈I，条件概率满足
P(4) 00
0.5749
.
定义： 称 pj(n )P {X nj}(,j I)为n时刻马尔 可夫链的绝对概率；
称 P T (n ) { p 1 (n ),p 2 (n ),L } , n 0为n时刻的 绝对概率向量。
.
定义： 称 pj(0 )P {X 0j} ,(j I)为马尔可夫链的 初始概率；简记为 p j
P(n) (pi(jn))
p(n) 11
p(n) 21
L
p(n) 12
L
p(n) 22
L
LL
p(n) 1m
p(n) 2m
L
L
L L
为马尔可夫链的n步转移矩阵。规定
p(0) ij
0, 1,
i j .i j
例题
设马尔可夫链{Xn,n∈T}有状态空间I={0,1}， 其一步转移概率矩阵为
P
p00 p10
3. P(n) P(P n1)
4. P(n) Pn
.
（1）证明
P (n) ij
P{X
mn
j|Xm
i}
P { X m n j, X m i} P{ X m i}
P { X m n j, X m l k , X m i}
kI
P{ X m i}
P { X m n j, X m l k , X m i} P { X m l k , X m i}
1. pj(n) pipi(jn) iI
2. pj(n) pi(n1)pij i I
3. PT(n)PT(0)P(n)
4. PT(n)PT(n1)P
证明
.
定理4.3
设{Xn,n∈T}为马尔可夫链，则对任意i1, …,in∈I和 n≥1，有
证明
P { X 1 i1 , ,X n in } p ip i1 i p in 1 in i I
U P{X1 i1,...X1 in}P( {X0 i , X1 i1,...X1 in})
iI
PX0 i ,X1 i1,...X1 in} iI
P{X0 i}P{X1 i1| X0 i}...P{Xn in | Xn1 in1} iI
P{X0 i}pii1...pin1in iI
pi pii1...pin1in . iI
解:
.
0 0 1/2 1/2
0
0
1/ 2
1
/
2
1/ 2 1/ 2 0 0
1
/
2
1/ 2
0
0
所有状态周期为2
.
状态转移图
1
1
1/2
1
2
3
4
1/2
1
状态2和3具有相同的周期,但是状态 2,3有区别.为此引入常返性的概念。
.
首中概率
它表示质点由i出发，经n步首次到达j 的概率， 表示为
fi( n j ) P (X m v j,1 v n 1 ,X m n j|X m i)
称 PT(0)(p1,p2,) 为马尔可夫链的初始 概率向量。
.
例题： 设马尔可夫链有k个状态，已知第n-1时刻的 绝对概率向量 PT (n 1) 为
(p 1 ( n 1 )p , 2 ( n 1 ) ,,p k ( n 1 ))
求第n时刻绝对概率向量。
.
.
定理4.2 设{Xn,n∈T}为马尔可夫链，则对任意j∈I和 n≥1，绝对概率pj(n)具有下列性质：