马尔可夫链
马尔可夫链
例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}， 转移概率矩阵为
1 2
1
2
0 0
0
1 2
1 2
0
0
0
P 0 0 1 0 0
3 / 16 . 1/ 4
于是: (1) P{X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0} 1 5 5 ;
3 16 48
2020年5月21日星期四
(2)P{X2 1}
P{X0 0}P{X2 1 | X0 0} P{X0 1}P{X2 1 | X0 1}
显然有
p(n) 11
p(n) 21
P(n)
p(n j1
)
L
p(n) 12
p(n) 22
p(n) 1j
L
p(n) 2j
L
p(n) j2
p(n) jj
L
LL
L
(1)
0
p(n) ij
1
(2)
p(n) ij
1,
i
1,
2,L
j
2020年5月21日星期四
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
的矩阵
p11 p21
P
L
pj1 L
p12 L p22 L LL pj2 L LL
p1 j L
p2 j L
L
L
p jj L
L L
称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,L
j
2020年5月21日星期四
3、马尔可夫链举例
马尔可夫链公式
马尔可夫链公式1. 什么是马尔可夫链马尔可夫链是指一个随机过程，在这个过程中某些状态可以通过概率转移去到其他状态，而且转移只与当前状态有关，与之前的状态无关。
具有这个特点的随机过程称为马尔可夫过程，而它产生的序列称为马尔可夫链。
2. 马尔可夫链的特点马尔可夫链具有以下几个特点：- 状态空间：指该随机过程中所有可能的状态的集合。
- 转移概率：在任意时刻，从一个状态转移到另一个状态的概率。
- 状态的分布：表示在任意时刻每个状态出现的概率。
- 稳定性：表示在长时间运转后达到的稳定状态的分布。
3. 马尔可夫链的公式马尔可夫链的公式描述了该过程中某个状态在下一时刻的概率分布与当前状态的概率分布之间的关系。
数学表示如下：P(X_n+1=i | X_n=j) = Pij其中，Pij表示从状态j转移到状态i的概率。
上述公式可以表示为一个矩阵形式：P = [Pij]其中P是一个n×n的矩阵，表示马尔可夫链的状态转移概率矩阵。
矩阵中的每个元素都是非负的，且每一行元素之和为1。
4. 马尔可夫链的应用马尔可夫链可以应用于许多现实生活中的问题。
例如：- 预测天气：根据前面几天的天气情况，通过马尔可夫链可以预测后面几天的天气情况。
- 音乐生成：通过马尔可夫链可以生成新的音乐片段，以及根据既有音乐生成新的音乐曲目。
- 股票分析：通过分析历史数据，使用马尔可夫链可以预测未来股票价格的走势。
- 自然语言处理：使用马尔可夫链可以构建文本生成模型，例如自动泡面爆款语录。
总之，马尔可夫链是一种极为重要的随机过程，在很多领域都有广泛的应用。
熟悉马尔可夫链公式，能够帮助我们更好地理解和应用这个概念，从而解决很多实际问题。
马尔可夫链
三.有限维概率分布 马尔可夫链{ X ( t ), t t
0
, t 1 , t 2 , }在初始时刻t 0 的概率
分布:
p j ( t 0 ) P { X ( t 0 ) j },
j 0 ,1, 2 ,
称为初始分布. 初始分布与转移概率完全地确定了马尔可夫链的 任何有限维分布.下面的定理二正是论述这一点. 不妨设齐次马尔可夫链的参数集和状态空间都是 非负整数集,那么有如下定理。
P { X ( k 1 ) j1 , X ( k 2 ) j 2 , , X ( k n ) j n }
p i ( 0 ) p ij1 1 p j1 j22
(k )
( k k1 )
p j n n1 j n n 1
(k k
)
i0
(13.9)
例6 在本节例5中,设初始时输入0和1的概率分别为 1/3和2/3,求第2、3、6步都传输出1的概率.
t 2 t n t n 1
和 S 内任意 n 1 个状态
j1 , j 2 , , j n , j n 1 , 如果条件概率
P { X ( t n 1 ) j n 1 | X ( t 1 ) j1 , X ( t 2 ) j 2 , , X ( t n ) j n }
二：马尔可夫链的分类 状态空间 S 是离散的(有限集或可列集),参数集 T 可为离散或连续的两类. 三：离散参数马尔可夫链 （1）转移概率 定义2 在离散参数马尔可夫链{ X ( t ), t 中,条件概率 P { X ( t
m 1
t 0 , t 1 , t 2 , , t n , }
1
《马尔可夫链分析法》课件
马尔可夫链分析法具有无后效性 、离散性和随机性，适用于描述 大量随机现象，如股票价格、人 口迁移等。
马尔可夫链分析法的应用领域
金融领域
马尔可夫链分析法用于描述股票价格、汇率等金融市场的随机波 动，以及风险评估和投资组合优化。
自然领域
在生态学、气象学、地质学等领域，马尔可夫链分析法用于描述物 种分布、气候变化、地震等自然现象。
ABCD
云计算应用
利用云计算资源，实现大规模数据的快速处理和 分析。
跨学科合作
加强与其他学科领域的合作，共同推动马尔可夫 链分析法的技术创新和应用拓展。
THANKS FOR WATCHING
感谢您的观看
CHAPTER 03
马尔可夫链分析法的基本步 骤
建立状态转移矩阵
确定系统的状态空间
首先需要确定系统可能的状态，并为其编号。
计算状态转移概率
根据历史数据或实验结果，计算从一个状态转移到另一个状态的 概率。
构建状态转移矩阵
将状态转移概率按照矩阵的形式排列，形成状态转移矩阵。
计算稳态概率
初始化概率向量
系统的长期行为
02
通过分析稳态概率，可以了解系统的长期行为和趋势，例如系
统的最终状态分布、系统的平衡点等。
预测未来状态
03
基于稳态概率，可以对系统未来的状态进行预测，从而为决策
提供依据。
CHAPTER 04
马尔可夫链分析法的应用实 例
人口迁移模型
描述人口迁移的动态过程
马尔可夫链分析法用于描述人口迁移的动态过程，通过分析人口在各个地区之间 的转移概率，预测未来人口分布情况。这种方法可以帮助政府和企业了解人口流 动趋势，制定相应的政策和计划。
马尔可夫链的基本概念
马尔可夫链的基本概念马尔可夫链是一种特殊的随机过程，广泛应用于统计学、机器学习、经济学、计算机科学等多个领域。
为了深入理解马尔可夫链的概念，我们先从基本定义开始，再逐步探讨其性质、分类、应用及实例分析。
一、马尔可夫链的定义马尔可夫链是一种具有“无记忆”特性的随机过程，即在给定当前状态的前提下，未来状态与过去状态无关。
换句话说，系统的未来发展只依赖于当前的状态，而不依赖于以前的状态。
这一特性通常被称为“马尔可夫性”，是马尔可夫链最大的特点。
在形式上，我们可以定义一个离散时间的马尔可夫链为一个由状态集合 ( S ) 组成的序列，其中 ( S ) 可能是有限的也可能是无限的。
设 ( X_n ) 为在时间 ( n ) 时刻该过程所处的状态，若满足条件：[ P(X_{n+1} = j | X_n = i, X_{n-1} = k, , X_0 = m) =P(X_{n+1} = j | X_n = i) ]其中，( P ) 是条件概率，这就表明该过程符合马尔可夫性质。
二、马尔可夫链的基本组成要素状态空间：状态空间是指系统所有可能的状态集合，通常用集合 ( S ) 表示。
例如，一个简单天气模型可以将状态空间定义为 ( S = {晴天, 雨天} )。
转移概率：马尔可夫链中的转移概率是指从一个状态转移到另一个状态的概率。
对于有限状态空间，转移概率通常用转移矩阵表示，其元素 ( P_{ij} ) 表示从状态 ( i ) 转移到状态 ( j ) 的概率。
初始分布：初始分布描述了系统在时间 ( t=0 ) 时，各个状态出现的概率。
通常用一个向量表示，如 ( _0(i) ) 代表在初始时刻处于状态 ( i ) 的概率。
三、马尔可夫链的性质马尔可夫链具有许多重要的性质，其中最为关键的是遍历性和极限性。
遍历性：如果一个马尔可夫链在长期运行后，将以一种稳定的方式达到各个状态，并且这个稳态与初始选择无关，那么我们称它为遍历。
换句话说，一个遍历性的马尔可夫链在达到平稳分布后，各个状态出现的概率将保持不变。
马尔可夫链的基本概念
马尔可夫链的基本概念马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程。
马尔可夫性质指的是在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
马尔可夫链由一组状态和状态之间的转移概率组成，可以用于模拟和预测各种随机过程，如天气变化、股票价格波动等。
一、马尔可夫链的定义马尔可夫链由状态空间和转移概率矩阵组成。
状态空间是指所有可能的状态的集合，用S表示。
转移概率矩阵是一个n×n的矩阵，其中n 是状态空间的大小。
转移概率矩阵的元素表示从一个状态转移到另一个状态的概率。
二、马尔可夫链的性质1. 马尔可夫性质：在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
2. 遍历性：从任意一个状态出发，经过有限步骤后可以到达任意一个状态。
3. 周期性：一个状态可以分为周期为k的状态和非周期状态。
周期为k的状态在经过k步后才能返回原状态，非周期状态的周期为1。
4. 不可约性：如果一个马尔可夫链中的任意两个状态都是可达的，那么该马尔可夫链是不可约的。
5. 非周期马尔可夫链的收敛性：如果一个马尔可夫链是非周期的且不可约的，那么它具有收敛性，即在经过足够多的步骤后，状态分布会趋于稳定。
三、马尔可夫链的应用马尔可夫链在许多领域都有广泛的应用，包括自然语言处理、机器学习、金融市场分析等。
1. 自然语言处理：马尔可夫链可以用于语言模型的建立，通过分析文本中的词语之间的转移概率，可以预测下一个词语的出现概率，从而实现自动文本生成、机器翻译等任务。
2. 机器学习：马尔可夫链可以用于序列数据的建模和预测，如音频信号处理、图像处理等。
通过分析序列数据中的状态转移概率，可以预测下一个状态的出现概率，从而实现序列数据的预测和分类。
3. 金融市场分析：马尔可夫链可以用于分析金融市场的波动性和趋势。
通过分析股票价格的状态转移概率，可以预测未来股票价格的走势，从而指导投资决策。
四、马尔可夫链的改进和扩展马尔可夫链的基本概念可以通过改进和扩展来适应更复杂的问题。
第2章-马尔可夫链
0.4834
0.5009
例
甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，
乙胜的概率是q，和局的概率是r ，（p q r 1）。
设每局比赛后，胜者记“+1”分，负者记“-1”分，
和局不记分。当两人中有一人获得2分结束比赛。X以n
表示比赛至第n局时甲获得的分数。
（1）写出状态空间；（2）求P(2)；
pij a0j,i ,
ji ji
显然{Yn,n≥1}也是一马尔可夫链。
例2 M/G/1排队系统
若以X(t)记在t时刻系统中的顾客数，{X(t),t≥0}则不具马 尔可夫性。
Xn-----第n个顾客走后剩下的顾客数， Yn -----第n+1个顾客接受服务期间来到的顾客数，则
X
n1
Xn 1 Yn ,
CHAPTER 2 马尔可夫链
第一节 基本概念
一、马尔可夫链的定义及例子
1、定义
随机过程Xn, n 0,1, 2, 称为马尔可夫链，若它只
取有限或可列个值（称为过程的状态，记为0，1，2，…），
并且，对任意
及状态
，有
n0
i, j, i0 , i1, , in1
P( X n1 j X 0 i0 , X1 i1, , X n1 in1, X n i)
（3）问在甲获得1分的情况下，再赛二局可以结束比 赛的概率是多少？
解
（1）
记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1，2，3，4，5}
一步转移概率矩阵
1 0 0 0 0
q
r
p
《马尔可夫链讲》课件
在平稳分布下，系统的各个状态之间转移的次数趋于平衡，每个状态的平均逗留时 的 马尔可夫链，都存在至少一个平
稳分布。
存在性定理的证明基于遍历理论 ，即如果马尔可夫链是遍历的，
那么它必然存在平稳分布。
根据接受概率判断是否接受样本的技 术，可以提高样本的质量和效率。
接受-拒绝抽样技术
接受概率
根据目标分布和当前状态计算出的概率，用于判断是否接受当前状态 转移为下一个状态。
拒绝概率
根据当前状态和接受概率计算出的概率，用于判断是否拒绝当前状态 转移为下一个状态。
接受-拒绝抽样过程
根据当前状态和接受概率计算出接受该状态的概率，如果该概率大于 随机数，则接受该状态作为下一个状态，否则拒绝并重新抽样。
详细描述
马尔可夫链定义为一个随机过程，其 中每个状态只与前一个状态有关，当 前状态只依赖于前一时刻的状态，不 受到过去状态的影响。
马尔可夫链的应用场景
总结词
马尔可夫链在多个领域有广泛应用。
详细描述
在自然语言处理中，马尔可夫链可以用于生成文本、语言模型等；在金融领域 ，马尔可夫链可以用于股票价格预测、风险评估等；在物理学中，马尔可夫链 可以用于描述粒子运动、化学反应等。
模型训练与预测
模型选择
根据数据特点和业务需求选择合适的马尔可 夫链模型。
模型训练
使用历史数据训练马尔可夫链模型。
参数设置
根据经验和业务理解设置模型参数。
预测与推断
基于训练好的模型对未来或未知数据进行预 测和推断。
结果评估与优化
评估指标
选择合适的评估指标（如准确率、召回率、F1值等）对预测结果进行评估。
马尔可夫链名词解释
马尔可夫链名词解释
嘿，你知道马尔可夫链吗？这玩意儿可有意思啦！就好像是生活中
的一场奇妙冒险。
比如说，你今天心情超好，那明天心情继续好的概率就可能比较大，这就有点像马尔可夫链啦！它说的是在给定当前状态的情况下，未来
的状态只与当前状态有关，而不依赖于过去的历史。
这多神奇啊！
想象一下，你在走一个迷宫，每一步的选择只取决于你现在所处的
位置，而不是你之前怎么走来的，这就是马尔可夫链的感觉呀！它就
像是一个有着特定规则的游戏。
咱再举个例子，天气的变化也有点类似马尔可夫链呢。
今天是晴天，那明天是晴天、阴天或下雨的概率是有一定规律的，而且只和今天的
天气有关。
在很多领域都能看到马尔可夫链的身影呢！像统计学、概率论、机
器学习等等。
它能帮助我们理解和预测很多复杂的现象。
哎呀，难道你不觉得这马尔可夫链很神奇吗？它就像一个隐藏在各
种现象背后的秘密武器，等待着我们去发现和运用它。
它能让我们更
清楚地看到事物的规律和趋势，让我们在面对不确定的时候能有一些
依据去做出判断。
总之，马尔可夫链真的是个超级有趣又超级有用的东西啊！它让我
们对世界的理解又多了一层，让我们能更好地应对生活中的各种情况。
所以，可别小看了这小小的马尔可夫链哦！。
马尔可夫链
马尔可夫链马尔可夫过程按其状态和时间参数是连续的或离散的,可分为三类: (1) 时间,状态都是离散的马尔可夫过程,称为马尔可夫链.(2) 时间连续,状态离散的马尔可夫过程,称为连续时间的马尔可夫 (3) 时间,状态都连续的马尔可夫过程. 4.1马尔可夫链的概念及转移概率 一,定义假设马尔可夫过程},{T n X n ∈的参数集T 是离散的时间集合,即 T={0,1,2,…},其相应n X 可能取值的全体组成的状态空间是离散的状态集,...}.,{21i i I =定义4.1 设有随机过程},{T n X n ∈,若对于任意的整数T n ∈和任意的I i i i i n ∈+.,...,,,1210,条件概率满足n n n n i X i X i X i X P ====++,...,,{110011}=},{11n n n n i X i X P ==++ (4.1) 则称},{T n X n ∈为马尔可夫链,简称.马氏链.(4.1)式是马尔可夫链的马氏性(或无后效性)的数学表达式.由定义知 ],...,,{1100n n i X i X i X P =====}.,...,,{111100--====n n n n i X i X i X i X P },...,,{111100--===n n i X i X i X P =}{11--==n n n n i X i X P .},...,,{111100--===n n i X i X i X P =… =}{11--==n n n n i X i X P }{2211----==n n n n i X i X P …}{0011i X i X P ==}.{00i X P =可见,马尔可夫链的统计特性完全由条件概率}{11n n n n i X i X P ==++所决定. 二,转移概率条件概率}{1i X j X P n n ==+的直观含义为系统在时刻n 处于状态i 的条件下,在时刻n+1系统处于状态j 的概率.它相当于随机游动的质点在时刻n 处于状态i 的条件下,下一步转移到状态j 的概率.记此条件概率为).(n p ij 定义4.2 称条件概率).(n p ij = }{11n n n n i X i X P ==++为马尔可夫链},{T n X n ∈在时刻n 的一步转移概率,其中i,j I ∈,简称为转移概率. 定义4.3 若对任意i,j I ∈,马尔可夫链},{T n X n ∈的转移概率).(n p ij 与n 无关,则称马尔可夫链是齐次的,并记).(n p ij 为.ij p下面我们只讨论齐次马尔可夫链,通常将齐次两字省略.设p 表示一步转移概率.ij p 所组成的矩阵,且状态空间I={1,2,…},则⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=...........................2222111211nnp p p p p p p 称为系统的一步转移概率矩阵,它有性质: (1) .,1)2(;,,0∑∈∈=∈≥Ij ij ijI i p I j i p通常称满足上述(1),(2)性质的矩阵为随机矩阵. 定义4.4称条件概率ij n p )(= )1,0,,(},{≥≥∈==+n m I j i i X j X P m n m 为马尔可夫链},{T n X n ∈的n 步转移概率,.并称)()()(n ij n p p =为马尔可夫链的n 步转移矩阵,其中(1) .,1)2(;,,0)(∑∈∈=∈≥Ij ij n ij n I i p I j i p 即也是随机矩阵.当n=1 时, .)1(ij p =.ij p ,此时一步转移矩阵.)1(p p =此外我们规定 ⎩⎨⎧=≠=.,1,,0)0(j i j i pij定理4.1设},{T n X n ∈为马尔可夫链,则对任意整数n l n <≤≥0,0和,,I j i ∈n 步转移概率.)(ij n p 具有下列性质:(1)))()()(l n kj Ik l ik n ij p p p -∈∑=; (4.2)(2) ;......112111)(j k Ik k k ik Ik n ij n n p p p p --∑∑∈∈= (4.3)(3);)1()(-=n n PP P (4.4) (4).)(n n P P =(4.5)证明(1) 利用全概率公式及马尔可夫性,有}{)(i X j X P p m n m n ij ===+=}{},{i X P j X i X P m n m m ===+}{},{.},{},,{i X P k X i X P k X i X P j X k X i X P m l m m Ik l m m n m l m m =========+∈+++∑}{}{i X k X P k X j X P m l m l m Ik n m =====++∈+∑=)()()()(m p l m p l ik Ik l n ij +∑∈-=)()(.l n kjIk l ik p p -∈∑. (2)在(1)中令1,1k k l ==得))1()(111-∈∑=n jkIk ik n ij p p p 这是一个递推公式,可递推下下去即得(4.3). (3)在(1).令l=1利用矩阵乘法可得. (4) 由(3),利用归纳法可证.定理4.1中的(1)式称为切普曼---柯尔哥洛夫方程,简称C-K 方程 .定义4.5设},{T n X n ∈为马尔可夫链,称 },{0j X P p j ==)(},{)(I j j X P n p n j ∈==为},{T n X n ∈的初始概率和绝对概率,并分别称}),({},,{I j n p I j p j j ∈∈为},{T n X n ∈的初始分布和绝对分布.简记为}.),({},,{n p p j j 称概率向量 )0(),...),(),(()(21>=n n p n p n P T 为n 时刻的绝对概率向量,而称)0(,...),,(21>=n p p P T为初始向量.定理4.2设},{T n X n ∈为马尔可夫链,则对任意整数I j n ∈≥,1,绝对概率).(n p j 具有下列性质:(1)))()(n ij Ii i j p p n p ∑∈=; (4.6)(2) ij Ii i j p n p p )1(-=∑∈ (4.7)(3);)0()()(n T T P P n P = (4.8) (4)P n P n P T T )1()(-= (4.9)证明(1) ===}{)(j X P n p n j},{0j X i XP n Ii ==∑∈= }{}{00i X P i X j XP nIi ===∑∈ =)(n ijIi i p p ∑∈ (2)===}{)(j X P n p n j },{1j X i X P n Ii n ==∑∈-=}{}{11i X P i X j X P n n n Ii ===--∈∑==ij Ii i p n p ∑∈-)1((3)与(4)是(1)与(2)的矩阵形式.定理4.3 设},{T n X n ∈为马尔可夫链,则对任意,1,,...,1≥∈n I i i n 有 },...{11n n i X i X P ===....11n n i i ii i p p p -∑ (4.10) 证明 由全概率公式及马氏性有},...{11n n i X i X P ===},...,,{110n n Ii i X i X i X P ===∈=},...,,{110n n Ii i X i X i X P ===∑∈=}.,{}{0110i X i X P i X P Ii ===∑∈...},...,{110--===n n n n i X i X i X P=}.,{}{0110i X i X P i X P Ii ===∑∈..}{11--==n n n n i X i X P=n n i i ii Ii i p p p 11...-∑∈.三,马尔可夫链的例子例4.1 无限制随机游动设质点在数轴上移动,每次移动一格,向右移动的概率为p,向左移动的概率为 q=1-p,这种运动称为无限制随机游动.以n X 表示时刻n 质点所处的位置,则},{T n X n ∈是一个齐次马尔可夫链,试写出它的一步和k 步转移概率. 解 },{T n X n ∈的状态空间,...},2,1,0{±±=I 其一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=.....................00.........0.....................p q p q P 设在第k 步转移中向右移了x 步向左移动了y 步,且经过k 步转移状态从j 进入j,则⎩⎨⎧-=-=+i j y x k y x ,.2)(,2)(i j k y i j k x --=-+=由于x,y 都只取整数,所以)(i j k -±必须是偶数.又在k 步中哪x 步向右,哪y 步向左是任意的,选取的方法有x k C 种.于是⎩⎨⎧-+-+=是奇数是偶数)(,0)(,i j k i j k q p C p y x x k k ij.例4.2赌徒输光问题.两赌徒甲,乙进行一系列赌博.赌徒甲有a 元,赌注乙有b 元,每赌一局输者给赢者1元,没有和局,直到两人中有一个输光为止.设在每一局中,甲赢的概率为p,输的概率为q=1-p,求甲输光的概率.这个问题实质上是带有两个吸收壁的随机游动,其状态空间为I={0,1,2,…,c} c=a+b.故现在的问题是求质点从a 出发到达0状态先于到达c=a+b 状态的概率.解 设i u 表示甲从状态i 出发转移到状态0的概率,要计算的是a u ..由于0和c 是吸收状态,故,10=u .0=c u i u 由全概公式).1,...,2,1(,11-=+=-+c i qu pu u i i i (4.11) 上式的含义是,甲从状态i 出发开始赌到输光的概率等于’他接下去赢了一局(概率为p)处于状态i+1后再输光”;和他接下去输一局(概率为q),处于状态i-1后再输光”这两个事件的概率.由于p+q=1,(4.11)实质上是一个差分方程.1,...,2,1),(11-=-=--+c i u u r u u i i i i (4.12)其中pqr =,其边界条件为.0,10==c u u (4.13) 先讨论r=1,即p=q=1/2的情况,(4.12)成为 .1,...,2,1),(11-=-=--+c i u u r u u i i i i 令,01α+=u u 得,2012αα+=+=u u u …,01ααi u u u i i +=+=- …,01ααc u u u c c +=+=-将,1,00==u u c 代于最后一式,得参数,1c-=α所以.1,...,2,1,1-=-=ci ciu i 令i=a, 求得甲输光的概率为.1ba bc a u a +=-= 由于甲,乙的地位是对称的,故乙输光的概率为.ba a u a +=再讨论1≠r ,即q p ≠的情况.由(4.12)式得到)(11--=-=-∑i c k i i k c u u r u u =)(011u u r c ki i-=∑-=.1)1(1r r r u ck ---= (4.14) 令k=0,由于,0=c u 有rr u c---=11)1(11即,11)1(1crru --=- 代入(4.14)式,得.1,...,2,1,1-=--=c k rr r u cck k 令k=a,得到输光的概率,1cca a rr r u --= 由对称性,乙输光的概率为.,11111q p r r r r u c cb b =--= 由于,1=+b a u u 因此在1≠r 时,即q p ≠时两个人中也总有一个人要输光的. 例4.3 天气预报问题设昨日,今日都下雨,明日有雨的概率为0.7;昨日无雨今日有雨,明日有雨的概率为0.5;昨日有雨,今日无雨明日有雨的概率为0.4;昨日,今日均无雨,明日有雨的概率为0.2.若星期一星期二均下雨,求星期四下雨的概率.解 设昨日,今日连续两天有雨称为状态0(RR),昨日无雨今日有雨称为状态1(NR),昨日有雨今日无雨称为状态2(RN),昨日今日无雨称为状态3(NN),于是天气预报模型可看作一个四状态的马尔可夫链,其中转移概率为 7.0}{}{}{00====今昨明今昨明今连续三天有雨R R R P P R R R R P p , )(0}{01不可能事件今昨明今==R R R N P p ,,3.07.01}{}{02=-===今昨明今昨明今R R N P R R N R P p)(0}{03不可能事件今昨明今==R R N N P p ,其中R 代表有雨,N 代表无雨.类似地可得到所有状态的一步转移概率,于是它的一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=33323130232221201312111003020100p p p p p p p p p p p p p p p p P =⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0其中两步转移矩阵为==P P P .)2(⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0.⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0 = ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡.64.010.016.010.048..020.012.020.030.015.020.035.018.021.012.049.0 由于星期四下雨意味着过程所处的状态为0或1,因此星期一星期二连续下雨,星期四下雨的概率为.61.012.049.0)2(01)2(00=+=+=p p p例 4.4 设质点在线段[1,4]上作随机游动,假设它只能在时刻T n ∈发生移动,且只能停留在1,2,3,4点上.当质点转移到2,3点时,它以1/3的概率向左或向右移动一格或停留在原处.当质点称动到点1时,它以概率1停留在原处.当质点移动到点4时,它以概率1移动到点3.若以n X 表示质点在时刻n 所处的位置,则},{T n X n ∈ 是一个齐次马尔可夫链,其转移概率矩阵为⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=0100313131003131310001P 例中的点1称为吸收壁,即质点一旦到达这种状态后就被吸收住了,不再移动;点4称为反射壁,即质点一旦到达这种状态后,必然被反射出去.例4.5生灭链.观察某种生物群体,以n X 表示在时刻n 群体的数目,设为i 个数量单位,如在时刻n+1增生到i+1个单位的概率为i b ,减灭到i 个数量单位的概率为i a ,保持不变的概率为)(1i i i b a r +-=,则}0,{≥n X n 为齐次马尔可夫链,I={0,1,2,…,}.其转移概率为⎪⎩⎪⎨⎧+==+==.1,,,1,i j a j i r i j b p ii i ij称此马尔可夫链为生灭链. 4.2 遍历性设齐次马氏链的状态空间为I,若对于所有,,I a a j i ∈转移概率)(n P ij 存在极限 j ij n n P π=∞→)(lim (不依赖于i)或 ⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡→=................................................)(212121j j jn P n P πππππππππ则称此链具有遍历性.又若∑=jj 1π,则同时称,...),(21πππ=为链的极限分布.齐次马氏链在什么条件下才具有遍历性?如何求出它的极限分布?这问题在理论上已经解决,但是要较多的篇幅.下面对有限链的遍历性给出一个充分条件. 定理4.4设齐次马氏链},{T n X n ∈的状态空间为P a a a I n },,...,,{21=是它的一步转移概率矩阵,如果存在正整数m,使对任意的j i a a ,都有 ,,...,2,1,,0)(N j i m p ij =>则此链具有遍历性,且有极限分布, ),,...,,(21N ππππ=它是方程组 P ππ=或即ij Ni i j p ∑==1ππ的满足条件∑==>Nj j j 11,0ππ的唯一解.在定理条件下马氏链的极限分布又是平稳分布.即若用π作为链的初始分布,即π=)0(p ,则链在任一时刻T n ∈的分布)(n p 永远与π一致,事实上ππππ======-P P P n P p n p n n ...)()0()(1 例4..6 设马尔可夫链的转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=9.005.005.01.08.01.02.01.07.0P 解 容易证明满足定理4.4条件.可得方程组⎪⎪⎩⎪⎪⎨⎧=++++=++=++=1,9.01.02.0,05.08.01.0,05.01.07.0321321332123211πππππππππππππππ解上述方程组得平稳分布为.5882.0,2353.0,1765.0321===πππ。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3．5 马尔可夫链预测方法
一、基于绝对分布的马尔可夫链预测方法
对于一列相依的随机变量，用步长为一的马尔可夫链模型和初始分布推算出未来时段的绝对分布来做预测分析方法，称为“基于绝对分布的马尔可夫链预测方法”，不妨记其为“ADMCP 法”。
其具体方法步骤如下:
1．计算指标值序列均值x ，均方差s ，建立指标值的分级标准，即确定马尔可夫链的状态空间I ，这可根据资料序列的长短及具体间题的要求进行。
例如，可用样本均方差为标准，将指标值分级，确定马尔可夫链的状态空间 I =[1, 2，…，m ]；
2．按步骤1所建立的分级标准，确定资料序列中各时段指标值所对应的状态；
3．对步骤2所得的结果进行统计计算，可得马尔可夫链的一步转移概率矩阵1P ，它决定了指标值状态转移过程的概率法则；
4．进行“马氏性” 检验；
5．若以第1时段作为基期，该时段的指标值属于状态i ，则可认为初始分布为
(0)(0,,0,1,0,0)P =
这里P (0)是一个单位行向量，它的第i 个分量为1，其余分量全为0。
于是第2时段的绝对分布为
1(1)(0)P P P =12((1),(1),,(1))m p p p =
则第2时段的预测状态j 满足：(1)max{(1),}j i p p i I =∈；
同样预测第k ＋1时段的状态，则有
1()(0)k P k P P =12((),(),,())m p k p k p k =
得到所预测的状态j 满足:
()max{(),}j i p k p k i I =∈
6．进一步对该马尔可夫链的特征(遍历性、平稳分布等)进行分析。
二、叠加马尔可夫链预测方法
对于一列相依的随机变量，利用各种步长的马尔可夫链求得的绝对分布叠加来做预测分析，的方法，称为“叠加马尔可夫链预测方法”，不妨记其为“SPMCP 法’。
其具体方法步骤如下:
1) 计算指标值序列均值x ，均方差s ，建立指标值的分级标准(相当于确定马尔可夫链的状态空间)，可根据资料序列的长短及具体问题的要求进行；
2) 按1)所建立的分级标准，确定资料序列中各时段指标值所对应的状态；
3) 对2)所得的结果进行统计，可得不同滞时(步长)的马尔可夫链的转移概率矩阵，它决定了指标值状态转移过程的概率法则；
4) 马氏性检验；
5) 分别以前面若干时段的指标值为初始状态，结合其相应的各步转移概率矩阵即可预测出该时段指标值的状态概率
(6)将同一状态的各预测概率求和作为指标值处于该状态的预测概率，即
,所对应的i 即为该时段指标值的预测状态。
待该时段的指标值确定之后，将其加
入到原序列之中，再重复步骤"(1)一(6)"，可进行下时段指标值状态的预测。
(7)可进一步对该马尔可夫链的特征(遍历性、平稳分布等)进行分析。