第六章 马氏链模型华东理工大学数学建模课件
第六章 马氏链模型--华东理工大学数学建模课件
状态与状态转移
状态 X n 1, 第 n 年健康 2 , 第 n 年疾病
状态概率 a i ( n ) P ( X
n
i ),
i 1, 2 , n 0 ,1,
转移概率 p ij P ( X n 1 j X n i ), i , j 1, 2 , n 0 ,1,
•
模型求解
• 此时，方程⑵化为
d p x (t ) dt x p x ( t ) ( x 1) p x 1 ( t ), x 1
• 注意到当x=1时
d p1 ( t ) dt p1 ( t )
即 p1 ( t ) C 1 exp( t )
• 由此，可得递推关系式
j 1
• 为极限分布。
TH2.正 则 链 存 在 唯 一 极 限 分 布 1 , , k 使 a ( n ) , 且 与 初 始 状 态 概 率 a (0) 无 关 ， 还 是 平 稳 分 布 。 记 Tij inf n: X (0) i , X ( n ) j , n 1 它 表 示 系 统 从 状 态 i出 发 首 次 进 入 状 态 j的 时 刻 ； 记 f ij ( n ) p (T ij n X (0) i ), n 1 它 表 示 系 统 从 状 态 i出 发 经 n 次 转 移 进 入 状 态 j的 概 率 ； 记 m ij
i
。
• Def4.设i∈I，若pii=1,称i是吸收态。如果马氏 链至少包含一个吸收态，并且从每个非吸收 态出发能以正的概率经有限次转移到达某个 吸收状态，那么这个马氏链称为吸收链。
转移矩阵
I rr p R
马尔可夫链数学建模PPT学习教案
p1 0.2 p1 0.8 p2 0.1p3
p2 0.8 p1
0.3 p3
p3
0.2 p2 0.6 p3
p1 p2 p3 1
第14页/共55页
解上列方程组可得：
p1
17 , 41
p2
16 , 41
p3
8 41
由计算看出，经过长期经营后，该联 营部的 每架照 相机 还到甲乙丙照相馆的概率为17/41， 16/41 ，8/41 。由于 还到甲 的照相 机的概 率最大 ，因此 维修点 设在甲 馆较好 。
0.4
0.4
0
0.2
中的磷以0.4的概率被牧草生长吸收，水土流失于系
统外的概率为 0.2；牧草中的含磷以 0.6的概率被 S2牧草含磷
0.1
0.3
0.6
0
牛羊i时段状态 吃掉而转换到牛羊体内，0.1的概率随牧草枯死
腐败归还土壤；牛羊体中的磷 以0.7的概率因粪便 S3羊体含磷
0.7
0
0.2
0.1
排泄而还归土壤，又以自 身0.1的比率因屠宰后投
在 常 染 色 体 遗传中 ，后代 从每个 亲体的 基因对 中各继 承一个 基因， 形成自 己的基 因时， 基因对 也称为 基因型 。如果 我们所 考虑的 遗传特 征是由 两个基 因A和 a控制 的，（ A、a为 表示两 类基因 的符号 ）那么 就有三 种基因 对，记 为AA， Aa， aa。
父 体 ——母 体 的 基 因型
放市场而转移S4流失系统外 到系统外0 。我们0可以建立0一个马尔1 柯
夫链来研究此生态系统问题，其转移概率列表于下
：
第18页/共55页
相 应 的 转 移 矩阵 为 ：
0.4 0.4 0 0.2
数学建模：马氏链及其应用
a1=‘1110010011111110011110111111001111111110001101101’; a2=‘111011011010111101110111101111110011011111100111’; a=[a1,a2]; f00=length(findstr(‘00’,a)) f01=length(findstr(‘01’,a)) format rat fid=fopen(‘data1.txt’,’r’); a=[ ]; while (~feof(fid))
的每个元素表示从非吸收状态出发，到达某个吸收状态北吸收之前的平均转
移次数。
定理7 设 B FR (bij ) ，其中F 为吸收链的基矩阵，R 为(4)式中的 子阵，则 bij 表示从非吸收状态 i 出发，被吸收状态 j 吸收的概率。
3 马尔可夫链的应用
• 应用马尔可夫链的计算方法进行马尔可夫分析，主要目的是 根据某些变量现在的情况及其变动趋势，预测它在未来某特 定区间可能产生的变动，作为提供某种决策的依据。
可以到达某个吸收状态，那么这个马氏链被称为吸收链。
具有个吸收状态，个非吸收状态的吸收链，它的转移矩阵的标准形式为
P
Ir R
o
S
（4）
其中I r 为 r阶单位阵，O为 r s零阵， R为 s 矩r 阵， S为 s 矩s 阵。从(4)得
Pn
Ir Q
o
S
n
（5）
（5）式中的子阵 S n表示以任何非吸收状态作为初始状态，经过 n步转移后， 处于S 个非吸收状态的概率。
《工学马氏链》课件
通过建立马氏链模型，可以生成具有艺术性的音乐片段，为音乐创作提供灵感和创新。
垃圾邮件过滤
工学马氏链可以用于垃圾邮件过滤算法的设计，帮助识别垃圾邮件并提高电子邮件系统的安 全性。
状态转移概率矩阵
状态转移概率是指在马氏链中，从一个状态转移到另一个状态的概率。状态 转移概率矩阵是描述这些概率的矩阵。
• 植被模拟：使用马氏链模拟植被的生命周期，研究不同环境因素对植 被类型和分布的影响。
• 音乐生成：通过马氏链模型生成新颖的音乐片段，帮助音乐创作者创 作出独特的音乐作品。
• 垃圾邮件过滤：通过分析邮件内容和发件人的信息，使用马氏链算法 识别并过滤垃圾邮件。
这பைடு நூலகம்实际应用展示了马尔科夫过程在各个领域中的价值和潜力。
定义马氏链
马氏链是一种随机过程，其状态转移的概率只依赖于其当前状态，而不受其 过去状态的影响。它可以用于模拟各种随机事件的进程，如物质的扩散、金 融市场的波动等。
马氏链的定义包括状态空间、初始状态概率分布以及状态转移概率矩阵。
工学马氏链的应用
植被模拟
工学马氏链可以模拟植被的生长和变化过程，帮助环境科学家研究植被对气候变化的响应和 适应性。
《工学马氏链》PPT课件
# 工学马氏链 PPT课件大纲 ## 简介 - 定义马氏链 - 工学马氏链的应用 ## 状态转移概率矩阵 - 状态转移概率的定义 - 状态转移概率矩阵的构建 - 实例演示 ## 平稳分布 - 平稳分布的定义 - 构建平稳分布的方法 - 实例演示 ## 过渡概率矩阵 - 过渡概率矩阵的定义 - 过渡概率矩阵的构建 - 实例演示
过渡概率矩阵
过渡概率矩阵是描述马氏链中从一个状态转移到另一个状态的概率的矩阵。 它包含了马氏链中所有状态之间的转移概率。
数学建模——马尔科夫链模型
即
1 an 1 an1 bn1 0 cn1 2 1 a n a n1 bn1 (4.2) 2
类似可推出
1 bn bn 1 c n 1 2
(4.3)
cn=0
(4.4)
将（4.2）、（4.3）、（4.4）式相加，得
an bn cn an1 bn1 cn1
x ( n) b n cn
当n=0时
表示植物基因型的 初始分布（即培育 开始时的分布）
x (0) b 0 c0
显然有 a0 b0 c0 1 （ii）第n代的分布与 第n－1代的分布之间的关系是通过表 5.2确定的。 （b）建模 根据假设(ii)，先考虑第n代中的AA型。由于第n－1代的AA 型与AA型结合。后代全部是AA型；第n－1代的Aa型与AA 型结合，后代是AA型的可能性为 1/2，而 第n－1代的aa型与 AA型结合，后代不可能 是AA型。因此当n=1,2…时
（a）假设 父母的基因型 （i）常染色体遗传的正常基因记 为A，不 正常基因记 为a，并以 AA，Aa，aa 分别表示正常人，隐性患者，显性患 AA－AA AA－Aa 者的基因型 现在，我们考虑在控 （ii）设an,bn分别表示第n代中基因型为 制结合的情况下，如 AA 1 1/2 AA， Aa的人占总人数的百分比， 后 何确定后代中隐性患 记 x ( n ) an ，n=1,2,…（这里 者的概率。 代 b 不考 虑aa型是因 n 基 为这些人不可能成年并结婚） Aa 0 1/2 因 （iii）为使每个儿童至少有一个正常的父 型 亲或母亲，因此隐性患者必须与正常 人结合，其后代的基因型概率由 下表 给出：
由（4.5）式递推，得
《马氏链简介》课件
4 周期性
某些状态可以周期性地访问其他状态。
马氏链的状态和状态转移概率
状态
• 什么是状态？在轮盘赌中，可能的状态是数 字1到36。
• 状态也可以是有限和无限的符号序列、音符 或语言。
• 状态空间是状态转移概率？它是从当前状态到下 一个状态的概率。
• 状态转移概率通常用转移矩阵表示，转移矩 阵包含所有状态间的概率。
• 状态转移概率也可以是连续随机变量的概率 密度函数。
马氏链的平稳分布和收敛性
平稳分布 收敛速度 应用实例
当时间趋于无穷大时，马氏链的状态分布会收敛 到平稳分布。
收敛速度取决于马氏链的特性，包括连通性、可 逆性和状态转移概率。
平稳分布可用于模拟MC的渐近行为，预测马氏链 未来的状态。
马氏链的定义和概念
定义
什么是马氏链？它是一个随机过程，其下一个 状态只有当前状态有关。
转移概率
什么是转移概率？它是从一个状态到另一个状 态的概率。
状态空间
什么是状态空间？它是指所有可能状态的集合。
时间齐次性和无后效性
什么是时间齐次性和无后效性？简单来说，它 们是指转移概率不会随着时间而改变，未来的 状态只依赖于当前状态，而不依赖于先前状态。
马氏性假设
转移概率不会随着时间而改变， 未来的状态只依赖于当前状态， 而不依赖于先前状态。
马氏链的基本公式和性质
1 转移矩阵和状态向量
2 平稳分布
这些代数结构是描述马氏链基本特性的核心。
平稳分布是指当时间趋于无限大时，状态的 分布不再改变。
3 不可约性和遍历性
一些状态可以从其他状态到达，而一些状态 则不能。
马氏链简介
你听说过马氏链吗？无论你是在研究投资组合、社交网络还是天气预测，都 可以使用它来分析模式的发展。本课件将带你了解马氏链的定义、应用和基 本公式。
《马氏链模型》课件
马氏链模型的求解
1
平稳分布
马氏链模型的平稳分布是指随着时间的推移，状态转移概率趋于稳定的情况。
2
极限行为
马氏链模型在假设条件下，其极限行为会收敛到一个稳定的状态。
马氏链模型的改进
1
非齐次马氏链模型
非齐次马氏链模型考虑了不同时间段的状态转移概率的变化。
2
马尔可夫决策过程
马尔可夫决策过程是马氏链模型的扩展，同时考虑了状态转移和决策的影响。
总结
马氏链模型的优点
马氏链模型能够描述状态转移的概率，并用于解决 实际问题。
马氏链模型的应用前景
马氏链模型在各个领域具有广泛的应用前景，可以 帮助解决实际问题。
《马氏链模型》PPT课件
马氏链模型是概率论中的重要工具，它描述了一个系统按照一定的概率从一 个状态转移到另一个状态的过程。
什么是马氏链模型？
马氏链模型是描述系统状态转移的数学模型，它具有马氏性质，即下一个状 态只依赖于当前状态，与之前的状态无关。
马氏链模型的特点
状态转移概率
马氏链模型中的每一个状态都有一定的概率转移到其他的状态。
马链的齐次性
马氏链模型的转移概率在时间上保持不变，不受时间影响。
时间齐次性
时间齐次性指的是马氏链模型的转移概率与时间的长度无关，只与当前状态有关。
马氏链模型的应用
随机游走问题
随机游走问题是马氏链模型的一 个重要应用领域，它可以描述在 随机环境下的随机漫步过程。
网站访问模型
马氏链模型可以用于描述网站访 问行为，帮助优化页面设计和内 容推荐。
马氏链模型基础
P
0.368 0.368 0.184 0.061 0.019
0 .2 6 4 0 .2 8 5 0 .0 8 0 0 .2 6 3 0 .0 1 9 0 .4 5 2 0 .1 0 5
从长期看，失去销售机会的可能性大约 10%。
w 满足 wP w
0 .8 0 .2 例 1. P 0 .7 0 .3
0 .8 w 1 0 .7 w 2 w 1 0 .2 w 1 0 .3 w 2 w 2
0 .2 w 1 0 .7 w 2
w 满足
i 1
k
wi 1
w1 w 2 1
w (7 / 9, 2 / 9)
若某人投保时健康, 问10年后他仍处于健康状 态的概率
前一页
后一页
退 出
关于健康的统计信息
2005年
健康人 数
90
住院病 人数
10
2006年
健康人 数 其中两 年无病
79
住院病 人数 其中老 病号数
21
72
3
注：年统计数据，数据为虚拟的，人数单位为：万人
前一页
后一页
退 出
状态与状态转移
状态 X
n
a (n ) a (0) P
前一页 后一页
n
退 出
马氏链的两个重要类型
a ( n 1) a ( n ) P
1. 正则链 ~ 从任一状态出发经有限次转移 能以正概率到达另外任一状态（如例1）。
正则链
正则链
N , P
N
0
w, a (n) w(n )
数学建模——马尔科夫链模型ppt课件
相应的转移矩阵 为：
0.4 0.4 0 0.2
M 0.1 0.3 0.6
0
0.7 0 0.2 0.1
0
0
0
1
且Sj+1=SjM
首先，任一转移矩阵的行向量均为概率向量，即有 （1）
（I , j=01,…P,ing ）1
n
马氏链模型的性质完全由其转移矩 阵决定，故研究马氏链的数学工
（2） Pig 1 （i=1,…具,是n）线性代数中有关矩阵的理论。
1 1 0
1a0 2b0 1c0
.
即1ຫໍສະໝຸດ 11n 1
1
n1
x( n)
显然有 a0b0c01
（ii）第n代的分布与 第n－1代的分布之间的关系是通过表
5.2确定的。
（b）建模
根据假设(ii)，先考虑第n代中的AA型。由于第n－1代的AA
型与AA型结合。后代全部是AA型；第n－1代的Aa型与AA型
结合，后代是AA型的可能性为 1/2，而 第n－1代的aa型与
AA型结合，后代不可能 是AA型。因此当n=1,2…时
j1
这样的矩阵被称为 随机矩阵。
.
常染色体遗传模型
在常染色体遗传中，后代从每个亲体的基因对中各继承一 个基因，形成自己的基因父时体，—基—因母对体也的称基为因基型因型。如果
我们所考虑的遗传特A征A是由AA两个AA基 因AaA和Aaa控制aa的，（A、
a为表示两类基因的符－号）－那么－就有三－种基－因对－，记为AA，
1 =1， 2 =1/2， 3 =0
.
因此 所以
1 0 0 1 1 1
D0 0
1
2 0
0,e10 0 0
数学建模马氏链模型
马氏链模型教学目的:通过教学，使学生掌握马尔可夫链的基本知识，掌握建立马氏链模型的基本方法，能用马氏链模型解决一些简单的实际问题。
教学重点和难点:建立马氏链模型的基本思想和基本步骤。
教学内容：马尔可夫预测法是应用概率论中马尔可夫链（Markov chain ）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术．这种技术已在市场预测分析和市场管理决策中得到广泛应用，近年来逐步被应用于卫生事业管理和卫生经济研究中．下面扼要介绍马尔可夫链的基本原理以及运用原理去进行市场预测的基本方法．（1）马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n 季度是畅销还是滞销，用一个随机变量X n 便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量 X 1，X 2，…，X n ，…．称{ X t ，t ∈T ，T 是参数集}为随机过程，{ X t }的取值集合称为状态空间．若随机过程{ X n }的参数为非负整数， X n 为离散随机变量，且{ X n }具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是如果把{ X n }的参数n 看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关．对具有N 个状态的马氏链，描述它的概率性质，最重要的是它在n 时刻处于状态i 下一时刻转移到状态j 的一步转移概率：N j i n p i X j X P j i n n ,,2,1,)()|(1 ====+若假定上式与n 无关，即 ====)()1()0(n p p p j i j i j i ，则可记为j i p （此时，称过程是平稳的），并记⎪⎪⎪⎪⎪⎭⎫⎝⎛=N N N N N N p p p p p p p p p P212222111211（1） 称为转移概率矩阵．例1 设某抗病毒药销售情况分为“畅销”和“滞销”两种，以“1”代表“畅销”，“2”代表“滞销”．以X n 表示第n 个季度的销售状态，则X n 可以取值1或2．若未来的抗病毒药销售状态，只与现在的市场状态有关，而与以前的市场状态无关，则抗病毒药的市场状态{ X n ，n ≥1}就构成一个马氏链．设5.011=p ， 5.012=p ，6.021=p ， 4.022=p则转移概率矩阵为⎪⎪⎭⎫ ⎝⎛=4.06.05.05.0P这里5.011=p 表示连续畅销的可能性，5.012=p 表示由畅销转入滞销的可能性，6.021=p 表示由滞销转入畅销的可能性，4.022=p 表示连续滞销的可能性．这种状态转移的情况也可以用状态转移图来表示.转移概率矩阵具有下述性质： （1）N j i p j i ,,2,1,,0 =≥．即每个元素非负．（2）N i p Nj j i ,,2,1,11==∑=．即矩阵每行的元素和等于1．如果我们考虑状态多次转移的情况，则有过程在n 时刻处于状态i ，n +k 时刻转移到状态j 的k 步转移概率：N j i n p i X j X P k j i n k n ,,2,1,)()|()( ====+同样由平稳性，上式概率与n 无关，可写成)(k j i p ．记⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（2） 称为k 步转移概率矩阵．其中)(k j i p 具有性质：N j i p k j i ,,2,1,,0)( =≥； N i p Nj k j i ,,2,1,11)( ==∑=．例2 求例1中抗病毒药的销售状态{X n }的二步转移矩阵P (2)． 解 由例1知，其一步转移矩阵为:⎪⎪⎭⎫ ⎝⎛=4.06.05.05.0P若本季度抗病毒药的销售处于畅销（即处于状态“1” ），那么，经过两个季度以后，就经历了两次转移，可能转移到状态“2”，也可能保持状态“1”，这种转移的可能性的大小就是二步转移概率．)2(11p 表示抗病毒药的销售由畅销经两次转移后仍然是畅销的概率，由概率计算的全概率公式)1|1(13)2(11===X X P p)2|1()1|2()1|1()1|1(23122312====+=====X X P X X P X X P X X P 21121111p p p p +=55.06.05.05.05.0=⨯+⨯=同样可算得由畅销经两次转移到滞销的概率22121211)2(12p p p p p +=45.04.05.05.05.0=⨯+⨯=由滞销经两次转移到畅销和滞销的概率分别为54.06.04.05.06.021221121)2(21=⨯+⨯=+=p p p p p 46.04.04.05.06.022221221)2(22=⨯+⨯=+=p p p p p所以二步转移矩阵为⎪⎪⎭⎫⎝⎛=46.054.045.055.0)2(P由例2的计算过程知⎪⎪⎭⎫⎝⎛++++=⎪⎪⎭⎫ ⎝⎛=22221221212211212212121121121111)2(22)2(21)2(12)2(11)2(p p p p p p p p p p p p p p p p p p p p P22221121122211211P p p p p p p p p =⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛=一般地有，若P 为一步转移矩阵，则k 步转移矩阵kk N N k N k N k N k k k N k k k P p p p p p p p p p P =⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=)()(2)(1)(2)(22)(21)(1)(12)(11)(（3） （2）状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要．估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用．二是统计估算法，现通过实例介绍如下．例3 记录了某抗病毒药的6年24个季度的销售情况，得到表1．试求其销售状态的转移概率矩阵．表1 某抗病毒药24个季度的销售情况季度 销售状态 季度 销售状态 季度 销售状态 季度 销售状态 1 1 (畅销) 7 1(畅销) 13 1(畅销) 19 2(滞销) 2 1(畅销) 8 1(畅销) 14 1(畅销) 20 1(畅销) 3 2(滞销) 9 1(畅销) 15 2(滞销) 21 2(滞销) 4 1(畅销) 10 2(滞销) 16 2(滞销) 22 1(畅销) 5 2(滞销) 11 1(畅销) 17 1(畅销) 23 1(畅销) 62(滞销)122(滞销)181(畅销)241(畅销)分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状态转移情况表（表2）．表2 市场状态转移情况表现计算转移概率．以频率代替概率，可得连续畅销的概率：1170.5151p ===-连续出现畅销的次数出现畅销的次数分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1．同样得由畅销转入滞销的概率：1270.5151p ===-畅销转入滞销的次数出现畅销的次数滞销转入畅销的概率：2170.789p ===滞销转入畅销的次数出现滞销的次数连续滞销的概率：2220.229p ===连续滞销的次数出现滞销的次数综上，得销售状态转移概率矩阵为：⎪⎪⎭⎫ ⎝⎛=⎪⎪⎭⎫ ⎝⎛=22.078.05.05.022211211p pp p P 从上面的计算过程知，所求转移概率矩阵P 的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：77711+=p 77712+=p27721+=p77222+=p由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m 种状态S 1，S 2，…，S m ，根据系统的状态转移的历史记录，得到表3的统计表格，以j i pˆ表示系统从状态i 转移到状态j的转移概率估计值，则由表3的数据计算估计值的公式如下：表3 系统状态转移情况表例4 设某系统有3种状态S1，S2和S3，系统状态的转移情况见表4．试求系统的状态转移概率矩阵．表4 某系统状态转移情况表解由公式（4），得2.091566ˆ11=++=p，5.0915615ˆ12=++=p ，3.091569ˆ13=++=p2.021444ˆ21=++=p ，7.0214414ˆ22=++=p ，1.021442ˆ23=++=p3.04333ˆ31=++=p ， 3.04333ˆ32=++=p ，4.04334ˆ33=++=p故系统的转移概率矩为⎪⎪⎪⎭⎫⎝⎛=4.03.03.01.07.02.03.05.02.0P（3）带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化．如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本．假定连续畅销时盈r 11元，连续滞销时亏本r 22元，由畅销转为滞销盈利r 12元，由滞销转为畅销盈利r 21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链．对于一般的具有转移矩阵⎪⎪⎪⎪⎪⎭⎫⎝⎛=N N N N N N p p p p p p p p p P212222111211的马氏链，当系统由i 转移到j 时，赋予利润r ij （i ，j =1，2，…，N ），则称⎪⎪⎪⎪⎪⎭⎫⎝⎛=N N N N N N r r r r r r r r r R212222111211（5） 为系统的利润矩阵，r ij ＞0称为盈利，r ij ＜0称为亏本，r ij = 0称为不亏不盈．随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定．例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量)1(1x 、)1(2x 的概率分布分别为：其中 p 11+ p 12 = 1 ，p 21+ p 22 = 1．如果药品处于畅销阶段，即销售状态为i =1，我们想知道，经过n 个季度以后，期望获得的利润是多少？为此，引入一些计算公式．首先，定义)(n i v 为抗病毒药现在处于)2,1(=i i ，经过n 步转移之后的总期望利润，则一步转移的期望利润为：∑==+==212211)1()1()(j j i j i i i i i i i p r p r p r x E v其中)()1(i x E 是随机变量)1(i x 的数学期望．二步转移的期望利润为：∑=+=+++==21)1(2)1(221)1(11)2()2(][][][)(j j i j j i i i i i i i p v r p v r p v r x E v其中随机变量)2(i x （称为二步利润随机变量）的分布为：2,1,)()1()2(==+=j p v r x P j i j j i i例如，若⎪⎪⎭⎫ ⎝⎛=6.04.05.05.0P ， ⎪⎪⎭⎫⎝⎛-=7339R则抗病毒药销售的一步利润随机变量：抗病毒药畅销和滞销时的一步转移的期望利润分别为：65.035.09)(12121111)1(1)1(1=⨯+⨯=+==p r p r x E v 36.074.03)(22222121)1(2)1(2-=⨯-⨯=+==p r p r x E v二步利润随机变量为：抗病毒药畅销和滞销时的二步转移的期望利润分别为：12)1(21211)1(111)2(1)2(1][][)(p v r p v r x E v +++==5.75.0)33(5.0)69(=⨯-+⨯+=22)1(22221)1(121)2(2)2(2][][)(p v r p v r x E v +++==4.26.0)37(4.0)63(-=⨯--+⨯+=一般地定义k 步转移利润随机变量),2,1()(N i x k i =的分布为：N j p v r x P ji k j j i k i ,2,1)()1()(==+=-则系统处于状态i 经过k 步转移后所得的期望利润)(k i v 的递推计算式为：j i k j Nj j i k i k i p v r x E v )()()1(1)()(-=+==∑∑∑∑=-=-=+=+=Nj j i k j i Nj j i k j Nj j i j i p v v p v p r 1)1()1(1)1(1（6）当k =1时，规定边界条件0)0(=i v ．称一步转移的期望利润为即时的期望利润，并记N i q v i i ,2,1,)1(==．（4）市场占有率预测利用马尔可夫链，我们可以进行市场占有率的预测．例如，预测A 、B 、C 三个厂家生产的某种抗病毒药在未来的市场占有情况，其具体步骤如下：第一步 进行市场调查．主要调查以下两件事：（1）目前的市场占有情况．如在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A 、B 、C 三药厂的各有400家、300家、300家，那么A 、B 、C 三药厂目前的市场占有份额分别为：40%、30%、30%．称（0.4，0.3，0.3）为目前市场的占有分布或称初始分布．（2）查清使用对象的流动情况．流动情况的调查可通过发放信息调查表来了解顾客以往的资料或将来的购买意向，也可从下一时期的订货单得出．如从定货单得表5．表5 顾客订货情况表下季度订货情况 合计 来 自A B C A 160 120 120 400 B 180 90 30 300 C180 30 90 300 合计520240 2401000第二步 建立数学模型．假定在未来的时期内，顾客相同间隔时间的流动情况不因时期的不同而发生变化，以1、2、3分别表示顾客买A 、B 、C 三厂家的药这三个状态，以季度为模型的步长（即转移一步所需的时间），那么根据表5，我们可以得模型的转移概率矩阵：⎪⎪⎪⎭⎫⎝⎛=⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=⎪⎪⎪⎭⎫ ⎝⎛=3.01.06.01.03.06.03.03.04.030090300303001803003030090300180400120400120400160333231232221131211p p p p p p p p p P 矩阵中的第一行（0.4，0.3，0.3）表示目前是A 厂的顾客下季度有40%仍买A 厂的药，转为买B 厂和C 厂的各有30%．同样，第二行、第三行分别表示目前是B 厂和C 厂的顾客下季度的流向．由P 我们可以计算任意的k 步转移矩阵，如三步转移矩阵：⎪⎪⎪⎭⎫⎝⎛=⎪⎪⎪⎭⎫ ⎝⎛==252.0244.0504.0244.0252.0504.0252.0252.0496.03.01.06.01.03.06.03.03.04.033)3(P P 从这个矩阵的各行可知三个季度以后各厂家顾客的流动情况．如从第二行（0.504，0.252，0.244）知，B 厂的顾客三个季度后有50.4%转向买A 厂的药，25.2%仍买B 厂的，24.4%转向买C 厂的药．第三步 进行预测． 设),,()(3)(2)(1)(k k k k p p p S =表示预测对象k 季度以后的市场占有率，初始分布则为),,()0(3)0(2)0(1)0(p p p S =，市场占有率的预测模型为P S P S S k k k ⋅=⋅=-)1()0()( （7）现在，由第一步，我们有)3.0,3.0,4.0()0(=S ，由此，我们可预测任意时期A 、B 、C 三厂家的市场占有率．例如，三个季度以后的预测值为：⎪⎪⎪⎭⎫⎝⎛=⋅==252.0244.0504.0244.0252.0504.0252.0252.0496.0)3.03.04.0(),,(3)0()3(3)3(2)3(1)3(P S p p p S )2496.02496.05008.0(=大致上，A 厂占有一半的市场，B 厂、C 厂各占四分之一．模型（7）可推广到N 个状态的情形：kN N N N N N Nkk k p p p p p p p p p pp p P SP SS⎪⎪⎪⎪⎪⎭⎫⎝⎛===-212222111211)0()0(2)0(1)0()1()(),,(（8） 如果我们按公式（7）继续逐步求A 、B 、C 三家的市场占有率，会发现，当k 大到一定的程度，S (k )将不会有多少改变，即有稳定的市场占有率，设其稳定值为),,(321p p p S =，满足1321=++p p p ．事实上，如果市场的顾客流动趋向长期稳定下去，则经过一段时期以后的市场占有率将会出现稳定的平衡状态，即顾客的流动，不会影响市场的占有率，而且这种占有率与初始分布无关．如何求出这种稳定的市场占有率呢？以A 、B 、C 三家的情况为例，当市场出现平衡状态时，从公式（7）可得方程S = S P ，即⎪⎪⎪⎭⎫⎝⎛=3.01.06.01.03.06.03.03.04.0),,(),,(321321p p p p p p 由此得⎪⎩⎪⎨⎧++=++=++=3213321232113.01.03.01.03.03.06.06.04.0pp p p p p p p p p p p 经整理，并加上条件1321=++p p p ，得⎪⎪⎩⎪⎪⎨⎧=++=-+=+-=++-1p p p 00.7p 0.1p 0.3p 00.1p 0.7p 0.3p 00.6p 0.6p 0.6p 321321321321 上方程组是三个变量四个方程的方程组，在前三个方程中只有二个是独立的，任意删去一个，从剩下的三个方程中，可求出唯一解：5.01=p ， 25.02=p ， 25.03=p这就是A 、B 、C 三家的最终市场占有率．一般N 个状态的稳定市场占有率（稳态概率）),,(21N p p p S =可通过解方程组⎪⎪⎪⎩⎪⎪⎪⎨⎧=⎪⎪⎪⎪⎪⎭⎫⎝⎛=∑=1),,(),,(12122221112112121Nk k N N N N N N NN p p p p p p p p p p pp p p p p（9） 求得，而（9）的前N 个方程中只有N -1个是独立的，可任意删去一个．（5）期望利润预测企业追逐市场占有率的真正目的是使利润增加，因此，竞争各方无论是为了夺回市场份额，还是为了保住或者提高市场份额，在制订对策时都必须对期望利润进行预测．预测主要分两步进行：①市场统计调查．首先调查销路的变化情况，即查清由畅销到滞销或由滞销到畅销，连续畅销或连续滞销的可能性是多少．其次统计出由于销路的变化，获得的利润和亏损情况．②建立数学模型，列出预测公式进行预测．例如，通过市场调查，我们得到如下的销路转移表（表6）和利润变化表（表7）．由此，我们来建立数学模型．表6 销路转移表销路转移表说明连续畅销的可能性为50%，由畅销转入滞销的可能性也是50%，由滞销到畅销为40%，连续滞销的可能性为60%．利润表说明的是连续畅销获利900万元，由畅销到滞销或由滞销到畅销均获利300万元，连续滞销则亏损700万元．从而得到销售状态的转移矩阵P 和利润矩阵R 分别为：表7 利润变化表（单位：百万元）⎪⎪⎭⎫⎝⎛=⎪⎪⎭⎫ ⎝⎛=6.04.05.05.022211211p pp p P ⎪⎪⎭⎫⎝⎛-=⎪⎪⎭⎫ ⎝⎛=733922211211r rr r R P 和R 便构成一个有利润的马氏链．由前面所述的基本原理及公式（6）得下面的预测公式：即时期利润：2,121)1(===∑=i p r v q j ji j i i ik步以后的期望利润：2,121)1(21)1(21)(=+=+=∑∑∑=-=-=i p v q p v p r v j ji k j i j j i k j j j i j i k i将调查数据代入上公式则可预测各时期的期望利润值．如：65.035.091=⨯+⨯=q 36.074.032-=⨯-⨯=q由此可知，当本季度处于畅销时，在下一季度可以期望获得利润600万元；当本季度处于滞销时，下一季度将期望亏损300万元．同样算得： 5.7)2(1=v ， 4.2)2(2-=v55.8)3(1=v ， 44.1)3(2-=v由此可预测本季度处于畅销时，两个季度后可期望获利750万元，三个季度后可期望获利855万元；当本季度处于滞销时，两个季度后将亏损240万元，三个季度后亏损144万元．（6）应用举例例5 Markov模型在流行病监测中的应用Markov模型是用于描述时间和状态都是离散的随机过程的数学模型．应用其理论和方法，可以对疾病发病情况随时间序列的变化规律进行分析和研究，预测疾病的发展变化趋势，为预防和控制疾病提供依据．统计了某市1980年至1995年肾综合征出血热（HFRS）的发病率分别为（单位：1/10万）：2.95、6.28、10.28、7.01、7.36、13.78、33.93、35.87、33.40、28.38、30.50、33.79、39.70、30.39、39.70、33.59（引自：李洪杰等. 龙泉市肾综合征出血热发病趋势的预测. 浙江预防医学,1997,02：44）．下面进行建模预测．首先根据资料将发病率划分为四个状态，统计各数据的状态归属及各状态出现的频率（初始概率），得表8和表9．表8 某市HFRS流行状况年份发病率(1/10万) 状态年份发病率(1/10万) 状态1980 2.95 1 1988 33.40 4 1981 6.28 1 1989 28.38 3 1982 10.28 2 1990 30.50 4 1983 7.01 1 1991 33.79 4 1984 7.36 1 1992 39.70 4 1985 13.78 2 1993 30.39 4 1986 33.93 4 1994 39.70 4 1987 35.87 4 1995 33.59 4表9 各状态取值范围及初始概率状态发病率取值范围初始概率1 X≤10 4/162 10＜X≤20 2/163 20＜X≤30 1/164 X＞30 9/16由表8可得各状态的转移频率即状态转移概率的估计值，从而得模型的一步转移概率矩阵：⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭⎫⎝⎛--=875.0125.00010005.0005.0005.05.0)197)19(1001000210021004242P 可认为HFRS 下一年的发病率只与当年发病率有关，而与过去的发病率无关，且任意时期的一步转移概率矩阵不变，从而满足无后效性和平稳性的假设，因而可用初始分布为（4/16，2/16，1/16，9/16），转移概率矩阵为P 的马氏链模型来预测HFRS 发病率未来的情况．计算多步转移矩阵：⎪⎪⎪⎪⎪⎭⎫⎝⎛==8906.01094.00000.00000.08750.01250.00000.00000.04375.00625.02500.02500.02500.00000.02500.05000.02)2(P P⎪⎪⎪⎪⎪⎭⎫⎝⎛==8887.01113.00000.00000.08906.01094.00000.00000.05703.00547.01250.02500.03438.00312.02500.03750.03)3(P P ⎪⎪⎪⎪⎪⎭⎫⎝⎛==8889.01111.00000.00000.08887.01113.00000.00000.06162.00713.01250.01875.04570.00430.01875.03125.04)4(P P 计算极限nn P ∞→lim 或解方程1,),,,(),,,(4143214321==∑=k kp P p p p p p p p p ，得模型的极限概率分布（稳态分布）：（0，0，1/9，8/9）．分析预测：由于95年处于状态4，比较P 的第4行的四个数字知，875.044=p 最大，所以预测96年仍处于状态4，即发病率大于30/10万．同样，从二、三、四步转移矩阵知，依然是状态4转入状态4的概率最大，所以预测1996年至1999年该市的HFRS 发病率将持续在大于30/10万（高发区）水平，这提醒我们应该对此高度重视，采取相应对策．如果转移概率矩阵始终不变，从极限分布看，最终HFRS 发病率将保持在高发区水平，当然，这应该是不会符合实际情况的，因为随着各方面因素的改变，转移概率矩阵一般也会发生变化．所以Markov模型主要适用于短期预测．在用Markov模型进行预测的过程中，无后效性和平稳性是最基本的要求，而模型是否合理有效，状态的划分和转移概率矩阵的估算是关键，不同的状态划分可能会得到不同的结果，通常我们根据有关预测对象的专业知识和数据的多少及范围来确定系统状态．在卫生管理事业中，用Markov模型还可预测医疗器械、药品的市场占有率，药品的期望利润收益等．习题在钢琴销售模型中，将存贮策略修改为：（1）当周末库存量为0或1时，订购，使下周初的库存量达到3架；否则，不订购。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• TH4.对于吸收链Ｐ的标准形式，Ｉ－Ｑ是可 逆矩阵，且其逆矩阵可表示为形式
(I Q)1 QS S 0
• 且(I-Q)-1的第j行之和是从第j个非吸收状态出 发被某个吸收状态吸收的平均转移次数。
• 设i是非吸收态，j是吸收态， r)r n1
• TH5. F (I Q)1 R
• Def5.对i，j∈Ｉ，若存在非负整数n，
使
p(n) ij
0
，则称自状态i可达状态j。
• 若 fii 1 ，则称状态i是常返的；
• 若 fii 1 ，则称状态i是非常返的。
TH6.对i，j∈Ｉ，若状态j是非常返的，则
lim
n
p(n) ij
0
可数马氏链的应用
• ⑶群体数目在（t,t+Δt）内不发生变化的概 率为1 -λχΔt+0(Δt) ）。
• （以上模型适合于一个微生物群体在良好环 境下的增长情况）
模型建立
• 用px(t)表示t时刻群体数目为x的概率，即 px(t)=p(X(t)=x),则有
• px(t+Δt)=(1-λxΔt) px(t) +λx-1 px-1(t) Δt+0Δt
• 移项整理得
dp0 (t) dt
0
p0 (t)
(1)
dpx (t) dt
x
px
(t)
x1
px 1 (t ),
x
1,
2,
.
(2)
• 其初始条件为
px (0)
xx0
1, x x0 0, x x0
• 其中 x0 X (0) 是初始时间生物群体的 数目。
• （下面假定 X (0) 1 ）
第六章 马氏链模型
6.1 健康与疾病 6.2 钢琴销售的存贮策略 6.3 基因遗传 6.4 等级结构
第九章 马氏链模型
• 在经济预测中，常常需要由经济系统的近期 状态（t=t0）及过去的状态（t=t0-1,t0-2,…t0-k） 去预测以后的状态（t=t0+1,t0+2…）。若某一 经济系统的变化过程仅与该经济系统的近期 状态有关，而与过去状态无关，即该经济系 统在t0+1时的状态仅与t0时的状态有关而与t0 以前的状态无关，则称这种特性为无后效性 或马尔可夫性。具有无后效性的随机时间序 列称为马尔可夫过程或马尔可夫链。
马尔可夫过程
• 可数马氏链 • (指变化仅仅发生在一些离散时刻的具有马
氏性的一类随机过程) • 连续时间马氏过程 • (指变化发生是随时间的连续变化而变化,具
有马氏性的一类随机过程)
一、可数马氏链模型
• 仅考虑系统只有有限个状态（I=｛1， 2，…，k｝）的情形。
• 记n时刻系统的状态为Xn ，记Xn =i的概率 为ai(n)(状态概率)。从Xn =i变到Xn+1 =j的 概率记为pij(n)(状态转移概率)。如果对一 切I,j∈I， pij(n)都与n无关，相应的马氏链 称为时齐马氏链。
时齐马氏链
• 记pij(n)= pij，由马氏性和全概率公式得 基本方程为 k
a j (n 1) ai (n)pij , j 1, 2, , k i 1
记a(n) a1(n), a2 (n), , ak (n)
p
pij
, p称为转移矩阵
kk
• 则基本方程写成向量形式可表示为
a(n 1) a(n) p
模型一、纯生过程模型
• 对于某个生物群体，设在t时刻群体的数量 为X(t)，X(t)为一随机变量，并作如下假设。
模型假设
• ⑴如果在t时刻群体数量为x（x=0,1,2,..）， 则在时间段（t,t+Δt）内，群体数量增加一 个的概率为λχΔt+0(Δt) 。
• ⑵群体数目在（t,t+Δt）增加两个或两个以 上的概率为0(Δt）。
• 定编定岗问题 • 仓库管理模型 • 物种保护问题
二、连续时间马氏过程模型
• 1、生物群体的增长模型 • 2、传染病的流行模型
1、生物群体的增长模型
• 关于生物群体增长的常微分方程模型 中有两大缺点：
• ①它假定了群体数目是时间的连续函 数，而不是时间的整值函数；
• ②它假定了群体的增长是确定性的， 从而得出了“在初始条件不变时，到 时刻t时，群体含量永远相同”的结果。
•
Def3.如果记 pn 的元素为
p(n) ij
，
k
p(n) ij
j
0, 且
j 1,则称 j 1，2，
• 为极限分布。j1
,k
TH2.正则链存在唯一极限分布 1, , k 使a(n) ,
且与初始状态概率a(0)无关，还是平稳分布。记
Tij inf n:X (0) i, X (n) j, n 1
• 显然，P 的每一元素均为非负，且其行 和为1。（ 称P矩阵为随机矩阵 ）
• 这里，一旦有了P，那么给定初始状态 概率a(0)，就可计算任意时间n的状态概 率。
a(n 1) a(n) p
相关定义和相关定理
• Def1.一个有k个状态的马氏链如果存在正 整数N，使从任意状态i经N次转移都以大 于零的概率到达状态j（i,j=1,2,…,k）,则称 为正则链。
补充假设
• ⑸增长率λx为x的线性函数，即
x x(x 1, 0)
它表示系统从状态i出发首次进入状态j的时刻；记
fij (n) p(Tij n X (0) i), n 1 它表示系统从状态i出发经n次转移进入状态j的概率；记
mij nfij (n) n1
它表示系统从状态i出发首次进入状态j的平均转移次数。 特别地，mii表示系统从状态i出发返回状态i的平均转移次数。
• TH1.若马氏链的转移矩阵为P，则它是正 则链的充要条件是：存在正整数n，使得Pn 的每个元素均为正。
k
• Def2.一个概率分布
vj
,即v j 0， v j 1称为 j 1
马氏链的平稳分布，如果
k
v j v j pij j 1
v vp • 记 v (v1, v2, , vk ) 上式可表示为向量形式
• TH3.对于正则链，设 1, , k是 其极限
分布，则
mij
1。
i
• Def4.设i∈I，若pii=1,称i是吸收态。如果马氏 链至少包含一个吸收态，并且从每个非吸收
态出发能以正的概率经有限次转移到达某个
吸收状态，那么这个马氏链称为吸收链。
转移矩阵
p
Irr R
0 Q
行之和为1
r个吸收状态，k-r个非吸收状态