数学建模之马尔可夫预测
马尔可夫预测
马尔可夫过程是一种常见的比较简单的随机过程。该过程是研究一个系统的
状况及其转移的理论。它通过对不同状态的初始概率以及状态之间的转移概率的
研究,来确定状态的变化趋势,从而达到对未来进行预测的目的。
三大特点：
（1）无后效性
一事物的将来是什么状态，其概率有多大，只取决于该事物现在所处的状态如
何，而与以前的状态无关。也就是说，事物第n期的状态，只与第n期内的变化
和第n-1期状态有关,而与第n-1期以前的状态无关。
（2）遍历性
不管事物现在所处的状态如何，在较长的时间内马尔可夫过程逐渐趋于稳定
状态，而与初始状态无关。
（3）过程的随机性。
该系统内部从一个状态转移到另一个状态是，转变的可能性由系统内部的原
先历史情况的概率值表示。
1.模型的应用，
①水文预测，
②气象预测，
③地震预测，
④基金投资绩效评估的实证分析，
⑤混合动力车工作情况预测，
⑥产品的市场占有情况预测。
2.步骤
①确定系统状态
有的系统状态很确定。如：机床工作的状态可划分为正常和故障，动物繁殖后
代可以划分为雄性和雌性两种状态等。但很多预测中，状态需要人为确定。如：
根据某种产品的市场销售量划分成滞销、正常、畅销等状态。这些状态的划分是
依据不同产品、生产能力的大小以及企业的经营策略来确定的，一般没有什么统
一的标准。在天气预报中，可以把降水量划分为旱、正常和涝等状态。
②计算初始概率0iS
用iM表示实验中状态iE出现的总次数，则初始概率为
0
11,2,iiiniiMSFinM
③计算一步转移概率矩阵
令由状态iE转移到状态jE的概率为|ijjiPPEE，则得到一步转移概率矩阵
为：
111212122212n
n
nnnn
ppp
ppp
Pppp
④计算K步转移概率矩阵
若系统的状态经过了多次转移，则就要计算K步转移概率与K步转移概率矩
阵。
K步转移概率矩阵为：
111212122212()kn
n
k
nnnn
ppp
ppp
Pkpppp
⑤预测及分析
根据转移概率矩阵对系统未来所处状态进行预测，即：
1112102122212Kn
K
n
nnnn
ppp
ppp
SSppp
例题：
设某企业生产洗涤剂为A型,市场除A型外,还有B型、C型两种。为了生产经
营管理上的需要,某企业要了解本厂生产的A型洗涤剂在未来三年的市场占有倩
况。为此,进行了两项工作,一是进行市场调查,二是利用模型进行预测。
市场调查首先全面了解各型洗涤剂在市场占有情况。年终调查结果:市场洗涤剂
目前总容量为100万件,其中A型占40万,B型和C型各占30万。
再者,要调杏顾客购买各型洗涤剂的变动情况。调查发现去年购买A型产品的顾
客,今年仍购A型产品24万件,转购B型和C型产品备占8万件,去年购买B型产
品顾客,今年仍购B型产品9万件,转购A型15万件,转购C型6万件,去年购买
C型产品的顾客,今年仍购C型产品9万件,转购A型15万件,转购B型6万件。
计算各型产品保留和转购变动率。
模型的建立：
①计算初始概率
用iM表示iE型产品出现的总次数，则初始概率为
0
11,2,iiiniiMSFinM
（1）
②计算各类产品保留和转购变动率
用1,2,3，分别表示A,B,C三种产品类型，令由(1,2,3)iEi型产品转移到
(1,2,3)jEj
型产品的概率为|ijjiPPEE，则得到一步转移概率矩阵为：
111212122212n
n
nnnn
ppp
ppp
Pppp
（2）
③预测与分析
根据产品市场占有率的初始资料（1）和产品转移概率矩阵资料(2),预测未来
各年度各型产品市场占有率。即：
1112102122212Kn
K
n
nnnn
ppp
ppp
SSppp
（3）
模型的求解
①计算初始概率
用概率向量0S表示各类产品市场占有的初始状态，由（1）得0(0.40.30.3)S。
②计算各类产品保留和转购变动率
由（2）计算得一步转移概率矩阵为
0.60.20.20.50.30.20.50.20.3P
③预测与分析
由（3）计算得到产品市场占有率的预测如下
0.60.20.2(0.40.30.3)0.50.30.20.50.20.3KKS
令k=1得后续第l年各型产品币场占有率预测为
1
0.60.20.2(0.40.30.3)0.50.30.2(0.540.230.22)0.50.20.3S
其中A型产品市场占有率为54%。
令k=2得后续第2年各型产品币场占有率预测为
2
2
0.60.20.2(0.40.30.3)0.50.30.2(0.5540.2230.223)0.50.20.3S
其中A型产品市场占有率为55.4%。
令k=2得后续第2年各型产品币场占有率预测为
3
3
0.60.20.2(0.40.30.3)0.50.30.2(0.55540.22230.2223)0.50.20.3S
其中A型产品市场占有率为55.54%。
这说
明,某企业生产的A型洗涤剂今后三年的市场占有率为54%、55.4%、55.54%,比
目前40%的市场占有率有不同程度的增长,市场容量日益增加。而其他企业的B
型和C型产品在今后三年内均为23%、22.3%、22.23%,比目前市场占有率30%都
低,市场容量逐渐下降。对比结果,A型产品在市场竞争中处于优势。以上仅仅根
据三年的预测资料来说明的。今后怎样?如果市场顾客购买各型产品的流动倾向
长期如此下去,各型产品市场占有率将稳定在一定水平。这时马尔可夫预测式中
的K趋向∞,各型产品市场占有率将是
0.60.20.2lim(0.40.30.3)0.50.30.2(0.50.250.25)0.50.20.3kkkkS
它表明A型产品可长期占有一半市场,而B、C型产品可稳占1/4市场。
马尔科夫预测
第 6 章马尔可夫预测马尔可夫预测方法不需要大量历史资料，而只需对近期状况作详细分析。
它可用于产品的市场占有率预测、期望报酬预测、人力资源预测等等，还可用来分析系统的长期平衡条件，为决策提供有意义的参考。
6.1 马尔可夫预测的基本原理马尔可夫（A.A.Markov ）是俄国数学家。
二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。
具有这种特性的随机过程称为马尔可夫过程。
设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济和社会行为都可用这一类过程来描述或近似，故其应用范围非常广泛。
6.1.1 马尔可夫链为了表征一个系统在变化过程中的特性（状态），可以用一组随时间进程而变化的变量来描述。
如果系统在任何时刻上的状态是随机的，则变化过程就是一个随机过程。
设有参数集T （ , ），如果对任意的t T ，总有一随机变量X t 与之对应，则称{X t ,t T} 为一随机过程。
如若T 为离散集（不妨设T {t0,t1,t2,...,t n,...} ），同时X t的取值也是离散的，则称{X t ,t T} 为离散型随机过程。
设有一离散型随机过程，它所有可能处于的状态的集合为S {1,2,L ,N} ，称其为状态空间。
系统只能在时刻t0,t1,t2,...改变它的状态。
为简便计，以下将X t n等简记为X n。
一般地说，描述系统状态的随机变量序列不一定满足相互独立的条件，也就是说，系统将来的状态与过去时刻以及现在时刻的状态是有关系的。
在实际情况中，也有具有这样性质的随机系统：系统在每一时刻（或每一步）上的状态，仅仅取决于前一时刻（或前一步）的状态。
这个性质称为无后效性，即所谓马尔可夫假设。
具备这个性质的离散型随机过程，称为马尔可夫链。
用数学语言来描述就是：马尔可夫链如果对任一n 1，任意的i1,i2, ,i n 1, j S恒有P X n j X1 i1,X2 i2,L ,X n 1 i n 1 P X n j X n 1 i n 1 （6.1.1）则称离散型随机过程{X t ,t T} 为马尔可夫链。
马尔科夫预测
马尔科夫预测马尔柯夫预测法第三节马尔柯夫预测 ? 马尔柯夫(A.A Markov)预测法是应用概率论中马尔柯夫链的理论和方法来研究随机事件变化并借此分析预测未来变化趋势的一种方法。
? 马尔柯夫(A.A Markov 俄国数学家)。
一(基本概念二(稳态概率三(实例第三节马尔可夫决策案例引入:实例2: P198 例6-7 我国出口某种设备，在国际市场上的销售状况有两种:畅销和滞销。
畅销每年可以获利 100万元，滞销时每年仅获利30万元。
以一年为一个时期，如果不采用广告推广产品或采取广告措施，状态的转移矩阵分别为如表6-5、表6-6所示。
第三节马尔可夫决策表6-3 不采取广告措施畅销畅销滞销 0.8 0.4 滞销0.2 0.6 表6-4采取广告措施畅销畅销滞销 0.9 0.7 滞销 0.1 0.3 假定上一年处于畅销状态，每年的广告费为15 万元。
为了保证今后3年的利润最大化，是否应该采用广告措施,案例引入:例6-5P194 某企业为使技术人员具有多方面经验，实行技术人员在技术部门，生产部门和销售部门的轮换工作制度。
轮换办法采取随机形式，每半年轮换一次，初始状态，即技术人员开始是在某部门工作概率用表示，j=1，2，;pij表示处于第i个部门的技术人员在半年后(一步) 转移到第j个部门的概率。
已知状态转移概率 ? P1 1 ? P ? P2 1 ? ?P ? 31 P (0) P1 2 P2 2 P3 2 (0) (0) P1 3 ? ? 0 .5 ? ? P2 3 ? 0 ? ? P3 3 ? ? 0 .7 5 ? ? (0) 0 .5 0 .5 0 .2 50 ? ? 0 .5 ? 0 ? ? ? ( p1 , p 2 , p 3 ) 如果某人开始在工程技术部门工作(部门1)，则经过2次转移后它在生产部门工作(部门2) 的概率是多少,一、基本概念 ? 20世纪初，马尔科夫在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关，而与事物的过去状态无关。
马尔可夫链预测
N
pij 0,
p
j 1
ij
1
若由X n i转移到X n 1 j的概率pij与n无关,则称该马尔 可夫链是齐次的。
12
几个概念：
13
几个概念：
概率向量：对于任意的行向量（或列 向量），如果其每个元素均非负且总和等于1， 则称该向量为概率向量。
(2)
P
0.7 0.3 0.76 0.24 P 0.72 0.28 0.9 0.1
2
2
如已知初始概率向量 P(0)：
含义？
P(0) (0.8 0.2)
0.7 0.3 0.1
p1 (0)
0.9
p2 (0)
37
0.7 0.3 P 0.9 0.1
23
马尔可夫链中任何k步状态转移概率都可由 1步状态转移概率求出。
24
马尔可夫链中任何k步状态转移概率都可由 1步状态转移概率求出。
全概率公式
25
马尔可夫链中任何k步状态转移概率都可由 1步状态转移概率求出。
全概率公式
P ( k ) P ( k 1) P
P
k
P , k 1
k
P —— 一步状态转移概率矩阵
例3
33
考察一台机床的运行状态。机床的运行 存在正常和故障两种状态。S={1,2}。机床在运行中出 现故障：1－>2；处于故障中的机床经维修，恢复到正 常状态：2－>1。 以一个月为单位，经观察统计，知其从某个月份到 下月份，机床出现故障的概率为0.3。在这一段时间内， 故障机床经维修恢复到正常状态的概率为0.9。 0.3 1 0.9
第9章马尔可夫预测方法
p00 (n)
P1
p10 (n)
pk
0
(n)
p01(n) p11(n)
pk1(n)
p0k (n)
p1k
(n)
pkk
(n)
首页
(4)齐次马氏链
如果马氏链的一步转移概率 pij (n) 与 n 无关，
即 P{X n1 j | X n i} pij
则称此马氏链为齐次马氏链（即关于时间为齐次）
i0
则称 ( j) 为平稳分布 。
9.1.2马尔可夫链预测原理 1．马氏链近期预测原理
9.1.2马尔可夫链预测原理 1．马氏链近期预测原理
定理1 设{Xn}为一个齐次马氏链，其状态空间为I，
绝对概率为 P(n) ( p1(n), p2 (n),L , pN (n)}
n步转移概率为
p(n) ij
，则有：
到 从
甲乙丙
甲
480 120 160
乙
90 360 130
首页
丙
120 180 800
解 （1） 根据市场调查，确定1月份的初始概率分布
P(0) ( p1, p2 , p3 )
A=[760 580 1100];
P0=A./sum(A)
%初始分布
%结果为P0 = 0.3115 0.2377 0.4508
（2） pij (n) 1 , i I jI
(3)一步转移矩阵 如果固定时刻n T
则由一步转移概率为元素构成的矩阵P1 ：
称为在时刻n的一步转移矩阵
首页
即 有
p00 (n)
p10
(n)
p01(n)
p11 (n)
P1
pn0 (n)
马尔可夫预测算法
马尔可夫预测算法综述马尔可夫预测法以系统状态转移图为分析对象，对服从给定状态转移率、系统的离散稳定状态或连续时间变化状态进行分析马尔可夫预测技术是应用马尔可夫链的基本原理和方法研究分析时间序列的变化规律，并预测其未来变化趋势的一种技术。
方法由来马尔可夫是俄国的一位著名数学家 (1856—1922)，20世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关，而与事物的过去状态无关。
针对这种情况，他提出了马尔可夫预测方法，该方法具有较高的科学性，准确性和适应性，在现代预测方法中占有重要地位。
基础理论在自然界和人类社会中，事物的变化过程可分为两类:一类是确定性变化过程；另一类是不确定性变化过程。
确定性变化过程是指事物的变化是由时间唯一确定的，或者说，对给定的时间，人们事先能够确切地知道事物变化的结果。
因此，变化过程可用时间的函数来描述。
不确定性变化过程是指对给定的时间，事物变化的结果不止一个，事先人们不能肯定哪个结果一定发生，即事物的变化具有随机性。
这样的变化过程称为随机过程一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描述。
在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接连不断地观测它的变化过程。
这就要研究无限多个，即一族随机变量。
随机过程理论就是研究随机现象变化过程的概率规律性的。
客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生变化状态即为客观事物可能出现或存在的状况，用状态变量表示状态：⎪⎪⎭⎫⎝⎛⋅⋅⋅=⋅⋅⋅==,2,1,,2,1t N i i X t 它表示随机运动系统，在时刻),2,1( =t t 所处的状态为),2,1(N i i =。
状态转移：客观事物由一种状态到另一种状态的变化。
设客观事物有N E E E E ...,,321共 N 种状态，其中每次只能处于一种状态，则每一状态都具有N 个转向（包括转向自身），即由于状态转移是随机的，因此，必须用概率来描述状态转移可能性的大小，将这种转移的可能性用概率描述，就是状态转移概率。
第4章 马尔科夫预测方法
4.3.3“规划求解”求稳态市场占有率
4.4马尔科夫分析在管理决策中的应用
【例4.6】 达众出租车公司在甲 （旅店）、乙（机场）、丙（度假 村）三个地点附近设有停车场。顾 客可由甲、乙、丙三处租车，汽车 送走旅客后，也回到甲、乙、丙三 租 车 处候客。根据以往统计资料，汽车 在三处往返关系的概率如表，若公 司想要选择一处附设保养场，应设 何处比较好？ 即确定公司在经过长期经营之后， 集结在何处的汽车较多？ 返 甲 甲 乙 丙 0.8 0.2 0.2 回 乙 0.2 0 0.2 丙 0 0.8 0.6
电力消费量年平均增长 速度 国民经济年平均增长速 度
电力消费弹性系数 =
弹性系数
1.80 1.60 1.40 1.20 1.00 0.80 0.60 0.40 0.20 0.00
电力消费弹性系数
1985 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008
第四步：预测2010年的上海电力消费弹性系数最大可能的状态， 求转移概率矩阵的平方P2ij： 鼠标先预留P2ij 输出的区域 “$H$17:$K$20”，→编辑栏点击插入函数fx→选择数学计算中矩 阵乘积函数“MMULT”→两相乘的矩阵分别点取输入转移概率矩 阵“$H$100:$K$13”，见图中矩阵乘积的参数设置，→编辑栏中 等号前键入“Ctri+Shift+Enter”，出现 {=MMULT(H10:K13,H10:K13)}，表示对整个数组的运算。 第五步：按“确定”，可见转移概率矩阵的平方P2的输出单元格 “$H$17:$K$20” 从2008年上海电力消费弹性系 2008 数所处的第二状态出发，经过 二步转移之后，在P2中可以看 出， P222=0.4994为最大概率 值，下一步最有可能处于第二 状态： 0.6＜电力消费弹性系数≤0.9。
第八讲 马尔可夫预测
P 11 P ( L xnt) ) 21 L Pn1
P L Pn 12 1 P22 L P2n L L L Pn2 L Pnn
例2:已知市场上有A、B、C三种品牌的洗
衣粉，上月的市场占有率分布为（0.3 0.4 0.3），并且转移概率矩阵为：
0.6 0.2 P = 0.1 0.7 0.1 0.1 0.2 0.2 0.8
用 Ri (k) 表示从状态Si开始,经K步转移后的期望利润。那么,当k=1 时,期望利润为
Ri = Pi1ri1 + Pi2ri2 +L+ Pinrin = ∑Pij rij , i =1,2L, n
(1)
n
于是K步转移后的期望利润为两次转移(一步转移和K-1步转移) 期望利润之和,即
j=1
Ri
记
(k )
= ∑ Pij rij + ∑ Pij R j
j =1 j =1
n
n
( k −1)
R(k) = (R1 , R2 ,LRn )T
(k ) (k ) (k )
则可表为矩阵形式:
R(k ) = R(1) + PR(k−1)
例4:设某商品连续两个月畅销时,可获利8万元;连续滞销时,亏
损2万元;由畅销转滞销时可获利3万元;滞销转畅销时可获利4万 元,试预测4个月后总期望利润。
预测第21月的销售额
• 因为第20月的销售属状态3，而状态3经 过一步转移达到状态1、2、3的概率分别 为2/7、0、5/7，P33>P31>P32，所以第21月 仍处于状态3的概率最大，即销售额超过 100万元的可能性最大。
§2 马尔可夫预测应用
• 一、市场占有率预测
马尔可夫模型使用技巧
马尔可夫模型使用技巧马尔可夫模型是一种用来描述随机过程的数学模型，能够预测未来状态的可能性。
在实际应用中，使用马尔可夫模型需要一些技巧，下面将介绍一些使用马尔可夫模型的技巧。
1. 状态空间的确定：首先需要确定模型的状态空间，即所有可能的状态。
根据实际问题，将可能的状态划分为离散的项，并确定每个状态的转移概率。
2. 转移概率的估计：在实际应用中，往往无法准确估计转移概率。
可以通过观测历史数据或进行统计分析来近似估计转移概率。
这些数据可以是离散的事件序列或连续的观测数据。
3. 初始状态的确定：马尔可夫模型需要指定初始状态的概率分布。
初始状态的选择取决于待解决的问题，可以通过观测数据或领域知识来确定。
4. 模型的训练和验证：使用训练数据集来估计模型的参数，包括初始状态和转移概率。
然后使用验证数据集来评估模型的精度和性能。
可以通过计算预测的准确性、召回率等指标来评估模型。
5. 模型的优化和调整：在模型训练和验证的过程中，可以对模型进行调整和优化。
例如，可以通过增加历史状态的数量来改进模型的预测能力。
还可以尝试不同的参数估计方法和模型结构来优化模型的性能。
6. 马尔可夫链的平稳性检验：为了确保马尔可夫模型的有效性，需要对模型的平稳性进行检验。
平稳性检验可以通过计算状态转移矩阵的特征值和特征向量来进行。
如果马尔可夫链是平稳的，那么在长期内，每个状态的概率将趋于稳定。
7. 模型的应用：根据训练好的模型，可以进行未来状态的预测。
根据当前状态，可以通过计算各个可能状态的转移概率得到下一个状态的预测。
总结起来，使用马尔可夫模型需要确定状态空间、估计转移概率、确定初始状态、进行模型训练和验证、优化调整模型、进行平稳性检验和进行模型的应用。
这些技巧在实际应用中可以帮助我们更好地理解和预测复杂的随机过程。
马尔可夫预测
S5P
0.57004 /
0.42996
0.7 0.4
0.3
0.6
(0.571012 / 0.42988)
▪ 可看出，随着K的增大，分别接近于0、571和 0、429。即可预测六个月后该商品畅销的概 率为0、571，滞销为0、429。
P11 P12 P1n P P21 P22 P2n
Pn1 Pn2 Pnn
性质：
▪ 1）矩阵中每个元素P（IJ均为非负的，即
Pij 0, (i, j 1,2, n)
▪ 2）矩阵中每行元素相加其和为1，即
n
Pij 1, (i 1,2, , n)
j 1
▪ 2、K步转移概率矩阵：系统的状态是随着时 间的推移不断发生转移。如果系统的状态不 只经过一次转移，而是经过多次转移，就必 须有K步转移概率和K步转移概率矩阵。
▪ 假定该商品现在K=0的销售状态为畅销，
则有初始状态概率向量为 S0 10
▪ 今后半年各月的销售状态概率为
S1
S
0P
(1/
0)
0.7 0.4
0.3
0.6
(0.7
/
0.3)
S6
S5P
(0.57247
/
0.42753)
0.7 0.4
0.3
0.6
(0.571741/ 0.428259)
▪ 将趋近于固定概率向量U组成的方阵U，称 之为稳定概率矩阵。
▪ 例如：
0.5 0.25 0.25
P
0.5
0
0.5
Байду номын сангаас0.25 0.25 0.5
▪ 求稳定概率矩阵U。设固定概率向量为
▪ U (U1,U2,1U1 U2) 根据UP=U解方程求得，
马尔柯夫预测
设P的固定概率向量为 U=(x,1-x)，
则由 UP=U， 得 U=(1/3,2/3)，为P的唯一的固定概率向 量。
8
一步转移概率与转移矩阵
系统由状态Ei经过一步转移到状态Ej的概率为pij，则下 述N阶矩阵称为一步转移矩阵：
p11 p12 p1N
P
P(1)
p21
p22
p2 N
pN
1
00..46 00..46 00.4 01.6 01.5 00.5
正规概率矩阵(m=1) 正规概率矩阵(m=2) 不是正规概率矩阵
7
正规概率矩阵的固定概率向量
对于正规概率矩阵P和概率向量U，如果UP=U成立， 则称U为P的固定概率向量。并且P只有一个固定概率 向量。
概
率矩
阵P
0 1/2
1 1/ 2
0.4 0.4
0.7 0.4
0.3 0.3
0.3 0.6
00..66
0.7 0.4
00..63
0.7 0.4
可以证明：
00..63 P2 00..5621
P(k) Pk
00..3498
状态转移概率的估算
一步转移概率是马尔柯夫方法应用的关键。
一般地，转移概率的理论分布是未知的，但当我们具有足
够样本资料时，可利用状态之间转移的频率来作为概率的
估计值。即：
Pij
mij mi
其中 mij 是样本资料中状态 Si 转移到 S j 的次数。
mi 为状态 Si 出现的次数
13
例2
已知某一产品在过去21个月销量如下表所示。其中每月销量 在150千件以上为畅销，在100千件与150千件之间为正常， 低于100千件为滞销。记三种销售状态分别为：