马尔科夫预测

第 6 章马尔可夫预测

马尔可夫预测方法不需要大量历史资料，而只需对近期状况作详细分析。它可用于产品的市场占有率预测、期望报酬预测、人力资源预测等等，还可用来分析系统的长期平衡条件，为决策提供有意义的参考。

6.1 马尔可夫预测的基本原理

马尔可夫（A.A.Markov ）是俄国数学家。二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。具有这种特性的随机过程称为马尔可夫过程。设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济和社会行为都可用这一类过程来描述或近似，故其应用范围非常广泛。

6.1.1 马尔可夫链

为了表征一个系统在变化过程中的特性（状态），可以用一组随时间进程而变化的变量来描述。如果系统在任何时刻上的状态是随机的，则变化过程就是一个随机过程。

设有参数集T （ , ），如果对任意的t T ，总有一随机变量X t 与之对应，则称{X t ,t T} 为一随机过程。

如若T 为离散集（不妨设T {t0,t1,t2,...,t n,...} ），同时X t的取值也是离散的，则称{X t ,t T} 为离散型随机过程。

设有一离散型随机过程，它所有可能处于的状态的集合为S {1,2,L ,N} ，称其为状态空间。系统只能在时刻

t0,t1,t2,...改变它的状态。为简便计，以下将X t n等简记为X n。

一般地说，描述系统状态的随机变量序列不一定满足相互独立的条件，也就是说，系统将来的状态与过去时刻以及现在时刻的状态是有关系的。在实际情况中，也有具有这样性质的随机系统：系统在每一时刻（或每一步）上的状态，仅仅取决于前一时刻（或前一步）的状态。这个性质称为无后效性，即所谓马尔可夫假设。具备这个性质的离散型随机过程，称为马尔可夫链。用数学语言来描述就是：

马尔可夫链如果对任一n 1，任意的i1,i2, ,i n 1, j S恒有

P X n j X1 i1,X2 i2,L ,X n 1 i n 1 P X n j X n 1 i n 1 （6.1.1）则称离散型随机过程{X t ,t T} 为马尔可夫链。

例如，在荷花池中有N 张荷叶，编号为1,2,..., N 。假设有一只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动可看作一随机过程。在时刻t n ，青蛙所在的那张荷叶，称为青蛙所处的状态。那么，青蛙在未来处于什么状态，只与它现在所处的状态i i 1,2, ,N 有关，与它以前在哪张荷叶上无关。此过程就是一个马尔可夫链。

由于系统状态的变化是随机的，因此，必须用概率描述状态转移的各种可能性的大小。

6.1.2 状态转移矩阵

马尔可夫链是一种描述动态随机现象的数学模型，它建立在系统“状态”和“状态转移”的概念之上。所谓系统，就是我们所研究的事物对象；所谓状态，是表示系统的一组记号。当确定了这组记号的值时，也就确定了系统的行为，并说系统处于某一状态。系统状态常表示为向量，故称之为状态向量。例如，已知某月 A 、B 、C 三种牌号洗衣粉的市场占有率分别是0.3、0.4、

0.3，则可用向量P 0.3,0.4,0.3 来描述该月市场洗衣粉销售的状况。

当系统由一种状态变为另一种状态时，我们称之为 状态转移 。例如，洗衣粉销售市场状态的 转移就是各种牌号洗衣粉市场占有率的变化。显然，这类系统由一种状态转移到另一种状态完全 是随机的，因此必须用概率描述状态转移的各种可能性的大小。

如果在时刻 t n 系统的状态为 X n i 的条件下，在下一个时刻 t n 1系统状态为 X n 1 j 的概率

p

ij

n 与 n 无关，则称此马尔可夫链是齐次马尔可 夫链，

并记

p ij P X n 1 j X n i

, i, j 1,2,L ,N

称

p ij 为状态转移概率。显然，我们有

p ij 0, i, j 1,2,L ,N,

N

p ij 1, i 1,2,L ,N.

j1

转移矩阵 设系统的状态转移过程是一齐次马尔可夫链，状态空间 S 1,2, ,N 有限，状 态转移概率为 p ij ，则称矩阵

P

p 11 p 21

p 12 p 22

p 1N

p 2N

(6.1.2)

p N1

p N2

p NN

为该系统的 状态转移概率矩阵， 简称 转移矩阵。

为了论述和计算的需要，引入下述有关概念。

概率向量 对于任意的行向量（或列向量）， 如果其每个元素均非负且总和等于

1，则称该向

量为 概率向量。

概率矩阵 由概率向量作为行向量所构成的方阵称为 概率矩阵。

对于一个概率矩阵 P ，若存在正整数 m ，使得 P m 的所有元素均为正数，则称矩阵 P 为正规 概率矩阵 。

例如，矩阵

0.7 0.3 A

0.5 0.5

1，行数和列数相同，为 2 2 方阵，故矩阵 A 为概率矩

概率矩阵有如下性质：如果 A 、B 皆是概率矩阵，则 AB 也是概率矩

阵；如果 A 是概率矩阵，

则 A 的任意次幂 A m （m 0） 也是概率矩阵。 对 k 1 ，记

p ij k P X n k j X n i

中每个元素均非负，每行元素之和皆为 阵。

P k

k p ij

k

(6.1.3)

NN

k

称 p ij k 为 k 步状态转移概率， 也可看出）。

特别，当 k 1时， p ij 1 可由

1 步状态转移概率求出。

由全概率公式可知对 k

k

p ij k

P

P k 为 k 步状态转移概率矩阵，它们均与

n 无关（从下面的式 （6.1.4）

p ij 为 1 步状态转移概率。马尔可夫链中任何

k 步状态转移概率都

1有（其中 P 0 表示单位矩阵）： X n

k

j X

n

i

其中用到马尔可夫链的“无记忆性”和齐次性。用矩阵表示，即为

P (k)

P (k 1) P ，从而可得

P k P k , k 1 (6.1.4)

P 0

p 1 0 , p 2 0 ,..., p N 0

为初始状态概率向量

P p ij 以及初始状态概率向量 P 0 ，则任一时刻的状态 概率分布也就确定

了：

对 k 1，记 p i k P X k i ，则由全概率公式有 N

k

p i k p j 0 p ji k , i 1,2,L ,N, k 1 (6.1.5)

j1

若记向量

P k p 1 k ,p 2 k ,L ,p N k ，则上式可写为

P k P 0 P (k ) P 0 P k

(6.1.6)

由此可得，

P k P k 1 P (6.1.7)

例 6.1 考察一台机床的运行状态。机床的运行存在正常和故障两种状态。由于出现故障带有 随机性，故可将机床的运行看作一个状态随时间变化的随机系统。可以认为，机床以后的状态只 与以前的状态有关，而与过去的状态无关，即具有无后效性。因此，机床的运行可看作马尔可夫 链。

设正常状态为 1，故障状态为 2，即机床的状态空间由两个元素组成。机床在运行过程中出现

故障，这时从状态 1 转移到状态 2；处于故障状态的机床经维修，恢复到正常状态，即从状态 2 转

移到状态 1。

现以一个月为时间单位。经观察统计，知从某月份到下月份机床出现故障的概率为 0.2，即 p 12 0.2 。其对立事

件，保持正常状态的概率为

p 11 0.8 。在这一时间，故障机床经维修返回到

正常状态的概率为 0.9，即 p 21 0.9 ；不能修好的概率为 p 22 0.1 。机床的状态转移情形见图

6.1。

图 6.1 机床的状态转移

由机床的一步转移概率得状态转移概率矩阵

P p 11 p 12

0.8 0.2

p 21 p 22

0.9 0.1

P(0) (0.85 0.15) ，现要预测机床两个月后的状态。先求出两步

P X n k 1 l X n l1

i P x n k

j X n k 1 l

N l1

pi (l

k 1)

p lj

, i,j

1,2,..., N

记 t 0 为过程的开始时刻，

p i 0 P X 0 X t 0 i ，则称

如已知齐次马尔可夫链的转移矩阵

若已知本月机床的状态向量 转移概率矩阵

2

(2) 2

0.8 0.2 P (2) P 2

0.9 0.1

矩阵的第一行表明，本月处于正常状态的机床，两个月后仍处于正常状态的有

0.82，转移到

故障状态的有 0.18 。第二行说明，本月处于故障状态的机床，两个月后转移到正常状态的有 0.81，仍处于故障状态

的有 0.19。

于是，两个月后机床的状态向量

P(2) P(0)P

(2)

(0.85 0.15) 0.82 0.18

0.81 0.19

(0.8185 0.1815)

6.1.3 稳态概率矩阵

在马尔可夫链中，已知系统的初始状态和状态转移概率矩阵，就可推断出系统在任意时刻可 能所处的状态。现在需要研究当 k 不断增大时， P (k) 的变化趋势。

1． 平稳分布

若存在非零概率向量 X x 1, x 2 ,L ,x N ，使得 XP X ，其中 P 为一概率矩阵，则称 X 为 P 的 固定概率向量 。 特别，设 X x 1,x 2,L ,x N 为一状态概率向量， P 为状态转移概率矩阵。若 XP X (6.1.8) 即

i x i p ij x j

, j 1,2, ,N

则称 X 为马尔可夫链的一个 平稳分布 。若随机过程某时刻的状态概率向量 P k 为平稳分布，则称 过程处于平衡状态。一旦过程处于平衡状态，则过程经过一步或多步状态转移之后，其状态概率 分布保持不变，也就是说，过程一旦处于平衡状态后将永远处于平衡状态。

对于我们所讨论的状态有限(即 N 个状态)的马尔可夫链，平稳分布必定存在 [1] 。特别地， 当状态转移矩阵为正规概率矩阵时，平稳分布唯一。此时，求解方程 (6.1.8) ，即可得到系统的平 稳分布。

2． 稳态分布

对概率向量

1, 2

,..., N ，如对任意的 i, j S 均有

lim p ij m j (6.1.9) m

则称 为 稳态分布 。此时，不管初始状态概率向量如何，均有

NN

lim p j m lim p i 0 p ij (m)

p i 0 j j

m m

i1 i 1 或

m lim P(m) m lim (p 1(m)，p 2(m)，..., p N (m)) 这也是称 为稳态分布的理由。

设存在稳态分布

1, 2

,..., N ，则由于下式恒成立

P k P k 1P

k ，就得

P (6.1.10) 即，有限状态马尔可夫链的稳态分布如

存在，那么它也是平稳分布。

对任一状态 i ，如果｛ k : p ii k 0｝的公约数为 1，则称 i 是非周期状态。如果一个马尔可夫链

0.82 0.18 0.81 0.19

的所有状态均是非周期的，则称此马尔可夫链是非周期的。 对非周期的马尔可夫链，稳态分布必存在，对不可约非周期的马尔可夫链，稳态分布和平稳 分布相同且均唯一 [1] 。

例 6.2 设一马尔可夫链的转移矩阵为

求其平稳分布及稳态分布。 解：（ 1）P 不可约

i x i 1

得 X 0.4,0.2,0.4 , 这就是该马尔可夫链的稳态分布，而且也是平稳分布。

6.2 马尔可夫预测的应用

马尔可夫预测乃是利用某一系统的现在状况及其发展动向去预测系统未来状况的一种预测方 法。它在技术与经济发展以及现代企业的经营管理中，均可为决策者制定决策提供较科学的未来 信息。马尔可夫预测范围广泛，如在预测企业的发展规模和产品销售份额，分析顾客（消费者） 流向，选择销售及服务地点，选择销售维修策略，制定设备更新方案，以及决定最优工作分配等 方面均有显著成效。应用马尔可夫分析，对环境保护、生态平衡等复杂大系统未来状况进行预 测，对各种环境污染治理策略的选择等，均可取得良好的效果。

6.2.1 市场占有率的预测

我们结合例题来说明如何预测市场占有率。

例 6.3 伍迪公司、布卢杰 .里维公司、雷恩公司 （分别用符号 A 、B 、C 代表）是美国中西部地区

三家主要灭虫剂产商。根据历史资料得知，公司 A 、B 、C 产品销售额的市场占有率分别为

50%， 30% ， 20%。由于 C 公司实行了改善销售与服务方针的经营管理决策，使其产品销售额逐期稳定 上升，而 A 公司却下降。通过市场调查发现三个公司间的顾客流动情况如表 6.1 所示。其中产品 销售周期是季度。现在的问题是按照目前的趋势发展下去， A 公司的产品销售额或客户转移的影 响将严重到何种程度？更全面的，三个公司的产品销售

额的占有率将如何变化？

表 6.1 A 、B 、C

将表 6.1 中的数据化为转移概率将对研究分析未来若干周期的顾客流向更为有利。表

6.2 列出

0.50 0.25 0.25 0.50 0.00 0.50 0.25 0.25 0.50 P

P2

P 2

0.4375 0.1875

0.375 0.375 0.25

0.375

0.375

0.1875 0.4375

p ij 0 ，仅当 i 2 且 j

（2）P 非周期 由 p 11 1 0,p 11 2

同理可得 2，3 均为非周期状态。 （3）由于 P 不可约且是非周期的，求解如下方程组 XP X

2 时。又

0 可知 1

， p

22

0 ，由定义可知， P 是不可约的。

2 的公约为 1，故状态 1 故 P 是非周期的。 为非周期状态。

了各公司顾客流动的转移概率。表6.2 中的数据是每家厂商在一个周期中的顾客数与前一周期的顾客数相除所得。表中每一行表示某公司从一个周期到下一个周期将能保住的顾客数的百分比，以及将要丧失给竞争对手的顾客数的百分比。表中每一列表示各公司在下一周期将能保住的顾客数的百分比，以及该公司将要从竞争对手那里获得顾客数的百分比。

如用矩阵来表示表6.2 中的数据，那么就得到了如下的转移矩阵

A B C

A0.70.10.2

P

0.10.80.1(6.2.1)

B

C0.050.050.9

P 中数据表示一个随机挑选的顾客，从一个周期到下一个周期仍购买某一公司产品的可能性或概率。如，随机挑选一名A公司的顾客，他在下一周期仍购买 A 公司产品的概率为0.7，购买B

公司产品的概率为0.1，购买C 公司产品的概率为0.2。

1. 未来各周期市场占有率的计算

以A、B、C 公司作为我们要分析的系统的状态，那么状态概率向量就分别为三家公司的产品销售额的市场占有率。初始状态概率向量为

P 0 P1 0 ,P2 0 ,P3 0 0.5,0.3,0.2 , 转移矩阵由（6.2.1）式给出。于是可用式（6.1.6）来计算未来各期的市场占有率。如状态转移一次后第一周期的市场占有率向量为：

P 1 P 0 P

0.70.10.2

0.5,0.3,0.2 0.10.80.1

0.050.050.9

0.39,0.3,0.31

由式（6.1.6）可以递推地求得未来各期的市场占有率。

2. 稳态市场占有率

从转移矩阵P 中可以看出，A 公司的市场占有率将逐期下降，而C 公司的市场占有率则将逐期上升（用式（6.1.6）计算出P k 即可验证）。从经营决策和管理的角度来看，自然希望了解公司的市场占有率最终将达到什么样的水平，亦即需要知道稳态市场占有率。

由于式（6.2.1）中的P 是不可约非周期的，所以稳态市场占有率即为平衡状态下的市场占有率，亦即马氏链的平稳分布。

由前面的讨论知道，我们求解如下方程组

0.70.10.2

x1,x2,x3 0.10.80.1x1, x2 , x3

0.050.050.9

x1 x2 x3 1

解得x1 0.1765, x2 0.2353, x3 0.5882

亦即，A、B、C 三家公司的市场占有率最终将分别达到17.65%，23.53%，58.82% 。

对本例来说，当销售份额达到平衡时，所有公司都各占总销售额中的一部分保持不变。但在

某些情况下，参与竞争的公司或厂商中能有一个或多个被完全逐出市场。例如对于转移矩阵A B C

A 0.7 0.1 0.2

P

B 0.1 0.8 0.1

C 0.05 0.05 0.9

厂商A 从B 与C 双方得到顾客，而从不失去顾客，容易推知照此趋势发展下去厂商A 将独占100%的市场。这一点从式(6.1.8) 的求解中亦可看出。

最后我们指出平衡状态存在的条件与初始状态概率向量无关。

3. 销售策略对市场占有率的影响

从本例的上述分析可以看出，A 公司的市场占有率将从50% 降至最终的17.65%, 当然这是假定以状态转移概率保持不变作为分析的前提的。如果公司的经营决策者看到了这种不利趋势，并制订某种策略(如销售策略) 来扭转这种不利趋势，使公司在市场上保持较有利的地位。以后我们就两种不同的销售策略，讨论如何利用马尔可夫分析帮助公司管理人员评价销售策略对销售份额的影响。可类似分析其它的经营策略。

1) 保留策略，指尽力保留公司原有顾客较大百分比的各种经营方针与对策。如采用提供优质服务或对连续两期购货的顾客实行折价优待等方法。设Ａ公司采用这样的保留策略后，减少了其原有顾客向Ｃ公司的流失，使保留率从原来的70％提高到85％，则转移矩阵成为

0.850.100.05

0.100.800.10

0.050.050.90

新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为31.6％，26.3％，42.1％，Ａ公司的

市场占有率从17.65％提高到31.6％。

2) 争取策略。指从竞争者拥有的顾客中争取顾客的各种经营方针与对策。如通过广告等方法。设Ａ公司通过争取策略，能从上一周期内向另外两家公司购货的顾客中各争取15％，则转移

矩阵成为

0.700.100.20

0.150.750.10

0.150.050.80

在新的平衡状态下，Ａ、Ｂ、Ｃ三家公司的市场占有率分别为33.3％，22.2％，44.5％。

在实际工作中，市场占有率仅仅是经营者制订决策的一个考虑因素。为制订出正确的决策，还可能要考虑其它的因素，如考虑采取策略的费用等。