马氏链的应用

马氏链的应用

----转移矩阵的应用

一摘要

随机过程，作为对一连串随机事件动态关系的定量描述，在自然科学、工程科学以及社会科学各领域具有重要应用。

数学上的随机过程是由实际随机过程概念引起的一种数学结构。人们研究这种过程，是因为它是实际随机过程的数学模型，或者是因为它的内在数学意义以及它在概率论领域之外的应用。随机过程的概念很广泛，因而随机过程的研究几乎包括概率论的全部。虽然不能给出一个有用而又狭窄的定义，但是概率论工作者在使用随机过程这个术语时，通常想到的是其随机变量具有某种有意义的相互关系的随机过程。由于这些过程类在数学上和非数学上的应用中十分重要，用这种理论工具，可以对常见的过程进行分析，进行一系列随机计算，从而可以将随机过程这一理论工具应用到实际中去，可以进行预测与决策，是相关数学模型的理论基础。

马尔可夫链，因安德烈·马尔可夫得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来是无关的。马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。企业的经济活动分析在企业的经营管理中发挥着日益重要的作用，马氏链

对事后实事求是地分析、总结企业完成的经济活动和事前科学地预测、判断企业未来的经济活动都是必不可少的[2]。一般情况下，经济预测的定量方法要用到数学模型，而定性方法则不需要。马尔可夫链为经济领域中运用数学模型对定性问题进行预测提供了一种思路，丰富了经济预测方法的内容。企业是一个动态变化的系统，在这一系统中，有一些变量和因素会随时间的推移而不断的随机变化。而马尔可夫链预测法又是一种适用于随机过程的科学、有效的动态预测方法，它立足于当前通过市场调查等途径所获现实资料的基础上，运用马尔可夫链的基本原理和方法对数据资料进行运算得出预测结果，因此很适用于企业的经济预测。本文就是运用马尔可夫链理论建立了一系列预测模型，使之能够给企业提供更大的帮助。

二实验目的

通过对马氏链理论的叙述，对其深入了解，将其应用到实际生活中，解决一些相关的问题。比如单个生产厂家的产品在同类商品总额中所占的比率，称为该厂产品的市场占有率。在激烈的竞争中，市场占有率随产品的质量、消费者的偏好以及企业的促销作用等因素而发生变化。企业在对产品种类与经营方向做出决策时，需要预测各种商品之间不断转移的市场占有率。本文主要研究的是马氏链的转移矩阵问题，这在课本上有讲到。课本中例题也有讲到，通过多做习题，也可以加深对转移矩阵的理解。三理论分析

转移概率矩是俄国数学家马尔科夫提出的，他发现：一个系统的某些因素在转移中，第n 次结果只受第n-1的结果影响，即只与当前所处状态有关，而与过去状态无关。 在马尔科夫分析中，引入状态转移这个概念。所谓状态是指客观事物可能出现或存在的状态；状态转移是指客观事物由一种状态转移到另一种状态的概率。

时间和状态都离散的马尔可夫过程称为马尔可夫链， 简称马氏链，记为：

{Xn=X(n),n=0,1,2,…},参数集T={0,1,2,…}，

记链的状态空间为：

()(),|ij m n j m i i j P m m n P X a X a m a m n a ++===+条件概率： 称为马氏链在时间处于状态条件下，在时间转移到状态的转移概率{}12,, i I a a a R =∈()112,1,1,2,,,ij j i P m m n j m a m n a a ∞=+==+

∑转移概率性质：这是因为链在时刻以任何一个状态出发，到另一个时刻必然转移到诸状态中的 某一个。()()()()()()0,,,||ij ij ij ij m n j m i n j i P m m n i j n P n P n P m m n P X a X a P X a X n a ++=+======当只与及有关时，把它记为，即称此转移概率为马氏链的当转移概率具有这种平稳性时，称此链是步转移概率；

齐次马氏链。

马尔科夫链预测法是对预测对象未来所处状态的预测，也就是预测目标对象未来可能出现或存在的状况。建立马尔科夫链预测模型来推知预测对象的未来发展，要求预测对象在预测期间满足下列条件：

(1) 过程随机性，在系统内部中从一个状态转移到另一个状态是

随机的[4]。

(2)过程的无后效性，系统内部的转移概率只与当前状态有关，

而与以前无关.即系统的某些因素在转移中第n 次结果只受第n-1次结果的影响，与其他结果无关。

(3)预测对象的状态必须是有限的或可列的，而且必须在可列个

时间发生状态转移。 ()()()()()()()()()()111213212223313233,,,,,,,,,,1P m m n P m m n P m m n P m m n P m m n P m m n P m m n P m m n P m m n P m m n ?+++? ?+++ ?+= ?+++ ???

转移概率矩阵：

此矩阵的每一行元素之和等于()()()()1112132122233132331111121322122233313233()()

()()()

()

()()()1|1 ij ij m j m i n P n P n P n P n P n P n P n P n P n P n P P P X a X a a P P P a P P P P P a P P P +?? ? ?= ? ???====? == ?在齐次马氏链中，步转移概率矩阵为：

一步转移概率记为：一步转移概率矩阵记为：???? ??

(4)在预测过程中对预测对象用同一标准划分的各状态应相互独

立。

(5)划分的状态应该包括预测对象全部可能出现的状况。

马尔可夫链的基本特性

（1）可以看出具有马尔可夫性的随机变量X n所处的状态仅与随机变量所处状态有关，而与前期随机变量X n+1所处状态无关。（2）平稳分布性即具有马氏性的概率分布{πi，i∈I}，一定

满足π(i)= ∑πi p ij ， i，j=0，

1，2，…

其中P ij为该随机过程的状态转移矩阵，I为状态空间的集合。（3）遍历性。若对于一切i，j∈E，极限lim p ij(n)=p j＞0(n→∞)存在，则称该马尔可夫链具有遍历性。马尔可夫链的遍历性说明，不论从哪个状态出发，经过充分大的转移步数后，到达状态j的概率接近于正常数p j。

（4）状态相通性。即具有马尔可夫性的随机过程无论系统初始状态如何，通过有限的转移步数后，一定可以到达同一个状态。用数学表示就是随机过程{X(t)，t∈T}，无论其初始状态是i或者j，经过一定步数后一定可以到达k状态，只是转移的方向和步数不同。

马氏链分析法的一般步骤为：

①调查目前的市场占有率情况；

②调查消费者购买产品时的变动情况；

③建立数学模型；

④预测未来市场的占有率。

实际分析中，往往需要知道经过一段时间后，市场趋势分析对象可能处于的状态，这就要求建立一个能反映变化规律的数学模型。马尔科夫市场趋势分析模型是利用概率建立一种随机型的时序模型，并用于进行市场趋势分析的方法。

马尔科夫分析法的基本模型为：

X(k+1)=X(k)×P

公式中：X(k)表示趋势分析与预测对象在t=k时刻的状态向量，P表示一步转移概率矩阵，X(k+1)表示趋势分析与预测对象在t=k+1时刻的状态向量。

马尔科夫分析法，是研究随机事件变化趋势的一种方法。市场商品供应的变化也经常受到各种不确定因素的影响而带有随机性，若其具有"无后效性"，则用马尔科夫分析法对其未来发展趋势进行市场趋势分析五，提高市场占有率的策略预测市场占有率是供决策参考的，企业要根据预测结果采取各种措施争取顾客。

四应用(主要研究在经济生活中的应用）

确定某一时刻的风险状态后，该风险转移的下一个状态所服从的概率规律，可以用马尔柯夫过程的数学描述估计出来。马尔柯夫风险过程的重要假定是在一定时间和客观条件下，风险状态的转移概率固定不变。转移概率是在给定时刻风险状态相关之下的下一时刻条件概率；转移概率构成的矩阵称为转移矩阵，矩阵中各

元素具有非负性，而且行的和值为1。

先看最基本的应用（市场占有率的应用）

设某地有1600户居民，某产品只有甲、乙、丙三个厂家在该地销售。经统计，8月份买甲、乙、丙三厂的户数分别为480、320、800。9月份，原买甲的有48户转买乙产品，有96户转买丙产品；原买乙的有32户转买甲产品，有64户转买丙产品；原买丙的有64户转买甲产品，有32户转买乙产品。于是得到状态空间E={1、2、3}(状态1、2、3分别代表甲、乙、丙)，其频数转移矩阵为

336 48 96

N= 32 224 64

64 32 704

用频率估计概率，以上矩阵N中各行元素之和除N中相应行的元素，得转移概率矩阵为

0.7 0.1 0.2

P= 0.1 0.7 0.2

0.08 0.04 0.88

此模型的初始概率分布(即初始市场占有率)为

(p1，p2，p3)=(480/1600，320/1600，800/1600)=(0.3，0.2，0.5)

由初始概率分布和转移概率矩阵P，可以计算出9月份市场占有率为

0.7 0.1 0.2

(0.3，0.2，0.5 0.1 0.7 0.2 =(0.27，0.19，0.54) 0.08 0.04 0.88

类似地，可以计算出12月份市场占有率为

(0.3，0.2，0.5)P(4)=(0.2319，0.1698，0.5983)

从转移概率矩阵可以看出，该链是不可约、非周期的有限(状态)马氏链，故必存在平稳分布，且

π1=0.7π1+0.1π2+0.08π 3

π2=0.1π1+0.7π2+0.04π3

π3=0.2π1+0.2π2+0.88π3

π1+π2+π3=1

则可解得当顾客流如此长期稳定下去时，市场的占有率(即其平稳分布)为

(π1，π 2 ，π3)=(0.219，0.156，0.625)

然后预测商品的销售

用马尔可夫链预测的最简单类型是预测下一期最可能出现的状态。

设某商品在市场上销售情况共有24个季度的数据(“1”表示畅销、“2”表示滞销)

112122111212112211212111

并假设该商品的销售状态满足齐次马尔可夫性。①试确定销售状态的转移概率矩阵；②如果现在是畅销，试预测这以后第四个

季度的销售状况；③如果影响销售的所有因素不变，试预测长期的销售状况。

①在上面的24个销售数据中，1(畅销)出现15次，2(滞销)出现9次，而且1→1有7次，1→2有7次。又因为最后季节是状态1，所以

p11 =7/(15-1)=1/2 ，p12=7/(15-1)=1/2

而2→1有7次，→2有2次，所以

p21=7/9 ,p22=2/9

于是得转移概率矩阵

1/2 1/2

P= 7/9 2/9

②如果现在是畅销，预测这以后第四个季度的销售状况实际上就是求4步转移概率。因为

1/2 1/2 4 0.611 0.389

P(4)= 7/9 2/9 =0.605 0.395

所以由4步转移概率矩阵有p11(4)=0.611＞p12(4)=0.389，即如果现在为畅销，这以后第四个季度(以概率0.611)仍为畅销。

③从转移概率矩阵可以看出，该链是不可约、非周期的有限(状态)马氏链，故必存在平稳分布。由平稳方程π=πP可得

π1=1/2π1+7/9π2

π2=1/2π1+2/9π 2

π 1 +π2=1

解得π1=14/23 ，π2=9/23。其平稳分布

(π 1 ，π2)=(14/23 ，9/23)

因为π1＞π 2 ，故长此下去，该产品将畅销。

五体会

基于经济活动的复杂、多变以及带有许多随机性因素的特点，为了能够更加科学的预测企业所关心的各项经济指标，以便为企业的未来做出正确的决策方案，本文针对经济实例建立了马尔可夫链模型，运用简单的矩阵运算的求解方法对企业经济的相关问题进行预测。此方法简单适用，易于推广，只要经济发展的各方面环境条件相对稳定或者变化较小，在不太长的时期内这些结论仍会有一定的意义。但应根据实际情况对初始向量和转移矩阵做出调整，以符合变化规律，提高预测的可信度。

随机过程课程虽然已经结束了，但我们应该不仅仅要注重课本知识，更重要的是它的应用更重要，在生产生活中的应用。我对这门课没有学透，只是对课本知识有肤浅的了解，会做一些课后题，但它的精髓并没有掌握，如果以后在生活中能用到，还会多翻书看看的。

参考文献：

【1】何书元。时间序列分析。北京：北京大学出版社，2007 【2】刘思峰等：预测方法与技术【M】。高等教育出版社。2005 202-212

【3】赵蔚：“十一五”时期我国价格变动预测【J】.价格月刊。

2006.（1）50-52

【4】冯荣丽等：市场占有率分析---马尔科夫链理论实证研究【J】长沙电力学院报（自然科学版）。2005.（11）：85-88