连续马尔科夫过程的转移概率及应用

《随机过程》

课程设计（论文）

题目: 连续马尔科夫过程的转移

概率及应用

学院：理学院

专业：应用统计学

班级： 13090501

学生姓名：张志达

学生学号： 1309050131

2015年 12 月 29 日

摘要

选取 1978 ～ 2009 年四川农村居民人均生活消费值的 32 个样本，首先，通过 Markov 预测法预测未来生活消费水平的增长速度以 10% ～ 20% 的概率较大; 然后，为提高预测精度，在传统 ARMA 模型中加入时间变量 t 进行建模并预测，预测结果表明平均相对误差率为 1． 56% ，其中 2006 ～ 2009 年的相对误差的绝对值均小于 0． 5% ; 最后，将 Markov 预测和 ARMA 模型对2010 ～ 2012 年的预测结果对比，发现两者在生活消费增长幅度上吻合，预测结果可靠。结果表明，在与目前相似的政策力度下，短期内四川省农村居民消费需求将持续增长，需进一步扩大消费市场。

关键词农村居民; 生活消费; Markov 预测

目录

一.连续马尔科夫过程的转移概率及其应用 (4)

二.连续时间马尔可夫链基本理论 (5)

2.1定义 (5)

2.2转移概率 (5)

三. 马尔可夫过程研究的问题的分析 (7)

数据来源与研究方法 (7)

2.计算状态转移概率矩阵 (8)

3.结果与分析 (10)

四结论和展望 (11)

五.参考文献 (12)

六计算结果及程序 (12)

一.连续马尔科夫过程的转移概率及其应用

1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后， W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。

类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用012,,......x x x 分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{},0n x n ≥ 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。 关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与 位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。

二.连续时间马尔可夫链基本理论

2.1定义

设随机过程(){},0X t t ≥，状态空间{}I=0,1,2

,若对1t n +任意及非负整数

1210t t t n -≤<

()()()(){}111122|,,,n n n n p X t i X t i X t i X t i ++=====()(){}11|n n n n p X t i X t i ++==，

则称(){},0X t t ≥为连续时间马尔可夫链。

2.2转移概率

在s 时刻处于状态i ，经过时间t 后转移到状态j 的概率

()()(){},|ij p s t p X s t j X s i =+== 定义.2

齐次转移概率()(),ij ij p s t p t = (与起始时刻s 无关，只与时间间隔t 有关)转移概率矩阵()(),,,0ij P t p t i j I t =∈≥

命题：若τi 为过程在状态转移之前停留在状态i 的时间，则对s, t ≥0有

(1) {}{}|?i i i p s t s p t τττ>+>=> (2) τi 服从指数分布

定理1 齐次马尔可夫过程的转移概率具有： (1) ()ij p 0t ≥;

(2) ()()ij p 1;t j I =∈∑

(3) ()()()ij p t s (k I)ik kj t s p p +=∈∑ 正则性条件

()lim 1,t i j == ()()lim 0,,0t i j t =≠→

定义3

(1)初始概率: ()(){} 0 P X 0 j , j I j j p p ===∈ (2)绝对概率: ()(){} t P X t j , j I , t 0?j p ==∈≥ (3)初始分布: {},j p p j I =∈

(4)绝对分布: ()(){}0j p t p t j I t =∈≥ 定理2

齐次马尔可夫过程的绝对概率及有 限维概率分布具有下列性质： (1) () t 0j p ≥ (2) ()1j p t =∑ (3) ()() t j i ij p p p t =∑ (4) ()(t )()j i ij p p t p ττ+=∑ (5)

()(){}

()()

()11211

1211P t p t p n i n n n i ii i i i i n n X t i X t i p p t t t i I

--===--∈∑

三. 马尔可夫过程研究的问题的分析

农村居民的生活消费是消费需求的重要组成之一，颇受学者关注。已有研究内容主要集中于农村居民生活消费的区域差异、消费行为、消费结构、消费的影响因素等几方面。在研究方法上，主要采用了回归分析法、扩展性指出系统模型、最小二乘回归法、因子分析法、习惯性偏好的生命周期模型等进行分析［1 － 8］; 从已有研究来看，大都立足于短期的消费数据，在研究方法偏向于回归分析研究，以提高农村的消费水平、促进经济发展为目的。实际上，正确预测农村的居民消费趋势及需求，及时建立合理的消费结构，也有利于提高消费水平。四川省是一个农业大省，农村居民相对较多，对农村居民生活消费进行较精确的预测，有利于充分调动农村消费对经济的拉动作用。然而对消费水平预测时，一次性预测出具体的结果难免会受到社会、经济、政策等因素的影响而产生较大的偏差。若能同时预测出各种结果的概率，将概率与具体结果对比分析，可进一步提高预测可信性，有利于对未来消费水平的把握。鉴于此，笔者采用预测事件发生概率的 Markov 预测，避免了预测中因平稳性差或数据欠缺等带来的偏差，提高了预测的可靠性.

数据来源与研究方法

1． 1 数据来源选取 1978 ～ 2009 年四川农村居民人均生活消费数据，包括食品，衣着，居住，家庭设备、用品及服务，医疗保健，交通通讯，文教娱乐用品及服务，其他商品和服务共8 类消费总数( 数据来源于 1979 ～ 2010 年统计年鉴) 。并根据其逐年增长幅度( r

i

) 确定状态。具体可分为大幅度增长

( E

1，r

i

≥20% ) 、中幅度增长( E

2

，10% ≤r

i

＜ 20% ) 、小幅度增长( E

3

，

0% ≤r

i ＜ 10% ) 和负增长( E

4

，r

i

＜ 0% ) 。以 1978 年为基准年，历年农

村居民人均生活消费增长状态 r

i

见表 1。

表 1 四川农村居民生活消费的状态转移数据

年份序号ri ∥% 状态年份序号ri ∥% 状态

1978 1 －

－ 1994 17 39． 67 E1 1979 2 18． 12 E2 1995 18 17． 35 E2 1980 3 12． 24 E2 1996 19 27． 21 E1 1981 4 15． 40 E2 1997 20 6． 71 E3 1982 5 13． 13 E2 1998 21 0． 02 E3 1983 6 10． 99 E2 1999 22 － 1. 02

E4 1984 7 8． 96 E3 2000 23 4． 45 E3 1985 8 9． 70 E3 2001 24 0． 54 E3 1986 9 12． 55 E2 2002 25 6． 27 E3 1987 10 12． 03 E2 2003 26 9． 78 E3 1988 11 22． 44 E1 2004 27 15． 10 E2 1989 12 11． 05 E2 2005 28 13． 09 E2 1990 13 7． 51 E3 2006 29 5． 31 E3 1991 14 8． 49 E3 2007 30 14． 71 E2 1992 15 3． 09 E3 2008 31 13． 86 E2 1993

16

13． 69

E2

2009

32

32． 40

E1

1． 2 研究方法

1． 2． 1 Markov 预测。Markov 预测是一种预测事物发生概率的方法，根据事物目前状况预测将来时期变动状况的预测方法。在事件发展过程中，Markov 过程表示每次状态的转移都仅与前一时刻的状态有关，与过去的状态无关，Markov 预测就是对事件在 Markov 过程中各种状态出现的概率进行预 测

［9］

。

预测步骤如下: ①确定状态并得出状态 E i 到状态 E j 的转移概率 p ij ; ② 结合某一事件发展过程中的 n 种可能状 态，构成状态转移概率矩阵 P n × n ; ③根据初始状态 π( 0) ，求 出经过 k 次状态转移以后，在第 k 个时期处于状态 E j 的概 率，公式为:

πj ( k) = πi ( k － 1) pij ，j= 1，2，…，n ( 1) 由公式( 1) 对该事件在第 k 个时期的各状态概率进行预测。

2.计算状态转移概率矩阵

假定某一个事件的发展过程有n 个可能的状态，即E 1，E 2， …，E n 。记ij P 为从状态i E 转变为状态j E 的状态转移概率，则矩阵

?

?

???

????

???=nn n n n n P P P P P P P P P P 2

1

22221

11211 从表3.7.1中可以知道，在3个从E 1出发（转移出去）的状态中，有0个是从E 1转移到E 1，有2个是从E 1转移到E 2，有1个是从E 1转移到E 3，有0是从E 1转到E 4所以：

)()(111112==→=E E P E E P P

6667.0)()(122112==→=E E P E E P P

3333.0)()(133113==→=E E P E E P P

)()(144114==→=E E P E E P P

2587.0)()(211221==→=E E P E E P P 5000.0)()(222222==→=E E P E E P P 2143

.0)()(233223==→=E E P E E P P

24P 0

)()(4242==→=E E P E E P

31)()(311331==→=E E P E E P P

3

2)()(322332=

=→=E E P E E P P 0)()(333333==→=E E P E E P P

0833

.0)()(434334==→=E E P E E P P

3.结果与分析

2． 1 Markov 预测与分析 根据表 1 数据，分别计算出从 E i 到 E j 的转移概率 p ij ( i ，j= 1，2，3，4) ，得出状态转移概率矩阵 P 如下:

???

???????????=01000833.05833.03333.00

02143.05000.02587.003333.06667.00

P

记 2009 年农村居民生活消费状态为 π( 0) = ( 1，0，0，

0) ，利用公式( 1) ，计算得出 2010 ～ 2012 年可能出现的各种 状态的概率( 表 2) 。

表 2 2010 ～ 2012 年生活消费增长状态预测结果

年份 状态 概率

2010 E1 0

E2 0． 666 7 E3 0． 333 3

E4 0

2011 E1 0.1905

E2 0． 444 4 E3 0． 337 3

E4 0． 027 8 2012 E1 0.127

E2 0． 461 6 E3 0． 383 3

E4

0． 028 1

由表 2 可知，状态 E 2 ( 中幅度增长) 的概率较其他状态 大，表明在未来

几年农村居民生活消费的增长速度为 10% ～20% 的概率较大。 运用模型对历年农村人均居民消费进行拟合和预测，部分结果见表 3。