马尔科夫理论浅析

马尔科夫理论浅析

引子：

1.随机变量X n表示第n 年某个人的健康状况，X n=1 表示健

康，X n=2 表示疾病，n=0 ，1 用ai（n）表示第n 年

处于状态i 的概率，i=1，2，即ai（n）=p（X n=i）.用P ij

表示今年处于的状态i，明年的状态j 的概率，i，j=1,2 ，

即P ij=P(X n+1 =j|X n=i).ai(n) 称为状态转移概率。

2.典型的跳蛙例子，X n表示第n 次跳青蛙所处的荷叶，第一

次荷叶i，第二次荷叶j。（i，j=1,2,3,4 ）.P ij表示状

态转移概率，就是第n 次在i 荷叶上，第n+1 次在j 荷叶

上，这个事情发生的概率。P ij=P(X n+1=j｜X n=i)。

以上例子的时间和状态的参数都是离散的，并且状态随着时间的变化随时变化，这样的过程称之为马尔科夫链。

马尔科夫链是最简单的马尔科夫过程 1 。一般的马尔科夫过程所研究的时间是无限的，是连续变量，其数值是连续不断的，相邻两值

之间可做无限分割，且做研究的状态也是无限多的。而马尔科夫链的时间参数取离散数值。

1

也称为具有马尔科夫性质的过程；简称马氏过程。

马尔科夫过程有两个性质：

1.“无后效性，”即事物将来的状态及其出现的概率的大小，只取

决于该事物现在所处的状态，而与以前时间的状态无关。以跳

蛙为例，青蛙下一次所在的荷叶位置与他之前所在的荷叶位置

无关，只和他现在所在的荷叶位置有关。

2.“遍历性，”是指不管事物现在出于什么状态，在较长时间内，

马尔科夫过程逐渐趋于稳定状况，而且与初始状况无关。

四个分类: 按其状态空间I 和时间参数集T 是连续还是离散四类：

时间参数T

离散连续状态空间I

离散马尔科夫链马尔科夫序列

连续可列马尔科夫过程马尔科夫过程

其中马尔科夫链是以马尔科夫性为核心概念的时间和状态均为离散的随机过程。而在我们经济的预测中时间和空间往往都是有限的。所以重点是马尔科夫链。

数学表达：

如果随机过程{ X t, t∈T} , 满足条件: X i = x i, 即过程在时刻t 处于状态x i, 那么在下个时刻t + 1 处于x j的概率是固定的P ij( t) :

P ij ( t) = P{ X t + 1 = x j | X0 = x0 ,X1 = x 1 , ,X t - 1 = x i - 1 ,Xt = x i}

= P{ X t + 1 = x j | X t = x i}。

马尔科夫矩阵及其计算：

看一个简单的例子，两个状态K 和L。现在发生概率转移。设四个转移概率P kl，P kk，P ll，P lk分别为1/2, 1/2, 2/5, 3/5.

P kk=1/2

K

P kl=1/2 P l k =3/5

L

P ll=2/5

据此我们可以列出一个简单的矩阵

K L

K 1/2 1/2

P=

L 3/5 2/5

以此类推到一般情况，

系统的状态空间为E={E 1，E2 E n }，而每一个时间系统只能处于其中一个状态，因此每一个状态都有n 个转向。

E1 E2 E3 En

E1 P11 P12 P13 P1n

E2 P21 P22 P23 P2n

P= E3 P31 P32 P33 P3n

┆En ┆

Pn1

┆

Pn2

┆┆

Pn3 Pnn

这样的矩阵叫做一步转移概率矩阵。

此矩阵具有以下两个性质：

（1）非负性，P ij>0,I,j=1,2 n.

（2）行元素和为 1 。。

如果不是经过一步而是经过

率。

k 步得到的转移概率。就称为k 步转移概

}，（）

称之为切普曼-柯尔莫哥洛夫方程式（C-K 方程）

m=1 时就是一步转移概率。

实际应用

对马尔可夫过程的演变趋势和状态加以分析，用于预测事物未来状态的研究，称为马尔科夫预测法。

特点：

1、简便性，无需大量统计资料

2、随机性，无法确切预知未来状态

3、局限性，只适合马尔可夫过程

应用举例：天气预报的预测问题。

如果明天是否有雨仅与今天的天气（是否有雨）有关，而与过去的天气无关，并设今日下雨，明日有雨的概率为=0.7 ，今日无雨明日有雨的概率为=0.4 ，又假定把有雨称为０状态天气，把无雨称为１状态天气；求今日有雨第四日仍然有雨的概率。

提示：

解：

(n) 表示n 时的状态天气，则(n)是以{0，1}为状态空间的齐次马尔可夫链，它的一步转移矩阵为

则一步转移概率矩阵为

两步转移

（）

四步转移矩阵

（）

所以今日有雨第四日仍有雨的改路是P oo4 =0.5749

相关模型：

1. 隐形马尔代夫模型

隐马尔可夫模型（Hidden Markov Model ，HMM ）是统计模型，它用来描述一个

含有隐含未知参数的马尔可夫过程。

它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率

密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。

所以，隐马尔可夫模型是一个双重随机过程---- 具有一定状态数的隐马尔可夫链和显示随机

函数集。

假设有三个不同的骰子。第一个骰子是我们平常见的骰子（称这个骰子为D6 ），6 个面，每个面（1，2，3，4 ，5，6）出现的概率是1/6 。第二个骰子是个四面体（称这个骰子为

D4 ），每个面（1 ，2，3，4）出现的概率是1/4 。第三个骰子有八个面（称这个骰子为D8 ），每个面（1，2，3，4 ，5，6，7，8 ）出现的概率是1/8.