随机过程报告——马尔可夫链

马尔可夫链

马尔可夫链是一种特殊的随机过程，最初由A.A .M arkov 所研究。它的直观背景如下:设有一随机运动的系统E (例如运动着的质点等)，它可能处的状态记为,....E ,...,E ,E n 10总共有可数个或者有穷个。这系统只可能在时刻t=1,2,…n,…上改变它的状态。随着∑的运动进程，定义一列随机变量Xn,n=0,1, 2, ⋯其中Xn=k ，如在t=n 时，∑位于Ek 。

定义1.1 设有随机过程}{T n X n ∈，，若对任意的整数T n ∈和任意的,,...,110I i i i n ∈+条件概率满足 }i {},...,i X i {1n 100

01n 1n n n n n n i X X P i X X P ======++++

则称}{T n X n ∈，为马尔可夫链，简称为马氏链。

实际中常常碰到具有下列性质的运动系统∑。如果己知它在t=n 时的状态，则关于它在n 时以前所处的状态的补充知识，对预言∑在n 时以后所处的状态，不起任何作用。或者说，在己知的“现在”的条件下， “将来”与“过去”是无关的。这种性质，就是直观意义上的“马尔可夫性”，或者称为“无后效性”。 假设马尔可夫过程}{T n X n ∈，的参数集T 是离散时间集合，即T={0,1,2,…},其相应Xn 可能取值的全体组成的状态空间是离散状态空间I={1,2,..}。

定义1.2 条件概率 }{P 1)(i X j X p n n n ij ===+

称为马尔可夫链}{T n X n ∈，在时刻n 的一步转移矩阵，其中i ，j ∈I ，简称为转移概率。

一般地，转移概率)(P n ij 不仅与状态i,j 有关，而且与时刻n 有关。当)(P n ij 不依赖

于时刻n 时，表示马尔可夫链具有平稳转移概率。若对任意的i ，j ∈I ，马尔可夫

链Xn,n ∈T}的转移概率)(P n ij 与n 无关，则称马尔可夫链是齐次的。

定义1.3 设p 表示一步转移概率p ，所组成的矩阵，且状态空间1={1,2，…n}，则

称为马尔可夫链的一步转移概率矩阵。它具有如下性质：

（1）;.,0P ij I j i ∈≥， I

i P I j ij ∈=∑∈,1)2(

定理1.1 设}{T n ∈,X n 为马尔可夫链，则对任意的≥∈n ,....2,1和I i i i n 1，有

。

这表明马尔可夫链的有限维分布完全由它的初始概率和一部转移概率所决

定。因此，只要知道初始概率和一部转移概率，就可以知道马尔可夫链的统计特性。

定义1.4 假设{Xn ，n ≥0}是齐次马尔可夫链，其状态空间为I ，转移概率为Pij ，

称概率分布{I j j ∈,π }为马尔可夫链的平稳分布，若它满足

对于不可约马尔可夫链，若它的状态是非周期，正常返的，则它是遍历的； 对 于不可约马尔可夫链，若它的状态是有限且非周期的，则它是遍历的。

值得注意 的是，对于一个马尔可夫链，并不是一定存在）（n n p lim ∞

→。例如设马尔可夫链的一部转移矩阵为：

易知I p 2n =）（(单位矩阵)，p p 12n =+）（ ，所以）（n n p lim ∞

→ 不存在。

在随机过程理论中，马尔可夫链是一类占有重要地位，具有普遍意义的随机 过程。它广泛应用于现代社会的各个领域，尤其在预测领域有着广泛的应用。马尔可夫链的预测方法分为很多种。

根据指标值序列分组有3种。1）数据序列约定俗成的分组方法：根据 人 们 长久的经验进行分组:由于人们在现实生活中积累了生活经验，人们对认识的事物有了感性的了解，就可以对现象进行分组。2）样本均值一均方差分组法：对于数据序列n x x x ,...,,21，可看作是一个时间序列的前n 个观测值，算出样本均值x 和样本均方差s ，根据具体情况以样本均值为中心，s 为标准进行分组。3）有序聚类分组法：有序聚类是对有序样品进行分类的一种方法，更加充分地考虑序列的数据结构，使划分的区间更加合理。有序聚类实现的经典算法是Fisher 算法，其基本原理为:设时间序列n x x x ,...,,21的某一归类是

定义其均值向量为

将公式

定义为{n x x x ,...,,21} 的直径，其含义表示该变量段内部各变量之间的差异情况。其值越小，表示该段内变量之间差异越小，或说相互间越接近;反之，表示该段 内变量之间差异越大，或说相互间越分散。

三种马氏链预测方法：

1）基于绝对分布的马尔可夫链预测

步骤1 对历史数据进行分组;

步骤2 确定观测值的状态，写出频数矩阵，）（，E j i ij n ∈和一步转移矩阵E j i ij f ∈，）（，其中1-n n f ij

ij =，其中n 为样本容量，当时∞→n ，可用频数估计概率ij ij f p =∧

，从

而得到一步转移概率矩阵∧

∧=ij 1p p 。

步骤3 “马氏性”检验

步骤4 已知时刻l 时系统取各个状态的概率可视为马尔可夫链的初始分布， 比如x1取状态2, m=5，则始分布(0)P =（0，1，0，0，0），于是l+1时的绝对分布

)P ,P ,P ,P ,(P P P P (5)5(4)4(3)3(2)2(1)1(0)1==）（，可认为时刻1+1时系统所取的状态j 满足

}P {max P i 15i 1j 1）（≤≤=，从而预测1+ t 时刻的状态。 步骤5 还可以用马氏链的平稳性，遍历性对系统分析。

2）叠加马氏链预测

步骤1 对历史数据进行分组;

步骤2 计算各阶的一步转移矩阵},...2,1{P ...P P k 21k I =，，，，其中E j i ij f P ∈=,22)(，=2ij f 2-n n (2)ij

，其他类推。

步骤3“马氏性”检验

步骤4 如果要预测时刻1+1的状态，可分别利用1, 1-1,⋯，1-k+1作为初始态，，

l+1所处的状态j 满足}P {max P i 5

i 1j ）（）（≤≤=。列表分析

图1 叠加马氏链预测分析表

步骤5 重复步骤1-4递推预测;

步骤6 进行平稳性，遍历性及其他分析。

3）加权马氏链预测

步骤1 对历史数据进行分组;

步骤2 计算各阶的一步转移矩阵},...2,1{P ...P P k 21k I =，，，，其中E j i ij f P ∈=,22)(，