马尔可夫链预测

马尔可夫预测方法及应用

一、马尔可夫链

马尔可夫过程指满足无后效性的随机过程

一、马尔可夫链

马尔可夫过程指满足无后效性的随机过程

定义1 若非负随机序列{X(t n),n∈N}满足条件

则称随机序列{X(t n)}为马尔科夫链，简称马氏链。

一、马尔可夫链

马尔可夫过程指满足无后效性的随机过程

定义1 若非负随机序列{X(t n),n∈N}满足条件

则称随机序列{X(t n)}为马尔科夫链，简称马氏链。

无后效性指“将来”取什么值只与“现在”的取值有关，

而与“过去”取什么值无关。

二、状态转移概率矩阵

二、状态转移概率矩阵

当系统由一种状态变为另一种状态时，称为状态转移。

N

二、状态转移概率矩阵

当系统由一种状态变为另一种状态时，称为状态转移。

定义2 一步状态转移概率

p (1)

= p = P {X = j X = i } ij

ij

n +1

p ij n

≥ 0,

∑ p ij

= 1

j =1

若由X n = i 转移到X n +1 = j 的概率p ij 与n 无关,则称该马尔 可夫链是齐次的。

几个概念：

几个概念：

概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。

几个概念：

概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。

u (0.4, 0.25, 0.25, 0.1)

几个概念：

概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。

u (0.4, 0.25, 0.25, 0.1) 概率向量

几个概念：

概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，

则称该向量为概率向量。

u = (0.4, 0.25, 0.25, 0.1) 概率向量

概率矩阵由概率向量作为行向量所构

成的方阵称为概率矩阵。

?0.7 0.3?

A

=

0.5 0.5?

??

概率矩阵的性质：如果A、B 皆是概率矩阵，则A B也是

A m(m ≥ 1)也

概率矩阵；如果A是概率矩阵，则A的任意次幂

是概率矩阵。

概率矩阵的性质：如果A、B 皆是概率矩阵，则A B也是

概率矩阵；如果A是概率矩阵，则A的任意次幂

是概率矩阵。

A m(m ≥ 1)也一步状态转移概率矩阵

?p11 p

12 L p1N ? 假设：

p p L p ? p

与n无关

P =

21 22 2N ?

L L L L ?

ij

（齐次性）

?p N 1p N 2 L

? p NN ?

ij ij n +k ? p k 步状态转移概率

p (k )

= P {X = j X = i },

P

(k )

= ( p (k )

)

,

N ?N

k ≥ 1

称 p ij

(k )

为k 步状态转移概率， P (k ) 为k 步状态转移概率矩阵，

? p ( k ) p

( k ) L p ( k ) ? 11

12 1N ? p ( k )

p ( k )

L p

( k )

P ( k ) = 21 22 2N ?

L

L

L L ?

( k ) N 1

( k )

N 2

( k )

? NN ?

n p L p

1步状态转移概率求出。

1步状态转移概率求出。

全概率公式

1步状态转移概率求出。

全概率公式P (k ) =P (k -1) P

P (k )=P k ,k ≥ 1

P ——一步状态转移概率矩阵

P( k) ——k 步状态转移概率矩阵

三、平稳分布与稳态分布

三、平稳分布与稳态分布

1.平稳分布