马尔科夫预测法

这代表什么意义？ 这代表什么意义？ 还可以对第21周后各个周的状态概率向量进行预 还可以对第 周后各个周的状态概率向量进行预 测。 (0.6157, 0.3843) 请预测第22周的状态 周的状态。 请预测第 周的状态。
当 k → ∞ ，得极限状态概率矩阵
0.5789 0.4211 P ⇒ 0.5789 0.4211
p11 = 5 11
p12 = 6 11
同理可求得由滞销到畅销和由滞销到滞销的 状态转移概率分别为： 状态转移概率分别为：
p 21 = 6 8
p 22 = 2 8
由此可得转移矩阵： 由此可得转移矩阵：
p11 P= p 21 p12 5 / 11 6 / 11 0.4545 0.5455 = 6 / 8 2 / 8 = 0.75 p22 0.25
这三个特性表明，对于正则链， 这三个特性表明，对于正则链，不管初始状态如 经过若干阶段以后，各状态发生的概率趋于稳定。 何 ， 经过若干阶段以后 ， 各状态发生的概率趋于稳定 。 即当转移步数k逐步增高时 逐步增高时， 即当转移步数 逐步增高时，状态转移概率矩阵逐步趋 于稳定。求上例的稳态概率向量U。 于稳定。求上例的稳态概率向量 。
星期
1 1 11 1
2 1 12 0
3 0 13 1
4 1 14 1
5 0 15 0
6 0 16 0
7 1 17 1
8 1 18 1
9 1 19 0
10 0 20 1
状态 星期 状态
解：从每周统计结果知道，畅销状态共出现了11次 从每周统计结果知道，畅销状态共出现了 次 除去第20周的状态），其中由畅销到畅销出现 周的状态）， （除去第 周的状态），其中由畅销到畅销出现 了5次，由畅销到滞销出现了 次。于是可求得由 次 由畅销到滞销出现了6次 畅销到畅销和由畅销到滞销的状态转移概率分别 为：
U = ( 0 .4 , 0 .6 )
0.8 0.2 P= 0.1 0.9 UP = (0.38, 0.62)
2、设A, B都是 n 阶转移矩阵，则AB 也是 n 阶转 、 阶转移矩阵， 移矩阵。 移矩阵。 例
0.8 0.2 A= 0.1 0.9 , 0.7 0.3 B= 0.5 0.5
∑p
j =1
n
ij
=1
即任一行的元素之和都等于1， 即任一行的元素之和都等于 ，故将任一行 向量叫做概率向量 概率向量。 向量叫做概率向量。
三、转移矩阵的基本性质
1、设 U = ( u1 , u2 ,⋯, un ) 是一 n 维概率向量， 、 维概率向量， 阶转移矩阵， P 是一 n 阶转移矩阵， 维概率向量。 则 UP 也是一 n 维概率向量。 例
5.3
马尔科夫预测法
• 一、适用条件 • 二、引例 引例——青蛙的随机跳跃 青蛙的随机跳跃 • 三、转移矩阵的基本性质 • 四、马氏链概念 • 五、正则链 • 六、马氏链模型
一、适用条件
当研究对象被作为一个过程来看待，能按时 当研究对象被作为一个过程来看待， 间顺序或空间特征来划分阶段时， 间顺序或空间特征来划分阶段时，可用此法建 模预测。（亦称递推法） 模预测。（亦称递推法） 。（亦称递推法 属于状态转移法之一， 属于状态转移法之一，即状态转移不是确 定的，而是随机的， 定的，而是随机的，则建立随机型状态转移模 型，如马氏链模型等。 如马氏链模型等。
a j ( k ) = ∑ a i ( k − 1) pij
i =1
n
i , j = 1,2, ⋯ , n
n ——全部状态的个数。 全部状态的个数。 全部状态的个数
矩阵形式： 矩阵形式：
A( k ) = A( k − 1) ⋅ P = A(0) ⋅ P
k
设青蛙的转移矩阵为
0.2 0.5 0.3 P = 0.3 0.1 0.6 0.4 0.4 0.2
k
问：这代表什么意义？ 这代表什么意义？
求极限状态概率矩阵的方法： 求极限状态概率矩阵的方法：
0.4545 0.5455 = ( u1 , u2 ) ( u1 , u2 ) 0.75 0.25
0.4545u1 + 0.75u2 = u1 ⇒ 0.5455u1 + 0.25u2 = u2
二、引例——青蛙的随机跳跃
池塘里有3片荷叶， 池塘里有3片荷叶，一只青蛙从一片荷叶跳到另 一片荷叶完全是随机的。 一片荷叶完全是随机的。青蛙处于某一片荷叶上称 为一个状态， 为一个状态，青蛙从一片荷叶跳到另一片荷叶称为 状态的转移。这样，共有3个状态。 状态的转移。这样，共有3个状态。经过长时间的 观察， 观察，了解到青蛙从第 i 片荷叶跳到第 j 片荷叶的概 于是可以构成一个3 率为 pij ，于是可以构成一个3阶方阵 P，称 P为状 转移矩阵（ 态转移概率矩阵，简称为转移矩阵 态转移概率矩阵，简称为转移矩阵（或转移概率矩 或概率矩阵，或随机矩阵）， 则称为转移概 阵，或概率矩阵，或随机矩阵），pij 则称为转移概 状态的转移还可用图表示出来。 率。状态的转移还可用图表示出来。
0.66 0.34 AB = 0.52 0.48
四、马氏链概念
（一）马尔科夫过程
青蛙的一连串跳跃形成一随机过程。 青蛙的一连串跳跃形成一随机过程。 其特点是： 其特点是：过程在时刻 t k 的状态仅与 t k −1 时的状态 有关， 以前的状态无关。 有关，而与 t k −1以前的状态无关。 这一特性称为无后效性 无后效性。 这一特性称为无后效性。 具有这一特性的随机过程称为马尔科夫过程 马尔科夫过程（ 具有这一特性的随机过程称为马尔科夫过程（简称 马氏过程） 马氏过程）。
例如
1 0 A= 0.5 0.5 ,
2
0 1 B= 0.5 0.5
1 0.5 0.5 0 A = 0.5 0.5 = 0.25 0.75 ,
2
0 1 0 k k1 1 = , B = 2 − 1 B2 = 0.5 0.5 0.75 0.25 k 2
第一步
计算去年铁路、 计算去年铁路、公路客运市场占有率
1
2 3
p11 P = p21 p 31
p12 p22 p32
p13 p23 p33
转移概率的本质——条件概率 ， 即在状 条件概率， 转移概率的本质 条件概率 发生的条件下， 发生的概率。 态 i 发生的条件下，状态 j 发生的概率。
pij ≥ 0
对每一个 i ，都有
六、马氏链模型
根据问题背景恰当地选取状态， 根据问题背景恰当地选取状态， 由大量的统 计数据建立转移矩阵， 计数据建立转移矩阵，由初始状态向量预测未 来任意时刻系统发生各种状态的概率， 来任意时刻系统发生各种状态的概率 ，从而采 取相应的对策。在生产实践当中， 取相应的对策。在生产实践当中，应用马氏链 分析法可以对企业的规模、市场占有率、服务 分析法可以对企业的规模、 市场占有率、 点的选择等问题进行预测。 点的选择等问题进行预测。 但建立马氏链模型 是以下列假定为前提的： 是以下列假定为前提的： 1、转移矩阵不随时间变化而变化； 、转移矩阵不随时间变化而变化； 2、预测期内状态数量不变； 、预测期内状态数量不变； 3、系统变化过程具有无后效性。 、系统变化过程具有无后效性。
初始状态为(1,0,0),以后各步的状态概率向量为 以后各步的状态概率向量为 初始状态为
k
状态
0 1 2
1 0 0 0. 2 0. 5 0. 3
3
0.35 0 0.33 9
4
0.302 8 0.326 1 0.371 1
5
0.306 8 0.332 5 0.360 7
6
0.3054.331 3 0.362 9
8
0.3057 0.3312 0.3631
9
0.30574 0.33121 0.36305
1 2 3
0.31 0.311 0.27 0.42
五、正则链
含义——一个有 n 个状态的马氏链如果存在 （一）含义 一个有 次转移都以大于零 正整数 k ，使从任一状态 i 经 k 次转移都以大于零 则称之为正则链。 的概率到达状态 j (i , j = 1,2,⋯, n) ，则称之为正则链。 （二）充要条件——存在正整数 k ，使得 P k > 0 充要条件 存在正整数 的每一元素都大于零） （指 P k 的每一元素都大于零）。
2
0 1 2k

可见， 是正则链 是正则链， 不是。 可见，A是正则链，而B不是。 不是
（三）正则链的重要特性
阶方阵， 设正则链的转移矩阵 P 是 n 阶方阵，则 1、一定存在一个概率向量 U = ( u1 , u2 ,⋯, un ) ，使 、 得 UP = U。 k 2、当正整数 k → ∞ ，一定有 P → S ，S 的每 、 一行向量都等于 U 。 为极限状态概率向量（或称稳态概率向量 稳态概率向量） 称 U为极限状态概率向量（或称稳态概率向量）。 3、对于任意概率向量 X = ( x1 , x2 ,⋯ , xn ) ， 、 当 k → ∞ ，总有 XP k = U 。
例1 玩具商的市场预测
某玩具商生产的玩具投放市场后产生畅销和滞销两 某玩具商生产的玩具投放市场后产生 畅销和滞销两 畅销和滞销 种状态。 若出现滞销， 种状态 。 若出现滞销 ， 他便试制新玩具力图回到畅 销状态。 代表畅销状态， 代表滞销状态 代表滞销状态。 销状态 。 以 1代表畅销状态 ， 0代表滞销状态 。 经过 代表畅销状态 统计调查，过去20个星期的销售状况如下 个星期的销售状况如下： 统计调查，过去 个星期的销售状况如下：