第6章 马尔可夫预测方法

第6章 6.1.2 马尔可夫链是一种描述动态随机现象的数学模型 ,
它建立在系统“状态”和“状态转移”的概念之上。
所谓系统,就是我们所研究的事物对象；所谓状态,是表 示系统的一组记号。当确定了这组记号的值时,也就确 定了系统的行为,并说系统处于某一状态。系统状态常 表示为向量,故称之为状态向量。例如, A、 B 、 C 三种牌号洗衣粉的市场占有率分别是 0.3 、 0.4 、 0.3,则可用向量P=(0.3, 0.4, 0.3)来描述该月市场洗衣粉 销售的状况。
对k≥1,记pi(k)=P{Xk=i}, pi(k)=

j 1
N
pj(0)·p (k) ji
i=1, 2, …, N; k≥1
第6章 由全概率公式可知, 对k≥1,有（其中P (0) 表示单位矩阵） p (k) ij=P{Xn+k=j|Xn=i}
= P{Xn+k-1=l| Xn =i}·P{Xn+k=j|Xn+k-1=l} l 1
= p (k-1) ilplj
l 1 N
N
i, j=1, 2, …, N
其中用到马尔可夫链的“无记忆性”和齐次性。用矩阵 表示,即为 p (k) =P (k-1) P,
变量Xt与之对应,则称{Xt, t∈T}为一随机过程。
是离散的,则称{Xt, t∈T}为离散型随机过程。
T
为离散集（不妨设T={t0, t1, t2, …, tn, …}）,同时Xt的取值也
第6章 设有一离散型随机过程 ,它所有可能处于的状态的集合 为S={1, 2,…, N},称其为状态空间。系统只能在时刻t0, t1, t2, …
第6章 当系统由一种状态变为另一种状态时 ,我们称之为状态 转移。例如,洗衣粉销售市场状态的转移就是各种牌号洗衣 粉市场占有率的变化。显然,这类系统由一种状态转移到另 一种状态完全是随机的,因此必须用概率描述状态转移的各 种可能性的大小。如果在时刻tn系统的状态为Xn=i的条件下,
在下一个时刻tn+1系统状态为Xn+1=j的概率pij (n)与n无关,则
第6章
第6章 马尔可夫预测方法
6.1 马尔可夫预测的基本原理 6.2 马尔可夫预测的应用
思考与练习
第6章
6.1 马尔可夫预测的基本原理
6.1.1 为了表征一个系统在变化过程中的特性（状态）,可 以用一组随时间进程而变化的变量来描述。如果系统在
任何时刻上的状态是随机的,则变化过程就是一个随机过
程。 设有参数集T (-∞, +∞),如果对任意的t∈T,总有一随机
改变它的状态。为简便计,以下将Xtn等简记为Xn。
一般地说 ,描述系统状态的随机变量序列不一定满足相 互独立的条件,也就是说,系统将来的状态与过去时刻以及现
在时刻的状态是有关系的。在实际情况中,也有具有这样性
质的随机系统： 系统在每一时刻（或每一步）上的状态,仅 仅取决于前一时刻（或前一步）的状态。这个性质称为无 后效性,即所谓马尔可夫假设。具备这个性质的离散型随机 过程,称为马尔可夫链。用数学语言来描述就是：
称矩阵
p11 p P 21 pN 1
p12 p22 pN 2
p1N p2 N pNN
(6.2)
为该系统的状态转移概率矩阵,简称转移矩阵。
为了论述和计算的需要,引入下述有关概念。
第6章 概率向量 对于任意的行向量（或列向量）,如果其 每个元素均非负且总和等于1,则称该向量为概率向量。 概率矩阵 由概率向量作为行向量所构成的方阵称 为概率矩阵。对于一个概率矩阵 P, 若存在正整数 m, 使 得 Pm的所有元素均为正数 , 则称矩阵 P为正规概率矩阵。
称此马尔可夫链是齐次马尔可夫链 , 并 pij=P{Xn+1=j|Xn=i}i, j=1, 2, …, N称pij为状态转移概率。显然,
pij P{ X n 1 j X n i} i, j 1,2,...N
p
j 1
N
ij
1
i 1,2,...N
第6章 转移矩阵设系统的状态转移过程是一齐次马尔可夫 链,状态空间S={1, 2, …, N}为有限,状态转移概率为pij,则
p (k) ij=P{Xn+k=j|Xn=i} P(k) =(p (k) ij) N×N (6.3) 称p (k) ij为k步状态转移概率, P(k)为k步状态转移概率 矩阵,它们均与n无关（从式(6.4)也可看出）。 特别地,当k=1时,p 概率求出。
(1) ij=pij为1步状态转移概率。马
ห้องสมุดไป่ตู้
尔可夫链中任何 k 步状态转移概率都可由 1 步状态转移
p
(k)
=Pk
k ≥1
(6.4)
记t0为过程的开始时刻,pi(0)=P{X0=X(t0)=i}, P(0)=(p1(0), p2(0), …, pN(0))
第6章 为初始状态概率向量。 如已知齐次马尔可夫链的转移矩阵 P=(pij) 以及初始状态
概率向量P(0),则任一时刻的状态概率分布也就确定了：
例如,
0.7 0.3 A 0 . 5 0 . 5
中每个元素均非负 , 每行元素之和皆为 1, 行数和列 数相同,为2×2方阵,故矩阵A为概率矩阵。
第6章 概率矩阵有如下性质： 如果A、B皆是概率矩阵,则 AB也是概率矩阵；如果 A是概率矩阵, 则A的任意次幂
Am(m≥0)也是概率矩阵。对k≥1,
第6章 如果对任一n>1,任意的i1, i2, …, in-1 , j∈S,
P{Xn=j|X1=i1, X2=i2, …, Xn-1=in-1}=P{Xn=j|Xn-1=in-1} (6.1) 则称离散型随机过程{Xt, t∈T}为马尔可夫链。 例如,在荷花池中有N张荷叶,编号为1, 2, …, N。假设有一 只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动 可看作一随机过程。在时刻tn,青蛙所在的那张荷叶,称为青蛙 所处的状态。那么 ,青蛙在未来处于什么状态 ,只与它现在所 处的状态i(i=1, 2, …, N) 有关,与它以前在哪张荷叶上无关。 此过程就是一个马尔可夫链。 由于系统状态的变化是随机的 , 因此 , 必须用概率描述状 态转移的各种可能性的大小。