运筹学 ch13马尔可夫链
107509-概率统计随机过程课件-第十三章马尔可夫链第一节第二节(上)
第十三章 马尔可夫链马尔可夫过程是一类特殊的随机过程, 马尔可夫链是离散状态的马尔可夫过程,最初是由俄国数学家马尔可夫1896年提出和研究的.应用十分广泛,其应用领域涉及计算机,通信,自动控制,随机服务,可靠性,生物学,经济,管理,教育,气象,物理,化学等等.第一节 马尔可夫链的定义一．定义定义 1 设随机过程}),({T t t X ∈的状态空间S 是有限集或可列集,对任意正整数n ,对于T 内任意1+n 个参数121+<<⋅⋅⋅<<n n t t t t 和S 内任意1+n 个状态121,,,,+⋅⋅⋅n n j j j j ,如果条件概率})(,,)(,)(|)({221111n n n n j t X j t X j t X j t X P =⋅⋅⋅===++})(|)({11n n n n j t X j t X P ===++,(13.1) 恒成立,则称此过程为马尔可夫链. 式(13.1)称为马尔可夫性,或称无后效性.马氏性的直观含义可以解释如下: 将n t 看作为现在时刻,那末,121,,,-⋅⋅⋅n t t t 就是过去时刻,而1+n t 则是将来时刻.于是,(13.1)式是说,当已知系统现时情况的条件下,系统将来的发展变化与系统的过去无关.我们称之为无后效性.许多实际问题都具有这种无后效性.例如 生物基因遗传从这一代到下一代的转移中仅依赖于这一代而与以往各代无关.再如,每当评估一个复杂的计算机系统的性能时,就要充分利用系统在各个时刻的状态演变所具有的通常概率特性:即系统下一个将到达的状态,仅依赖于目前所处的状态,而与以往处过的状态无关.此外,诸如某公司的经营状况等等也常常具有或近似具有无后效性.二． 马尔可夫链的分类状态空间S 是离散的(有限集或可列集),参数集T 可为离散或连续的两类.三．离散参数马尔可夫链（1）转移概率定义2 在离散参数马尔可夫链},,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 中,条件概率)(})(|)({1m ij m m t p i t X j t X P ===+称为)(t X 在时刻(参数)m t 由状态i 一步转移到状态j 的一步转移概率, 简称转移概率.条件概率)(})(|)({)(m n ij m n m t p i t X j t X P ===+称为)(t X 在时刻(参数)m t 由状态i 经n 步转移到状态j 的n 步转移概率.(2)转移概率的性质:对于状态空间S 内的任意两个状态i 和j ,恒有(1) 0)()(≥m n ij t p ;(2)1)()(=∑∈m Sj n ij t p ,⋅⋅⋅=,2,1n ()()(m Sj n ij t p ∑∈ })(|)({i t X j t X P m n m Sj ===+∈∑ })({})(,)({i t X P i t X j tX P m S j m n m ====∑∈+ })({}})(}){)({({i t X P i t X j t X P m S j m n m ====∑∈+1})({})({====i t X P i t X P m m )四.离散参数齐次马尔可夫链定义3 在离散参数马尔可夫链},,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 中,如果一步转移概率)(m ij t p 不依赖于参数m t ,即对任意两个不等的参数m t 和k t ,k m ≠,有)(})(|)({1m ij m m t p i t X j t X P ===+ij k ij k k p t p i t X j t X P =====+)(})(|)({1则称此马尔可夫链具有齐次性或时齐性,称)(t X 为离散参数齐次马尔可夫链.例1 Bernoulli 序列是离散参数齐次马尔可夫链.验证 在Bernoulli 序列},3,2,1,{⋅⋅⋅=n X n 中, 对任意正整数 n , 121+<<⋅⋅⋅<<n n t t t t ,121,,,,+⋅⋅⋅n n t t t t X X X X 相互独立, 故对 ,1,0=k j )1,,2,1(+⋅⋅⋅=n k ,有},,,|{211211n t t t n t j X j X j X j X P n n =⋅⋅⋅===++}{11+==+n t j X P n}|{11n t n t j X j X P n n ===++即满足马尔可夫性,且}|{11n t n t j X j X P n n ==++⎩⎨⎧=-====++++0,11,}{1111n n n t j p j p j X P n 当当 , 不依赖于参数n t ,满足齐次性.故Bernoulli 序列是离散参数齐次马尔可夫链.例2 爱伦菲斯特(Ehrenfest)模型 一容器中有a 2个粒子在作随机运动.设想有一实际不存在的界面把容器分为左右容积相等的两部分.当右边粒子多于左边时,粒子向左边运动的概率要大一些,大出部分与两边粒子的差数成正比;反之,当右边粒子少于左边时,粒子向右边运动的概率要大一些.以nX 表示n 次变化后,右边粒子数与均分数a 之差,则状态空间},1,,2,1,0,1,,1,{a a a a S -⋅⋅⋅-⋅⋅⋅+--=,转移概率 ⎪⎪⎪⎩⎪⎪⎪⎨⎧==±≠∈-=+=+---+-1,),1(21),1(211,1,1,1,a a a a j j j j p p a j S j a j p a j p则 },3,2,1,{⋅⋅⋅=n X n 是齐次马尔可夫链.第二节 参数离散的齐次马尔可夫链对于离散参数齐次马尔可夫链,本节讨论以下四个问题.一. 转移概率矩阵设 },,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 是齐次马尔可夫链, 由于状态空间S 是离散的(有限集或可列集)，不妨设其状态空间 },,,2,1,0{⋅⋅⋅⋅⋅⋅=n S .则对S 内的任意两个状态i 和j ,由转移概率 ij p 排序一个矩阵⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=ij i i j j p p p p p p p p p P 101111000100 称为(一步)转移概率矩阵 .})(|)({1i t X j t X P p m m ij ===+转移概率矩阵的性质：(1) 0≥ij p ,即元素均非负;(2) 1=∑∈S j ij p ,即每行和为1.具有以上两个特点的方阵称为随机矩阵.转移概率矩阵就是一个随机矩阵.例1 Bernoulli 序列的状态空间}1,0{=S ,转移概率矩阵⎝⎛=⎪⎪⎭⎫ ⎝⎛=q q p p p p P 11100100 ⎪⎪⎭⎫p p , })(|)({1i t X j t X P p m m ij ===+⎩⎨⎧=====+1,0,})({1j p j q j t X P m .例1 一维随机游动一个质点在直线上的五个位置:0,1,2,3,4之上随机游动.当它处在位置1或2或3时,以31的概率向左移动一步而以32的概率向右移动一步;当它到达位置0时,以概率1返回位置1;当它到达位置4时以概率1停留在该位置上(称位置0为反射壁,称位置4为吸收壁).以j t X n =)(表示时刻n t 质点处于位置j ,4,3,2,1,0=j ,则},,,),({210⋅⋅⋅=t t t t t X 是齐次马尔可夫链.其状态空间}4,3,2,1,0{=S ,状态0是反射状态,状态4是吸收状态.其转移概率矩阵⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛==1000032031000320310003203100010)(ij p P})(|)({1i t X j t X P p m m ij ===+分别以4,3,2,1,0,0==j i ； 4,3,2,1,0,1==j i ；4,3,2,1,0,2==j i ；4,3,2,1,0,3==j i ；4,3,2,1,0,4==j i按题设条件求出转移概率 })(|)({1i t X j t X P p m m ij ===+ 画出状态转移示意图如图例3（成功流）设在一串贝努里试验中,每次试验成功的概率为p ,令⎩⎨⎧≤≤=n k k n k n X n 1,,,0次成功次试验接连第第次试验失败第则},3,2,1,{⋅⋅⋅=n X n 是齐次马尔可夫链.其状态空间},,,2,1,0{⋅⋅⋅⋅⋅⋅=k S ,其转移概率pq X P i X X P n n n -======++1}0{}|0{11,p n P i X i X P n n =+==+=+}1{}|1{1次试验时成功第,,0,,020100===p p p q p ，⎪⎪⎩⎪⎪⎨⎧=≤<+=+≥====+0,0,01,2,0}|{1j q i j i j p i j i X j X P p n n ij , （ ,3,2,1=i ）于是转移概率矩阵⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=ij i i j j p p p p p p p p p P 101111000100⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=p q p q p q p q 0000000000二． 切普曼-柯尔莫哥洛夫方程定理一 设 },,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X是马尔可夫链,则有)()()()()()(n m l kj km n ik m l n ij t p t p t p ++∑=, (13.6)称为切普曼-柯尔莫哥洛夫方程.证 由条件概率定义计算公式,利用全概率公式和马氏条件,得})(|)({)()(i t X j t X P t p m l n m m l n ij ===+++})({})(,)({i t X P j t X i t X P m l n m m ====++ })({}})(,)(}){)({({i t X P j t X i t X k t X P m Sk l n m m n m =====∑∈+++})({})(,)(,)({i t X P j t X k t X i tX P m Sk l n m n m m=====∑∈+++ })({})(,)({})(,)({})(,)(,)({i t X P k t X i t X P k t X i t X P j t X k t X i t X P m n m m kn m m l n m n m m ===⋅======+++++∑})(|)({})(,)(|)({i t X k t X P k t X i t X j t X P m n m n m m kl n m ==⋅====++++∑})(|)({})(|)({i t X k t X P k t X j t X P m n m n m kl n m ==⋅===++++∑)()()()(n m l kj km n ik t p t p +∑= 证毕.如果马尔可夫链具有齐次性,那么切普曼-柯尔莫哥洛夫方程化为)()()(l kjkn ik l n ij p p p ∑=+ ,(13.7)当1,1==l n 时,得到kj kik ij p p p ∑=)2(,进一步改写为矩阵形式 2)2(P P=其中)()2()2(ijp P =是两步转移概率矩阵,P 是一步转移概率矩阵.用数学归纳法可得 nn P P =)(,⋅⋅⋅=,4,3,2n (13.8) 式(13.8)表明:n 步转移概率矩阵)()()(n ij n p P =等于一步转移概率矩阵P 的n 次幂.因此也常把n P 作为n 步转移概率矩阵的符号.例2 在本节例2中,求)2(00p 和)2(31p.解 由kj kik ij p p p ∑=)2(,得3131140)2(00=⨯==∑=k k k p p p,913131413)2(31=⨯==∑=k k k p p p.或用2)2()2()(P p Pij==.例3 传输数字0和1的通讯系统,每个数字的传输需经过若干步骤,设每步传输正确的概率为109,传输错误的概率为101,(1)问:数字1经三步传输出1的概率是多少? (2)若某步传输出数字1,那么又接连两步都传输出1的概率是多少?解 以n X 表示第n 步传输出的数字,则},2,1,0,{⋅⋅⋅=n X n 是一齐次马尔可夫链,0X 是初始状态,状态空间}1,0{=S ,一步转移概率矩阵⎝⎛=101109P ⎪⎪⎪⎪⎭⎫109101 (1) 2)2(P P =⎝⎛=101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109 ⎪⎪⎪⎪⎭⎫109101= ⎝⎛1001810082⎪⎪⎪⎪⎭⎫10082100183)3(P P =⎝⎛=101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101= ⎝⎛1001810082⎪⎪⎪⎪⎭⎫1008210018 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101=⎝⎛10002441000756 ⎪⎪⎪⎪⎭⎫10007561000244,756.01000756)3(11==p ; (2) }1|1,1{21===++n n n X X X P}1|1{1===+n n X X P }1,1|1{12===⋅++n n n X X X P}1|1{1===+n n X X P }1|1{12==⋅++n n X X P81.0)109(21111==⋅=p p .。
马尔可夫链课件
格，或以
Q现在处于1(或5)这 1的概率留在原处；如果 3
一点上，则下一时刻就以概率1移动到2(或4)这点上，1 和5这两点称为反射壁，这种游动称为带有两个反射壁的
随机游动。以Xn表示时刻n时Q的位置，说明{Xn,n =
0,1,2 …}是一齐次马氏链，并写出它的一步转移概率矩 阵。
二、转移概率
定义3 设 { X n，n 0} 是齐次马尔可夫链，其一步 矩阵的每一行都 转移概率为 pij (i, j S )，记 是一条件分布律
p00 p10 P ( pij ) p 20 pi 0
.
p 01 p 02 p11 p12 p 21 p 22 pi1 pi 2
1 2 3 4 5
三、马氏链的例子
解：它的一步转移概率矩阵为： 0 1 0 0 0
1 3 P 0 0 0
1 3 1 3 1 3 1 3 1 3
0
1 3 1 3
0 0
0
1
0 0 1 3 0
如果把1这点改为吸收壁，即Q一旦到达1这一点，则永远 留在点1时，此时的转移概率矩阵为：
• 第一节 基本概念 • 第二节 状态的分类及性质 • 第三节 极限性态及平稳分布
• 第四节 Markov链的应用
第一节
基本概念
一、Markov链的定义 二、转移概率 三、Markov链的例子 四、n步转移概率，C-K方程
第一节
基本概念
一、Markov链的定义
马尔可夫性(无后效性 )过程(或系统)在时刻t 所处的状态为已知的条件下，过程在时
1 1 3 P 0 0 0 0
1 3 1 3
0
马尔可夫链
例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}， 转移概率矩阵为
1 2
1
2
0 0
0
1 2
1 2
0
0
0
P 0 0 1 0 0
3 / 16 . 1/ 4
于是: (1) P{X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0} 1 5 5 ;
3 16 48
2020年5月21日星期四
(2)P{X2 1}
P{X0 0}P{X2 1 | X0 0} P{X0 1}P{X2 1 | X0 1}
显然有
p(n) 11
p(n) 21
P(n)
p(n j1
)
L
p(n) 12
p(n) 22
p(n) 1j
L
p(n) 2j
L
p(n) j2
p(n) jj
L
LL
L
(1)
0
p(n) ij
1
(2)
p(n) ij
1,
i
1,
2,L
j
2020年5月21日星期四
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
的矩阵
p11 p21
P
L
pj1 L
p12 L p22 L LL pj2 L LL
p1 j L
p2 j L
L
L
p jj L
L L
称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,L
j
2020年5月21日星期四
3、马尔可夫链举例
马尔可夫链预测
P(0) (0.5 0.3 0.2)
C
0.05
0.05
0.9
38
未来各期的市场占有率：
P 1 P 0 P
0.7 0.1 0.2
0.5, 0.3,
0.2Biblioteka 0.10.80.1
0.05 0.05 0.9
0.39,0.3,0.31
39
未来各期的市场占有率：
P 1 P 0 P
0.7 0.1 0.2
7
几个概念：
8
几个概念：
概率向量：对于任意的行向量（或列 向量），如果其每个元素均非负且总和等于1， 则称该向量为概率向量。
9
几个概念：
概率向量：对于任意的行向量（或列 向量），如果其每个元素均非负且总和等于1， 则称该向量为概率向量。
u (0.4,0.25,0.25,0.1)
10
几个概念：
一旦过程处于平衡状态，则过程经过一步或多步状态 转移之后，其状态概率分布保持不变，即，过程一旦处于 平衡状态后将永远处于平衡状态。
22
2. 稳态分布
问题：对于系统的状态P(m)，当 m 趋于无穷时，
是否存在极限？
23
2. 稳态分布
问题：对于系统的状态P(m)，当 m 趋于无穷时，
是否存在极限？
若存在，设其极限为 ，
C
1000/5000=0.2 300/3000=0.1 1800/2000=0.95
37
公司
A B C 周期 1 的 顾客数
周期 0 的 顾客数 5000 3000 2000
——
周期 1 的供应公司
A
B
C
3500 500 1000
300 2400 300
第5章 马尔可夫链PPT课件
状态.
精选PPT课件
18
马尔可夫链
一般,一个特定的参保人年理赔要求的次数是参数为λ 的泊松随机变量,那么此参保人相继的状态将构成一个马 尔可夫链,并具有转移概率
但昨天没下雨,那么明天下雨的概率为0.5;如果昨天下雨
但今天没下雨,那么明天下雨的概率为0.4;如果昨、今两
天都没下雨,那么明天下雨的概率为0.2.
假设在时间n的状态只依赖于在时间n-1是否下雨,那么
上述模型就不是一个马尔可夫链.
但是,当假定在任意时间的状态是由这天与前一天两者
的天气条件所决定时,上面的模型就可以转变为一个马尔
令Xn为第n天结束时的存货量,则
XSX-nYn-nY++n1+1=,1,
若Xn≥s, 若Xn＜s.
构成的{Xn,n≥1}是Markov链.
例5.11 以Sn表示保险公司在时刻n的盈余,这里的时间以
适当的单位来计算(如天,月等), 初始盈余S0=x显然为
已知,但未来的盈余S1,S2,…却必须视为随机变量,增量
参保人的状态随着参保人要求理赔的次数而一年一年
地变化.低的状态对应于低的年保险金. 如果参保人在上
一年没有理赔要求,他的状态就将降低; 如果参保人在上
一年至少有一次理赔要求,他的状态一般会增加(可见,无
理赔是好的,并且会导致低保险金;而要求理赔是坏的,一
般会导致更高的保险金).
对于给定的一个好-坏系统, 以si(k)记一个在上一年 处在状态i,且在该年有k次理赔要求的参保人在下一年的
矩阵为
p11 p12 p13 p14
P=
p21 p22 p23 p24 0010
0001
例5.5(赌徒的破产或称带吸收壁的随机游动)系统的状态
概率论与数理统计13马尔可夫
j i pij
i 1
N
s.t. j 0, j 1
i 1
N
例2 讨论例1的遍历性和极限分布。
4 5
1/ 3 1/ 3 1/ 3 0 0 0 1/ 3 1/ 3 1/ 3 0 0 1/ 3 1/ 3 1/ 3 0 0 0 1 0 0
多步转移概率
C-K方程 设 X (n), n 0,1,2,... 是一齐次马氏链，则对任 意的 u, v T1 ，有
转移概率——马氏链在时刻m处于状态ai条件下， 在时刻m+n转移到状态aj的概率，称为转移概率
转移概率矩阵——由转移概率组成的矩阵
P(m, m n) ( P ij (m, m n))
P(m, m n) ( P ij (m, m n))
齐次马氏链——转移概率只与i，j及时间间距n 有关时，此链是齐次的。仅讨论齐次马氏链 n步转移概率
结论：对齐次马氏链而言，n步转移概率矩 阵是一步转移概率矩阵的n次方
0 0
1
2
P
1 2
3 / 4 1 / 4 0 1 / 4 1 / 2 1 / 4 0 3 / 4 1 /;a,b<1，Pij(n)极限 b lim P00 (n) lim P 0 10 ( n)
一、马尔可夫过程的概念
马尔可夫性（无后效性）
过程或系统中时刻t0所处的状态为已知的条件 下，过程做时刻t>t0所处状态的条件分布于过 程中时刻t0之前所处的状态无关的特性称为马 尔可夫性或无后效性。
即过程“将来” 的情况与“过去”的情况是无 关的
马尔可夫链
二.马尔可夫链的分类 状态空间S是离散的(有限集或可列集), 参数集T可为离散或连续的两类.
三：离散参数马尔可夫链 （1）转移概率 定义 在离散参数马尔可夫链{X (t),t t0 ,t1,t2 ,,tn ,} 中,条件概率
P{X (tm1) | X (tm ) i} pij (tm )
j1, j2,, jn , jn1,
如果条件概率
P{X (tn1) jn1 | X (t1) j1, X (t2 ) j2 , , X (tn ) jn} P{X (tn1) jn1 | X (tn ) jn}
恒成立,则称此过程为马尔可夫链. 称为马尔可夫性,或称无后效性.
马氏性的直观含义可以解释如下:
P{({ X (tmn ) j}){X (tm ) i}}
jS
P{X (tm ) i}
P{X (tm ) i} P{X (tm ) i}
1
四.离散参数齐次马尔可夫链 定义 在离散参数马尔可夫链{X (t),t t0 ,t1,t2,,tn ,} 中,如果一步转移概率 Pij (tm)不依赖于参数tm , 即对任意两个不等的参数tm和 tk, m ≠ k有
P(C | AB) P(C | B)
即：已知到现在为止的所有信息来预测 将来，则只与现在状态有关，与过去状 态无关。
第一节: 马尔可夫链的定义
一．定义设随机过程 {X (t),t T} 的状态空间S是
有限集或可列集, 对任意正整数n, 对于T内任意
n+1个参数t1 t2 tn tn1 和S内任意 n+1个状态
P{X (tm1) j | X (tm ) i} pij (tm )
P{X (tk1) j | X (tk ) i} pij (tk ) pij
13 马尔可夫链
4
13.1 马尔可夫过程及其概率分布
泊松过程和维纳过程的马尔可夫性
是独立增量过程，且 X (0) 0 { X (t ), t 0}
证明见课本
X (tn )与 X (t1 ), X (t2 ),, X (tn 2 )
是相互独立的随机变量。 即马尔可夫性
泊松过程是时间连续、状态离散的马氏过程 维纳过程是时间连续、状态也连续的马氏过程
P{ X (tn ) xn | X (t1 ) x1 , X (t2 ) x2 , , X (tn 1 ) xn 1} P{ X (tn ) xn | X (tn 1 ) xn 1}
即
Ftn |t1...tn1 ( xn , t n | x1 , x2 ,..., xn1 , t1 , t 2 ,..., t n1 )
9
13.1 马尔可夫过程及其概率分布
(0-1)传输系统
只传输数字0,1的串联系统
每一级的传真率为p,误码率为q=1－p.
(传真率指输出与输入相同的概率，是条件概率。)
{ X n , n 0,1, 2,}是一个随机过程，
参数集(时间集)为
分析：
T {0,1, 2,}，状态空间为 I {0,1}
8
13.1 马尔可夫过程及其概率分布
一步转移概率矩阵
矩阵元 pij P (1) P{ X m1 a j | X m ai } ij 概率矩阵
X m 1 的状态
a1 a2 aj
Xm
的 状 态
a1 p11 p12 p1 j a2 p21 p22 p2 j 记成 P (1) P ai pi1 pi 2 pij
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
CH13 马尔可夫链
2014年8月23日星期六
Page 4
定义1：具有标号的随机变量组{Xi}称为随 机过程，其中i∈I。 随机过程中，随机变量可取到的值称 为状态，其全部可能取值的集合称为状 态空间。标号（指标参数）全部可能取 值组成的集合I称为参数空间，参数空间I 常表示时刻。
CH13 马尔可夫链
二步平稳转移概率矩阵的第
一行的三个数p00(2),p01(2), p02(2)分别为一步转移矩阵 p11
p02
1
p21
p12
2
p22
的第一行乘以第一，二，三列所得，同样第二行的三个数
CH13 马尔可夫链
2014年8月23日星期六
Page 17
P10(2),p11(2),p12(2) 分别为二步转移矩阵的第二行乘以第一，二， 三列所得，p20(2),p21(2),p22(2)分别为第三行乘以第一，二，三列 所得， 一般地：prs(2) = prTps , 如果定义两步平稳转移概率矩阵 P(2)=(prs(2)) , 则我们有： P(2)=P(1) * P(1) = P2 n步平稳转移概率
CH13 马尔可夫链
2014年8月23日星期六
Page 8
这些问题的研究是很有现实意义的，例如： 根据市场统计了解到，目前某公司生产的商品占 有一定的销路比例，我现在要预测，n步以后， 该公司将占有的销路比例是多少？另外，参加竞 争的商品占有销路的比例会稳定吗？ 我们关心的是分析这样一类系统，即系统的 下一个状态与当前状态有关，而与系统以前状态 完全无关，这样的随机过程称为马尔可夫过程。 或马尔可夫链，它可用来回答上述问题和其它许 多与动态系统有关的问题。 人们已用马尔可夫链来分析库存问题、商 品销路问题、设备更新问题、人口增长问题、会 计问题、工厂布局问题及有关动态系统的其它问 题。
CH13 马尔可夫链
2014年8月23日星期六
Page 15
P(0) =
( 0) p0 ( 0) p1 ( 0) p2
(1) ,P =
(1) p0 (1) 分别为初始的和一步 p1 (1) p2
分配比例向量。 定义5：n 步平稳转移概率 prs (n) =p(x i+n = s|x i= r ) = p(xn=s| x0=r) 式中 p rs (n)>=0 对所有的状态r和s均成立 n=1,2……..
CH13 马尔可夫链
2014年8月23日星期六
Page 11
这就是说，对任意i, i +1步随机变量xi+1所 处的某一状态的概率，仅受紧接在它前 面的随机变量 xi 所处的状态影响，而与 再前面的随机变量x0,x1,……xi-1所处的状 态无关，这种性质就是所谓的“无后效 性”。 概率p(xi+1 ＝s| xi=r)称为第i步的状态r转移到 第i+1步的状态s的一步转移概率（One step probability）,它是已知xi 时xi+1 的条 件概率。
由此，第２步商品销路分配比例
CH13 马尔可夫链
2014年8月23日星期六
Page 21
ＲＭ型：
p
(2) 0
p p
0
(0)
(2) 00
p p
1
(0)
(2) 10
p p
2
(0)
(2) 20
0.35*0.8228 0.3*0.0843 0.35*0.2439 0.400525
ＭＨ型：
=
p( X
tI
mn
s, Xm k t | Xm r )
CH13 马尔可夫链
2014年8月23日星期六
Page 19
=
p( X
tI
mn
s | Xm k t , Xm r ) p( Xm k t | Xm r )
=
p( X
tI
mn
CH13 马尔可夫链
2014年8月23日星期六
Page 18
从计算n步转移概率的证明式中，可以引出一般的性质：
p rs（n）=
tI
prt(k)pts(n-k)
（
n
整数 ）
这就是切普曼－柯尔莫哥洛夫方程，这要将上述证明中用k代替 n-1即得：
p
(n) rs
p( X
mn
s|
X
m
r)
p
(2) 1
p p
0
(0)
(2) 01
p p
1
(0)
(2) 11
p p
2
(0)
(2) 21
0.35*0.0450 0.3*0.7685 0.35*0.1950 0.31455
CH13 马尔可夫链
2014年8月23日星期六
Page 22
其他型：
p
(2) 2
p p
0
(0)
(2) 02
CH13 马尔可夫链
2014年8月23日星期六
Page 7
我们要研究的问题是： 1、如果系统现在处于状态r,则从现在起n步以后， 系统处于状态s的概率是多少？即： n步 求状态r 状态s的概率p rs(n) 。 2、很多步以后，系统处于状态s的概率是多少？ 即求p s(n) 。 3、如果系统现在处于状态r，步数不断增加，系 统处于状态s的概率，或者说步数不断增加， 系统处于状态s的概率是否稳定。即：lim p rs(n) n ∞ (n) 或 lim p s 是否存在，条件是什么？怎样求值？ n ∞ 4、从状态r首次到达状态s的期望步数是多少？
p p
1
(0)
(2) 12
p p
CH13 马尔可夫链
2014年8月23日星期六
Page 6
例2：某电话总机在[0，t）这段时间内接到的呼 叫次数是随机变量，如果要了解总机的工作情 况，就要研究呼叫次数随时间变化的过程，参 数空间是时间区间[0，+∞),t在一段时间内连续 变化，而[0，t）内的呼叫次数是离散的非负整 数，因此它是参数空间连续、状态空间离散的 随机过程。 例3：如果在上例中，每隔五分钟统计电话总机 接到呼叫的次数，则参数空间、状态空间都是 离散的随机过程。 我们将要讨论的是参数空间、状态空间都是离散 的情况，且一个系统可能的状态是有限的。
r=0,1,2,…..n)
,p1,…….pn)T。(pr=p(x0=r)
则称随机过程{Xi}为一阶、有限状态马尔可夫链。
例6-1 商品销路分配（书p454）
冻干午餐一步平稳转移概率如下表：
RM 0 RM 0 0.9
MH 1 p01
p00 0.02
“其他” 2 0.08 p02
MH 1
0.04 p10 0.87 p11
运筹学
Operations Research
第十三章 马尔可夫链
13.1 引 言 13.2 马尔可夫链 13.3 首次到达时间 13.4 马尔可夫分析的计算机程序
11.1 引言
Introduction
CH13 马尔可夫链
2014年8月23日星期六
Page 3
根据当前的状态和发展趋向去预测 未来的状态，这是管理决策中重要的 环节之一，马尔可夫分析就是这方面 常用的方法。 我们不断观察一个系统所处的状 态，这可以用一簇随机变量来表示， 这就是随机过程。
(n) p rs =1对所有的状态r均成立 n=1,2…….. s 0 n
从现态必然要转到次态
CH13 马尔可夫链
2014年8月23日星期六
Page 16
请注意共有N+1种状态，下面来进一步推导一下n步平稳转移 概率的计算公式，先看一下三个状态的二步平稳转移概率计 p00 算，见右下图。 p00(2) =p00p00 +p01p10 + p02p20 p01(2) =p00p01 +p01p11 + p02p21 p02(2) =p00p02 +p01p12 + p02p22 p01 0 p10 0 p20
2014年8月23日星期六
Page 5
• 状态和参数，可以是离散的，也可以是连续的。 据此，可将随机过程分成四类： 即：1、参数空间，状态空间均离散； 2、参数空间离散，状态空间连续； 3、参数空间连续，状态空间离散； 4、参数空间、状态空间均连续。 例1：我们要了解某地区10月1日一昼夜气温的变 化情况，就要观察气温这个随机变量的变化过 程，参数空间是时间区间[0，24），状态空间 是气体实数，它们都是非离散的随机过程。
p( X p( X p( X p
tI tI ts tI
n
n
1
s | X 0 t ) p ( X n 1 t | X 0 r )
tI
( n 1) ( n 1) prt prt pts
所以，n步平稳转移概率矩阵P(n)=P(n-1)*P=…Pn (P是一步平稳 转移矩阵）
0.09 p12
CH13 马尔可夫链
2014年8月23日星期六
Page 14
上述随机过程为一阶、有限状态的马尔可夫链 第一步RM的销路分配比例p0(1) (第1步后处于状态0的概率) P0(1) =P0(0)P00(1) +P1(0)P10(1) +P2(0)P20(1) =0.35*0.9 +0.3*0.04 +0.35*0.15=0.3795 第一步MH的销路分配比例p1(1) p1(1) = p0(0)p01(1) + p1(0) p11(1) +p2(0)p21(1) =0.35*0.02 +0.3*0.87+0.35*0.12=0.31 第一步其他的销路分配比例 p2(1) p2(1) =p0(0)p02(1) +p1(0)p12(1)+p2(0)p22(1) =0.35*0.08 +0.3*0.09 +0.35*0.73 =0.3105 写成矩阵形式：P(1) =PTP (0) 其中