时齐马尔可夫链
第三章 马尔可夫链
第三章 马尔可夫链 一、马尔可夫链的概念马尔可夫过程是一类有重要应用意义的随机过程，它具有如下特征：随机过程‘将来’所处的状态仅与‘现在’所处的状态有关，而与‘过去’曾处于什么状态无关。
马尔可夫过程按其状态和时间参数是离散还是连续的可以分成三类 （1） 时间和状态都是离散的马尔可夫过程，称为马尔可夫链。
（2） 时间连续、状态离散的马尔可夫过程，称为连续时间的马尔可夫链。
（3） 时间和状态都连续的马尔可夫过程。
本章介绍马尔可夫链定义1 设}0,{≥n X n 为随机序列，其状态空间为},,,{210 i i i I =，如果对任意正整数n 及任意n+2个状态I i i i i n ∈+1210,,,, ，有},,,{110011n n n n i X i X i X i X P ====++}{11n n n n i X i X P ===++则称此随机序列}0,{≥n X n 为马尔可夫链。
若将时刻n 称为‘现在’，将时刻n+1称为‘将来’，而把0，1，2，……，n-1称为‘过去’。
定义中的等式便可通俗解释为：在已知}0,{≥n X n ‘现在’所处的状态条件下，‘将来’所要达到的状态与‘过去’所经历的状态无关，这一特性常称为马尔可夫的无后效性。
例1．一个n 级数字传输系统，每一级的输入和输出信号只取0或1两个值，每一级的输出是下一级的输入；并假定当一级输入为0时，其输出为0和为1的概率分别为p 和1-p;当输入为1时，其输出为1和0的概率分别为p 和1-p （见图）令Xn 表示第n 级输出，则{ Xn,n ≥0}便为一个马尔可夫链。
例2．从1，2，……，N 数字中任取一个数，记为X0；再从1，2，……，X0数字中任取一个数，记为X1；再从1，2，……，X1中任取一个数，记为X2；依此类推，在1，2，……，Xn-1中任取一个数，记为Xn 。
可以证明{ Xn,n ≥0}为马尔可夫链。
事实上，{ Xn,n ≥0}的状态空间为I={1，2，……，N}，对任意正整数n ，取n+1个状态I i i i i n ,,,,210 ,由题意可知故{ Xn,n ≥0}为马尔可夫链。
马尔可夫链-2013
定理2.2 设{Xn,n∈T}为马尔可夫链,则对任意j∈I和n≥ 1,绝对概率pj(n)具有下列性质: (1) pj(n)=pipij(n); (2) pj(n)= pi(n-1)pij ;
iI
iI
(3) PT(n)=PT(0)P(n);
(4) PT(n)=PT(n-1)P. 证明:(1) pj(n)=P{Xn=j}= P{X0=i,Xn=j} =P{Xn=j|X0=i}P{X0=i}= pipij(n).
p0 (0) p
(1) 01
p
(1) 11
p
(1) 11
p
(1) 11
= 1 18 52 52 52 ≈0.28.
26 70 70 70
例2.5 设{Xn,n≥0}是具有3个状态0,1,2的齐次马氏链,一 步转移概率矩阵如右所示: 0 1 2 初始分布pi(0)=P{X0=i}=1/3,i=0,1,2. 0 ¾ ¼ 0 试求(1) P{X0=0,X2=1}; (2) P{X2=1}. 1 ¼ ½ ¼ 解: 先求出二步转移概率矩阵(如右下): 2 0 ¾ ¼ 于是有 0 1 2 (1) P{X0=0,X2=1} 5/16 1/16 0 5/8 =P{X0=0}P{X2=1|X0=0} P2= 1 5/16 1/2 3/16 =p0(0)p01(2)=(1/3)· (5/16)=5/48; 2 3/16 9/16 1/4 (2) p1(2)=P{X2=1} =p0(0)p01(2)+p1(0)p11(2)+p2(0)p21(2) =(1/3)(5/16+1/2+9/16)=11/24.
1,i=j .
例2.1 (一维随机游动) 3 5 1 2 4 设一随机游动的质点, 在如右上图所示的 直线点集I={1,2,3,4,5}作随机游动,并且仅仅在1秒,2秒 …等时刻发生游动.游动的概率规则是:如果Q现在位于点 i(1＜i＜5), 则下一时刻各以1/3的概率向左或向右移动 一格,或以1/3的概率留在原处; 如果Q现在位于点1(或5) 上,则下一时刻就以概率1移动到点2(或4)上.点1与5称为 反射壁.并称上述这种游动为带有两个反射壁的随机游动. 若以Xn表示时刻n时Q的位置, 不同的位置就是Xn的不同
随机过程报告——马尔可夫链
马尔可夫链马尔可夫链是一种特殊的随机过程，最初由A.A .M arkov 所研究。
它的直观背景如下:设有一随机运动的系统E (例如运动着的质点等)，它可能处的状态记为,....E ,...,E ,E n 10总共有可数个或者有穷个。
这系统只可能在时刻t=1,2,…n,…上改变它的状态。
随着∑的运动进程，定义一列随机变量Xn,n=0,1, 2, ⋯其中Xn=k ，如在t=n 时，∑位于Ek 。
定义1.1 设有随机过程}{T n X n ∈，，若对任意的整数T n ∈和任意的,,...,110I i i i n ∈+条件概率满足}i {},...,i X i {1n 10001n 1n n n n n n i X X P i X X P ======++++ 则称}{T n X n ∈，为马尔可夫链，简称为马氏链。
实际中常常碰到具有下列性质的运动系统∑。
如果己知它在t=n 时的状态，则关于它在n 时以前所处的状态的补充知识，对预言∑在n 时以后所处的状态，不起任何作用。
或者说，在己知的“现在”的条件下， “将来”与“过去”是无关的。
这种性质，就是直观意义上的“马尔可夫性”，或者称为“无后效性”。
假设马尔可夫过程}{T n X n ∈，的参数集T 是离散时间集合，即T={0,1,2,…},其相应Xn 可能取值的全体组成的状态空间是离散状态空间I={1,2,..}。
定义1.2 条件概率}{P 1)(i X j X p n n n ij ===+称为马尔可夫链}{T n X n ∈，在时刻n 的一步转移矩阵，其中i ，j ∈I ，简称为转移概率。
一般地，转移概率)(P n ij 不仅与状态i,j 有关，而且与时刻n 有关。
当)(P n ij 不依赖于时刻n 时，表示马尔可夫链具有平稳转移概率。
若对任意的i ，j ∈I ，马尔可夫链Xn,n ∈T}的转移概率)(P n ij 与n 无关，则称马尔可夫链是齐次的。
5马尔可夫链(精品PPT)
pij P( X n 1 j X n i ) P( f i, Yn 1 j ) P( f i, Y1 j )
二、切普曼-柯尔莫哥洛夫方程
1，随机矩阵 定义：称矩阵A=(aij)S×S为随机矩阵，若aij ≥0，且
i S , 有 aij 1
例5 Polya（波利亚）模型
罐中有b只黑球及r只红球，每次随机地取出一只后 把原球放回，并加入与抽出球同色的球c只，再第二次 随机地取球重复上面步骤进行下去，{Xn=i}表示第n回 摸球放回操作完成后，罐中有i只黑球这一事件，所以
i b r nc , i P X n 1 j X n i 1 , b r nc 0,
x
j i 1
( j i 1)!
dG x ,
j i 1, i 1 其它
Pij 0,
例3 G / M /1排队系统 来到时间间隔分布为G，服务时间分布为指数分布，参 数为 ，且与顾客到达过程独立。 Xn-----第n个顾客来到时见到系统中的顾客数（包括 该顾客），则{Xn，n≥1}是马尔可夫链。记
jS
显然马尔可夫链{Xn,n≥0}的一步转移概率矩阵P为 随机矩阵。 2，n步转移概率 定义：设{Xn,n≥0}是一马尔可夫链，称
n pij P X n m j X m i ,
n 0, i, j 0
为马尔可夫链{Xn,n≥0}的n步转移概率。记
i (n) P X n i ,
j ic j i else
这是一个非齐次的马尔可夫链，在传染病研究中有用。
下面的定理提供了一个非常有用的获得马尔可夫链的方 法，并可用于检验一随机过程是否为马尔可夫链。
齐次马尔可夫链
・齐次马尔可夫链作者：日期:第二节齐次马尔可夫链一、齐次马尔可夫链的概念一个随机过程｛Xn, n = 0, 1, 2,・・・｝就是一族随机变量，而Xn能取的各个不同的值，则称为状态。
如果一个随机过程｛Xn, n-0, 1,2,山一种状态转移到另一种状态的转移概率只与现在处于什么状态有矢，而与在这时刻之前所处的状态完全无矢，即如果过程｛Xn, n=0, 1,2,-｝中，Xn+1的条件概率分布只依赖于Xn的值，而与所有更前面的值相互独立，则该过程就是所谓马尔可夫（Markov）过程.马尔可夫链是指时间离散，状态也离散的马尔可夫过程。
一个马尔可夫链，若从u 时刻处于状态i,转移到t+u时刻处于状态j的转移概率与转移的起始时间U无矢，则称之为齐次马尔可夫链，简称齐次马氏链。
如果把从状态i到状态j的一步转移概率记为Pij,则Pij=P ｛X八=j I Xn=i｝ i, j = 0, 1, 2,…，且有转移概率矩阵P,这样，一个齐次马氏链，可以山一个转移概率矩阵P以及在时刻零时状态x=0, 1, 2,…的概率分布列向量Q= （q （0） , q⑴，…）完全确定。
由齐次马氏链性质知道，第i状态的行向量Ai与第i + 1状态的行向量Ai+i之间存在着矢系式：Ai+i=AiP o二、齐次马氏链在评估教学质量中的应用教学过程是一个随机过程，也就是说，对于具有相同基础知识背景的学生（个体），在同时接受新知识时是随机的。
我们可以把一个班（群体）的学生划分为不同的等级（譬如：优、良、中、及格、不及格五个等级），近似地认为处于同一等级的学生具有相同的基础知识，用齐次马氏链，通过学生学习状态的转移概率矩阵，最终可以预测一个班学生学习成绩的稳定状态。
对教师而言，也就可用来评估、预测一个班的教学质量。
在教学效果指标的量化过程中'齐次马氏链评估法是将一个群体（如一个班或一个年级）的学生在某次考试中获得优（90分以上）、良（80〜89分)、中(70〜79分)、及格(60〜69分)和不及格(59分以下)各等级学生人数占总人数之比，作为状态变量，并用向量表示之。
马尔可夫链预测
P(0) (0.5 0.3 0.2)
C
0.05
0.05
0.9
38
未来各期的市场占有率：
P 1 P 0 P
0.7 0.1 0.2
0.5, 0.3,
0.2Biblioteka 0.10.80.1
0.05 0.05 0.9
0.39,0.3,0.31
39
未来各期的市场占有率：
P 1 P 0 P
0.7 0.1 0.2
7
几个概念：
8
几个概念：
概率向量：对于任意的行向量（或列 向量），如果其每个元素均非负且总和等于1， 则称该向量为概率向量。
9
几个概念：
概率向量：对于任意的行向量（或列 向量），如果其每个元素均非负且总和等于1， 则称该向量为概率向量。
u (0.4,0.25,0.25,0.1)
10
几个概念：
一旦过程处于平衡状态，则过程经过一步或多步状态 转移之后，其状态概率分布保持不变，即，过程一旦处于 平衡状态后将永远处于平衡状态。
22
2. 稳态分布
问题：对于系统的状态P(m)，当 m 趋于无穷时，
是否存在极限？
23
2. 稳态分布
问题：对于系统的状态P(m)，当 m 趋于无穷时，
是否存在极限？
若存在，设其极限为 ，
C
1000/5000=0.2 300/3000=0.1 1800/2000=0.95
37
公司
A B C 周期 1 的 顾客数
周期 0 的 顾客数 5000 3000 2000
——
周期 1 的供应公司
A
B
C
3500 500 1000
300 2400 300
第6讲 第4章马尔科夫链(1)
P X n j P X 0 k P X n j | X 0 k k P X 0 k pkjn j I k
若记: pj P X 0 j, n 1,2
P0 p1, p2 ,
202022128是具有三个状态的齐次马氏链初始分20202212920202213016162411202022131161616162020221321221202022133于多少日为雨天的概率各等又已知的一步转移概率矩阵试写出马氏链天状态表示第表示雨天状态为逆事件任一天晴或雨是互晴天转雨天的概率为雨天转晴天的概率为设任意相继的两天中例48先求出转移概率矩阵121323202022134181118121213231204167040050599503997060030105995
Xn 表示比赛 n 局后，甲的累积得分，n 1, 2, .
( 1) 写出状态空间; ( 2) 求2步转移概率; ( 3) 问在甲获得1分的情况下, 最多再赛2局可以 结束的概率.
2020/1/22
20
解 (1) S 2, 1, 0, 1, 2
(2)
-2 -1 0 1 2
2 1 0 0 0 0
1 q r p 0 0
P
0 0
1
0
q 0
r q
p r
0
p
2 0 0 0 0 1
2020/1/22
21
-2 -1 0
12
2 1
0
0
0
0
P 2 1
0
q rp q2
r2 pq 2rq
2 pr r2 2 pq
p2 2 pr
马尔可夫链▏小白都能看懂的马尔可夫链详解
马尔可夫链▏小白都能看懂的马尔可夫链详解1.什么是马尔可夫链在机器学习算法中，马尔可夫链(Markov chain)是个很重要的概念。
马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。
该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。
这种特定类型的“无记忆性”称作马尔可夫性质。
马尔科夫链作为实际过程的统计模型具有许多应用。
在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。
状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。
随机漫步就是马尔可夫链的例子。
随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。
2.一个经典的马尔科夫链实例用一句话来概括马尔科夫链的话，那就是某一时刻状态转移的概率只依赖于它的前一个状态。
举个简单的例子，假如每天的天气是一个状态的话，那个今天是不是晴天只依赖于昨天的天气，而和前天的天气没有任何关系。
这么说可能有些不严谨，但是这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等。
假设状态序列为由马尔科夫链定义可知，时刻Xt+1 的状态只与Xt 有关，用数学公式来描述就是：既然某一时刻状态转移的概率只依赖前一个状态，那么只要求出系统中任意两个状态之间的转移概率，这个马尔科夫链的模型就定了。
看一个具体的例子。
这个马尔科夫链是表示股市模型的，共有三种状态：牛市（Bull market）, 熊市（Bear market）和横盘（Stagnant market）。