第十三章 马尔可夫链概率论与数理统计
107509-概率统计随机过程课件-第十三章马尔可夫链第一节第二节(上)
第十三章 马尔可夫链马尔可夫过程是一类特殊的随机过程, 马尔可夫链是离散状态的马尔可夫过程,最初是由俄国数学家马尔可夫1896年提出和研究的.应用十分广泛,其应用领域涉及计算机,通信,自动控制,随机服务,可靠性,生物学,经济,管理,教育,气象,物理,化学等等.第一节 马尔可夫链的定义一．定义定义 1 设随机过程}),({T t t X ∈的状态空间S 是有限集或可列集,对任意正整数n ,对于T 内任意1+n 个参数121+<<⋅⋅⋅<<n n t t t t 和S 内任意1+n 个状态121,,,,+⋅⋅⋅n n j j j j ,如果条件概率})(,,)(,)(|)({221111n n n n j t X j t X j t X j t X P =⋅⋅⋅===++})(|)({11n n n n j t X j t X P ===++,(13.1) 恒成立,则称此过程为马尔可夫链. 式(13.1)称为马尔可夫性,或称无后效性.马氏性的直观含义可以解释如下: 将n t 看作为现在时刻,那末,121,,,-⋅⋅⋅n t t t 就是过去时刻,而1+n t 则是将来时刻.于是,(13.1)式是说,当已知系统现时情况的条件下,系统将来的发展变化与系统的过去无关.我们称之为无后效性.许多实际问题都具有这种无后效性.例如 生物基因遗传从这一代到下一代的转移中仅依赖于这一代而与以往各代无关.再如,每当评估一个复杂的计算机系统的性能时,就要充分利用系统在各个时刻的状态演变所具有的通常概率特性:即系统下一个将到达的状态,仅依赖于目前所处的状态,而与以往处过的状态无关.此外,诸如某公司的经营状况等等也常常具有或近似具有无后效性.二． 马尔可夫链的分类状态空间S 是离散的(有限集或可列集),参数集T 可为离散或连续的两类.三．离散参数马尔可夫链（1）转移概率定义2 在离散参数马尔可夫链},,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 中,条件概率)(})(|)({1m ij m m t p i t X j t X P ===+称为)(t X 在时刻(参数)m t 由状态i 一步转移到状态j 的一步转移概率, 简称转移概率.条件概率)(})(|)({)(m n ij m n m t p i t X j t X P ===+称为)(t X 在时刻(参数)m t 由状态i 经n 步转移到状态j 的n 步转移概率.(2)转移概率的性质:对于状态空间S 内的任意两个状态i 和j ,恒有(1) 0)()(≥m n ij t p ;(2)1)()(=∑∈m Sj n ij t p ,⋅⋅⋅=,2,1n ()()(m Sj n ij t p ∑∈ })(|)({i t X j t X P m n m Sj ===+∈∑ })({})(,)({i t X P i t X j tX P m S j m n m ====∑∈+ })({}})(}){)({({i t X P i t X j t X P m S j m n m ====∑∈+1})({})({====i t X P i t X P m m )四.离散参数齐次马尔可夫链定义3 在离散参数马尔可夫链},,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 中,如果一步转移概率)(m ij t p 不依赖于参数m t ,即对任意两个不等的参数m t 和k t ,k m ≠,有)(})(|)({1m ij m m t p i t X j t X P ===+ij k ij k k p t p i t X j t X P =====+)(})(|)({1则称此马尔可夫链具有齐次性或时齐性,称)(t X 为离散参数齐次马尔可夫链.例1 Bernoulli 序列是离散参数齐次马尔可夫链.验证 在Bernoulli 序列},3,2,1,{⋅⋅⋅=n X n 中, 对任意正整数 n , 121+<<⋅⋅⋅<<n n t t t t ,121,,,,+⋅⋅⋅n n t t t t X X X X 相互独立, 故对 ,1,0=k j )1,,2,1(+⋅⋅⋅=n k ,有},,,|{211211n t t t n t j X j X j X j X P n n =⋅⋅⋅===++}{11+==+n t j X P n}|{11n t n t j X j X P n n ===++即满足马尔可夫性,且}|{11n t n t j X j X P n n ==++⎩⎨⎧=-====++++0,11,}{1111n n n t j p j p j X P n 当当 , 不依赖于参数n t ,满足齐次性.故Bernoulli 序列是离散参数齐次马尔可夫链.例2 爱伦菲斯特(Ehrenfest)模型 一容器中有a 2个粒子在作随机运动.设想有一实际不存在的界面把容器分为左右容积相等的两部分.当右边粒子多于左边时,粒子向左边运动的概率要大一些,大出部分与两边粒子的差数成正比;反之,当右边粒子少于左边时,粒子向右边运动的概率要大一些.以nX 表示n 次变化后,右边粒子数与均分数a 之差,则状态空间},1,,2,1,0,1,,1,{a a a a S -⋅⋅⋅-⋅⋅⋅+--=,转移概率 ⎪⎪⎪⎩⎪⎪⎪⎨⎧==±≠∈-=+=+---+-1,),1(21),1(211,1,1,1,a a a a j j j j p p a j S j a j p a j p则 },3,2,1,{⋅⋅⋅=n X n 是齐次马尔可夫链.第二节 参数离散的齐次马尔可夫链对于离散参数齐次马尔可夫链,本节讨论以下四个问题.一. 转移概率矩阵设 },,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 是齐次马尔可夫链, 由于状态空间S 是离散的(有限集或可列集)，不妨设其状态空间 },,,2,1,0{⋅⋅⋅⋅⋅⋅=n S .则对S 内的任意两个状态i 和j ,由转移概率 ij p 排序一个矩阵⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=ij i i j j p p p p p p p p p P 101111000100 称为(一步)转移概率矩阵 .})(|)({1i t X j t X P p m m ij ===+转移概率矩阵的性质：(1) 0≥ij p ,即元素均非负;(2) 1=∑∈S j ij p ,即每行和为1.具有以上两个特点的方阵称为随机矩阵.转移概率矩阵就是一个随机矩阵.例1 Bernoulli 序列的状态空间}1,0{=S ,转移概率矩阵⎝⎛=⎪⎪⎭⎫ ⎝⎛=q q p p p p P 11100100 ⎪⎪⎭⎫p p , })(|)({1i t X j t X P p m m ij ===+⎩⎨⎧=====+1,0,})({1j p j q j t X P m .例1 一维随机游动一个质点在直线上的五个位置:0,1,2,3,4之上随机游动.当它处在位置1或2或3时,以31的概率向左移动一步而以32的概率向右移动一步;当它到达位置0时,以概率1返回位置1;当它到达位置4时以概率1停留在该位置上(称位置0为反射壁,称位置4为吸收壁).以j t X n =)(表示时刻n t 质点处于位置j ,4,3,2,1,0=j ,则},,,),({210⋅⋅⋅=t t t t t X 是齐次马尔可夫链.其状态空间}4,3,2,1,0{=S ,状态0是反射状态,状态4是吸收状态.其转移概率矩阵⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛==1000032031000320310003203100010)(ij p P})(|)({1i t X j t X P p m m ij ===+分别以4,3,2,1,0,0==j i ； 4,3,2,1,0,1==j i ；4,3,2,1,0,2==j i ；4,3,2,1,0,3==j i ；4,3,2,1,0,4==j i按题设条件求出转移概率 })(|)({1i t X j t X P p m m ij ===+ 画出状态转移示意图如图例3（成功流）设在一串贝努里试验中,每次试验成功的概率为p ,令⎩⎨⎧≤≤=n k k n k n X n 1,,,0次成功次试验接连第第次试验失败第则},3,2,1,{⋅⋅⋅=n X n 是齐次马尔可夫链.其状态空间},,,2,1,0{⋅⋅⋅⋅⋅⋅=k S ,其转移概率pq X P i X X P n n n -======++1}0{}|0{11,p n P i X i X P n n =+==+=+}1{}|1{1次试验时成功第,,0,,020100===p p p q p ，⎪⎪⎩⎪⎪⎨⎧=≤<+=+≥====+0,0,01,2,0}|{1j q i j i j p i j i X j X P p n n ij , （ ,3,2,1=i ）于是转移概率矩阵⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=ij i i j j p p p p p p p p p P 101111000100⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=p q p q p q p q 0000000000二． 切普曼-柯尔莫哥洛夫方程定理一 设 },,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X是马尔可夫链,则有)()()()()()(n m l kj km n ik m l n ij t p t p t p ++∑=, (13.6)称为切普曼-柯尔莫哥洛夫方程.证 由条件概率定义计算公式,利用全概率公式和马氏条件,得})(|)({)()(i t X j t X P t p m l n m m l n ij ===+++})({})(,)({i t X P j t X i t X P m l n m m ====++ })({}})(,)(}){)({({i t X P j t X i t X k t X P m Sk l n m m n m =====∑∈+++})({})(,)(,)({i t X P j t X k t X i tX P m Sk l n m n m m=====∑∈+++ })({})(,)({})(,)({})(,)(,)({i t X P k t X i t X P k t X i t X P j t X k t X i t X P m n m m kn m m l n m n m m ===⋅======+++++∑})(|)({})(,)(|)({i t X k t X P k t X i t X j t X P m n m n m m kl n m ==⋅====++++∑})(|)({})(|)({i t X k t X P k t X j t X P m n m n m kl n m ==⋅===++++∑)()()()(n m l kj km n ik t p t p +∑= 证毕.如果马尔可夫链具有齐次性,那么切普曼-柯尔莫哥洛夫方程化为)()()(l kjkn ik l n ij p p p ∑=+ ,(13.7)当1,1==l n 时,得到kj kik ij p p p ∑=)2(,进一步改写为矩阵形式 2)2(P P=其中)()2()2(ijp P =是两步转移概率矩阵,P 是一步转移概率矩阵.用数学归纳法可得 nn P P =)(,⋅⋅⋅=,4,3,2n (13.8) 式(13.8)表明:n 步转移概率矩阵)()()(n ij n p P =等于一步转移概率矩阵P 的n 次幂.因此也常把n P 作为n 步转移概率矩阵的符号.例2 在本节例2中,求)2(00p 和)2(31p.解 由kj kik ij p p p ∑=)2(,得3131140)2(00=⨯==∑=k k k p p p,913131413)2(31=⨯==∑=k k k p p p.或用2)2()2()(P p Pij==.例3 传输数字0和1的通讯系统,每个数字的传输需经过若干步骤,设每步传输正确的概率为109,传输错误的概率为101,(1)问:数字1经三步传输出1的概率是多少? (2)若某步传输出数字1,那么又接连两步都传输出1的概率是多少?解 以n X 表示第n 步传输出的数字,则},2,1,0,{⋅⋅⋅=n X n 是一齐次马尔可夫链,0X 是初始状态,状态空间}1,0{=S ,一步转移概率矩阵⎝⎛=101109P ⎪⎪⎪⎪⎭⎫109101 (1) 2)2(P P =⎝⎛=101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109 ⎪⎪⎪⎪⎭⎫109101= ⎝⎛1001810082⎪⎪⎪⎪⎭⎫10082100183)3(P P =⎝⎛=101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101= ⎝⎛1001810082⎪⎪⎪⎪⎭⎫1008210018 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101=⎝⎛10002441000756 ⎪⎪⎪⎪⎭⎫10007561000244,756.01000756)3(11==p ; (2) }1|1,1{21===++n n n X X X P}1|1{1===+n n X X P }1,1|1{12===⋅++n n n X X X P}1|1{1===+n n X X P }1|1{12==⋅++n n X X P81.0)109(21111==⋅=p p .。
浙江大学《概率论与数理统计》(第4版)【名校笔记+课后习题+考研真题】第13章 马尔可夫链【圣才出品
1 / 17
圣才电子书 十万种考研考证电子书、题库视频学习平台
X m1的状态
a1
Xm 的
a1 p11
a2
p21
状 态
ai
pi1
a2 aj
p12 p1j
p22 p2 j
=P 1 记成P
pi2 pij
二、多步转移概率的确定
1．C-K 方程
Pij (u v) Pik (u)Pkj (v), i, j 1, 2, k 1
π＝πP 或
满足条件
N
j i pij , j 1, 2, N i 1
N
j 0, j 1 j 1
的唯一解。
13.2 课后习题详解
1．从数 1，2，…，N 中任取一数，记为 X1；再从 1，2，…，X1 中任取一数，记为 X2； 如此继续，从 1，2，…，Xn－1 中任取一数，记为 Xn，说明{Xn，n≥1}构成一齐次马氏链，
则此链具有遍历性，若 j 1，则 (1, 2 ,) 为链的极限分布。
j
2．有限链遍历性的充分条件
设齐次马氏链{Xn，n≥l}的状态空间为 I {a1, a2 ,, aN} ，P 是它的一步转移概率矩阵， 如果∃m∈N＋，使对∀ ai , aj I ，都有
Pij (m) 0,i, j 1, 2,, N 则此链具有遍历性，且有极限分布 (1, 2 ,, N ) ，它是方程组
无关，那么，n 步转移概率也一定与 m 无关，马氏链就必定是齐次的。
4 / 17
圣才电子书 十万种考研考证电子书、题库视频学习平台
2．说明第十二章§1 例 5 中的随机过程都是齐次马氏链，并写出它们的状态空间和一步
转移概率矩阵。
马尔可夫链及其概率分布
则称过程{X(t),tT}具有马尔可夫性，或称 {X(t),tT}为马尔可夫过程。
称为马氏链在时刻m系统处于状态ai的条件下，在时刻 m+n转移到状态aj的转移概率。
设{Xn,n0},其状态空间为,若对于任意的正 整数n和任意的 ai0 , ai1 ,, ain , ain1 , 定义2
有 P X n 1 a i n 1 X 0 a i0 , X 1 a i 2 , , X n a i n P X n 1 a i n 1 | X n a i n
p10――系统内恰有一顾客正在接受服务的条件 下，经 后系统内无人的概率，它等于在 间 隔内顾客因服务完毕而离去，且无人进入系统 的概率，p10=p(1-q). p11――系统内恰有一顾客的条件下，在 间隔 内，他因服务完毕而离去，而另一顾客进入系 统，或者正在接受服务的顾客将继续要求服务， 且无人进入系统的概率，这p11＝pq＋(1-p) (1-q). p12――正在接受服务的顾客继续要求服务，且 另一个顾客进入系统的概率，p12=q(1-p).
由于Xn, n=0，1，2,…独立同分布，因而
PX n1 j | X n i PX n1 j q j P { X m 1 j | X m i }
所以{Xn}为齐次马氏链。其一步转移概率P:
pij q j , i , j I .
//例3 排队模型 设服务系统由一个服务员和只可 以容纳两个人的等候室组成，见图7－3。服务规 则是：先到先服务，后来者需在等候室依次排队。 假定一个需要服务的顾客到达系统时发现系统内 已有3个顾客（一个正在接受服务，两个在等候 室排队）则该 顾客即离去。设时间间隔Δt内 将有一个顾客进入系统的概率为q，有一原来被 服务的顾客离开系统（即服务完毕）的概率为p。 又设当Δt充分小时，在这时间间隔内多于一个 顾客进入或离开系统实际上是不可能的。再设有 无顾客来到与服务是否完毕是相互独立的。现用 马氏链来描述这个服务系统。
马尔可夫链的基本概念
马尔可夫链的基本概念马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程。
马尔可夫性质指的是在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
马尔可夫链由一组状态和状态之间的转移概率组成，可以用于模拟和预测各种随机过程，如天气变化、股票价格波动等。
一、马尔可夫链的定义马尔可夫链由状态空间和转移概率矩阵组成。
状态空间是指所有可能的状态的集合，用S表示。
转移概率矩阵是一个n×n的矩阵，其中n 是状态空间的大小。
转移概率矩阵的元素表示从一个状态转移到另一个状态的概率。
二、马尔可夫链的性质1. 马尔可夫性质：在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
2. 遍历性：从任意一个状态出发，经过有限步骤后可以到达任意一个状态。
3. 周期性：一个状态可以分为周期为k的状态和非周期状态。
周期为k的状态在经过k步后才能返回原状态，非周期状态的周期为1。
4. 不可约性：如果一个马尔可夫链中的任意两个状态都是可达的，那么该马尔可夫链是不可约的。
5. 非周期马尔可夫链的收敛性：如果一个马尔可夫链是非周期的且不可约的，那么它具有收敛性，即在经过足够多的步骤后，状态分布会趋于稳定。
三、马尔可夫链的应用马尔可夫链在许多领域都有广泛的应用，包括自然语言处理、机器学习、金融市场分析等。
1. 自然语言处理：马尔可夫链可以用于语言模型的建立，通过分析文本中的词语之间的转移概率，可以预测下一个词语的出现概率，从而实现自动文本生成、机器翻译等任务。
2. 机器学习：马尔可夫链可以用于序列数据的建模和预测，如音频信号处理、图像处理等。
通过分析序列数据中的状态转移概率，可以预测下一个状态的出现概率，从而实现序列数据的预测和分类。
3. 金融市场分析：马尔可夫链可以用于分析金融市场的波动性和趋势。
通过分析股票价格的状态转移概率，可以预测未来股票价格的走势，从而指导投资决策。
四、马尔可夫链的改进和扩展马尔可夫链的基本概念可以通过改进和扩展来适应更复杂的问题。
随机过程课件-马尔可夫链
对于不可约的马尔可夫链，其极限分 布是遍历的，即极限分布与初始状态 无关。
05
马尔可夫链的模拟与实现
随机数生成
伪随机数生成器
使用数学公式和种子值生成一系列近似 随机的数列。
VS
真随机数生成器
利用物理现象（如电路噪音）产生真正的 随机数。
马尔可夫链蒙特卡洛方法
采样分布
通过多次重复模拟马尔可夫链的路径来估计 某个事件的概率或某个参数的值。
收敛性
随着模拟次数的增加，估计值逐渐接近真实 值。
马尔可夫链在决策分析中的应用
要点一
决策树
要点二
强化学习
将马尔可夫链应用于决策分析中，帮助决策者评估不同策 略的风险和收益。
在强化学习中，马尔可夫链用于描述环境状态转移和奖励 函数。
06
马尔可夫链的扩展与改进
时齐马尔可夫链
定义
时齐马尔可夫链是指时间 参数为离散的马尔可夫链 ，其状态转移概率不随时 间而变化。
遍历性是马尔可夫链达到平稳分布的必要条件之一，也是判 断马尔可夫链是否具有唯一平稳分布的重要依据。
03
马尔可夫链的转移概率
转移概率的定义与性质
定义
马尔可夫链中，给定当前状态$i$，未来状态$j$在某个时间步长内发生的概率称为转移 概率，记作$P(i,j)$。
性质
转移概率具有非负性、归一性和时齐性。非负性指$P(i,j) geq 0$；归一性指对于每个 状态$i$，所有可能转移到该状态的转移概率之和为1，即$sum_{ j} P(i,j) = 1$；时齐性
周期性会影响马尔可夫链的平稳分来自的性质和计算。状态空间的分解
状态空间的分解是将状态空间划分为若干个子集，每个子集内的状态具有相似的 性质和转移概率。
概率论与数理统计13马尔可夫
j i pij
i 1
N
s.t. j 0, j 1
i 1
N
例2 讨论例1的遍历性和极限分布。
4 5
1/ 3 1/ 3 1/ 3 0 0 0 1/ 3 1/ 3 1/ 3 0 0 1/ 3 1/ 3 1/ 3 0 0 0 1 0 0
多步转移概率
C-K方程 设 X (n), n 0,1,2,... 是一齐次马氏链，则对任 意的 u, v T1 ，有
转移概率——马氏链在时刻m处于状态ai条件下， 在时刻m+n转移到状态aj的概率，称为转移概率
转移概率矩阵——由转移概率组成的矩阵
P(m, m n) ( P ij (m, m n))
P(m, m n) ( P ij (m, m n))
齐次马氏链——转移概率只与i，j及时间间距n 有关时，此链是齐次的。仅讨论齐次马氏链 n步转移概率
结论：对齐次马氏链而言，n步转移概率矩 阵是一步转移概率矩阵的n次方
0 0
1
2
P
1 2
3 / 4 1 / 4 0 1 / 4 1 / 2 1 / 4 0 3 / 4 1 /;a,b<1，Pij(n)极限 b lim P00 (n) lim P 0 10 ( n)
一、马尔可夫过程的概念
马尔可夫性（无后效性）
过程或系统中时刻t0所处的状态为已知的条件 下，过程做时刻t>t0所处状态的条件分布于过 程中时刻t0之前所处的状态无关的特性称为马 尔可夫性或无后效性。
即过程“将来” 的情况与“过去”的情况是无 关的
13 马尔可夫链
4
13.1 马尔可夫过程及其概率分布
泊松过程和维纳过程的马尔可夫性
是独立增量过程，且 X (0) 0 { X (t ), t 0}
证明见课本
X (tn )与 X (t1 ), X (t2 ),, X (tn 2 )
是相互独立的随机变量。 即马尔可夫性
泊松过程是时间连续、状态离散的马氏过程 维纳过程是时间连续、状态也连续的马氏过程
P{ X (tn ) xn | X (t1 ) x1 , X (t2 ) x2 , , X (tn 1 ) xn 1} P{ X (tn ) xn | X (tn 1 ) xn 1}
即
Ftn |t1...tn1 ( xn , t n | x1 , x2 ,..., xn1 , t1 , t 2 ,..., t n1 )
9
13.1 马尔可夫过程及其概率分布
(0-1)传输系统
只传输数字0,1的串联系统
每一级的传真率为p,误码率为q=1－p.
(传真率指输出与输入相同的概率，是条件概率。)
{ X n , n 0,1, 2,}是一个随机过程，
参数集(时间集)为
分析：
T {0,1, 2,}，状态空间为 I {0,1}
8
13.1 马尔可夫过程及其概率分布
一步转移概率矩阵
矩阵元 pij P (1) P{ X m1 a j | X m ai } ij 概率矩阵
X m 1 的状态
a1 a2 aj
Xm
的 状 态
a1 p11 p12 p1 j a2 p21 p22 p2 j 记成 P (1) P ai pi1 pi 2 pij
马尔可夫链的基本概念
马尔可夫链的基本概念马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程。
马尔可夫性质指的是在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
马尔可夫链由一组状态和状态之间的转移概率组成，可以用于模拟和预测各种随机过程，如天气变化、股票价格波动等。
一、马尔可夫链的定义马尔可夫链由状态空间和转移概率矩阵组成。
状态空间是指所有可能的状态的集合，用S表示。
转移概率矩阵是一个n×n的矩阵，其中n 是状态空间的大小。
转移概率矩阵的元素表示从一个状态转移到另一个状态的概率。
二、马尔可夫链的性质1. 马尔可夫性质：在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
2. 遍历性：从任意一个状态出发，经过有限步骤后可以到达任意一个状态。
3. 周期性：一个状态可以返回到自身的步数称为周期。
如果一个状态的周期为1，则称其为非周期状态；如果周期大于1，则称其为周期状态。
4. 不可约性：如果一个马尔可夫链中的任意两个状态都是可达的，则称该马尔可夫链是不可约的。
5. 遍历性与周期性的关系：对于不可约的马尔可夫链，要么所有状态都是非周期状态，要么所有状态都是周期状态。
三、马尔可夫链的应用马尔可夫链在许多领域都有广泛的应用，包括自然语言处理、机器学习、金融市场分析等。
以下是一些具体的应用案例：1. 自然语言处理：马尔可夫链可以用于生成文本，如自动写作、机器翻译等。
通过学习文本的转移概率，可以生成具有相似语言风格的新文本。
2. 机器学习：马尔可夫链可以用于序列建模，如语音识别、手写识别等。
通过学习序列的转移概率，可以对序列进行分类和预测。
3. 金融市场分析：马尔可夫链可以用于预测股票价格的波动。
通过学习历史股票价格的转移概率，可以预测未来股票价格的走势。
4. 生物信息学：马尔可夫链可以用于基因序列分析。
通过学习基因序列的转移概率，可以识别基因的功能和结构。
四、马尔可夫链的应用案例以下是一个简单的马尔可夫链应用案例，用于模拟天气变化：假设有三种天气状态：晴天、多云和雨天。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5 4 1 2 3 如果Q现在位于1(或5)这点上, 则下一时刻就 以概率1移动到2(或4)这一点上.
1和5这两点称为反射壁.
上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移.
1
2
3
4
5
理论分析: 以X n表示时刻n时Q的位置.
状态空间 I {0, 1} ,
且当X n i , i I为已知时, X n1所处的状态分布只与 X n i有关,
而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的. 一步转移概率
p, j i pij P{ X n1 j | X n i } i, j 0,1 q , j i , 0 1 0 p q 一步转移概率矩阵 P q p 1
3. 马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为
简记为 { X n X ( n), n 0,1,2,}. 可夫链,
马尔
二、马尔可夫过程的概率分布
研究时间和状态都是离散的随机序列
{ X n X ( n), n 0,1, 2,},
状态空间为 I (a1 , a2 ,}, ai R .
则{ X n , n 0,1,2,}是一随机过程 .
状态空间就是I.
且当X n i , i I为已知时,
X n1所处的状态分布只与 X n i有关,
而与时刻 n 以前所处的状态无关.
所以它是一个马氏链, 且是齐次的.
一步转移概率
pij P{ X n1 j | X n i }
P{ X m n a j | X m ai }, 其中 ai I .
2. 转移概率
称条件概率 Pij (m, m n) P{ X m n a j | X m ai }
为马氏链在时刻m处于状态ai条件下, 在时刻 m n
此矩阵的每一行元 说明: 转移概率具有特点 素之和等于1. Pij (m, m n) 1, i 1,2,.
此时, 记 Pij ( m , m n) Pij ( n),
Pij (n) P{ X m n a j | X m ai }.
称为马氏链的n步转移概率
P ( n) ( Pij ( n))为n步转移概率矩阵.
特别的, 当 n=1 时,
一步转移概率 pij Pij (1) P ( X m1 a j | X m ai }. 一步转移概率矩阵
三、应用举例
传输系 01 例1 只传输数字0和1的串联系统 ( 如图: X n 1 Xn X1 X2 X0 n 2 1
X 0是第一级的输入
X n是第n级的输出 (n 1)
设一个单位时间传输一级, 设每一级的传真率为 p, 误码率为 q=1-p.
, 分析: { X n , n 0,1,2,}是一随机过程
2. 马尔可夫过程的定义
具有马尔可夫性的随机过程称为马尔可夫过程.
用分布函数表述马尔可夫过程
设 I : 随机过程 { X (t ), t T } 的状态空间,
如果对时间t的任意n个数值,
tX t2 t n , X n ( T, 恰有 1 (tn )在条件 ti 3 ) ,tix 下的条件分布函数 i P{ X ( tn ) xn | X ( t1 ) x1 , X ( t2 ) x2 ,, X ( tn1 ) xn1 } X (tn )在条件X (tn1 ) xn1下的条件分布函数 P{ X ( tn ) xn | X ( tn1 ) xn1 }, xn R
例2 一维随机游动 一随机游动的质点 在如图所示直线的点集
I {1,2,3,4,5}上作随机游动, 并且仅仅在1秒、 2秒 等时刻发生游动 .
1 2 游动的(1< i <5),则下一时刻各以 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处;
a1
Xm 的 状 态
a1 p11 a2 p21 ai pi1
P (1) X m 1的状态 a2 a j
p12 p1 j p22 p2 j pi 2 pij P (1) 记为P
1. 用分布律描述马尔可夫性
对任意的正整数 n, r 和 0 t1 t2 tr m;
t i , m , n m Ti , 有 P{ X m n a j | X t1 ai1 , X t 2 ai2 , , X t ai , X m ai }
第一节 马尔可夫过程及其概率分布
一、马尔可夫过程的概念
二、马尔可夫过程的概率分布
三、应用举例 四、小结
一、马尔可夫过程的概念
1. 马尔可夫性(无后效性)
过程或(系统)在时刻t0所处的状态为已知的
条件下,过程在时刻t t0所处状态的条件分布与
与过程在时刻t0之前所处的状态无关的特性称为
马尔可夫性或无后效性. 即: 过程“将来”的情况与“过去”的情况是 无关的.
或写成
Ftn |t1tn 1 ( xn , t n | x1 , x2 ,, xn1 ; t1 , t 2 ,, t n1 ) Ftn |tn 1 ( xn , t n | xn1 , t n1 ),
这时称过程 { X ( t ), t T }具马尔可夫性或无后效 性.
并称此过程为马尔可夫过程.
j 1
转移到状态a j的转移概率.
由转移概率组成的矩阵
P(m, m n)( Pij (m, m n))
称为马氏链的转移概率矩阵. 它是随机矩阵.
3. 平稳性
当转移概率 Pij ( m , m n) 只与 i , j 及时间间距 n
有关时, 称转移概率具有平稳性.
同时也称此链是齐次的或时齐的.