随机过程课件-马尔可夫链
合集下载
5马尔可夫链(精品PPT)
所以{Xn,n≥0}是马尔可夫链，且
pij P( X n 1 j X n i ) P( f i, Yn 1 j ) P( f i, Y1 j )
二、切普曼-柯尔莫哥洛夫方程
1，随机矩阵 定义：称矩阵A=(aij)S×S为随机矩阵，若aij ≥0，且
i S , 有 aij 1
例5 Polya（波利亚）模型
罐中有b只黑球及r只红球，每次随机地取出一只后 把原球放回，并加入与抽出球同色的球c只，再第二次 随机地取球重复上面步骤进行下去，{Xn=i}表示第n回 摸球放回操作完成后，罐中有i只黑球这一事件，所以
i b r nc , i P X n 1 j X n i 1 , b r nc 0,
x
j i 1
( j i 1)!
dG x ,
j i 1, i 1 其它
Pij 0,
例3 G / M /1排队系统 来到时间间隔分布为G，服务时间分布为指数分布，参 数为 ，且与顾客到达过程独立。 Xn-----第n个顾客来到时见到系统中的顾客数（包括 该顾客），则{Xn，n≥1}是马尔可夫链。记
jS
显然马尔可夫链{Xn,n≥0}的一步转移概率矩阵P为 随机矩阵。 2，n步转移概率 定义：设{Xn,n≥0}是一马尔可夫链，称
n pij P X n m j X m i ,
n 0, i, j 0
为马尔可夫链{Xn,n≥0}的n步转移概率。记
i (n) P X n i ,
j ic j i else
这是一个非齐次的马尔可夫链，在传染病研究中有用。
下面的定理提供了一个非常有用的获得马尔可夫链的方 法，并可用于检验一随机过程是否为马尔可夫链。
pij P( X n 1 j X n i ) P( f i, Yn 1 j ) P( f i, Y1 j )
二、切普曼-柯尔莫哥洛夫方程
1，随机矩阵 定义：称矩阵A=(aij)S×S为随机矩阵，若aij ≥0，且
i S , 有 aij 1
例5 Polya（波利亚）模型
罐中有b只黑球及r只红球，每次随机地取出一只后 把原球放回，并加入与抽出球同色的球c只，再第二次 随机地取球重复上面步骤进行下去，{Xn=i}表示第n回 摸球放回操作完成后，罐中有i只黑球这一事件，所以
i b r nc , i P X n 1 j X n i 1 , b r nc 0,
x
j i 1
( j i 1)!
dG x ,
j i 1, i 1 其它
Pij 0,
例3 G / M /1排队系统 来到时间间隔分布为G，服务时间分布为指数分布，参 数为 ，且与顾客到达过程独立。 Xn-----第n个顾客来到时见到系统中的顾客数（包括 该顾客），则{Xn，n≥1}是马尔可夫链。记
jS
显然马尔可夫链{Xn,n≥0}的一步转移概率矩阵P为 随机矩阵。 2，n步转移概率 定义：设{Xn,n≥0}是一马尔可夫链，称
n pij P X n m j X m i ,
n 0, i, j 0
为马尔可夫链{Xn,n≥0}的n步转移概率。记
i (n) P X n i ,
j ic j i else
这是一个非齐次的马尔可夫链，在传染病研究中有用。
下面的定理提供了一个非常有用的获得马尔可夫链的方 法，并可用于检验一随机过程是否为马尔可夫链。
马尔可夫过程ppt课件
17
例1 以图1所示模型为例，求解稳态概率。
故障（p）
S（η1）
1-p
F（η2）
1-q
修复（q）
图1 马尔可夫过程的状态转移图 18
设系统处于正常状态的稳态概率为η1和处于故障状 态的稳态概率为η2，则有
12
(1 (1
p)1 q)2
q2 p1
1 2 1
显然，前两个方程是线性相关的，可以删掉一个。解 方程组得：
系统在各状态的稳定概率通常有以下两种解法： 已知瞬态概率，求极限
Ai
lim
t
P{Si (t)}
式中 Si（t）--系统i状态的瞬态概率； Ai--i状态的稳态概率。
16
通常，稳态概率空间的表达式不易求出，该解 法适合于解决一些比较简单系统的稳态状态概率问 题。 同构法
当系统达到稳定状态以后，各种状态将持续转 移，但是每种状态出现的概率基本不变，从而形成 一个稳定的状态空间。求解状态空间方程组，就可 得到系统在各种状态的稳态概率。
马尔可夫过程
神和尧
1
2
马尔可夫过程简介
一类随机过程（数学基础是随机过程理论）。 原始模型马尔可夫链，由俄国数学家A.A.马尔可夫 于1907年提出。 该过程具有如下特性：在已知目前状态 （现在） 的条件下，它未来的演变 （将来）不依赖于它以往 的演变 ( 过去 ) 。 ④例如森林中动物头数的变化构成——马尔可夫过 程 。在现实世界中，有很多过程都是马尔可夫过程， 如液体中微粒所作的布朗运动、传染病受感染的人 数、车站的候车人数等，都可视为马尔可夫过程。
参数集T=[0, ∞],状态空间E={整数}
（3）时间离散、状态连续的马尔可夫过程——马尔可夫序列。 参数集T= {0,1,2,…},状态空间E= (-∞, +∞)
例1 以图1所示模型为例，求解稳态概率。
故障（p）
S（η1）
1-p
F（η2）
1-q
修复（q）
图1 马尔可夫过程的状态转移图 18
设系统处于正常状态的稳态概率为η1和处于故障状 态的稳态概率为η2，则有
12
(1 (1
p)1 q)2
q2 p1
1 2 1
显然，前两个方程是线性相关的，可以删掉一个。解 方程组得：
系统在各状态的稳定概率通常有以下两种解法： 已知瞬态概率，求极限
Ai
lim
t
P{Si (t)}
式中 Si（t）--系统i状态的瞬态概率； Ai--i状态的稳态概率。
16
通常，稳态概率空间的表达式不易求出，该解 法适合于解决一些比较简单系统的稳态状态概率问 题。 同构法
当系统达到稳定状态以后，各种状态将持续转 移，但是每种状态出现的概率基本不变，从而形成 一个稳定的状态空间。求解状态空间方程组，就可 得到系统在各种状态的稳态概率。
马尔可夫过程
神和尧
1
2
马尔可夫过程简介
一类随机过程（数学基础是随机过程理论）。 原始模型马尔可夫链，由俄国数学家A.A.马尔可夫 于1907年提出。 该过程具有如下特性：在已知目前状态 （现在） 的条件下，它未来的演变 （将来）不依赖于它以往 的演变 ( 过去 ) 。 ④例如森林中动物头数的变化构成——马尔可夫过 程 。在现实世界中，有很多过程都是马尔可夫过程， 如液体中微粒所作的布朗运动、传染病受感染的人 数、车站的候车人数等，都可视为马尔可夫过程。
参数集T=[0, ∞],状态空间E={整数}
（3）时间离散、状态连续的马尔可夫过程——马尔可夫序列。 参数集T= {0,1,2,…},状态空间E= (-∞, +∞)
随机过程课件-马尔可夫链
定理二
对于不可约的马尔可夫链，其极限分 布是遍历的，即极限分布与初始状态 无关。
05
马尔可夫链的模拟与实现
随机数生成
伪随机数生成器
使用数学公式和种子值生成一系列近似 随机的数列。
VS
真随机数生成器
利用物理现象（如电路噪音）产生真正的 随机数。
马尔可夫链蒙特卡洛方法
采样分布
通过多次重复模拟马尔可夫链的路径来估计 某个事件的概率或某个参数的值。
收敛性
随着模拟次数的增加，估计值逐渐接近真实 值。
马尔可夫链在决策分析中的应用
要点一
决策树
要点二
强化学习
将马尔可夫链应用于决策分析中，帮助决策者评估不同策 略的风险和收益。
在强化学习中，马尔可夫链用于描述环境状态转移和奖励 函数。
06
马尔可夫链的扩展与改进
时齐马尔可夫链
定义
时齐马尔可夫链是指时间 参数为离散的马尔可夫链 ，其状态转移概率不随时 间而变化。
遍历性是马尔可夫链达到平稳分布的必要条件之一，也是判 断马尔可夫链是否具有唯一平稳分布的重要依据。
03
马尔可夫链的转移概率
转移概率的定义与性质
定义
马尔可夫链中，给定当前状态$i$，未来状态$j$在某个时间步长内发生的概率称为转移 概率，记作$P(i,j)$。
性质
转移概率具有非负性、归一性和时齐性。非负性指$P(i,j) geq 0$；归一性指对于每个 状态$i$，所有可能转移到该状态的转移概率之和为1，即$sum_{ j} P(i,j) = 1$；时齐性
周期性会影响马尔可夫链的平稳分来自的性质和计算。状态空间的分解
状态空间的分解是将状态空间划分为若干个子集，每个子集内的状态具有相似的 性质和转移概率。
对于不可约的马尔可夫链，其极限分 布是遍历的，即极限分布与初始状态 无关。
05
马尔可夫链的模拟与实现
随机数生成
伪随机数生成器
使用数学公式和种子值生成一系列近似 随机的数列。
VS
真随机数生成器
利用物理现象（如电路噪音）产生真正的 随机数。
马尔可夫链蒙特卡洛方法
采样分布
通过多次重复模拟马尔可夫链的路径来估计 某个事件的概率或某个参数的值。
收敛性
随着模拟次数的增加，估计值逐渐接近真实 值。
马尔可夫链在决策分析中的应用
要点一
决策树
要点二
强化学习
将马尔可夫链应用于决策分析中，帮助决策者评估不同策 略的风险和收益。
在强化学习中，马尔可夫链用于描述环境状态转移和奖励 函数。
06
马尔可夫链的扩展与改进
时齐马尔可夫链
定义
时齐马尔可夫链是指时间 参数为离散的马尔可夫链 ，其状态转移概率不随时 间而变化。
遍历性是马尔可夫链达到平稳分布的必要条件之一，也是判 断马尔可夫链是否具有唯一平稳分布的重要依据。
03
马尔可夫链的转移概率
转移概率的定义与性质
定义
马尔可夫链中，给定当前状态$i$，未来状态$j$在某个时间步长内发生的概率称为转移 概率，记作$P(i,j)$。
性质
转移概率具有非负性、归一性和时齐性。非负性指$P(i,j) geq 0$；归一性指对于每个 状态$i$，所有可能转移到该状态的转移概率之和为1，即$sum_{ j} P(i,j) = 1$；时齐性
周期性会影响马尔可夫链的平稳分来自的性质和计算。状态空间的分解
状态空间的分解是将状态空间划分为若干个子集，每个子集内的状态具有相似的 性质和转移概率。
随机过程课件-马尔可夫链
随机过程课件-马尔可夫 链
本课件将介绍随机过程中一种重要的模型——马尔可夫链。探讨马尔可夫链 的定义、特性、应用及改进方法，展望其未来发展。
什么是随机过程？
随机过程是一种数学模型，用于描述随机变量在时间上的演化。根据性质和分类不同，随机过程可分为多种类 型。
马尔可夫链的概念
定义
马尔可夫链是一种随机过程，具有马尔可夫性质，即未来状态仅与当前状态相关。
马尔可夫链的局限性和优缺点
马尔可夫链具有简单、易于实现的优点，但在某些情况下存在局限性。
马尔可夫链的未来发展方向
未来，马尔可夫链有望结合更多机器学习、深度学习技术，在更多领域得到应用和改进。
马尔可夫链的改进
局限性
马尔可夫链模型在某些情况下存 在局限性，如长期依赖性和大状 态空间问题。
改进方法
针对马尔可夫链的局限性，研究 者提出了多种改进方法，如隐马 尔可夫模型和条件随机场。
马尔可夫决策过程
马尔可夫决策过程是对马尔可夫 链进行扩展，引入了决策和奖励 机制，用于解决决策问题。
总结与展望
马尔可夫链的平稳分布
平稳分布是马尔可夫链在长期 运行后，状态分布稳定的概率 分布。
马尔可夫链的应用
1
模拟系统
2
马尔可夫链在模拟系统中用于模拟随机
事件和状态转移，如队列模型和流程模
3
型。
自然语言处理
马尔可夫链在自然语言处理中用于语言 模型、文本生成和机器翻译等。
金融领域
马尔可夫链在金融领域中用于风险评估、 投资组合优化和市场分析等。
特性
马尔可夫链具有无记忆性、状态空间有限、状态转移概率固定等特性。
状态转移图
马尔可夫链可用状态转移图表示，展示各状态之间的转移概率。
本课件将介绍随机过程中一种重要的模型——马尔可夫链。探讨马尔可夫链 的定义、特性、应用及改进方法，展望其未来发展。
什么是随机过程？
随机过程是一种数学模型，用于描述随机变量在时间上的演化。根据性质和分类不同，随机过程可分为多种类 型。
马尔可夫链的概念
定义
马尔可夫链是一种随机过程，具有马尔可夫性质，即未来状态仅与当前状态相关。
马尔可夫链的局限性和优缺点
马尔可夫链具有简单、易于实现的优点，但在某些情况下存在局限性。
马尔可夫链的未来发展方向
未来，马尔可夫链有望结合更多机器学习、深度学习技术，在更多领域得到应用和改进。
马尔可夫链的改进
局限性
马尔可夫链模型在某些情况下存 在局限性，如长期依赖性和大状 态空间问题。
改进方法
针对马尔可夫链的局限性，研究 者提出了多种改进方法，如隐马 尔可夫模型和条件随机场。
马尔可夫决策过程
马尔可夫决策过程是对马尔可夫 链进行扩展，引入了决策和奖励 机制，用于解决决策问题。
总结与展望
马尔可夫链的平稳分布
平稳分布是马尔可夫链在长期 运行后，状态分布稳定的概率 分布。
马尔可夫链的应用
1
模拟系统
2
马尔可夫链在模拟系统中用于模拟随机
事件和状态转移，如队列模型和流程模
3
型。
自然语言处理
马尔可夫链在自然语言处理中用于语言 模型、文本生成和机器翻译等。
金融领域
马尔可夫链在金融领域中用于风险评估、 投资组合优化和市场分析等。
特性
马尔可夫链具有无记忆性、状态空间有限、状态转移概率固定等特性。
状态转移图
马尔可夫链可用状态转移图表示，展示各状态之间的转移概率。
《马尔可夫链分析法》课件
特点
马尔可夫链分析法具有无后效性 、离散性和随机性，适用于描述 大量随机现象，如股票价格、人 口迁移等。
马尔可夫链分析法的应用领域
金融领域
马尔可夫链分析法用于描述股票价格、汇率等金融市场的随机波 动，以及风险评估和投资组合优化。
自然领域
在生态学、气象学、地质学等领域，马尔可夫链分析法用于描述物 种分布、气候变化、地震等自然现象。
ABCD
云计算应用
利用云计算资源，实现大规模数据的快速处理和 分析。
跨学科合作
加强与其他学科领域的合作，共同推动马尔可夫 链分析法的技术创新和应用拓展。
THANKS FOR WATCHING
感谢您的观看
CHAPTER 03
马尔可夫链分析法的基本步 骤
建立状态转移矩阵
确定系统的状态空间
首先需要确定系统可能的状态，并为其编号。
计算状态转移概率
根据历史数据或实验结果，计算从一个状态转移到另一个状态的 概率。
构建状态转移矩阵
将状态转移概率按照矩阵的形式排列，形成状态转移矩阵。
计算稳态概率
初始化概率向量
系统的长期行为
02
通过分析稳态概率，可以了解系统的长期行为和趋势，例如系
统的最终状态分布、系统的平衡点等。
预测未来状态
03
基于稳态概率，可以对系统未来的状态进行预测，从而为决策
提供依据。
CHAPTER 04
马尔可夫链分析法的应用实 例
人口迁移模型
描述人口迁移的动态过程
马尔可夫链分析法用于描述人口迁移的动态过程，通过分析人口在各个地区之间 的转移概率，预测未来人口分布情况。这种方法可以帮助政府和企业了解人口流 动趋势，制定相应的政策和计划。
马尔可夫链分析法具有无后效性 、离散性和随机性，适用于描述 大量随机现象，如股票价格、人 口迁移等。
马尔可夫链分析法的应用领域
金融领域
马尔可夫链分析法用于描述股票价格、汇率等金融市场的随机波 动，以及风险评估和投资组合优化。
自然领域
在生态学、气象学、地质学等领域，马尔可夫链分析法用于描述物 种分布、气候变化、地震等自然现象。
ABCD
云计算应用
利用云计算资源，实现大规模数据的快速处理和 分析。
跨学科合作
加强与其他学科领域的合作，共同推动马尔可夫 链分析法的技术创新和应用拓展。
THANKS FOR WATCHING
感谢您的观看
CHAPTER 03
马尔可夫链分析法的基本步 骤
建立状态转移矩阵
确定系统的状态空间
首先需要确定系统可能的状态，并为其编号。
计算状态转移概率
根据历史数据或实验结果，计算从一个状态转移到另一个状态的 概率。
构建状态转移矩阵
将状态转移概率按照矩阵的形式排列，形成状态转移矩阵。
计算稳态概率
初始化概率向量
系统的长期行为
02
通过分析稳态概率，可以了解系统的长期行为和趋势，例如系
统的最终状态分布、系统的平衡点等。
预测未来状态
03
基于稳态概率，可以对系统未来的状态进行预测，从而为决策
提供依据。
CHAPTER 04
马尔可夫链分析法的应用实 例
人口迁移模型
描述人口迁移的动态过程
马尔可夫链分析法用于描述人口迁移的动态过程，通过分析人口在各个地区之间 的转移概率，预测未来人口分布情况。这种方法可以帮助政府和企业了解人口流 动趋势，制定相应的政策和计划。
随机过程Ch连续时间的马尔可夫链课件
注：虽然前进方程和后退方程在形式上有所不同， 但两者的解都是同一的，费勒在1940年已证明。
由柯尔莫哥洛夫向前方程旳矩阵形式可得
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
当i 1,2,, N时，qii (N 1)，求pij t 。
互通：i j i j，j i。 若所有状态都是互通的，则称此马尔可夫链 为不可约的。
定理5.7 设连续时间马尔可夫链是不可 约旳，则有下列性质：
(1)若它是正常返旳，则极限
lim
t
pij (t)
存在
且等于j >0，jI。这里j 是
jq jj kqkj ,
j 1
k j
jI
旳唯一非负解，此时称{j >0，jI}是该过
对任意0 t1 t2 tn tn1有
PX tn1 in1 / X t1 i1,, X tn in P{X tn1 X tn in1 in / X t1 X 0 i1,
X t2 X t1 i2 i1,, X tn X tn1 in in1} PX tn1 X tn in1 in
pii h 1 qiih oh
pij
h
qij h
oh
称qij 为齐次马尔可夫过程从状态i 到状态j 的转移
速率或跳跃强度，定理的概率含义为：在一个长
为h的时间区间内，从状态i 转移到其它状态的概率
为：1 pii h 等于 qiih o h ；而由状态i转移 到状态j的概率pij h 等于qij h o h 。
定理：设pij (t)是齐次马尔可夫过程的转移概率， 则下列极限存在：
dpij t
由柯尔莫哥洛夫向前方程旳矩阵形式可得
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
当i 1,2,, N时，qii (N 1)，求pij t 。
互通：i j i j，j i。 若所有状态都是互通的，则称此马尔可夫链 为不可约的。
定理5.7 设连续时间马尔可夫链是不可 约旳，则有下列性质：
(1)若它是正常返旳，则极限
lim
t
pij (t)
存在
且等于j >0，jI。这里j 是
jq jj kqkj ,
j 1
k j
jI
旳唯一非负解，此时称{j >0，jI}是该过
对任意0 t1 t2 tn tn1有
PX tn1 in1 / X t1 i1,, X tn in P{X tn1 X tn in1 in / X t1 X 0 i1,
X t2 X t1 i2 i1,, X tn X tn1 in in1} PX tn1 X tn in1 in
pii h 1 qiih oh
pij
h
qij h
oh
称qij 为齐次马尔可夫过程从状态i 到状态j 的转移
速率或跳跃强度，定理的概率含义为：在一个长
为h的时间区间内，从状态i 转移到其它状态的概率
为：1 pii h 等于 qiih o h ；而由状态i转移 到状态j的概率pij h 等于qij h o h 。
定理：设pij (t)是齐次马尔可夫过程的转移概率， 则下列极限存在：
dpij t
北大随机过程课件：第 2 章 第 2 讲 马尔可夫链
则称这类随机过程是马尔可夫链。它具有无后效性。 性质 1，马尔可夫链的有限维概率密度可以用转移概率来表示，即
P{ξ (0) = i0,ξ (1) = i1,Lξ (n) = in ,ξ (n +1) = j} = P{ξ (n +1) = j / ξ (0) = i0,ξ (1) = i1,Lξ (n) = in} P{ξ (0) = i0,ξ (1) = i1,Lξ (n) = in} = P{ξ (n +1) = j / ξ (n) = in}⋅ P{ξ (0) = i0,ξ (1) = i1,Lξ (n) = in}
(n)
=
P(m) ik
(n)
⋅Pk(jr
)
(n
+
m)
k
证明 1
按照全概率公式，
P (m+r ) ij
(n)
=
P{ξ (n + m + r) =
பைடு நூலகம்
j /ξ (n) = i}
= ∑ P{ξ (n + m + r) = j,ξ (n + m) = k /ξ (n) = i} k
= ∑ P{ξ (n + m + r) = j /ξ (n + m) = k,ξ (n) = i} k P{ξ (n + m) = k /ξ (n) = i}
1.3 切普曼-柯尔莫哥洛夫方程
切普曼-柯尔莫哥洛夫方程，是用 m 步和 r 步转移概率来表示 m+r 步转移概率。
m
步转移概率：
P (m) ij
(k
)
=
P{ξ (k
+ m)
=
j /ξ (k)
P{ξ (0) = i0,ξ (1) = i1,Lξ (n) = in ,ξ (n +1) = j} = P{ξ (n +1) = j / ξ (0) = i0,ξ (1) = i1,Lξ (n) = in} P{ξ (0) = i0,ξ (1) = i1,Lξ (n) = in} = P{ξ (n +1) = j / ξ (n) = in}⋅ P{ξ (0) = i0,ξ (1) = i1,Lξ (n) = in}
(n)
=
P(m) ik
(n)
⋅Pk(jr
)
(n
+
m)
k
证明 1
按照全概率公式，
P (m+r ) ij
(n)
=
P{ξ (n + m + r) =
பைடு நூலகம்
j /ξ (n) = i}
= ∑ P{ξ (n + m + r) = j,ξ (n + m) = k /ξ (n) = i} k
= ∑ P{ξ (n + m + r) = j /ξ (n + m) = k,ξ (n) = i} k P{ξ (n + m) = k /ξ (n) = i}
1.3 切普曼-柯尔莫哥洛夫方程
切普曼-柯尔莫哥洛夫方程，是用 m 步和 r 步转移概率来表示 m+r 步转移概率。
m
步转移概率：
P (m) ij
(k
)
=
P{ξ (k
+ m)
=
j /ξ (k)
概率统计和随机过程课件第十三章 马尔可夫链
9
n
(2)转移概率的性质:对于状态空间 S 内的任意两个
状态 i和 j ,恒有 (1) (2)
p (tm) 0
(n) ij
(n ) p , n 1 ,2 , ij (tm) 1 j S
p
jS
(n) ij
(tm ) S P { X ( t ) j |X ( t ) i } j m n m j S
P ( X 1 |X 1 )( P X 1 |X 1 ) n 1 n n 2 n 1 p p 0 . 8 1 1 11 1
24
三.有限维概率分布
X ( t ), t t , t , t , } 马尔可夫链 { 在初始时刻 t 0 的概率 0 1 2
进一步改写为矩阵形式
P P
(2)
2
(2 ) (2 ) 其中 P 是两步转移概率矩阵, P 是一步转移 (p ij )
20
用数学归纳法可得
P P
( n )
n
n 2 , 3 , 4 ,
P
(13.8)
(n)
这表明: n步转移概率矩阵
( p )
(n) ij
等于一步转移概率矩阵P的 n 次幂.
5
恒成立,则称此过程为马尔可夫链. 式(13.1)称为马尔可夫性,或称无后效性. 马氏性的直观含义可以解释如下:
将 t n 看作为现在时刻,那末 t1,t2,,tn1 ,就是过去时 刻,而 t n 1 则是将来时刻.于是, (13.1) 式是说,当已知
注： t , t ,, t 并 不 需 要 间 隔 相 等 ， 比 如 1 2 n 1
马尔可夫链 是离散状态的马尔可夫过程, 最初是由俄国数学家马尔可夫1896年 提出和研究的应用十分广泛,其应用领域涉 及计算机,通信,自动.控制,随机服务,可靠性, 生物学,经济,管理,教育,气象物理,化学等等.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
浙江大学随机过程
11
等候室 服务台
随机到达者
离去者
例4：排队模型
系统
设服务系统由一个服务员和只可以容纳两个人的
等候室组成。服务规则为：先到先服务，后来者需在 等候室依次排队，假设一个需要服务的顾客到达系统
时发现系统内已有3个顾客，则该顾客立即离去。
设时间间隔⊿t内有一个顾客进入系统的概率为q， 有一接受服务的顾客离开系统(即服务完毕)的概率为p, 又设当⊿t充分小时，在这时间间隔内多于一个顾客进 入或离开系统实际上是不可能的，再设有无顾客来到 与服务是否完毕是相互独立的。
性质 : pij (m, m n) 0, pij (m, m n) 1 jI
记P(m, m n) ( pij (m, m n))II 为对应的n步转移矩阵
性质: 各元素非负，每行之和为1
浙江大学随机过程
7
定义： 如果对任何状态i, j, P( X n1 j | X n i）不依赖于n, 则称{X n}是时齐的Markov链
P{S8 4 | S1 1, S3 1, S4 2} P{S8 4 | S4 2} 更一般地：k 1,n0 n1 ... nk1,状态i0 ,i1,...ik1, i, j P{Snk1 j | Sn0 i0 ,..., Snk1 ik1, Snk i} P{Snk1 j | Snk i}
浙江大学随机过程
3
Markov性的直观含义 :
令A {Sn0 i0 ,..., Snk1 ik1}........过去
B {Snk i}.............现在
C {Snk1 j}............将来
Markov性 :
P(C | AB) P(C | B)
已知到现在为止的所有信息来预测将来, 则只与现在状态有关,与过去状态无关.
pij
P Xn1
j|
Xn
i
p q
j i ji
i, j 0,1 p
p
一步转移矩阵P
p q
qp，状态转移图：
q 0q
1
浙江大学随机过程
9
例3（. 随机游动）
1
2
3
4
5
设一醉汉在I {1，2，3，4，5}作随机游动：如果现在位于点 （i 1 i 5),则下一时刻各以1/3概率向左或向右移动一格， 或以概率1/3呆在原处；如果现在位于点1（或点5）， 则下一时刻以概率1移到点2（或点4）。
P{X n j | X n0 i0 ,..., X nk1 ik-1, X m i} P{X n j | X m i}
则称{X n；n 0，1，...}是马尔可夫链（Markov chain）.
浙江大学随机过程
6
记为
P( Xmn j | X m i)＝＝ pij (m, m n) •在m时处于状态i的条件下,经过n步后转移到状态j的转移概率
1和5两点称为反射壁，这种游动称为带两个反射壁的随机游动。
用X n表示时刻n醉汉所在的位置。则{X n}是一时齐Markov链，
1/3 1/3 1/3
1
1/3 1/3
1
2
3
4
5
1/3 1/3 1/3
1
浙江大学随机过程
10
1
2
3
4
5
如果把1这点改为吸收壁，即Q一旦到达1这一点，
则永远留在点1时，此时的转移概率矩阵为：
0
0 1q
P
1 2
p(1 0
q)
3
0
1 q pq (1 p)(1 q) p(1 q) 0
2 0 q(1 p) pq (1 p)(1 q) p(1 q)
3
0
0
q(1 p)
pq过程
13
例5：设甲、乙两袋共装5个球，每次任取一袋,并从袋中
一步转移概率矩阵为：
1 2 34 5
1 0 1 0 0 0
2
1 3
1 3
1 3
0
0
P 3 0
4
0
1 3
0
1 3
1 3
1 3
1 3
0 1 3
5 0 0 0 1 0
1 2 34 5
1 1 0 0 0 0
2
1 3
1 3
1 3
0
0
P 3 0
4
0
1 3
0
1 3
1 3
1 3
1 3
0 1 3
5 0 0 0 1 0
浙江大学随机过程
12
等候室 服务台
随机到达者
离去者
系统
现用马氏链来描述这个服务系统：
设Xn=X(n⊿t)表示时刻n⊿t时系统内的顾客数，即系统 的状态。{Xn,n=0,1,2…}是一随机过程，状态空间 I={0,1,2,3},且如前例1、例2的分析可知，它是一个时齐马 氏链，它的一步转移概率矩阵为：
解：P{S8 4 | S1 1, S3 1, S4 2} P{S8 S4 2 | S1 1, S3 1, S4 2}
P{S8 S4 2} 4 p3q P{S8 4 | S4 2} P{S8 S4 2 | S4 2}
P{S8 S4 2} 4 p3q
Markov性
第十一章 马尔可夫链
关键词：
马尔可夫性 时齐马尔可夫链 n步转移概率 C-K方程 马氏链的有限维分布律 常返 暂留 正常返 零常返 互达 周期 不可约
平稳分布
§1 马尔可夫链的定义
例1.(随机游动) 甲乙两人游戏,每一局甲赢1元的概率为p， 输1元的概率为q 1 p. 假设一开始甲 带了0元钱。令Sn表示n局后甲所拥有的钱数。 计算 P{S8 4 | S1 1, S3 1, S4 2}和P{S8 4 | S4 2}, 它们是否相等？
pij： P( X n1 j | X n i）称为从i到j的一步转移概率
P （pij）II 称为一步转移概率
浙江大学随机过程
8
例2（. 0 1传输系统）
X0
1
X1
2
… X2
Xn-1
n
Xn …
只传输0和1的串联系统中，设每一级的传真率为p,误码率
为q 1 p。以X0表示第一级的输入，X n表示第n级的输出 （n 1）。则{X n}是一时齐Markov链，状态空间I {0,1}，
浙江大学随机过程
4
Markov性的直观含义 :
P(AC | B) P(A | B)P(C | B)
在已知现在状态的条件下, 过去与将来相互独立.
浙江大学随机过程
5
定义： 如果{X n;n 0,1, 2,...}是状态离散的随机过程, 并且具有 Markov性， 即对任何k 1, n0 ... nk1 m n, 任何状态i0 ,..., ik1,i, j，有