马尔科夫链的状态分类
第19章 马尔科夫链蒙特卡洛法
马尔可夫链的性质
马尔可夫链的性质
• 遍历定理的直观解释：
• 满足相应条件的马尔可夫链，当时间趋于无穷时，马尔可夫链的 状态分布趋近于平稳分布，随机变量的函数的样本均值以概率1 收敛于该函数的数学期望。
• 样本均值可以认为是时间均值，而数学期望是空间均值。遍历定 理实际表述了遍历性的含义：当时间趋于无穷时，时间均值等于 空间均值。
例
• 使用蒙特卡罗积分法，如图所示，在(0,1)区间按照均匀分布抽
取10个随机样本
。计算样本的函数均值
• 也就是积分的近似
• 随机样本数越大，计算就越精确
例
• 用蒙特卡罗积分法求
•令
• p(x) 是标准正态分布的密度函数
• 使用蒙特卡罗积分法，按照标准正态分布在区间
抽样
, 取其平均值，就得到要求的积分值。当样本
例
• 假设每个单词只依赖于其前面出现的单词，也就是说单词序列具有马 尔可夫性， 那么可以定义一阶马尔可夫链，即语言模型，如下计算语 句的概率
• 这里第三个等式基于马尔可夫链假设。这个马尔可夫链中，状态空间 为词表，一个位置上单词的产生只依赖于前一个位置的单词，而不依 赖于更前面的单词。
• 以上是一阶 马尔可夫链，一般可以扩展到 n 阶马尔可夫链。
• 假设天气的变化具有马尔可夫性，即明天的天气只依赖于今天的 天气，而与昨天及以前的天气无关。
例
• 转移矩阵为
• 如果第一天是晴天的话，其天气概率分布（初始状态分布）如 下：
例
• 根据这个马尔可夫链模型，可以计算第二天、第三天及之后的天 气概率分布（状态 分布）
平稳分布
• 直观上，如果马尔可夫链的平稳分布存在，那么以该平稳分布作为初始分布，面 向未来进行随机状态转移，之后任何一个时刻的状态分布都是该平稳分布
Markov Chain(马尔科夫链)
状态转换矩阵：
1 0 0 1 − ������ 0 ������ 0 1 − ������ 0 0 0 1 − ������ 0 0 0
0 0 ������ 0 0
0 0 0 ������ 1
0
赌徒问题（续）
• ������ =
0 ������ 1 − ������ 0 0 1 − ������ 0 0 0 0 0 ������ 0 0 0 0 1 − ������ 0 0 ������ 0 1 阵������的元素������������������ 等于从状态������������ 出发到达稳定时经过������������ 的次数的期望值。 推论：马尔可夫过程中，从非稳定状态������������ 出发，到达稳定状态时的步数期望值 等于矩阵������的������行元素的和。
赌徒问题
• 一个赌徒，假设拿两元钱，一次赌一美元，赢的概率是������，输的概率是1 − ������，当赢够4元，或者全部输光就不赌了。 • 状态转换图：
1 − ������ 1 1 − ������ 1 ������ 2 ������ 3 ������ 1 − ������ 1 4 ������ =
������
������������
.此矩阵
������������������ = 1, ������ = 1,2, … , ������.
������=1
重新标记这些状态的序号，把对角线是1的元素调整到右下角，也就是变成 ������������×������ ������������× ������−������ ������������×������ → ������ ������−������ × ������ ������(������−������)×(������−������) 矩阵������ = ������ − ������������×������
马尔可夫链平稳状态定理
马尔可夫链平稳状态定理马尔科夫链平稳状态定理是概率论中一个重要的定理，它描述了马尔科夫链在长时间运行后的稳定性质。
马尔科夫链是一种随机过程，具有无记忆性，即未来的状态只依赖于当前的状态。
平稳状态定理告诉我们，当马尔科夫链满足一定条件时，它将收敛到一个稳定的状态分布。
让我们来了解一下什么是马尔科夫链。
马尔科夫链由一系列状态和状态之间的转移概率组成。
每个状态之间的转移概率是固定的，并且满足概率的性质，即转移概率在0和1之间，并且所有状态的转移概率之和为1。
马尔科夫链的初始状态可以是任意的，但随着时间的推移，它将根据转移概率逐步转移到其他状态。
马尔科夫链的平稳状态是指在长时间运行后，状态分布不再发生变化的状态。
换句话说，无论从什么初始状态出发，经过足够长的时间后，马尔科夫链的状态分布将趋于一个固定的分布。
这个固定的分布就是马尔科夫链的平稳状态。
马尔科夫链平稳状态定理给出了判断一个马尔科夫链是否有平稳状态的条件。
这个定理的条件是马尔科夫链必须满足遍历性、非周期性和正常态条件。
遍历性是指从任意一个状态出发，马尔科夫链最终可以转移到任意一个其他状态。
如果马尔科夫链是不可约的，即任意两个状态之间都存在一条路径，那么它就是遍历的。
非周期性是指马尔科夫链中不存在周期性的状态。
周期性是指从某个状态出发，经过一定步数后又回到该状态，且步数是一个正整数。
如果马尔科夫链没有周期性状态，那么它是非周期的。
正常态条件是指马尔科夫链中存在一个状态，从这个状态出发，经过一定步数后可以到达任意一个其他状态。
如果马尔科夫链是正常态的，那么它满足了正常态条件。
当马尔科夫链满足以上三个条件时，根据马尔科夫链平稳状态定理，它将收敛到一个平稳状态分布。
这个平稳状态分布满足以下条件：对于任意一个状态，它在平稳状态下的概率等于从任意一个状态转移到该状态的概率乘以该状态在平稳状态下的概率之和。
马尔科夫链平稳状态定理的应用非常广泛。
在实际应用中，我们可以通过构建马尔科夫链模型来描述和分析各种随机过程。
马尔科夫链
马尔科夫链（Markov Chain ）在传染病刚爆发阶段，我们可以认为患者、潜伏期患者每天接触到的都是正常人，每个患者的有效感染人数与时期无关，在这样的假设下，我们应用马氏链对疫情的前期状况进行模拟。
我们先粗略的将所有人分为患者（I ）、潜伏期患者（E ）、正常人（S ）、治愈者（R ）、死亡者（D ），以每一天为单位，将第n 天的状态向量表示为：(n)(I(n)(n)(n)(n)(n))T X E S R D =下面建立第n+1天与第n 天之间的状态转移方程：321213311(n 1)(n)(1)(n)1(n 1)(n)(1)(n)fr (n)pr (n 1)(n)(n)f r (n)pr 1(n 1)(n)(n)1(n 1)(n)(n)(1)I I E a E E I E S S I E R R I a D D I a τλλτλλμμ⎧+=-+⎪⎪⎪+=-++⎪⎪⎪+=--⎨⎪⎪+=+⎪⎪⎪+=+-⎪⎩表示成矩阵形式：321(n 1)(n)2133111000(n 1)(n)11000(n 1)(n)100(n 1)(n)(n 1)(n)0010(n 1)(n)10001a I I fr pr E E fr pr X AX S S R R a D D a τλλτλλμμ+⎛⎫- ⎪ ⎪+⎛⎫⎛⎫ ⎪+- ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪-- ⎪ ⎪===+ ⎪ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪+⎝⎭⎝⎭ ⎪- ⎪ ⎪⎝⎭其中A 为相应的随机矩阵。
通过该状态转移方程，我们可以求出当n 较小时的任意时刻的各个状态的具体人数，计算公式为：(n)(n 1)2(n 2)(0)...n X AX A X A X --====(0)X 为初始时刻的各个状态的人数所组成的列向量，f 表示没进医院的患者占所有患者的比率，1λ、2λ分别表示患者、潜伏期患者接触到正常人时使别人患病的概率，μ为医院的治愈率。
随着疫情的加重，病人和潜伏期病人会接触到越来越多已经感染病毒的人群，但是患病者不再对他们进行感染，所以患者的有效感染人数会越来越小。
时序预测中的马尔科夫链模型介绍
时序预测中的马尔科夫链模型介绍时序预测是指根据已有的数据来预测未来的发展趋势或变化规律。
在实际生活和工作中，时序预测有着广泛的应用，比如股票市场的走势预测、天气变化的趋势预测、疾病传播的模式预测等等。
而马尔科夫链模型是时序预测中常用的一种方法。
本文将介绍马尔科夫链模型在时序预测中的应用原理和方法。
马尔科夫链是一种随机过程模型，其基本假设是未来的状态只依赖于当前的状态，而与过去的状态无关。
这一假设在时序预测中有着重要的应用，因为它简化了模型的复杂性，使得预测过程更加高效和可靠。
马尔科夫链模型在时序预测中的应用可以分为两种情况：离散状态马尔科夫链和连续状态马尔科夫链。
首先介绍离散状态马尔科夫链。
在这种模型中，系统的状态是离散的，即系统在某一时刻可以处于有限个状态中的一个。
在时序预测中，离散状态马尔科夫链通常用于描述离散事件的发展规律，比如天气预测、股票市场的涨跌预测等等。
离散状态马尔科夫链的基本原理是根据历史状态的转移概率来推断未来状态的概率分布。
通过统计历史数据，可以得到系统在不同状态之间转移的概率，从而可以预测未来状态的概率分布。
这种方法在实际应用中有着较好的效果，尤其是在具有明显的状态转移规律的系统中。
其次是连续状态马尔科夫链。
在这种模型中，系统的状态是连续的，即系统在某一时刻可以处于一个连续的状态空间中的任意一个值。
在时序预测中，连续状态马尔科夫链通常用于描述连续事件的发展规律，比如气温的变化预测、金融市场的趋势预测等等。
连续状态马尔科夫链的基本原理是根据历史状态的转移概率来推断未来状态的概率分布。
与离散状态马尔科夫链不同的是，连续状态马尔科夫链需要考虑状态空间的密度分布，因此在建模和预测过程中需要更加复杂的数学方法和计算技术。
然而，连续状态马尔科夫链在一些复杂系统的时序预测中具有很好的适用性，能够较准确地描述系统的发展规律和趋势变化。
除了离散状态和连续状态的马尔科夫链模型，还有一些对马尔科夫链进行改进和扩展的方法，比如隐马尔科夫模型（HMM）、条件随机场（CRF）等等。
马尔科夫链吸收状态
马尔科夫链吸收状态
马尔科夫链吸收状态是指在一个马尔科夫链中存在一些状态，从这些状态出发，无论经过多少步转移，都不会离开它们，即这些状态会“吸收”其他状态。
这些状态通常被称为“吸收态”或“终止态”。
在一个马尔科夫链中，吸收态的出现可以使得整个系统的稳定性更好。
例如，在游戏中，如果一个玩家已经赢了游戏，那么他就成为了吸收态，其他玩家无法再影响他的胜利。
在概率论和统计学中，马尔科夫链吸收态也被广泛应用于研究随机过程和随机漫步等问题。
当一个马尔科夫链中存在吸收态时，我们可以通过计算吸收概率和平均吸收时间等指标来分析系统的特性，从而更好地理解和预测它的行为。
同时，对于设计和优化马尔科夫链模型也具有重要意义。
- 1 -。
马尔科夫链模型简介
马尔科夫链模型简介马尔科夫链模型是一种描述随机过程的数学模型，它使用状态转移概率矩阵来表示状态之间的转移。
该模型有着广泛的应用，在自然语言处理、金融学、生态学、物理学和化学等多个领域中有着重要的地位。
状态与状态转移马尔科夫链模型中的状态可以是任何状态，例如一个人的身体状态、一个系统的状况、一个物品的状态等。
设状态集合为$S=\\{s_1,s_2,...,s_n\\}$，则任何一个时刻系统都处于其中的一个状态。
接着，我们定义状态之间的转移概率矩阵$P=(p_{ij})_{n\\times n}$，其中p ij表示在状态s i下，系统转移到s j的概率。
因此，对于所有的$i,j\\in\\{1,2,...,n\\}$，有$0\\leq p_{ij}\\leq1$且$\\sum_{j=1}^{n}p_{ij}=1$。
由此可以看出，状态转移矩阵P具有无后效性：状态s i到s i+k的转移只和当前状态s i有关，和之前的所有状态都无关。
马尔科夫性质马尔科夫链模型有一个很重要的性质，即马尔科夫性质。
它指的是，一个某时刻的状态和当前状态之前的所有状态无关，只和当前状态有关。
更正式地，对于所有$i\\in\\{1,2,...,n\\}$，$j\\in\\{1,2,...,n\\}$和k>0，有：$$ \\begin{aligned} P(X_{t+k}=s_j|X_t=s_i,X_{t-1}=s_{i-1},...,X_0=s_0)&=P(X_{t+k}=s_j|X_t=s_i)\\\\ &=p_{ij}^k \\end{aligned} $$其中X t表示在时刻t系统所处的状态。
这个性质使得我们可以用状态转移概率矩阵来描述系统随时间的演化。
平稳分布在马尔科夫链中，平稳分布是一个与时间无关的状态分布。
它满足以下条件：若$\\pi$是一个向量，其中第i个元素表示系统处于状态s i的稳态概率，则有$\\pi P=\\pi$。
第11讲 随机过程及其应用(第三版) 刘次华第4章马尔科夫链(3)
其中 D = {1} 是非常返集
C1 = {2 ,3,4},C2 = {5,6,7}
2 3 4
1 5 7 6
是常返闭集，非周期
lim （1）求每一个不可约闭集的极限分布（2）求 n →∞ p12
( n)
解（1）：这是一个可约马氏链。根据状态空间的分解 定理，状态空间分解为： I = {1} + {2,3, 4} + {5, 6, 7}
5
6
1
二、平稳分布
定义4.11
例1 ：设马尔科夫链的转移概率矩阵为
⎡ 0.7 0.1 0.2⎤ P = ⎢ 0.1 0.8 0.1⎥ ⎢ ⎥ ⎢ ⎦ ⎣0.05 0.05 0.9⎥
设齐次马氏链转移概率矩阵为P,
且
若π = (π 1 , π 2 , )满足方程：
π =πP
∑π
j
j
=1
则称 π = (π 1 , π 2 , ) 为该马氏链的 平稳分布 定理4.16 不可约非周期的马氏链，其极限分布存 在（或状态是正常返）的充要条件是存在平稳分 布，且此平稳分布就是极限分布。即 1 πj =
15
故从上式可解得：
16
2 lim p12 ( n ) = n →∞ 9
注: 对于一般可约马氏链， lim pij (
n →∞
n)
的情形如下:
例4 马氏链的概率转移图所示，分析转移概率极限:
I = D + C1 + C2 = {1, 5} + {2,3} + {4,, 6}
先进行状态空间分解： I = D + C1 + C2 +
,
(设j ∈ C
m
, Cm为不可约非周期常返闭集 )