马尔可夫过程
马尔可夫决策过程简介
马尔可夫决策过程简介马尔可夫决策过程（Markov Decision Process，MDP）是一种在人工智能和运筹学领域广泛应用的数学模型。
它可以描述一类随机决策问题，并提供了一种优化决策的框架。
在现实世界中，许多问题都可以被建模为马尔可夫决策过程，比如自动驾驶车辆的路径规划、机器人的行为控制和资源分配等。
1. 马尔可夫决策过程的基本概念在马尔可夫决策过程中，问题被建模为一个五元组（S, A, P, R, γ）：- S 表示状态空间，包括所有可能的状态；- A 表示动作空间，包括所有可能的动作；- P 表示状态转移概率，描述了在某个状态下采取某个动作后转移到下一个状态的概率分布；- R 表示奖励函数，描述了在某个状态下采取某个动作后获得的即时奖励；- γ（gamma）表示折扣因子，用于平衡当前奖励和未来奖励的重要性。
2. 马尔可夫决策过程的模型马尔可夫决策过程的模型可以用有向图表示，其中节点表示状态，边表示从一个状态到另一个状态的动作，边上的权重表示状态转移概率和即时奖励。
通过对模型进行分析和计算，可以找到最优的决策策略，使得在长期累积奖励最大化的情况下，系统能够做出最优的决策。
3. 马尔可夫决策过程的求解方法对于小规模的马尔可夫决策过程，可以直接使用动态规划方法进行求解，比如值迭代和策略迭代。
值迭代是一种迭代算法，通过不断更新状态值函数来找到最优策略；策略迭代则是一种迭代算法，通过不断更新策略函数来找到最优策略。
这些方法可以保证最终收敛到最优解，但是计算复杂度较高。
对于大规模的马尔可夫决策过程，通常采用近似求解的方法，比如蒙特卡洛方法、时序差分学习方法和深度强化学习方法。
蒙特卡洛方法通过对大量样本进行采样和统计来估计状态值函数和策略函数；时序差分学习方法则是一种在线学习算法，通过不断更新估计值函数来逼近真实值函数；深度强化学习方法则是一种基于神经网络的方法，通过端到端的学习来直接从环境中学习最优策略。
《马尔可夫过程 》课件
PART
06
结论与展望
重要性和应用前景：马尔可夫过程是概率论和随机过程的一个重要分支，它在理论和应用方面都具有重要的意义。在理论方面，马尔可夫过程为随机现象提供了数学模型，有助于深入理解随机现象的本质和规律。在应用方面，马尔可夫过程被广泛应用于金融、经济、生物信息学、计算机科学等领域，为解决实际问题提供了有效的工具。
详细描述
VS
马尔可夫链蒙特卡洛方法在统计物理中广泛应用于求解复杂的数学问题，如高维积分、复杂系统模拟等。
详细描述
在统计物理中，许多问题都需要求解复杂的数学表达式，如高维积分、复杂系统模拟等。马尔可夫链蒙特卡洛方法提供了一种有效的解决方案，通过构造合适的马尔可夫链，可以高效地求解这些数学问题，得到精确的结果。
未来研究方向
随着科技的发展和实际需求的不断变化，马尔可夫过程的研究方向也在不断拓展和深化。未来，马尔可夫过程的研究将更加注重跨学科的应用和创新，如与人工智能、机器学习等领域的交叉融合，以解决更加复杂和实际的问题。同时，随着大数据时代的到来，如何利用马尔可夫过程处理和分析大规模数据也是未来的一定义和作用。
要点一
要点二
详细描述
策略是指导决策者如何在给定状态下选择行动的规则。值函数是评估特定策略的性能的度量，它衡量了从开始到最终状态的总回报。在马尔可夫决策过程中，值函数和策略是紧密相关的，它们一起决定了在给定状态下采取的行动和最终的累积回报。
总结词
描述贝尔曼方程的定义和作用。
描述马尔可夫决策过程的定义。
总结词
马尔可夫决策过程（MDP）是一种数学模型，用于描述在不确定环境中做决策的问题。它由以下四个基本组成部分组成：状态集合、行动集合、状态转移概率和回报函数。在每个时刻，决策者根据当前状态选择一个行动，然后环境根据所选行动转移到一个新的状态，并给予决策者一个回报。
随机过程中的马尔可夫过程理论
随机过程中的马尔可夫过程理论马尔可夫过程理论是随机过程中的一种重要理论，它描述了一类具有马尔可夫性质的随机过程。
在随机过程中，马尔可夫过程是指一个系统在给定当前状态下，其未来状态的概率分布只依赖于当前状态，而与过去的状态无关。
马尔可夫过程在实际应用中具有广泛的应用，尤其在可靠性分析、排队论和金融领域等方面发挥重要作用。
一、马尔可夫过程的基本概念马尔可夫过程由状态空间、转移概率矩阵和初始概率分布三要素构成。
1. 状态空间状态空间是指一个马尔可夫过程中可能出现的所有状态的集合。
通常用S表示，状态空间可以是有限的，也可以是无限的。
2. 转移概率矩阵转移概率矩阵描述了一个当前状态到下一个状态的转移概率。
假设状态空间S有n个状态，转移概率矩阵P的元素P(i, j)表示从状态i转移到状态j的概率。
转移概率矩阵满足非负性和归一性条件，即每个元素都大于等于零，每行元素之和等于1。
3. 初始概率分布初始概率分布是指系统在初始状态下各个状态出现的概率分布。
假设初始状态概率分布为π，其中π(i)表示系统初始状态为i的概率。
二、马尔可夫链马尔可夫过程中的马尔可夫链是指一个没有时间限制的马尔可夫过程，也就是说，它在任意时刻都遵循马尔可夫性质。
马尔可夫链可以是有限的，也可以是无限的。
1. 不可约性不可约性是指一个马尔可夫链中的所有状态都可以通过一系列转移概率到达任何其他状态。
具有不可约性的马尔可夫链被称为不可约马尔可夫链。
2. 遍历性遍历性是指一个不可约马尔可夫链中的任意状态都能在有限步内返回到自身。
具有遍历性的马尔可夫链被称为遍历马尔可夫链。
3. 非周期性非周期性是指一个马尔可夫链中不存在周期性循环。
如果一个状态经过若干步后又返回到自身的最小步数是1，则称该状态为非周期状态。
具有非周期性的马尔可夫链被称为非周期马尔可夫链。
三、马尔可夫过程的稳定性马尔可夫过程的稳定性是指在经过一段时间后，随机过程的状态分布不再发生显著变化。
马尔可夫过程
马尔可夫过程用于描述连续时间变化下具有离散状态的随机过程，可用来分析系统可用度。
Isograph的Markov工具采用马尔可夫过程方法，对系统状态转移图进行可用度分析。
对于产品在寿命周期连续时间下离散工作状态的分析，Markov过程分析方法是一个有力的数学工具。
马尔可夫分析法（Markov）以系统状态转移图为分析对象，对服从给定状态转移率系统的离散稳定状态或连续时间变化状态进行分析。
在该模型中系统的连续时间变化被划分成多个状态以代表不同时刻的工作模式，比如故障状态或修理状态。
Markov分析方法在可靠性分析领域具有明显的促进作用，例如在可靠性框图分析和故障树分析工作中。
Isograph的Markov工具是应用马尔可夫过程分析的最佳工具。
用户在图形化的界面中建立多状态马尔可夫过程模型，并将这些模型集成到故障树分析中。
建立好状态转移图后，用户可以在简单对话框中输入状态转移概率。
用户可以使用编辑工具尝试输入不同的设定数据对图表进行调整。
系统的寿命周期可以划分为多个工作阶段，如预防维修阶段或待命阶段。
马尔可夫过程模型可以精确地描述产品失效机制之间的依赖关系，如对共因故障、衰减故障、诱因故障、从属故障以及包含多种运行状态的部件和其它时序事件。
Isograph的Markov工具使用状态转移图来分析系统可靠性问题。
在Markov工具中，用户可以使用完整的图形编辑工具定义产品寿命周期各阶段状态之间的联系关系，既节省了画图的大量时间，又提高了图形绘制结果的准确性，而且用户还可以将更多的精力投入到系统的设计分析工作中。
Markov工具提供可视化界面来建造图表并用数值积分法来解决问题，通过定义与时间相关的转移率来分析非均匀过程。
严格地讲，具有与时间相关的转移率的系统是非马尔可夫链的，但是Markov工具的附加功能允许模拟特定类型的时效过程。
状态转移图定义了系统所有的离散状态和状态间可能的转移。
在Markov中状态间的转移频率仅仅由当前状态的概率和状态间的转移率决定。
时间序列预测中的马尔可夫过程
时间序列预测中的马尔可夫过程时间序列预测是一种重要的数据分析方法，它可以帮助我们理解和预测未来的趋势和模式。
马尔可夫过程是时间序列预测中常用的一种模型，它基于马尔可夫性质，通过分析过去的数据来预测未来的状态。
马尔可夫过程是一种具有马尔可夫性质的随机过程，即未来的状态只与当前的状态有关，与过去的状态无关。
这种性质使得马尔可夫过程在时间序列预测中具有很大的应用潜力。
在马尔可夫过程中，每个状态都有一个转移概率，表示从当前状态转移到下一个状态的概率。
通过分析这些转移概率，我们可以推断出未来的状态。
马尔可夫过程在实际应用中有着广泛的应用。
例如，在股票市场中，我们可以将股票的价格看作是一个马尔可夫过程，通过分析过去的价格走势，我们可以预测未来的价格走势。
在天气预测中，我们可以将天气的状态看作是一个马尔可夫过程，通过分析过去的天气情况，我们可以预测未来的天气情况。
在自然语言处理中，我们可以将文本的生成看作是一个马尔可夫过程，通过分析过去的文本数据，我们可以生成新的文本。
然而，马尔可夫过程也存在一些限制和挑战。
首先，马尔可夫过程假设未来的状态只与当前的状态有关，与过去的状态无关。
这在某些情况下可能不成立，例如，在股票市场中，未来的价格可能受到多个因素的影响，而不仅仅是当前的价格。
其次，马尔可夫过程假设转移概率是固定的，不随时间变化。
然而，在实际应用中，转移概率可能会随时间变化，例如，在天气预测中，转移概率可能会受到季节和气候变化的影响。
为了克服这些限制和挑战，研究人员提出了许多改进和扩展的马尔可夫过程模型。
例如，隐马尔可夫模型（Hidden Markov Model，HMM）是一种扩展的马尔可夫过程模型，它引入了隐藏状态和观测状态的概念。
通过分析观测状态和隐藏状态之间的关系，HMM可以更准确地预测未来的状态。
另外，条件随机场（Conditional Random Field，CRF）是一种基于马尔可夫过程的图模型，它可以对序列数据进行建模和预测。
马尔可夫决策过程的定义
马尔可夫决策过程的定义
马尔可夫决策过程(Markov Decision Process, MDP)是一种表示机器
学习系统可以自主探索环境并学习如何在未来期望获得最大奖励的数学框架，也称为状态动作行为(state–action–reward)。
它是一种将完全可
观察环境和多阶段决策问题结合起来的框架。
马尔可夫决策过程由一组由实数或整数序列组成的状态集S、一组动
作集A、一组从一个状态到另一个状态的转移概率P、一组状态行为价值
函数R组成，其中状态集S代表环境中的所有可能状态，动作集A代表机
器可以控制的所有可能行动，转移概率P表示每一个动作对环境状态的影响，状态行为价值函数R表示每一个状态的价值，并且根据未来的状态作
出决策。
马尔可夫决策过程的目标是要找到最佳的策略，也就是每个状态最优
的行为，以便有最大的收益。
这种策略通常是通过求解一个期望收益最大
化问题来实现的。
值函数(Value Function)是衡量状态对应的价值的函数，用来估算在当前状态执行一些行为可以获得的最大期望收益，而策略函数(Policy Function)则根据值函数来进行行为的选择。
MDP通常用两类方法来求解，一类是蒙特卡洛方法(Monte Carlo Method)，另一类是动态规划方法(Dynamic Programming Method)。
马尔可夫过程与鞅
马尔可夫过程与鞅马尔可夫过程和鞅是概率论和随机过程中常见且重要的概念。
它们在各个领域都有广泛的应用，例如金融、生物学、物理学等。
本文将介绍马尔可夫过程和鞅的基本概念和特性，并探讨它们的应用。
一、马尔可夫过程马尔可夫过程是指具有马尔可夫性质的随机过程。
马尔可夫性质是指在已知当前状态下，未来发展的过程与过去的发展无关。
换句话说，未来的状态只与当前状态有关，与过去的状态无关。
马尔可夫过程可以用一个状态空间和状态转移概率矩阵来描述。
状态空间是指所有可能的状态组成的集合，状态转移概率矩阵描述了从一个状态转移到另一个状态的概率。
马尔可夫过程可以分为离散时间和连续时间两种。
离散时间马尔可夫过程是指时间以离散的方式前进，状态也是离散的。
连续时间马尔可夫过程是指时间是连续的，状态可以是离散的或连续的。
马尔可夫过程有很多重要的性质，例如马尔可夫链的平稳分布、不可约性、遍历性等。
这些性质对于理解和分析马尔可夫过程的行为具有重要意义。
马尔可夫过程在实际应用中有广泛的应用。
例如，在金融领域中，马尔可夫过程可以用来建模股票价格的变动。
在生物学领域中，马尔可夫过程可以用来描述基因的突变和演化。
在物理学领域中，马尔可夫过程可以用来描述粒子在空间中的运动。
二、鞅鞅是一种具有平衡性质的随机过程。
简单来说，鞅是指在给定过去的信息下，未来的期望与当前的值相等。
换句话说，鞅是一种没有偏差的随机过程。
鞅可以用来描述随机过程的平衡性质和无偏性质。
它在金融、统计学、信息论等领域中有广泛的应用。
鞅的性质使得它成为一种重要的工具，在金融领域中可以用来建模和分析股票价格、期权价格等。
在统计学中，鞅可以用来估计未知参数和预测未来值。
在信息论中，鞅可以用来描述信息的平衡性质和无偏性质。
三、马尔可夫过程与鞅的应用马尔可夫过程和鞅在各个领域都有广泛的应用。
它们可以用来建模和分析各种随机过程，并提供了一种有效的工具和方法。
在金融领域中，马尔可夫过程和鞅可以用来建模和分析股票价格的变动。
马尔可夫决策过程算法
马尔可夫决策过程算法摘要：一、马尔可夫决策过程的基本概念二、马尔可夫决策过程的性质三、马尔可夫决策过程的核心公式四、马尔可夫决策过程的求解方法五、马尔可夫决策过程的应用案例六、总结正文：一、马尔可夫决策过程的基本概念马尔可夫决策过程（Markov Decision Process，简称MDP）是强化学习中的一个重要概念，它是一种数学模型，用于描述决策者在不确定环境中进行决策的过程。
MDP 具有广泛的应用，包括资源分配、生产调度、金融投资、机器人控制等。
在马尔可夫决策过程中，决策者（Agent）在每个时刻根据当前状态选择一个行动，并根据状态转移概率转移到下一个状态，同时获得一个即时奖励。
决策者的目标是选择一组行动序列（策略），使得累积奖励最大化。
二、马尔可夫决策过程的性质马尔可夫决策过程具有以下几个重要性质：1.确定性的（Deterministic Policy）：在每个状态下，决策者只有一种最优行动。
2.随机性的（Stochastic Policy）：在每个状态下，决策者有多种可能的行动，并且每种行动的概率不同。
三、马尔可夫决策过程的核心公式1.状态值函数的贝尔曼方程（Bellman Equation）：$V(s) = max_a [R(s, a) + gamma sum_{s"} P(s"|s, a) V(s")]$2.状态- 行动值函数的贝尔曼方程：$Q(s, a) = R(s, a) + gamma sum_{s"} P(s"|s, a) Q(s", a)$3.最优状态值函数的贝尔曼最优性方程（Bellman Optimality Equation）：$V(s) = max_a [R(s, a) + gamma sum_{s"} P(s"|s, a) V(s")]$4.最优状态- 行动值函数的贝尔曼最优性方程：$Q(s, a) = max_a [R(s, a) + gamma sum_{s"} P(s"|s, a) Q(s", a)]$四、马尔可夫决策过程的求解方法马尔可夫决策过程的求解方法主要包括动态规划（Dynamic Programming）、蒙特卡洛方法（Monte Carlo Methods）和时序差分学习（Temporal Difference Learning）等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P{将来|现在、过去}=P{将来|现在}
马尔可夫过程分类 按其状态空间I和时间参数集T是连续还是离散可分成四类(如表1)。 讨论的内容： 定义：转移概率及转移概率矩阵；齐次性；平稳分布；遍历性； 其他性质。
2
表1 马尔可夫过程的分类
分类名称 时间参数集T 状态空间I
离散
连续
离散 (n=0,1,2,…)
1、马尔可夫过程的一般概念 （1）、定义 t T ，若在 t1, t2 , 设有一随机过程X(t)，
时刻对X(t)观测得到相应的观测值
x1, x2 ,
, tn 1, tn t1 t2
, xn 1, xn
tn 1 tn T
满足条件
（7-61）
或
（7-62）
则称此类过程为具有马尔科夫性质的过程或马尔科夫过程，简称马氏过程。其中
连续 (t≥0)
马尔可夫链
马尔可夫序列
可列马尔可夫过程
马尔可夫过程
3
1.1
马尔可夫序列
1、马尔可夫序列的定义 定义：若对于任意的n，随机序列{X(n)}的条件分布函数满足 则称此随机序列{X(n)}为马尔可夫序列。 条件分布函数FX(xn|xn-1)常被称为转移分布。 对于连续型随机变量，由上式可得
f X ( xn | xn 1, xn 2 , , x1 ) f X ( xn | xn1 )
因此，利用条件概率的性质
(2)
f X ( x1, x2
, xn ) f X ( xn | xn 1, xn 2 ,
, x1 )
f X ( x2 | x1 ) f X ( x1 ) (3)
结合式(2)可得
14
2）一维分布
马氏链在第n步所处状态为aj的无条件概率称为马氏链的“一维分布”， 也称为“状态概率”。表示为
p X n a j p j n , j I 1,, NLeabharlann 由全概率公式，一维分布可表示为
若将一维分布表示成矢量形式
15
3）n维分布 齐次马氏链在t=0,1,2, …,n-1时刻分别取得状态ai0, ai1, ai2, …, ai(n-1) (i0, i1,…,in-1∈I)这一事件的概率为P{X0=ai0,X1=ai1, …, Xn-1=ai(n-1) } 马氏链的任意有限维分布完全可以由初始分布和一步转移概率矩阵所确定。 因此，初始分布和一步转移概率矩阵是描述马氏链的统计特性的两个重要的 分布特征。
3、马氏链的平稳分布与遍历性
1）马氏链的平稳性 定义：若齐次马氏链的概率分布不随时间n的变化而变化。即满足
p j n pi pij n p j , j I
2）马氏链遍历性 定义：如果一个齐次马氏链对于一切状态i和j，存在不依赖于i的极限
n
iI
N
lim pij n p j
FX xn ; tn | xn1, xn2 , , x2 , x1; tn1, tn2 , , t2 , t1
代表在 X tn 1 xn 1,
, X t2 x2 , X t1 x1, 的条件下，时刻 X tn
18
取xn值的条件分布函数。
t1 t2 若把 tn 1 看做“现在”，因为
5
证：由式(7-4)知
f X ( xn | xn 1 , xn 2 , , xn k ) f X ( xn , xn 1 , xn 2 , , xn k ) f X ( xn 1 , xn 2 , , xn k ) f X ( xn k | xn k 1 ) f X ( xn k 1 | xn k 2 ) f X ( xn 1 | xn ) f X ( xn ) f X ( xn k | xn k 1 ) f X ( xn k 1 | xn k 2 ) f X ( xn 2 | xn 1 ) f X ( xn 1 ) f X ( xn 1 | xn ) f X ( xn ) f X ( xn 1 ) f X ( xn 1 , xn ) f X ( xn 1 ) f X ( xn | xn 1 )
f X ( x1, x2 , xn ) f X ( xn | xn1) f X ( xn 1 | xn 2 ) f X ( x2 | x1) f X ( x1)
(4)
4
所以，X1，X2，…，Xn的联合概率密度可由转移概率密度 fX(xk|xk-1)(k=2, …,n)和初始概率密度fX(x1)所确定。
马尔可夫过程
1
1 马尔可夫过程
马尔可夫过程是一种重要的随机过程，它具有如下特性：当随机过程 在时刻ti所处的状态已知时，过程在时刻t(t>ti)所处的状态仅与过程在ti时刻的 状态有关，而与过程在ti时刻以前所处的状态无关。此特性称为随机过程的 无后效性或马尔可夫性。此特性也可理解为：随机过程X(t)在“现在”状态 已知的条件下，过程“将来”的情况与“过去”的情况无关。或者说，过去 只影响现在，而不影响将来。
则称此马氏链具有遍历性。
16
极限分布 p p1 , p2 ,
pN
T
定理：(有限马氏链具有遍历性的充分条件)：对于一有限状态的马氏链，
若存在一正整数m，使所有状态满足。
则此链是遍历的。
p j pi pij
N
其极限分布{pj}是
i 1
p
j 1
N
j
1
方程组的唯一解。
17
7.1.3马尔可夫过程
pi j pij m , m 1 P Xm
1
a j | Xm a i , ,j I i
由所有状态I={1,2, …,N}之间的一步转移概率pij构成的矩 阵，称为马氏链的一步转移概率矩阵，即
此矩阵具有下列两个性质： 1、
0 pij 1
2、
p
j 1
N
ij
1
k=n时，n步转移概率pij(n)为： pi j n pij m , m 1 P X m n a j | X m ai , n 1 对应的n步转移概率矩阵为：
11
显然具有如下性质：
0 1、
N
pij n 1
ij
2、
p n 1
j 1
推广：多重马尔可夫序列。 二重马尔可夫序列满足
2、马尔可夫序列的性质
1）马尔可夫序列的子序列仍为马尔可夫序列。 给定n个任意整数k1<k2<…<kn,有
f X ( xk n | xkn1 , xn 2 ,
对任意的整数n和k，有
, xk 1 ) f X ( xk n | xkn1 )
2）马尔可夫序列的逆序列仍为马尔可夫序列。
2、马氏链的转移概率及其转移概率矩阵 (1)马氏链的转移概率 马氏链“在tm时刻出现的状态为ai的条件下，tm+k时刻出现的 状态为aj”的条件概率可用pij(m,m+k)表示，即
齐次马氏链：若pij(m,m+k)与m无关，即pij(m,m+k)= pij (k) k=1时，一步转移概率pij为：
10
当n为任意整数时
P(n) P 1 P n 1
Pn
（5）马氏链的有限维分布
1）初始分布 初始概率：马氏链在t=0时所处状态ai的概率 P i (0) P X 0 ai pi
初始分布：所有初始概率的集合{pi}
pi p1,
, pi , , pN
通常还规定：
i j pi j 0 pij m, n ij {1, 0,i j
（4）n步转移概率与一步转移概率的关系：
对于n步转移概率，有切普曼-柯尔莫哥洛夫方程的离散形式
N
pi j n pij l k pir l prj k , n l k
就可以看成“将来”， t1, t2 ,
tn 1 tn 则 t
n
, tn 2 就当做“过去”。因此上述定义可表述为： 在现在状态 X tn 1 取值为 xn 1的条件下，将来状态 X tn 与过去状态
13
N
N
同理可得离散切普曼-柯尔莫哥洛夫方程的矩阵形式为：
P(n) P l k P l P k
当n=2时 当n=3时
2 P(2) P 1 P 2
3 P(3) P 1 P 2 P 1 P 1 P 2
r 1 r 1
N
N
当l=1,k=2时 pij 3
以此类推
p 1 p 2 p p
r 1 ir rj r 1 ir r 1
N
N
N
rk
pkj
pij n pir 1 prj n 1 pir prj n 1
r 1 r 1
N r 1 N
P X m l k a j | X m l ar , X m a i P X m l ar | X m a i pir l prj k
r 1
当l=1,k=1时
pij 2 pir 1 prj 1 pir prj
8）高斯-马尔可夫序列。
9
7.1.2
马尔可夫链
1、马尔可夫链的定义： 随机过程X(t)在时刻tn(n=1,2,…)的采样为Xn=X(tn),且Xn 可能取得的状态必为a1, a2, …, aN之一，其中AI={a1, a2, …, aN} 为有限的状态空间，I={1,2, …,N},随机过程只在t1, t2, …, tn, …可列个时刻发生状态转移。若随机过程X(t)在tm+k时刻变成 任一状态aj的概率，只与过程在tm时刻的状态ai有关，而与过程在 tm时刻以前的状态无关，则称此随机过程为马尔可夫链，简称为马 氏链。