第3章 系统预测5(马尔科夫预测法)
马尔可夫决策过程简介(五)
马尔可夫决策过程简介马尔可夫决策过程（Markov Decision Process，MDP）是用来描述随机决策问题的数学模型。
它由俄罗斯数学家安德烈·马尔可夫在20世纪初提出，并在决策理论、控制论、人工智能等领域得到了广泛的应用。
MDP可以用于建模具有随机性和不确定性的环境，并且提供了一种优化决策的方法。
本文将简要介绍马尔可夫决策过程的基本概念、特性和应用。
1. 马尔可夫决策过程的基本概念马尔可夫决策过程是一个五元组（S, A, P, R, γ）：- S 表示状态空间，即系统可能处于的所有状态的集合；- A 表示动作空间，即系统可以进行的所有动作的集合；- P 表示状态转移概率，即在某个状态下执行某个动作后转移到下一个状态的概率分布；- R 表示奖励函数，即在某个状态下执行某个动作所获得的即时奖励；- γ 表示折扣因子，用来平衡当前奖励和未来奖励的重要性。
在马尔可夫决策过程中，决策者需要根据当前的状态和可选的动作来选择一个最优的策略，使得长期累积的奖励最大化。
这种决策问题属于强化学习的范畴，即在与环境的交互中学习最优的决策策略。
2. 马尔可夫决策过程的特性马尔可夫决策过程具有以下重要特性：- 马尔可夫性质：即未来的状态只取决于当前状态和当前所执行的动作，与过去的状态和动作无关。
这一特性使得马尔可夫决策过程能够简洁地描述随机决策问题，并且具有较好的可解性。
- 最优性质：即存在一个最优的策略，使得长期累积的奖励最大化。
这一特性使得马尔可夫决策过程能够提供一种优化决策的方法，对于许多实际问题具有重要的应用价值。
除此之外，马尔可夫决策过程还具有一些其他重要的性质，如可达性、有限性等，这些性质为MDP的建模和求解提供了基础。
3. 马尔可夫决策过程的应用马尔可夫决策过程在很多领域都得到了广泛的应用，如人工智能、运筹学、经济学等。
其中，最为著名的应用之一就是强化学习，通过马尔可夫决策过程的建模和求解，可以学习到最优的决策策略，从而应用于机器人控制、智能游戏等领域。
马尔可夫模型法
马尔可夫模型法马尔可夫模型是一种概率模型，用于描述随机变量随时间变化的条件概率分布。
马尔可夫模型法的应用非常广泛，目前已被广泛应用于天气预报、语音识别、自然语言处理等领域。
本文将从原理、分类、应用等方面进行阐述。
一、原理马尔可夫模型是古典随机过程的一种形式，指的是只有当前状态和之前状态有关的随机过程。
简单来说，如果一个随机过程满足在未来的情况下，只要知道当前状态就够了，那么这个随机过程就是马尔可夫模型，也被称为一阶马尔可夫模型。
二、分类马尔可夫模型按照状态空间的性质可以分为离散状态空间和连续状态空间。
如果状态是有限的，并且每个状态之间的转移概率是确定的，则称为有限马尔可夫模型；如果状态是可能性连续的，并且状态之间的转移概率是由一个状态转移到另一个状态的概率密度函数给出的，则称为连续马尔可夫模型。
三、应用1.天气预报天气预报是一项关键的城市规划和生产活动，预测准确性对人们的生产生活具有重要意义。
马尔可夫模型可以应用于气象预测中，利用历史天气数据来预测未来天气情况。
例如，当观察到“晴”和“雨”的状态时，通过转移概率来预测下一天的天气情况。
2.语音识别语音识别是指将人类语言转换为计算机可以理解的形式，也是自然语言处理中的一个重要研究方向。
马尔可夫模型可以将语音信号转化为概率序列。
通过观察到当前状态（语音信号），马尔可夫模型可以预测下一个状态（下一个音素）的概率分布，进而识别语音。
3.自然语言处理自然语言处理是研究如何让计算机处理人类自然语言的研究领域。
马尔可夫模型可以用于分析文本中的语义信息以及确定下一个单词出现的可能性。
通过分析文本中的不同状态，例如停用词和关键字，马尔可夫模型可以预测下一个单词出现的概率，进而帮助计算机自动接下来的文本操作。
四、总结马尔可夫模型在实际应用中发挥着重要的作用。
通过分析时间状态的变化，马尔可夫模型可以预测未来状态的可能性，从而对实际工作进行有效指导。
对于天气预报、语音识别以及自然语言处理等领域，马尔可夫模型都有着广泛应用。
马尔可夫分析法
马尔可夫分析法马尔可夫分析法是俄国数学家马尔可夫在1907年提出, 并由蒙特·卡罗加以发展而建立起的一种分析方法。
它主要用于分析随机事件未来发展变化的趋势, 即利用某一变量的现在状态和动向去预测该变量未来的状态及动向, 以便采取相应的对策。
1马尔可夫过程及马尔可夫链 [3]定义1设随机序列{X(n) ,n=0, 1, 2, …}的离散状态空间为E, 若对于任意m个非负整数n1,n2, …,nm(0≤n1<n2<…<nm) 和任意自然数k, 以及任意i1,i2, …,im,j∈E满足 [3]P{X(nm+k) =j|X(n1) =i1,X(n2) =i2, …,X(nm)=im}=P{X(nm+k) =j|X(nm) =im} (1) [3]则称X(n) ,n=0, 1, 2, …}为马尔可夫链。
[3]在式(1) 中, 如果nm表示现在时刻,n1,n2, …,nm-1表示过去时刻,nm+k表示将来时刻, 那么此式表明过程在将来nm+k时刻处于状态j仅依赖于现在nm时刻的状态im, 而与过去m-1个时刻n1,n2, …,nm-1所处的状态无关, 该特性称为马尔可夫性或无后效性。
式(1) 给出了无后效性的表达式。
[3]2齐次马尔可夫链和k步转移概率 [3]P{X(nm+k) =j|X(nm) =im},k≥1称之为马尔可夫链在n时刻的k 步转移概率, 记为Pij(n,n+k) 。
转移概率表示已知n时刻处于状态i, 经k个单位时间后处于状态j的概率。
若转移概率Pij(n,n+k) 是不依赖于n的马尔科夫链, 则称为齐次马尔可夫链。
这种状态只与转移出发状态i、转移步数k及转移到达状态j有关, 而与n无关。
此时,k 步转移概率可记为Pij(k) , 即 [3]Pij(k) =Pij(n,n+k) =P{X(n+k) =j|X(n) =i},k>0 (2) [3]式中,0≤Ρij(k)≤1,∑j∈EΡij(k)=10≤Ρij(k)≤1,∑j∈EΡij(k)=1。
马尔科夫预测课件.ppt
以 p11 表示连续畅销的可能性，以频率代替概率，得：
p11
7 15 1
50%
??
分子 7 是表中连续出现畅销的次数，分母 15 是表中出现畅销的 次数，因为第24季度是畅销，无后续记录，故减1。
季度
销售 状态
1 2 3 4 5 6 7 8 9 10 11 12 畅畅滞畅滞滞畅畅畅滞畅滞 112122111212
7 p21 9 78% 分子 7 是表中由滞销转入畅销的次数，分母数 9 是表中出
现滞销的次数。
季度
销售 状态
1 2 3 4 5 6 7 8 9 10 11 12 畅畅滞畅滞滞畅畅畅滞畅滞 112122111212
季度
销售 状态
13 14 15 16 17 18 19 20 21 22 23 24 畅畅滞滞畅畅滞畅滞畅畅畅 112211212111
一、基本概念
它可能跳到第一张或者第三张荷叶，也可能在原地不动。 我们把青蛙在某个时刻所在的荷叶称为青蛙所处的状态， 这样，青蛙在未来处于什么状态，只与它现在所处的状 态有关，与它以前所处的状态无关，这种性质就是所谓 的“无后效性”。 上例中，青蛙所处的那张荷叶，称为青蛙所处的状态， 在经济系统的研究中，一种经济现象，在某一时刻 t 所 出现的某种结果，就是该系统在该时间t 所处的状态。
第三节 马尔可夫决策
一、基本概念
经济学中把这种现象称为“无后效性”，即 “系统在每一时刻的状态仅仅取决于前一时刻 的状态”。 例如，池塘里有三张荷叶，编号为1，2，3，假 设有个青蛙在荷叶上随机地跳来跳去，在初始 时刻 t0，它在第二张荷叶上。在时刻t1，
2
3 1
马尔可夫预测法
马尔可夫预测法马尔可夫预测法是一种基于概率论的预测方法。
它通过分析系统的状态变化来预测未来的状态。
该方法适用于具有一定规律性的系统，并且可以用于各种领域，例如物理、经济、生物等。
下面将详细介绍马尔可夫预测法的原理和应用。
原理马尔可夫预测法是基于马尔可夫过程的。
马尔可夫过程是一个具有无记忆性的随机过程，即在给定当前状态的情况下，未来的状态只与当前状态有关，与过去的状态无关。
这个过程可以用一个状态转移矩阵来描述。
状态转移矩阵描述了从一个状态到另一个状态的概率，它的每个元素都代表了从一个状态到另一个状态的概率。
通过对状态转移矩阵的分析，可以预测系统在未来的状态。
应用马尔可夫预测法在各种领域都有广泛的应用。
在物理学中，它可以用于预测粒子的运动状态；在经济学中，它可以用于预测股市的走势；在生物学中，它可以用于预测疾病的传播。
下面将分别介绍这些应用。
物理学中的应用在物理学中，马尔可夫预测法可以用于预测粒子的运动状态。
例如，在原子的轨道运动中，电子的运动状态可以用一个状态向量来描述。
通过对状态向量的分析，可以预测电子在未来的位置。
经济学中的应用在经济学中，马尔可夫预测法可以用于预测股市的走势。
例如，在股市中，每一天的股价可以看作是一个状态。
通过对状态转移矩阵的分析，可以预测未来股价的走势。
这种方法已经被证明是一种有效的预测股市走势的方法。
生物学中的应用在生物学中，马尔可夫预测法可以用于预测疾病的传播。
例如，在流行病学中，每个人的健康状态可以看作是一个状态。
通过对状态转移矩阵的分析，可以预测疾病的传播。
这种方法已经被证明是一种有效的预测疾病传播的方法。
总结马尔可夫预测法是一种基于概率论的预测方法。
它通过分析系统的状态变化来预测未来的状态。
该方法适用于具有一定规律性的系统，并且可以用于各种领域。
在物理、经济、生物等领域中，马尔可夫预测法已经成为一种重要的预测方法。
马尔可夫预测算法
马尔可夫预测算法综述马尔可夫预测法以系统状态转移图为分析对象，对服从给定状态转移率、系统的离散稳定状态或连续时间变化状态进行分析马尔可夫预测技术是应用马尔可夫链的基本原理和方法研究分析时间序列的变化规律，并预测其未来变化趋势的一种技术。
方法由来马尔可夫是俄国的一位著名数学家 (1856—1922)，20世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关，而与事物的过去状态无关。
针对这种情况，他提出了马尔可夫预测方法，该方法具有较高的科学性，准确性和适应性，在现代预测方法中占有重要地位。
基础理论在自然界和人类社会中，事物的变化过程可分为两类:一类是确定性变化过程；另一类是不确定性变化过程。
确定性变化过程是指事物的变化是由时间唯一确定的，或者说，对给定的时间，人们事先能够确切地知道事物变化的结果。
因此，变化过程可用时间的函数来描述。
不确定性变化过程是指对给定的时间，事物变化的结果不止一个，事先人们不能肯定哪个结果一定发生，即事物的变化具有随机性。
这样的变化过程称为随机过程一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描述。
在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接连不断地观测它的变化过程。
这就要研究无限多个，即一族随机变量。
随机过程理论就是研究随机现象变化过程的概率规律性的。
客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生变化状态即为客观事物可能出现或存在的状况，用状态变量表示状态：⎪⎪⎭⎫⎝⎛⋅⋅⋅=⋅⋅⋅==,2,1,,2,1t N i i X t 它表示随机运动系统，在时刻),2,1( =t t 所处的状态为),2,1(N i i =。
状态转移：客观事物由一种状态到另一种状态的变化。
设客观事物有N E E E E ...,,321共 N 种状态，其中每次只能处于一种状态，则每一状态都具有N 个转向（包括转向自身），即由于状态转移是随机的，因此，必须用概率来描述状态转移可能性的大小，将这种转移的可能性用概率描述，就是状态转移概率。
马尔可夫预测法
马尔可夫预测法马尔可夫预测法是一种基于马尔可夫过程的预测方法。
马尔可夫过程是在给定当前状态下，下一个状态的概率只与当前状态有关的随机过程。
其本质是利用概率论中的马尔可夫性质，通过已知状态的条件概率预测未来的状态。
马尔可夫预测法广泛应用于各种领域中的预测问题。
马尔可夫预测法的基本思想是利用过去的信息预测未来的状态。
在马尔可夫模型中，当前状态只与前一状态有关，与更早的历史状态无关，这种性质称为“无记忆性”。
因此，在预测未来状态时，只需知道当前状态及其概率分布即可，而无需考虑过去的状态。
这种方法不仅大大降低了计算复杂度，而且在实际应用中也具有很高的准确性。
马尔可夫预测法的应用范围非常广泛，例如天气预报、股票价格预测、自然语言处理、机器翻译等。
其中，天气预报是一个典型的马尔可夫过程应用。
在天气预报中，当前的天气状态只与前一天的天气状态有关，而与更早的天气状态无关。
因此，可以利用马尔可夫预测法预测未来的天气状态。
马尔可夫预测法的实现方法有很多，其中比较常见的是利用马尔可夫链进行预测。
马尔可夫链是一种随机过程，其状态空间是有限的。
在马尔可夫链中，当前状态的转移概率只与前一状态有关。
因此，在利用马尔可夫链进行预测时，只需知道当前状态及其转移矩阵即可。
根据转移矩阵，可以预测未来的状态概率分布。
马尔可夫预测法的优点是计算简单，预测准确性高。
但其缺点也比较明显，即需要满足无记忆性的假设，而实际应用中，往往存在着各种各样的因素影响状态的转移。
因此，在实际应用中，需要对马尔可夫预测法进行适当的修正，以提高预测准确性。
马尔可夫预测法是一种基于马尔可夫过程的预测方法，具有计算简单、预测准确性高等优点。
其在天气预报、股票价格预测、自然语言处理、机器翻译等领域中得到了广泛应用。
在实际应用中，需要充分考虑各种因素的影响，对马尔可夫预测法进行适当的修正，以提高预测准确性。
python 马尔可夫预测法
python 马尔可夫预测法摘要：1.马尔可夫预测法简介2.马尔可夫预测法的基本思想3.马尔可夫预测法的应用场景4.使用Python 实现马尔可夫预测法5.马尔可夫预测法的优缺点正文：马尔可夫预测法是一种基于马尔可夫过程的预测方法，主要用于预测具有马尔可夫性质的随机序列。
它通过观察序列中相邻状态的关系，来预测序列的未来状态。
马尔可夫预测法在自然语言处理、金融、气象等领域有着广泛的应用。
马尔可夫预测法的基本思想是：假设未来的状态转移只依赖于当前的状态，而与过去的历史状态无关。
也就是说，一个系统的未来状态只与其当前状态有关，而与它过去的状态无关。
这种性质被称为马尔可夫性质。
在实际应用中，马尔可夫预测法常常通过建立状态转移矩阵来描述状态之间的转移关系。
通过对状态转移矩阵进行计算，可以预测出序列的未来状态。
使用Python 实现马尔可夫预测法，我们可以利用numpy 和matplotlib 等库来计算和可视化状态转移矩阵。
具体的实现代码如下：```pythonimport numpy as npimport matplotlib.pyplot as plt# 生成随机状态转移矩阵_states = 3transition_probabilities = np.random.rand(n_states, n_states) # 设置初始状态initial_state = np.random.randint(0, n_states)# 进行预测_steps = 10predicted_states = [initial_state]for t in range(n_steps):current_state = np.argmax(predicted_states[-1] * transition_probabilities)predicted_states.append(current_state)# 可视化状态转移矩阵plt.matshow(transition_probabilities, cmap="gray")plt.xlabel("State")plt.ylabel("Next State")plt.xticks(np.arange(n_states), range(n_states))plt.yticks(np.arange(n_states), range(n_states))plt.show()# 可视化预测结果plt.plot(range(n_steps), predicted_states)plt.xlabel("Step")plt.ylabel("State")plt.show()```马尔可夫预测法的优点是计算简单，易于实现，并且对于具有马尔可夫性质的序列，预测结果往往较为准确。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
所以，u是P的一个固定概率向量。
46/16
(3)正规概率矩阵的性质
设P是正规概率矩阵，则已被证明： ① P恰有一个固定概率向量u，且u的所有元素都 是正数 ② P的各次方组成的序列 {P, P2, P3, …} 趋于方阵 T，且T的每一个行向量都是固定概率向量。 ③若pi为P的任一概率向量，则向量序列 {piP, piP2, piP3,… }都趋于固定概率向量u。
• 例 设某产品有三种牌号(商标)在市场上销售。调 查得知，本月购买1、2、3种产品的顾客各占0.4、 0.3、0.3；顾客选购这三种产品的变化情况如下表 所示。试预测第3个月该产品的市场占有率和长期 的市场占有率。
46/28
该例说明：在现有的生产和维修条件下，
机器长期运行时，处于正常状态的可能性 约为0.6，处于故障状态的可能性约为0.4。 或者说，约有0.6的时间处于完好状态，约 有0.4的时间处于故障状态。据此，可合理 安排生产计划和维修计划。
46/29
市场占有率预测
• 背景：
– 对于某种产品，往往有若干厂家生产。用户购买哪家 的产品，会受到消费偏好、厂家的广告宣传和推销活 动等多方面的影响。因此，在产品质量基本相同的情 况下，可以认为市场的变化带有随机性。如果本期市 场占有率仅取决于上期市场占有率及转移概率，转移 概率在一定时期内无大的变化，则可用马尔科夫方法 预测市场状况。
从该例可见，如果系统经过较长时间的运行(即转 移步数 k 足够大)后，不管系统的初始状态如何， 从各状态转移到某状态的概率都是相等的。这种 稳定的转移概率，称为稳态概率。
46/22
（二）案例分析
机器运行状态的预测
• 预测目的：在机器很多的大批量生产的企业里，需要掌握 机器发生故障的规律性，以便有效地计划和控制生产，同 时也为合理配备维修人员提供依据。为此，可运用马尔科 夫方法预测机器某个时刻的状态和长期运行状态。 • 分析思路：机器的运行存在正常和故障两种状态。由于出 现故障带有随机性，故可将机器的运行看作一个状态随时 间变化的随机系统。为简单起见，可以认为机器以后的状 态只与目前的状态有关，而与过去的状态无关，即具有无 后效性。这样，机器的运行可看作马氏链。
马尔科夫预测法
• • 马尔科夫方法的基本原理 案例分析
☆10A
46/1
马尔科夫预测法
• 马尔科夫预测法是预测技术中一种重 要的方法 • 不需要大量的统计资料，只需近期资 料就可进行预测， • 既可用于短期预测，也可用于长期预 测
46/2
马尔科夫方法的基本原理
1、基本概念 2、状态转移概率矩阵 3、稳态概率矩阵
p1n pnn
46/10
状态转移概率矩阵的性质
① pij 0 ② i, j=1,2,…,n • 满足①、②这两个性 质的行向量称为概率 向量，由概率向量构 成的方阵称为概率矩 阵 • 转移矩阵必是概率矩 阵
p
j 1
n
ij
1 i 1 ,2, , n
③如果A和B均是概率矩 阵，则AB也是概率矩 阵； ④如果A是概率矩阵。则 An也是概率矩阵。
46/11
(2)K 步状态转移概率矩阵
• 状态转移概率矩阵一般是指一步状态转移概率矩 阵 • 实际工作中往往需要预计今后第 k 个时刻系统的 状态，需要求出系统的 k 步状态转移概率矩阵
• 记 k 步状态转移概率矩阵为P(k)，则
P( k ) P ( k 1) P Pk
即系统的k步状态转移概率矩阵可由k-1步状态转移概率 矩阵乘上一步状态转移概率矩阵求得，也可由一步状态 转移概率矩阵的k次方求得
s(0) (1,0)
由已知条件可得机器的一步状态转移概率矩阵为
1 2
0.4 0.6 P 1.0 0
1
2
1 2
46/24
• 当已知系统的初始状态和一步转移概率时， 就可预测系统在任意时刻所处的各种状态的 可能性大小。
• 预测模型为
s
(k )
s P
(0)
(k )
式中 s(k) 表示系统经 k 步转移后所处的状 态；k为大于0的正整数。
(2)状态随机变量
– 为了表示一个随机运动系统在变化过程中的状 态，可以用一组随时间过程而变化的变量来描 述，这个变量称为状态随机变量
46/5
• 设有一个随机运动系统处于的状态为 i (i＝ 1,2,…,n)，它只能在时刻 t ( t＝1,2,…,m)上 改变它的状态，则状态随机变量
Xt＝i
即表示在时刻t，系统处于状态i • 系统所取状态的集合，称为状态空间
m
46/15
(2)固定概率向量
定义：任一非零概率向量 u=( u1,u2,…,un )，乘以 概率矩阵P后，其结果仍为u，即
uP=u
则称u为P的固定概率向量（或特征向量）
1 0 例如 u 1/ 2,1/ 2 P 0 1 因为 1 0 uP 1/ 2,1/ 2 1/ 2,1/ 2 u 0 1
46/8
• 转移概率中最重要的是一步(次)转移概率，表示 为
p pij P( X m1 j | X m i)
(1) ij
其中：
pij(1) — 表示系统从状态i到状态j的一步转移概率，“(1)” 表示 一步； pij — 表示系统从状态i经过一步转移到状态j的概率； P( Xm+1=j |Xm=i ) — 表示在时刻 m 的系统状态为 i 的条件 下，转移到（发生）在时刻 m+1 的系统状态为 j 的条件概率
• 具备无后效性的离散型随机过程，称为马尔科夫 链，简称马氏链，或称时间和状态均离散的马尔 科夫过程
46/7
基本概念
(4)状态转移
– 即状态变化。当系统的变量从一个特定值变化 到另一个特定值，就表示系统由一个状态转移 到另一个状态，从而实现了状态转移。
(5)转移概率
– 系统状态的变化（转移）是随机的，用概率来 描述系统从某种状态转移到各种状态的可能性 大小，这种概率称为状态转移概率，简称转移 概率
2 1 1 2 1 1 2 4
1 2 3 4
0 所以， 1 2
1 1 2
是正规概率矩阵。
②对于任何正整数m，都有
1 0 1 0 0 1 0 1 1 0 所以， 不是正规概率矩阵。 0 1
46/23
例1 某企业经过调查统计，得知机器在一周时间内， 从正常状态转移到故障状态的概率是0.6，而从故障 状态转移到正常状态的概率为l。如果机器本周末均 处于正常状态，试预测第3周机器的状态和机器长 期运行的状态。 解：设机器的正常状态为状态1，故障状态为状态2， 即得本周(即第0周)末机器的初始状态向量为
46/27
得到
u1 0.4u1 u2 u2 0.6u1
u1 u2 1
再根据 可解得
u1 = 0.625, u2 = 0.375
即固定概率向量 u=( 0.625, 0.375 ) 稳态概率矩阵
U 0.625 0.375 T U 0.625 0.375
将u1、u3代入②式得
u2 0.2, u1 0.4, u3 1 0.2 0.4 0.4
所以 u (0.4,0.2,0.4)
46/21
第二步，求稳态概率矩阵T
根据正规概率矩阵的性质②可知
U 0.4 0.2 0.4 0.4 0.2 0.4 T U U 0.4 0.2 0.4
即
u1 0.5u1 0.5u2 0.25u3
① ② ③
46/20
u2 0.25u1 0.25u3
u3 0.25u1 0.5u2 0.5u3
根据概率向量的定义有
u1 u2 u3 1
得到 将u3代入①式得
u3 1 u1 u2
u2 1 u1 3
46/17
(4)稳态概率矩阵
• 若马氏链的状态转移矩阵为正规概率矩阵，当转 移步数 k 足够大时，k 步转移矩阵将趋向某一方 阵T，即
lim P
k
(k )
T
则称方阵T为稳态概率矩阵。 • 根据定义很难求出稳态概率矩阵T。但由正规概 率矩阵的性质可知，稳态概率矩阵T的每一个行 向量都是固定概率向量u。因此，求出状态转移 矩阵的固定概率向量u，可以进而得到稳态概率 矩阵T 46/18
46/6
(3)马尔科夫链
• 马尔科夫发现：对于实际存在的随机运动系统
– 系统在每一时刻(或每一步)的状态，仅仅取决于前一时 刻(或前一步)的状态，而与过去的其它状态无关。这个 性质称为无后效性 – 例如，松鼠下一步将处于什么状态(将跳到哪棵树上)， 只与它现在所处的状态(现在所处的那颗树)有关，而与 它以前的状态(以前曾在的树)无关
46/12
例 若
p11 P p21
p12 0.7 0.3 p22 0.9 0.1
则
P (2) P (1) P P 2 0.7 0.3 0.9 0.1
2
0.76 0.24 0.72 0.28
46/13
所以P为正规概率矩阵。
46/19
第—步，先求固定概率向量 设P的唯一固定概率向量为 u (u1 , u2 , u3 ) 根据固定概率向量的定义有
0.5 0.25 0.25 u , u , u 0.5 0 0.5 1 2 3 u1 , u2 , u3 0.25 0.25 0.5
• 马尔科夫链的任何 k 步转移概率都可由一步转移 概率求出
46/9
状态转移概率矩阵
(1)一步状态转移概率矩阵
• 若系统有n个状态，则系统全部一步转移概率的集 合所组成的矩阵，称为一步状态转移概率矩阵， 简称状态转移概率矩阵 • 表示为