马尔可夫链模型
马尔可夫链模型简介
马尔可夫链模型简介设考察对象为一系统,若该系统在某一时刻可能出现的事件集合为,}{N N E E E E E E ⋅⋅⋅⋅⋅⋅,2,1,2,1,两两互斥,则陈i E 为状态。
N i ⋅⋅⋅=,2,1。
称该系统从一种状态i E 变化到另一状态j E 的过程称为状态转移，并把整个系统不断实现状态转移的过程称为马尔可夫过程。
定义1 具有下列两个性质的马尔可夫过程称为马尔可夫链： （1）无后效性，即系统的第n 次实验结果出现的状态，只与第1-n 次有关，而与它以前所处的状态无关；（2）具有稳定性，该过程逐渐趋于稳定状态，而与初始状态无关。
定义2 向量),,,(21n u u u u ⋅⋅⋅= 成为概率向量，如果u 满足：⎪⎩⎪⎨⎧=⋅⋅⋅=≥∑=nj jj u nj u 11,,2,10 定义3 如果方阵P 的每行都为概率向量，则称此方阵为概率矩阵。
如果矩阵A 和B 皆为概率矩阵，则AB ，k A ，k B 也都是概率矩阵（k 为正整数）。
定义4 系统由状态i E 经过一次转移到状态j E 的概率记为ij P ，称矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=3212222111211N N N N N P P P P P P P P P P 为一次（或一步）转移矩阵。
转移矩阵必为概率矩阵，且具有以下两个性质： 1、P P P k k )1()(-=； 2、k k P P =)(其中)(k P 为k 次转移矩阵。
定义5 对概率矩阵P ，若幂次方)(m P 的所有元素皆为正数，则矩阵P 称为正规概率矩阵。
（此处2≥m ）定理1 正规概率矩阵P 的幂次方序列P ，2P ，3P ，…趋近于某一方阵T ，T 的每一行均为同一概率向量t ，且满足t tP = 。
马尔可夫链模型如下：设系统在0=k 时所处的初始状态 ),,()0()0(2)0(1)0(N S S S S ⋅⋅⋅=为已知，经过k 次转移后的状态向量 ),,()()(2)(1)(k N k k k S S S S ⋅⋅⋅=),2,1(⋅⋅⋅=k ，则⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=NN N N N N k P P P P P P P P P S S 212222111211)0()( 此式即为马尔可夫链预测模型。
马尔可夫网络的信息传递模型(七)
马尔可夫网络的信息传递模型马尔可夫网络，又称为马尔可夫链，是一种随机过程模型，最早由俄罗斯数学家安德烈·马尔可夫于1906年提出。
马尔可夫链是指在给定系统状态下，下一个状态只依赖于当前状态，而与过去的状态无关的一种随机过程。
在信息传递的模型中，马尔可夫链可以被用来预测未来状态，并且在实际应用中具有很高的效用。
一、马尔可夫链的基本概念马尔可夫链的基本概念包括状态空间、状态转移概率和初始状态概率。
状态空间是指系统可能处于的状态的集合，而状态转移概率则是指系统从一个状态转移到另一个状态的概率。
初始状态概率是指系统在初始时刻处于每个状态的概率。
这些概念构成了马尔可夫链的基本结构，通过这些概念，我们可以建立起一个完整的信息传递模型。
二、马尔可夫链的应用领域马尔可夫链在实际应用中有着广泛的应用领域，其中最为著名的应用之一便是自然语言处理领域。
自然语言处理是人工智能领域的一个重要分支，它涉及了诸如语音识别、机器翻译、文本分类等多个方面。
在自然语言处理中，马尔可夫链被广泛用于语言模型的建立，通过分析文本中单词之间的转移概率，我们可以建立一个有效的语言模型，从而实现对语言的自动分析和处理。
此外，马尔可夫链还被应用于金融领域的风险评估和预测。
在金融市场中，股票价格的变化往往是一个随机的过程，而马尔可夫链可以很好地用来描述这种随机过程。
通过对股票价格的历史数据进行分析，我们可以建立一个马尔可夫链模型，从而预测未来的股票价格走势，为投资者提供决策支持。
三、马尔可夫链在信息传递模型中的作用在信息传递模型中，马尔可夫链扮演着重要的角色。
信息传递模型是指在一个信息网络中，信息从一个节点传递到另一个节点的过程。
而马尔可夫链可以很好地描述信息在网络中的传递规律，从而帮助我们理解和预测信息的传递过程。
在信息传递模型中，马尔可夫链可以被用来描述信息在网络中的传递路径。
通过分析节点之间的转移概率，我们可以建立一个马尔可夫链模型，从而预测信息在网络中的传递路径和概率。
马尔可夫链模型与天气
马尔可夫链模型与天气马尔可夫链是一种数学模型，用于描述在随机过程中状态之间的转移规律。
而天气是我们日常生活中广泛关注的话题之一。
本文将探讨马尔可夫链模型在天气预测中的应用。
一、马尔可夫链模型简介马尔可夫链模型是以数学家安德烈·马尔可夫的名字命名的概率模型。
该模型基于马尔可夫性质，即未来的状态仅与当前状态有关，与之前的状态无关。
马尔可夫链模型可以用一个状态转移矩阵表示，其中矩阵的每个元素表示从一个状态转移到另一个状态的概率。
二、天气预测与马尔可夫链模型天气预测一直是人们关注的热门话题。
准确地预测未来的天气对农业、旅游和交通等行业有着重要的意义。
而马尔可夫链模型可以用来预测天气的变化。
为了简化问题，我们将天气分为三种状态：晴天、多云和雨天。
假设我们已经根据历史数据建立了一个马尔可夫链模型。
现在我们想要预测未来五天的天气情况。
根据马尔可夫链模型，我们可以根据当前天气状态转移到下一个天气状态的概率来进行预测。
例如，如果当前是晴天，我们可以查找状态转移矩阵中对应的行，然后根据概率分布来确定下一个天气状态。
通过迭代这个过程，我们可以预测出未来五天的天气情况。
三、马尔可夫链模型的应用案例为了更好地理解马尔可夫链模型在天气预测中的应用，下面将介绍一个实际案例。
假设某地区的天气仅有晴天、多云和雨天三种状态。
我们根据历史天气数据得到了如下的状态转移矩阵：晴天多云雨天晴天 0.7 0.2 0.1多云 0.3 0.4 0.3雨天 0.2 0.3 0.5现在我们要通过这个马尔可夫链模型来预测未来五天的天气。
假设当前天气是晴天，根据状态转移矩阵可知，下一个天气为晴天的概率为0.7，多云的概率为0.2，雨天的概率为0.1。
根据这些概率，我们可以随机选择一个状态作为下一个天气。
假设我们选择到了多云。
接下来，我们根据多云状态对应的行来确定下一个天气。
根据状态转移矩阵可知，下一个天气为晴天的概率为0.3，多云的概率为0.4，雨天的概率为0.3。
马尔可夫链的基本概念
马尔可夫链的基本概念马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程。
马尔可夫性质指的是在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
马尔可夫链由一组状态和状态之间的转移概率组成，可以用于模拟和预测各种随机过程，如天气变化、股票价格波动等。
一、马尔可夫链的定义马尔可夫链由状态空间和转移概率矩阵组成。
状态空间是指所有可能的状态的集合，用S表示。
转移概率矩阵是一个n×n的矩阵，其中n 是状态空间的大小。
转移概率矩阵的元素表示从一个状态转移到另一个状态的概率。
二、马尔可夫链的性质1. 马尔可夫性质：在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
2. 遍历性：从任意一个状态出发，经过有限步骤后可以到达任意一个状态。
3. 周期性：一个状态可以返回到自身的步数称为周期。
如果一个状态的周期为1，则称其为非周期状态；如果周期大于1，则称其为周期状态。
4. 不可约性：如果一个马尔可夫链中的任意两个状态都是可达的，则称该马尔可夫链是不可约的。
5. 遍历性与周期性的关系：对于不可约的马尔可夫链，要么所有状态都是非周期状态，要么所有状态都是周期状态。
三、马尔可夫链的应用马尔可夫链在许多领域都有广泛的应用，包括自然语言处理、机器学习、金融市场分析等。
以下是一些具体的应用案例：1. 自然语言处理：马尔可夫链可以用于生成文本，如自动写作、机器翻译等。
通过学习文本的转移概率，可以生成具有相似语言风格的新文本。
2. 机器学习：马尔可夫链可以用于序列建模，如语音识别、手写识别等。
通过学习序列的转移概率，可以对序列进行分类和预测。
3. 金融市场分析：马尔可夫链可以用于预测股票价格的波动。
通过学习历史股票价格的转移概率，可以预测未来股票价格的走势。
4. 生物信息学：马尔可夫链可以用于基因序列分析。
通过学习基因序列的转移概率，可以识别基因的功能和结构。
四、马尔可夫链的应用案例以下是一个简单的马尔可夫链应用案例，用于模拟天气变化：假设有三种天气状态：晴天、多云和雨天。
马尔可夫链模型及其应用领域
马尔可夫链模型及其应用领域马尔可夫链模型是一种描述随机过程的数学工具，它以马尔可夫性质为基础，描述了一个系统在不同状态之间转移的概率。
马尔可夫链模型在各个领域都有广泛的应用，包括自然科学、金融、计算机科学等。
本文将介绍马尔可夫链模型的基本原理，并探讨其在不同应用领域中的具体应用。
马尔可夫链模型的基本原理是基于马尔可夫性质。
马尔可夫性质指的是一个系统在给定当前状态下，其下一个状态只依赖于当前状态，而与过去的状态无关。
这种性质使得马尔可夫链模型成为处理许多问题的理想模型。
首先，我们来了解一下马尔可夫链模型的基本概念。
一个马尔可夫链由一组状态和状态转移矩阵组成。
状态表示系统可能处于的情况，状态转移矩阵描述了状态之间的转移概率。
状态转移矩阵是一个方阵，其元素表示从一个状态到另一个状态的转移概率。
在实际应用中，马尔可夫链模型可以用于解决许多问题。
其中一个常见的应用是预测未来状态。
根据当前的状态和状态转移矩阵，我们可以计算下一步系统处于不同状态的概率。
通过不断迭代计算，我们可以预测未来系统状态的分布。
另一个常见的应用是基于马尔可夫链模型的推荐系统。
推荐系统通过分析用户的历史行为，预测用户未来的喜好，并向其推荐相关的内容。
马尔可夫链模型可以用于建模用户的行为转移过程，推断用户下一步的行为。
在金融领域，马尔可夫链模型被广泛应用于股票市场的预测和风险评估。
通过分析历史股票价格的变化，我们可以建立一个马尔可夫链模型，来预测股票未来的涨跌趋势。
此外，马尔可夫链模型还被用于计算资产组合的风险价值，帮助投资者制定合理的投资策略。
在自然科学领域，马尔可夫链模型可以用于模拟复杂系统的行为。
例如，生态学家可以使用马尔可夫链模型来模拟生物群落的动态变化，预测不同物种的数量和分布。
此外，马尔可夫链模型还可以用于研究气象系统、生物化学反应等的动态特性。
另一个马尔可夫链模型的应用领域是自然语言处理。
马尔可夫链模型可以用于根据已有的语料库生成新的文本。
马尔可夫链模型及其在预测模型中的应用
马尔可夫链模型及其在预测模型中的应用马尔可夫链模型是一个重要的数学模型，在各种预测问题中都有广泛应用。
该模型描述的是一个随机过程，在每一个时间步骤上，其状态可以从当前状态转移到另一个状态，并且转移的概率只与当前状态有关，而与历史状态无关。
这种性质被称为“马尔可夫性”。
本文将介绍马尔可夫链模型的基本原理和应用，以及相关的统计方法和算法。
马尔可夫链模型的构造方法通常是通过定义状态空间和状态之间的转移概率来完成的。
状态空间是指可能的状态集合，而状态之间的转移概率则是指在一个时间步骤上从一个状态转移到另一个状态的概率。
这些转移概率通常被表示为一个矩阵，称为转移矩阵。
转移矩阵的元素表示从一个状态转移到另一个状态的概率。
马尔可夫链模型的重要性在于它对于许多实际问题的数学描述，因为很多现象都符合马尔可夫过程的特点，即时间上的无后效性，即系统的当前状态仅仅依赖于它的上一个状态。
比如，一个天气预测问题，天气系统的状态可以描述为“晴、雨、阴”，在每一个时间步骤上，系统可能会转移到另一个状态，转移概率可以根据历史天气数据进行估计。
马尔可夫链模型可以用于各种预测问题，如下一个状态的预测、状态序列的预测以及时间序列的预测。
对于下一个状态的预测问题，我们可以使用当前状态的转移矩阵来计算目标状态的概率分布。
对于状态序列的预测，我们可以利用当前状态的转移概率估计下一个状态的状态分布，并重复该过程，直到预测的序列达到一定的长度为止。
对于时间序列的预测，我们可以将时间序列转化为状态序列，并将时间作为状态的一个特征进行建模，在此基础上进行预测。
马尔可夫链模型也可以用于分析时间序列数据的特性。
例如，可以使用马尔可夫过程来检测时间序列数据中的周期性、趋势和季节性等特征。
这些特征可以反映时间序列数据的长期和短期变化情况，为精确的预测提供了基础。
对于马尔可夫链模型的参数估计问题，通常使用统计学习方法来完成。
常见的方法包括极大似然估计、贝叶斯估计以及最大后验估计等。
马尔科夫链模型简介
马 氏 链 模 型 简 介1、随机过程的概念。
定义：设集合{}T t t ∈:ξ是一族随机变量，T 是一个实数集合，如果对于任意T t ∈，t ξ是一个随机变量，则称{}T t t ∈:ξ是一个随机过程。
其中：（1）t 为参数可以认为是时间，T 为参数集合。
（2）随机变量t ξ的每一个可能值，称为随机过程的一个状态。
其全体可能值构成的集合，称为随机过程的状态空间，用E 表示。
（3）当参数集合T 为非负整数集时，随机过程又称为随机序列。
随机序列可用{} ,3,2,1:=n n ξ表示。
当T 为时间时，该随机序列就是一个时间序列。
如：（1）用t ξ表示“t 时刻，某商店的库存量”，则{}),0[:+∞∈t t ξ就是一个随机过程。
（2）用t ξ表示“在一天中t 时刻，某地区的天气状况”，则{}]24,0[:∈t t ξ是一个随机过程。
（3）用t ξ表示“在一天中t 时刻（整数），某城市的出租汽车的分布状况”，则{}24,,2,1,0: =t t ξ是一个随机时间序列。
马氏链，也称为马尔可夫链，就是一个特殊的随机时间序列，也为随机序列。
2、（离散时间）马尔可夫链——马氏链。
定义：设{} ,3,2,1:=n n ξ是一个随机序列，状态空间E 为有限或可列集。
若对于任意正整数m 、n 。
如果E i ∈、E j ∈、E i k ∈ （1,,2,1-=n k ）满足)(),,,(1111i j P i i i j P n m n n n n m n =======+--+ξξξξξξ 成立，则称随机序列{} ,3,2,1:=n n ξ为一个马尔可夫链，简称为马氏链。
（时间、状态均为离散的随机转移过程） 从该定义可知：（1）如果将随机变量n ξ的下角标n ，理解为步数。
则随机变量n ξ就是从起始点经过n 步，到达的随机变量。
（2）随机变量)(i n =ξ，是指第n 步时的随机变量n ξ所处的状态i 。
（3）条件概率)(i j P n m n ==+ξξ是指，第n 步时的随机变量n ξ所处的状态i 发生的条件下，第m n +步时的随机变量m n +ξ所处的状态j ，发生的条件概率。
马尔可夫链模型
状态与 状态与状态转移
1, 第n年健康 状态X n = 2, 第n年疾病
状态概率ai (n) = P( X n = i ), i = 1,2, n = 0,1,L
0.8 0.2 0.3
转移概率 pij = P ( X n +1 = j X n = i ), i, j = 1,2, n = 0,1, L
正则链 ⇔ ∃N , P > 0
P >0
2
正则链
稳态概率分布 w 满足 wP=w
w = ( w1 , w2 , w3 ) = ( 0.285 ,0.263,0.452 )
n→∞, 状态概率 a ( n ) = ( 0.285 ,0.263 ,0.452 ) →
模型求解
1. 估计在这种策略下失去销售机会的可能性 第n周失去销售机会的概率 周失去销售机会的概率 充分大时 = ∑ P( Dn > i Sn = i)P(Sn = i) n充分大时 P(Dn > Sn)
基本方程
a i ( n + 1) =
∑ a ( n ) p , i = 1, 2 , L , k
j =1 j ji
k
a(n) = (a1 (n), a2 (n),L, ak (n)) a ( n + 1) = a ( n ) P ~ 状态概率向量 P = { pij }k ×k ~ 转移概率矩阵 a ( n ) = a ( 0 ) P n
模型假设
钢琴每周需求量服从波松分布，均值为每周 架 钢琴每周需求量服从波松分布，均值为每周1架 存贮策略：当周末库存量为零时，订购 架 存贮策略：当周末库存量为零时，订购3架，周 初到货；否则，不订购。 初到货；否则，不订购。 以每周初的库存量作为状态变量， 以每周初的库存量作为状态变量，状态转移具有 无后效性。 无后效性。 在稳态情况下计算该存贮策略失去销售机会的概 和每周的平均销售量。 率，和每周的平均销售量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
马尔可夫链在自然界与社会现象中，许多随机现象遵循下列演变规律，已知某个系统(或过程)在时刻0t t =所处的状态，与该系统(或过程)在时刻0t t >所处的状态与时刻0t t <所处的状态无关。
例如，微分方程的初值问题描述的物理系统属于这类随机性现象。
随机现象具有的这种特性称为无后效性(随机过程的无后效性)，无后效性的直观含义：已知“现在”，“将来”和“过去”无关。
在贝努利过程(){},1X n n ≥中，设()X n 表示第n 次掷一颗骰子时出现的点数，易见，今后出现的点数与过去出现的点数无关。
在维纳过程(){},0X t t ≥中，设()X t 表示花粉在水面上作布朗运动时所处的位置，易见，已知花粉目前所处的位置，花粉将来的位置与过去的位置无关。
在泊松过程(){,0}N t t ≥中，设()N t 表示时间段[0,]t 内进入某商店的顾客数。
易见，已知时间段0[0,]t 内进入商店的顾客数()0N t ，在时间段()0[0,]t t t >内进入商店的顾客数()N t 等于()0N t 加上在时间段0(,]t t 内进入商店的顾客数()()0N t N t -，而与时刻0t 前进入商店的顾客无关。
一、马尔可夫过程定义：给定随机过程(){},X t t T ∈。
如果对任意正整数3n ≥，任意的12,,1,,n i t t t t T i n <<<∈=，任意的11,,,n x x S -∈S 是()X t 的状态空间，总有()()()1111|,n n n n P X x X t x X t x --≤==()()11|,n n n n n P X x X t x x R --=≤=∈ 则称(){},X t t T ∈为马尔可夫过程。
在这个定义中，如果把时刻1n t -看作“现在”，时刻n t 是“将来”，时刻12,,n t t -是“过去”。
马尔可夫过程要求：已知现在的状态()11n n X t x --=，过程将来的状态()n X t 与过程过去的状态()()1122,,n n X t x X t x --==无关。
这就体现了马尔可夫过程具有无后效性。
通常也把无后效性称为马尔可夫性。
从概率论的观点看，马尔可夫过程要求，给定()()1111,,n n X t x X t x --==时，()n X t 的条件分布仅与()11n n X t x --=有关，而与()()12,,n X t X t -无关。
二、马尔可夫链及其转移概率马尔可夫链是参数离散、状态离散的最简单的马尔可夫过程。
在马尔可夫链(){},X t t T ∈中，一般取参数空间{}0,1,2,T =。
马尔可夫链的状态空间E 的一般形式是{}0,1,2,E =。
1、马尔柯夫链定义：一个随机序列{X(t), t=1,2,3,…}取值于正整数空间E ={0,1,2,……},或者为E 的子集， 如果有：()()()()1111|,n n n n P X t x X t x X t x --===()()()11|n n n n P X t x X t x --=== x i ∈E ={0,1,2,……} ; i=1,2,…则称为序列(){},X t t T ∈为马尔柯夫(Markov)链。
这种序列具有马尔可夫性，也叫无后致性。
注意：t 和i 均取整数。
2、马尔柯夫链的含义：可以这样理解：序列(){}X t 的“将来”只与“现在”有关而与“过去”无关。
3、马尔柯夫链的状态：马尔柯夫链序列(){}X t 中的某一个符号X(t i )的数值一定为E 中的某一个元素x i （或x j ），这时，称x I (或x j )为随机序列的一个状态Si 。
4、马尔柯夫链的一步转移概率马尔柯夫(Markov)链的统计特性用条件概率（状态转移概率）来描述： 习惯上把转移概率记做()()()()()()()()(1)11|1|n n ij ij P X t x X t x P X t j X t i p t p t -+===+====这称为马氏链的一步转移概率。
为马尔柯夫链从状态i 变为状态j 的条件概率。
它满足：(概率的加法公式)p ij (1)(t)≥0 i j ∈E()1ij j Ep t i E ∈=∈∑5、马尔柯夫链的K 步转移概率：其k 步转移概率为：为马尔柯夫链从状态i 经过k 步（k 个单位时间）后变为状态j 的条件概率：()()()()()|k ij P X t k j X t i p t +===它满足：p (k)ij (t)≥0 i j ∈E()()1k ijj Ept i E ∈=∈∑6、平稳马尔柯夫链的性质：如果马尔柯夫链是平稳的，即与时刻无关，与t 无关，我们讨论的马尔柯夫链只是这种最简单的情况。
这种平稳马氏链称为齐次马氏链。
由于这种齐次马尔柯夫链的转移概率与时间无关，因此去掉其时间变量t ，其中的一步转移概率为()1ij ij p p =，k 步转移概率为()k ij p ，n 步转移概率为()n ij p 。
定义2：向量()12,,,n u u u u =称为概率向量，如果u 满足：10,1,2,,1nj ii u j nu=≥==∑定义3：若方阵P 的每行都为概率向量，则称此方阵为概率矩阵。
可以证明，如果矩阵A 和B 皆为概率矩阵，则,,k k AB A B 也都是概率矩阵(k 为正整数)由所有一步转移概率组成的矩阵称为一步转移概率矩阵表示为：111212122212n n n n nn p p p p p p P p p p ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭120.80.180.020.80.20.650.250.10.70.3001P P ⎛⎫⎛⎫ ⎪== ⎪⎪⎝⎭⎪⎝⎭转移矩阵必为概率矩阵，且具有以下两个性质： 1)()()1k k PP P -= 2) ()k k PP =下面主要学习正则链和吸收链1、正则链：这类马氏链的特点是，从任意状态出发经过有限次转移都能达到另外的任意状态，有如下定义.定义4 一个有n 个状态的马氏链如果存在正整数N ，使从任意状态i 经过N 次转移都已大于零的概率到达状态(),1,2,,j i j n =，则称为正则链。
正则链的判断方法：对于概率矩阵P ，若幂次方mP 的所有元素皆为正数(指mP 的每一元素大于零)，则矩阵P 称为正规概率矩阵，此时马氏链称为正则链，或者称马氏链具有遍历性。
遍历性的直观含义：一个遍历的马尔可夫链经过相当长的时间后，它处于各个状态的概率趋于稳定，且概率稳定值与初始状态无关。
在工程技术中，当马尔可夫链的极限概率分布存在时，它的遍历性表示一个系统经过相当长时间后趋于平衡状态，这时，系统处于各个状态的概率分布即不依赖于初始状态，也不在随时间的推移而改变。
设系统的极限分布(也是稳态分布)用行向量()013,,,,n πππππ=来表示，一步转移概率矩阵为P ，则有P ππ=，且11nii π==∑从而可以解出系统的极限分布(或稳态分布)从状态i 出发经k 次转移，第一次到达状态j 的概率称为i 到j 的首达概率，记做()ij f n ， 于是()1ij ij i nf n μ∞==∑为由状态i 第一次到达状态j 的平均转移次数，特别的，ii μ是状态i 首次返回的平均转移次数，ii μ与稳态概率ω有密切关系，即对于正则链，1/ii i μπ=马尔可夫链模型：设系统在0k =时所处的初始状态()()()()()000012,,,n S S S S =为已知，经过k 次转移后所处的状态向量()()()()()()12,,,1,2,k k k k nSS S S k ==，则()()()11121002122212kn k n k n n nn p p p p p p SS P Sp p p ⎛⎫⎪ ⎪== ⎪⎪⎝⎭此式即为马尔可夫预测模型。
由上式可以看出，系统在经过k 次转移后所处的状态()k S只取决于它的初始状态()0S和转移概率P 。
因此对于马氏链模型最基本的问题是构造状态()X t 及写出转移矩阵P ，一旦有了P ，那么给定初始状态概率()0S就可以用上式计算任意时段的状态概率()k S。
2、 吸收链在马尔可夫链中，称1ij p =的状态i,j 为吸收状态。
如果一个马尔可夫链中至少包含一个吸收状态，并且从每一个非吸收状态出发，都可以到达某个吸收状态，那么这个马尔可夫链称为吸收链。
含有m 个吸收状态和(n-m)个非吸收状态的吸收链，其转移矩阵的标准形式为()()0m m n nn m n m I P R Q ⨯⨯-⨯-⎛⎫= ⎪ ⎪⎝⎭(1)其中矩阵R 中含有非零元素，m m I ⨯为m 阶单位矩阵。
Q 不是概率矩阵，它至少存在一个小于1的行和，且如下定理成立。
定理1 对于吸收链P 的标准形式(1),()I Q -可逆，()1s s M I Q Q ∞-==-=∑，记元素全为1的列向量()1,1,,1e '=，则y Me =的第i 分量是从第i 个非吸收态出发，到某个吸收状态吸收的平均转移次数。
设状态i 是非吸收态，j 是吸收状态，那么首达概率()ij f n 实际上是i 经n 次转移被j 吸收的概率，而()1ij ij n f f n ∞==∑则是从非吸收状态i 出发终被吸收状态j 吸收的概率，记{}()ij k r rF f -⨯=，下面的定理给出了计算ij f 的方法。
定理2 设吸收链的转移矩阵P 表为标准形式(1),则F MR =例1、设马尔可夫链(){},0X t t ≥的状态空间{}1,2,3E =，一步转移概率矩阵为1/43/401/31/31/301/43/4P ⎛⎫ ⎪= ⎪ ⎪⎝⎭初始分布为()()01/4,1/2,1/4S=，即()()()()()()11101,02,03424P X P X P X ======则 ()()()220113/576,230/576,233/576P P P == 用Matlab 计算如下：s0=[1/4 1/2 1/4]; P=[1/4 3/4 0;1/3 1/3 1/3;0 1/4 3/4]; S2=s0*P.^2=(0.0712 0.2118 0.1962)稳态分布 T=(t1,t2,t3),TP=T,变换后 (P ’-E)T ’=0 T=(0.16 0.36 0.48) 附程序：liyiw.m市场占有率模型设有甲、乙、丙三家企业，生产同一种产品，共同供应1000家用户，各用户在各企业间自由选购，但不超出这三家企业，也无新的客户。
假定在10月末经过市场调查得知，甲、乙、丙三家企业拥有的客户分别是：250户，300户，450户，而11月份用户可能的流动情况如表所示：假定该产品用户的流动按上述方向继续变化下去(转移概率不变)，预测12月份三家企业市场用户各自的拥有量，并计算经过一段时间后，三家企业在稳定状态下该种产品的市场占有率。