第五章 马尔可夫过程-3
随机过程马氏过程
Fn ( x1 , x2 ,, xn , t1 , t 2 ,, t n ) P{ X (t1 ) x1 , X (t 2 ) x2 ,, X (t n ) xn }
P{ X (t1 ) x1 }P{ X (t2 ) x2 | X (t1 ) x1 }
P{ X (t n ) xn | X (t n1 ) xn1 , X (t n2 ) xn2 ,,
一、马尔可夫过程的数学定义
二、满足马氏性的随机过程
三、马氏过程的分类 四、马氏过程的有限维分布族
1
一、马尔可夫过程的数学定义
马尔可夫过程是具有所谓马尔可夫性 的一类特殊的随机过程.
1 马尔可夫特性
若当某随机过程{X(t),t ∈ T}在某时刻tk 所处的状态已知的条件下，过程在时刻t(t>tk) 处的状态只会与过程在tk时刻的状态有关，而与 过程在tk以前所处的状态无关。这种特性即称为 马尔可夫性,亦称之为无后效性。
19
例1.5 若每隔一分钟观察噪声电压，以X(n) 表示第n分钟观察噪声电压所得结果，则X(n) 为一随机变量，{X(n),n≥1}为一随机过程， 此过程是马氏过程吗？ 实际上,每隔一分钟观察所得噪声电压值 相互并不影响,且X(n)为一连续型随机变量, 因而{X(n),n≥1}是独立同分布的连续型随 机变量列,故知它为离散参数集,连续状态集的 马尔可夫过程.
X (t 2 ) x2 , X (t1 ) x1 }
P{ X (t1 ) x1 }P{ X (t 2 ) x2 | X (t1 ) x1 }
P{ X (t n ) xn | X (t n1 ) xn1 }
F ( x1 , t1 )F ( x2 , t2 | x1 , t1 )F ( xn , tn | xn1 , tn1 )
5-1时间连续、状态离散的马尔可夫过程
P{X (s t ) j | X (s) i, X ( ) k ( ),0 s}
P{X (s t ) j | X (s) i}
则称X(t)为时间连续的马尔可夫链。记
pij (s, t ) P{X (s t ) j | X (s) i} 如果 pij (s, t ) 与s无关，记为 pij (t )
（2） Ti与Tj独立 ( i j )；
vi t F ( t ) 1 e （3） Ti服从参数为vi指数分布 i
当vi 时，称状态i为瞬时状态； 当vi 0时，称状态i为吸收状态。
解放军电子技术学院
卢
证 （1） Ti与进入状态i的时刻无关；
P(Ti t | X (t0 ) i) P{X ( ) i, t0 t0 t | X (t0 ) i}
Gi (t s) Gi (s)Gi (t )
Gi (t ) e
vi t
解放军电子技术学院
卢
定理1 证明泊松过程是一个时间连续的马氏 链。求泊松过程的转移概率。 已证
P{X (tn ) kn X (t1 ) k1 , X (t2 ) k2 ,
X (t2 ) X (t1 ) k2 k1 ,
kE
pik t pkj
kE
解放军电子技术学院
卢
记：Ti为在状态i停留的时间。即： X ( ) i, 0 Ti , X (Ti ) j; X ( ) j, Ti Ti T j , X (Ti T j ) k （1） Ti与进入状态i的时刻无关； 引理：
P{X ( ) i,0 t | X (0) i}
P(Ti t | X Tj独立 (i j )；
《马尔可夫过程 》课件
PART
06
结论与展望
重要性和应用前景：马尔可夫过程是概率论和随机过程的一个重要分支，它在理论和应用方面都具有重要的意义。在理论方面，马尔可夫过程为随机现象提供了数学模型，有助于深入理解随机现象的本质和规律。在应用方面，马尔可夫过程被广泛应用于金融、经济、生物信息学、计算机科学等领域，为解决实际问题提供了有效的工具。
详细描述
VS
马尔可夫链蒙特卡洛方法在统计物理中广泛应用于求解复杂的数学问题，如高维积分、复杂系统模拟等。
详细描述
在统计物理中，许多问题都需要求解复杂的数学表达式，如高维积分、复杂系统模拟等。马尔可夫链蒙特卡洛方法提供了一种有效的解决方案，通过构造合适的马尔可夫链，可以高效地求解这些数学问题，得到精确的结果。
未来研究方向
随着科技的发展和实际需求的不断变化，马尔可夫过程的研究方向也在不断拓展和深化。未来，马尔可夫过程的研究将更加注重跨学科的应用和创新，如与人工智能、机器学习等领域的交叉融合，以解决更加复杂和实际的问题。同时，随着大数据时代的到来，如何利用马尔可夫过程处理和分析大规模数据也是未来的一定义和作用。
要点一
要点二
详细描述
策略是指导决策者如何在给定状态下选择行动的规则。值函数是评估特定策略的性能的度量，它衡量了从开始到最终状态的总回报。在马尔可夫决策过程中，值函数和策略是紧密相关的，它们一起决定了在给定状态下采取的行动和最终的累积回报。
总结词
描述贝尔曼方程的定义和作用。
描述马尔可夫决策过程的定义。
总结词
马尔可夫决策过程（MDP）是一种数学模型，用于描述在不确定环境中做决策的问题。它由以下四个基本组成部分组成：状态集合、行动集合、状态转移概率和回报函数。在每个时刻，决策者根据当前状态选择一个行动，然后环境根据所选行动转移到一个新的状态，并给予决策者一个回报。
刘次华 随机过程 第五章
1 1 2
i∈I
i
ij
(t )
i∈I
n−1i n
(t n − t n −1 )
5.1 连续时间马尔可夫链
例5.1 证明泊松过程{X(t), t≥0}为连续时间 齐次马尔可夫链。 证明：先证泊松过程的马尔可夫性。 证明： 泊松过程是独立增量过程，且X(0)=0，对 任意0<t1< t2<…< tn< tn+1有
j ≠i
1 − pii (∆t ) qii = lim = lim ∆t →0 ∆t →0 ∆t 注：一般而言qii
∑p
j ≠i
ij
(∆t )
∆t
= ∑ qij
j ≠i
∑q
j ≠i
ij
5.2 柯尔莫哥洛夫微分方程
若连续时间齐次马尔可夫链具有有限状态 空间I={0,1,2,…,n}, 则
⎛ − q00 ⎜ ⎜ q10 Q= ⎜ ⎜ ⎜ q ⎝ n0 q01 − q11 qn1 q0 n ⎞ ⎛ Q1 ⎞ ⎟ ⎜ ⎟ q1n ⎟ ⎜ Q2 ⎟ = ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ − qnn ⎠ ⎝ Qn ⎠
5.1 连续时间马尔可夫链
定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t)) ，i,j∈I，t ≥0 命题：若τi为过程在状态转移之前停留在 命题： 状态i的时间，则对s, t≥0有 (1) P{τ i > s + t | τ i > s} = P{τ i > t} (2) τi 服从指数分布 证(1) 事实上
5.1 连续时间马尔可夫链
过程在状态转移之前处于状态i的时间τi服 从指数分布 Fτ i ( x ) = 1 − e − λi x F (1)当λi=+∞时， τ ( x ) = 1, P{τ i > x} = 1 − Fτ ( x ) = 0, 状态i的停留时间τi 超过x的概率为0， 则称状态i为瞬时状态； F (2)当λi=0时，τ ( x ) = 0, P{τ i > x} = 1 − Fτ ( x ) = 1, 状态i的停留时间τi 超过x的概率为1，则 称状态i为吸收状态。
No.12-第5章-马尔可夫预测的基本原理
P(2)
0.76 0.72
p (1) 11
p (1) 21
p (1) 11
p (1) 11
p p (1) (1) 12 21
p p (1) (1) 22 21
p p (1) (1) 11 12
p p (1) (1) 21 12
p (1) 12
p (1) 22
p2 (1)
p2 (2) ?
p22
p2 (2) p1(1) p12 p2 (1) p22
P(2) ( p1(2)
p2 (2)) ( p1(1)
p2
(1))
p11 p21
p12
p22
P(1)P P(0)PP P(0)P2
[0.8
0.2]
0.76 0.72
以一个月为单位，经观察统计，知其从某个月份到下月份， 机床出现故障的概率为0.3。在这一段时间内，故障机床经维修 恢复到正常状态的概率为0.9。
p12=0.3
1
2
p21=0.9
0.7 P 0.9
两步状态转移概率：
0.3 0.1
即有 p11 0.7, p12 0.3, p21 0.9, p22 0.1
状态转移概率矩阵
状态
1
P
1 p11 2 p21
2
状态
1
p12
p22
1 0.8 2 0.6
2
0.2
0.4
例5.1 考察一台机床的运行状态。机床的运行存在正常和故
障两种状态 S 1, 2 。机床在运行中出现故障：1－>2；处于故
马尔可夫过程
Ai lim P{Si (t)}
t
式中
Si（t）--系统i状态的瞬态概率； Ai--i状态的稳态概率。
通常，稳态概率空间的表达式不易求出，该解 法适合于解决一些比较简单系统的稳态状态概率问 题。 同构法 当系统达到稳定状态以后，各种状态将持续转 移，但是每种状态出现的概率基本不变，从而形成 一个稳定的状态空间。求解状态空间方程组，就可 得到系统在各种状态的稳态概率。
马尔可夫过程
神和尧
马尔可夫过程简介 一类随机过程（数学基础是随机过程理论）。 原始模型马尔可夫链，由俄国数学家A.A.马尔可夫 于1907年提出。 该过程具有如下特性：在已知目前状态 （现在） 的条件下，它未来的演变 （将来）不依赖于它以往 的演变 ( 过去 ) 。 ④例如森林中动物头数的变化构成——马尔可夫过 程 。在现实世界中，有很多过程都是马尔可夫过程， 如液体中微粒所作的布朗运动、传染病受感染的人 数、车站的候车人数等，都可视为马尔可夫过程。
马尔可夫特性的直观解释为：
在给定t时刻随机过程的状态为Xn或xn，则该过 程的后续状态及其出现的概率与t之前的状态无关。 也就是说，过程当前的状态包括了过程所有的历史 信息，该过程的进一步发展完全由当前状态所决定， 与当前状态之前的历史无关，这种性质也称为无后 效性或无记忆性。 此特性也可以理解为：随机过程Xn在“现在” 状态已知的条件下，过程“将来”的情况与“过去” 无关。或者说，过去只影响现在，而不影响将来。 P{将来|现在、过去}=P{将来|现在}
kE
状态转移图和状态转移率矩阵 马尔可夫模型常使用状态转移图来描述系统的运行情况。 故障（p）
S
1-p 修复（q）
F
1-q
图1 马尔可夫过程的状态转移图
应用随机过程第5章马尔科夫链上
1/2 1/2
1 1
1/2
1/2 4
2
1/3 2/3
3
5.2 状态的分类及其性质
1/2 1/2
1 1
1/2
1/2 4
2
1/3 2/3
3
该马尔科夫链的状态分为三类：{1,2}，{3}，{4}。
5.2 状态的分类及其性质
n步转移概率的首达分解定理
证明：利用全概率公式
注：Tj表示过程
首次到达状态 j 的时间，称为 首达时间。
5.2 状态的分类及其性质
5.2 状态的分类及其性质
5.2 状态的分类及其性质
5.2 状态的分类及其性质
5.2 状态的分类及其性质
首达概率、常返状态、非常返状态（暂态）
5.2 状态的分类及其性质
5.2 状态的分类及其性质
1/2 1/2
1 1
1/2
1/2 4
2
1/3 2/3
3
5.2 状态的分类及其性质
5.2 状态的分类及其性质
5.2 状态的分类及其性质
5.2 状态的分类及其性质
可见，各态互通，即状态空间不可约。
5.2 状态的分类及其性质
5.2 状态的分类及其性质
由于各状态是互通的，故而所有的状态具有相同的常返性和周期性。
注：将直线上的随机徘徊推广到d 维空间，假设质点处在某一个格
点时，以等概率在下一时刻移动到与之相邻的任意格点上，便得到
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
已知初始分布为 (0) 0.25 0.30 0.35 0.1
5.1 基本概念
马尔可夫过程
人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。
这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。
荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。
青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。
如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。
液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。
还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。
关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。
1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。
1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Δ.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。
50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。
目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。
离散时间马尔可夫链以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n1<<I>n2<…<<I>nln>0,i1,i2,…，il，i,j∈E，有只要其中条件概率（见概率）有意义。
(完整word版)马尔可夫决策过程马尔可夫决策过程(MarkovDecisionProcesses
(完整word版)马尔可夫决策过程马尔可夫决策过程(MarkovDecisionProcesses 马尔可夫决策过程马尔可夫决策过程(Markov Decision Processes，MDP）马尔可夫决策过程概述马尔可夫决策过程是基于马尔可夫过程理论的随机动态系统的最优决策过程。
马尔可夫决策过程是序贯决策的主要研究领域。
它是马尔可夫过程与确定性的动态规划相结合的产物,故又称马尔可夫型随机动态规划，属于运筹学中数学规划的一个分支.马尔可夫决策过程是指决策者周期地或连续地观察具有马尔可夫性的随机动态系统，序贯地作出决策。
即根据每个时刻观察到的状态，从可用的行动集合中选用一个行动作出决策，系统下一步（未来）的状态是随机的，并且其状态转移概率具有马尔可夫性。
决策者根据新观察到的状态，再作新的决策,依此反复地进行。
马尔可夫性是指一个随机过程未来发展的概率规律与观察之前的历史无关的性质。
马尔可夫性又可简单叙述为状态转移概率的无后效性。
状态转移概率具有马尔可夫性的随机过程即为马尔可夫过程。
马尔可夫决策过程又可看作随机对策的特殊情形，在这种随机对策中对策的一方是无意志的。
马尔可夫决策过程还可作为马尔可夫型随机最优控制，其决策变量就是控制变量。
马尔可夫决策过程的发展概况50年代R。
贝尔曼研究动态规划时和L.S。
沙普利研究随机对策时已出现马尔可夫决策过程的基本思想。
R。
A.霍华德（1960）和D。
布莱克韦尔（1962)等人的研究工作奠定了马尔可夫决策过程的理论基础.1965年，布莱克韦尔关于一般状态空间的研究和E.B。
丁金关于非时齐（非时间平稳性）的研究，推动了这一理论的发展。
1960年以来，马尔可夫决策过程理论得到迅速发展，应用领域不断扩大。
凡是以马尔可夫过程作为数学模型的问题,只要能引入决策和效用结构，均可应用这种理论。
马尔可夫决策过程的数学描述周期地进行观察的马尔可夫决策过程可用如下五元组来描述：｛S，(A(i），i∈S,q,γ，V}，其中S 为系统的状态空间（见状态空间法）； A（i）为状态i(i∈S）的可用行动（措施，控制)集;q为时齐的马尔可夫转移律族，族的参数是可用的行动;γ是定义在Γ（Г呏{（i,ɑ)：a∈A(i），i∈S}上的单值实函数;若观察到的状态为i，选用行动a，则下一步转移到状态 j的概率为q（j│i，ɑ）,而且获得报酬γ(j，ɑ）,它们均与系统的历史无关；V是衡量策略优劣的指标（准则）。
随机过程第5章
第五章 离散参数Markov 链5.1 Markov 链的基本概念 1．Markov 链和转移概率矩阵 定义5-1考虑只取有限个或可数个值的随机过程{},0,1,2,nX n = ．把过程所取可能值的全体称为它的状态空间，记之为E ，通常假{}0,1,2,E = ．若n X i =就说“过程在时刻n 处于状态i ”．若对任意状态011,,,(,n 0)n i i i i j -≥ 及任意的有11111001(|,,,,)(|)n n n n n n n P X j X i X i X i X i P X j X i +--+======== 这样的随机过程称为Markov 链．假设每当过程处于状态i ，则在下一个时刻将处于状态j 的概率是固定的ijp ，即对任意时刻n ，有1(|)n nijP X j X i p +===，称过程具有齐次性．称矩阵00010201011121012j j i i i ij p p p p p p p p P p p p p ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦是一步转移概率矩阵，简称为转移矩阵． 由ijp 的定义可知，这是一种带有平稳转移概率的Markov 链，也称作时间齐次Markov 链或简称时齐次Markov 链．我们研究的均为齐次马氏链．2．例题例5-1（直线上的随机游动）考虑在直线上整数点上运动的粒子，当它处于位置j 时，向右转移到j+1的概率为p ，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即00X =．于是粒子在时刻n 所处的位置{}n X 就是一个Markov 链，且具有转移概率,1,10,jk p k j p q k j =+⎧⎪==-⎨⎪⎩其他当12p q ==时，称为简单对称随机游动．例5-6（排队模型）考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务．设在第n 个服务周期中到达的顾客数为一随机变量n Y ，且序列{}nY 是独立同分布随机序列，即(),0,1,2,,n k P Y k p k === 且01k k p ∞==∑设n X 为服务周期n 开始时服务台前顾客数，则有11,1,0n n n n n n X Y X X Y X +-+≥⎧=⎨=⎩若若此时{},1nXn ≥为一Markov 链，其转移概率矩阵为01234012340123012000p p p p p p p p p p P p p p p p p p ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦例5-8（生灭链）观察某种生物群体，以n X 表示在时刻n群体的数目，设为i 个数量单位，如在时刻n+1增生到i+1个数量单位的概率为i b ，减灭到i-1个数量单位的概率为i a ，保持不变的概率为1()i i i r a b =-+，则{},0nX n ≥为齐次马尔可夫链，{}0,1,2,E = ，其转移概率为,1,,1i ij i ib j i p r i ja j i =+⎧⎪==⎨⎪=-⎩ 0(0)a =,称此马尔可夫链为生灭链．3．定理5-1设随机过程{}nX 满足：（1）1(,)(1),n n n X f X n ξ-=≥其中:f E E E ⨯→，且n ξ取值在E 上； （2）{},1nn ξ≥为独立同分布随机变量，且0X 与{},1n n ξ≥也相互独立，则{}n X 是Markov 链，而且其一步转移概率为，对于任意,i j E ∈，1((,))ij p P f i j ξ==证明：设1n ≥，由上面(1)、(2)可知，1n ξ+与12,,,nX X X 互相独立，所以有1110011100111001(|,,,)((,)|,,,)((,)|,,,)((,))n n n n n n n n n n n n n n P X j X i X i X i P f X j X i X i X i P f i j X i X i X i P f i j ξξξ+--+--+--+================同理111001(|,,,)(|)n n n n n n P X j X i X i X i P X j X i +--+=======即{}nX 是Markov 链，由时间齐次性，其一步转移概率为1((,))ij p P f i j ξ==于是定理5-1得证．4．定理5-2时齐次Markov 链{}nX 完全由其初始状态的概率分布0(),1,2,i p P X i i ===和其转移概率矩阵()ijP p =所确定．证明：对于任意12,,,n i i i E ∈ ，计算有限维联合分布，由概率的乘法公式及马氏性可知1001121001100111100111100111111001111(,,,)(,,,)(|,,,)(,,,)(|)(,,,)n n n nn n n n n n n n n n n n n n n n i i i i i i i i i P X i X i X i P X i X i X i P X i X i X i X i P X i X i X i P X i X i P X i X i X i p p p p p ------------======================定理5-2得证． 5．例题 例5-9（1）（二项过程的概念）设在每次试验中，事件A 发生的概率为(01)p p <<，独立地重复进行这项试验，以n Y 表示到第n 次为止事件A 发生的次数，则{},1,2,nY n = 是一个二项过程．说明：令n X 表示第n 次试验中事件A 发生的次数，则n X ~(0)1,(1),1,2,n n P X p P X p n ==-=== 且独立．（易知{},1nX n ≥为马氏过程）而1,1,2,n n Y X X n =++= 服从二项分布(,)B n p ，故称此{},1nY n ≥为二项过程．（2）二项过程具有独立平稳增量性． 证明：易知增量1n l n n n l Y Y X X +++-=++ ，1121n l k n l n l n l k Y Y X X ++++++++++-=++ ，等等相互独立；且~(,),1,2,n m n Y Y B m p n +-= ，即具有平稳性． 即{},1nY n ≥为一个独立平稳增量过程．（3）独立平稳增量过程为马氏过程．5.2 C-K 方程1．定理5-3 Chapman-Kolmogorov 方程 对任何整数,0m n ≥， 有()()()m n m n ijik kj k Epp p +∈=∑或()()()m n m n P P P +=⨯证明：这里只需要证明()(1)n n P PP -=成立，再依次递推即可证明本定理．（？）因为()0100100101010(1)(|)(,|)(|)(|,)(|)(|)(n ij n n k n k n k n ik kj k P P X j X i P X j X k X i P X k X i P X j X i X k P X k X i P X j X k p p ∞=∞=∞=∞-====================∑∑∑∑由马氏性）根据矩阵的乘法规则，知()(1)n n P PP -=．定理得证．注：定义m 步转移概率()(|)m ijn m n pP X j X i +===，()m ijp 表示给定时刻n 时，过程处于状态i ，间隔m 步之后过程在时刻n+m 转移到了状态j 的条件概率．还约定(0)1iip =，(0)0ijp =，i j ≠以()n ijp 表示第i 行、第j 列的元素矩阵()n P =(()n ijp ),称为Markov 链的n 步转移概率矩阵．2．例题（两状态Markov 链） 例5-10在重复独立贝努里（Bernoulli ）试验中，每次试验有两种状态{}0,1E =，设{}nX 表示第n 次试验中出现的结果，且有(1),(0)1,1,2,n n P X p P X q p n =====-=其中01p <<，则{},1nX n ≥显然是独立同分布随机序列，从而它是Markov 链．于是经过计算有00100111,p p q p p p ====所以，一步转移概率矩阵为q p P qp ⎡⎤=⎢⎥⎣⎦而且有()n qp PP q p ⎡⎤==⎢⎥⎣⎦5.3 Markov 链的状态分类 1．互通 定义5-2称自状态i 可达状态j ，并记i j →，如果存在0n >，使()0n ijp >，称状态i 与j 互通（相同，互达），并记为i j ↔，如i j →且j i →2．定理5-4可达关系与互通关系都具有传递性，即如果i j →且j k →，则i k → 证：因为有i j →，j k →，所以存在1,1l m ≥≥，使()()0,0l m ij jk p p >>由C-K 方程()()()()()0l m l m l m ik is sk ij jk sp p p p p +=≥>∑这里1l m +≥，所以i k →成立．若将可达关系得证明正向进行，再反向进行，就可得出互通关系的传递性，证毕． 3．定义5-3 设{},1nXn ≥为齐次Markov 链，其状态空间为E 。