Markov过程
马尔可夫决策过程简介
马尔可夫决策过程简介马尔可夫决策过程（Markov Decision Process，MDP）是一种在人工智能和运筹学领域广泛应用的数学模型。
它可以描述一类随机决策问题，并提供了一种优化决策的框架。
在现实世界中，许多问题都可以被建模为马尔可夫决策过程，比如自动驾驶车辆的路径规划、机器人的行为控制和资源分配等。
1. 马尔可夫决策过程的基本概念在马尔可夫决策过程中，问题被建模为一个五元组（S, A, P, R, γ）：- S 表示状态空间，包括所有可能的状态；- A 表示动作空间，包括所有可能的动作；- P 表示状态转移概率，描述了在某个状态下采取某个动作后转移到下一个状态的概率分布；- R 表示奖励函数，描述了在某个状态下采取某个动作后获得的即时奖励；- γ（gamma）表示折扣因子，用于平衡当前奖励和未来奖励的重要性。
2. 马尔可夫决策过程的模型马尔可夫决策过程的模型可以用有向图表示，其中节点表示状态，边表示从一个状态到另一个状态的动作，边上的权重表示状态转移概率和即时奖励。
通过对模型进行分析和计算，可以找到最优的决策策略，使得在长期累积奖励最大化的情况下，系统能够做出最优的决策。
3. 马尔可夫决策过程的求解方法对于小规模的马尔可夫决策过程，可以直接使用动态规划方法进行求解，比如值迭代和策略迭代。
值迭代是一种迭代算法，通过不断更新状态值函数来找到最优策略；策略迭代则是一种迭代算法，通过不断更新策略函数来找到最优策略。
这些方法可以保证最终收敛到最优解，但是计算复杂度较高。
对于大规模的马尔可夫决策过程，通常采用近似求解的方法，比如蒙特卡洛方法、时序差分学习方法和深度强化学习方法。
蒙特卡洛方法通过对大量样本进行采样和统计来估计状态值函数和策略函数；时序差分学习方法则是一种在线学习算法，通过不断更新估计值函数来逼近真实值函数；深度强化学习方法则是一种基于神经网络的方法，通过端到端的学习来直接从环境中学习最优策略。
3.2-纯粹随机过程、Markov过程、独立增量过程
6ቤተ መጻሕፍቲ ባይዱ
5
独立增量过程
独立增量过程是指对任意n和任意0≤t1<t2<…<tn ， 随机过程{ξt }t≥0的增量∆ 1ξt (t)，∆ 2ξt(t)，…， ∆nξt(t)相互独立，其中∆nξ(t)= ξ(tn)- ξ(tn-1)。 独立增量过程是指随机过程的变化量是独立的， 是Markov过程的一种类型。
4
马尔可夫性(无后效性 马尔可夫性 无后效性) 无后效性
过程或(系统)在时刻t0所处的状态为已知的
条件下,过程在时刻t > t0所处状态的条件分布与
与过程在时刻t0之前所处的状态无关的特性称为
马尔可夫性或无后效性 马尔可夫性或无后效性. 过程“将来”的情况与“过去” 即: 过程“将来”的情况与“过去”的情况是无 关的. 关的
3
Markov过程 过程
Markov过程是指对每个 和任意0≤t1<t2<…<tn， 过程是指对每个n和任意 ≤ 过程是指对每个 和任意 随机过程{ξ 随机过程 ξt }t≥0的条件分布函数满足 的条件分布函数满足 Fn(xn+1,tn+1 / x1,t1; x2,t2; …; xn,tn) = Fn(xn+1,tn+1 / xn,tn)。 。 Markov过程的记忆性比纯粹随机过程要好点，但 过程的记忆性比纯粹随机过程要好点， 过程的记忆性比纯粹随机过程要好点 变量未来的变化也只与现在有关， 变量未来的变化也只与现在有关，与该变量的历史 及其到现在以前的演变形式无关， 及其到现在以前的演变形式无关，这种性质成为马 尔科夫性。 尔科夫性。
纯粹随机过程、Markov过程 过程、 纯粹随机过程、Markov过程、独 立增量过程
《Markov过程》课件
欢迎来到《Markov过程》PPT课件，在本课件中，我们将深入探讨Markov过程 的定义、特点、应用以及在自然语言处理中的具体应用。
什么是Markov过程？
定义
Markov过程是一种随机过程， 具有马尔可夫性质，即未来 状态只依赖于当前状态，而 不受过去状态的影响。
马尔可夫过程模型
物理模型
马尔可夫过程可以用 于描述物理系统的转 变过程，如粒子的扩 散和能量的传统中的群 体行为和信息传播过 程，如疾病传播和舆 论演化。
经济学模型
马尔可夫过程可应用 于经济系统的预测和 优化，如股市走势和 消费者购买行为。
生物学模型
马尔可夫过程可用于 描述生物系统中的遗 传变异和生态演化等 过程，如基因突变和 种群动态。
1 离散时间、连续时间
马尔可夫过程根据时间的离散性或连续性进行分类，可应用于不同时间尺度的系统建模。
2 有限状态、无限状态
马尔可夫过程根据状态的数目进行分类，可用于多种不同规模和复杂度的系统建模。
3 时间齐次、时间非齐次
马尔可夫过程根据状态转移概率是否随时间变化进行分类，适用于不同动态变化的过程 建模。
转移矩阵
转移矩阵表示了Markov链中状态之间的概率转移关 系，是分析和计算稳态分布的重要工具。
稳态分布
稳态分布是指Markov链在长期演化后，各个状态的 概率分布趋于稳定的分布情况。
细致平衡条件
细致平衡条件是指Markov链中的所有状态满足的条 件，保证了马尔可夫链在平衡状态下的特性。
马尔可夫过程的分类
特点
Markov过程具有无记忆性、 一步转移性和时间齐次性等 特点，使其在建模与分析中 具有广泛应用。
应用
随机过程第4章Markov过程（PDF）
第四章 Markov 过程本章我们先讨论一类特殊的参数离散状态空间离散的随机过程，参数为0{0,1,2,}T N ==L ，状态空间为可列{1,2,}I =L 或有限{1,2,,}I n =L 的情况，即讨论的过程为Markov 链。
Markov 链最初由Markov 于1906年引入，至今它在自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。
之后我们将讨论另一类参数连续状态空间离散的随机过程，即纯不连续Markov 过程。
§4.1 Markov 链的定义与性质一、Markov 链的定义定义 4.1设随机序列{;0}n X n ≥的状态空间为I ，如果对0n N ∀∈，及0110011,,,,,{,,,}0n n n n i i i i I P X i X i X i +∈===>L L ，有：11001111{,,,}{}n n n n n n n n P X i X i X i X i P X i X i ++++=======L （4.1.0)则称{;0}n X n ≥为Markov 链。
注1：等式（4.1.0）刻画了Markov 链的特性，称此特性为Markov 性或无后效性，简称为马氏性。
Markov 链也称为马氏链。
定义4.2 设{;0}n X n ≥为马氏链，状态空间为I ，对于,i j I ∀∈，称1{}()ˆn n i j P X j X i p n +===为马氏链{;0}n X n ≥在n 时刻的一步转移概率。
注2：一步转移概率满足：()0,,()1,i j i jj Ip n i j Ipn i I ∈≥∈=∈∑若对于,i j I ∀∈，有1{}()ˆn n i j i j P X j X i p n p +===≡即上面式子的右边与时刻n 无关，则称此马氏链为齐次（或时齐的）马氏链。
设{}0()(0),p i P X i i I ==∈，如果对一切i I ∈都有00()0,()1i Ip i p i ∈≥=∑，称0()p i 为马氏链的初始分布。
马尔可夫过程收敛性判定准则构造
马尔可夫过程收敛性判定准则构造马尔可夫过程（Markov process）是一类具有“无记忆性”的随机过程，其转移概率仅与当前状态有关，与之前的状态无关。
在实际应用中，我们常常关注马尔可夫链的收敛性质，即随着时间的推移，该过程是否趋于稳定。
本文将介绍马尔可夫过程收敛性判定的准则构造方法。
马尔可夫链（Markov chain）是马尔可夫过程的离散形式，在离散状态空间上进行转移。
为了判定马尔可夫链的收敛性，我们需要构造相关的准则。
下面将从马尔可夫链的不可约性、遍历性和正则性三个方面进行详细探讨。
一、不可约性（Irreducibility）马尔可夫链的不可约性是指状态空间中的任意两个状态都可以互相转换，即任意状态到达任意状态的转移概率大于0。
我们可以通过构建状态转移矩阵来判断马尔可夫链的不可约性。
如果状态转移矩阵是不可约的，则该马尔可夫链是不可约的。
二、遍历性（Aperiodicity）马尔可夫链的遍历性是指从任意状态出发，经过有限步骤后回到该状态的概率大于零。
遍历性与状态的周期有关，周期为1的状态是遍历的基本单位。
如果马尔可夫链中不存在周期大于1的状态，则该马尔可夫链是遍历的。
三、正则性（Regularity）马尔可夫链的正则性是指从任意状态出发，经过若干步骤后达到其他所有状态的概率大于零。
正则性与状态的连通性有关，连通性是指任意两个状态之间存在有限步骤的转移路径。
如果马尔可夫链是不可约的且存在一步骤可达到任意状态的状态，则该马尔可夫链是正则的。
根据上述准则，我们可以通过以下步骤来构造马尔可夫过程收敛性判定的准则：步骤一：构建状态转移矩阵根据问题的具体场景，我们确定马尔可夫过程的状态和状态转移概率，并将其表示为一个状态转移矩阵。
状态转移矩阵的元素表示从某一状态到达另一状态的概率。
步骤二：判断不可约性对状态转移矩阵进行分析，判断是否存在任意两个状态之间的转移概率都大于0。
如果存在，则该马尔可夫链是不可约的，否则需要重新构造状态转移矩阵。
第五章 随机过程中的马尔可夫过程
p(k m) ij
(n)
p(k il
)
(n)
p(m lj
)
(n
k
),
i, j S,
n, k, m 0
l
或
P(km) (n) P(k) (n)P(m) (n k)
证明
2006年9月
p(k ij
m)
(n)
P{X
nk
m
j|
Xn
i}
P{U( X nk l), X nkm j | X n i} l
i
P( X 0 i)P( Xt1 i1 | X 0 i)P( X t2 i2 | X 0 i, X t1 i1)L i
• P( X tn in | X 0 i, X t1 i1, X t2 i2 ,L , X tn1 in1)
P( X 0 i)P( X t1 i1 | X 0 i)P( X t2 i2 | X 0 i)P( X tn in | X tn1 in1)
i
qi0
pt1 ii1
(0)
pt2 i1i2
t1
(t1
)L
p (t ) tn tn1
in1in
n1
i
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
3) 绝对分布
称q(jn) P(Xn j), n 0, j S为马尔可夫链{Xn，n 0}的绝对分布。
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
一种最简单的形式:
P{X (t1) i1, X (t2 ) i2,L , X (tn1) in1, X (tn ) in} P{X (t1) i1}P{X (t2) i2}L P{X (tn ) in}
工程随机过程_3_马尔可夫过程(Markov)
College of Science, Hohai University
Stochastic Processes
定理2 若随机变量序列{X(n)，n0}对任何n 均满足下式，则该序列为马氏链。
P{ X (0) i0 , X (1) i1 ,, X ( n) in }
P { X ( 0) i 0 } P{ X (1) i1 | X (0) i0 } P{ X ( 2) i2 | X (1) i1 } P { X ( 3 ) i 3 | X ( 2) i 2 } P{ X ( n) in | X ( n 1) in1 }
Pn ( P1 )
n
College of Science, Hohai University
Stochastic Processes
初始概率分布： 马氏链在初始时刻（即零时刻）取各状态 的概率分布 p0 ( i0 ) P{ X (0) i0 } i E 0 称为它的初始概率分布。 绝对概率分布： 马氏链在第n时刻（n 0）取各状态的概 率分布 p ( j ) P{ X (n) j } j E
第三章
马尔可夫过程 (Markov)
College of Science, Hohai University
Stochastic Processes
Markov过程是一个具有无后效性的随机过程. 无后效性: 当过程在时刻tm所处的状态为已知时, 过程在 大于tm的时刻t所处状态的概率特性只与过程在 tm时刻所处的状态有关, 而与过程在tm时刻之前 的状态无关. (1)参数和状态都离散 -----马氏链 (2)参数离散, 状态连续 -----马氏序列 (3)其余皆为马氏过程.
第二章 Markov过程5
第二章 Markov 过程8．纯不连续马氏链的极限性质（一）纯不连续马氏过程的-h 离散骨架记})({)(j t X P t p j ==，S j ∈∀，称),)(()(S i t p t p i ∈∀=ρ，为纯不连续马氏过程}0,)({≥t t X 在t 时刻的分布，称),)0(()0(S i p p i ∈∀=ρ为初始分布。
注意：任意n 个时刻的联合分布率可由)0(p ρ和)(t P 唯一确定，且有关系：)()0()(t P p t p ρρ=定义：对于纯不连续马氏过程}0,)({≥t t X ，任取0>h ，记：0,)()(≥=n nh X h X n则}0,)({≥n nh X 是一离散时间的马氏链，称为以h 为步长的-h 离散骨架，简称h 骨架。
它的n 步转移概率矩阵为)(nh P 。
对于满足连续性条件的齐次纯不连续马氏过程，有以下结论： 命题：S i t ∈≥∀,0，有0)(>t p i i 。
证明：由01)0(>=i i p ，及连续性条件1)(lim 0==→i i i i t t p δ，可知： 对任意固定的0>t ，当n 充分大时，有0)/(>n t p i i ，由C －K 方程有：)()()()()(t p s p t p s p t s p i i i i Sk i k k i i i ≥=+∑∈因此可得：0)]/([)(>≥n i i i i n t p t p由此命题可知：对所有的0>h 及正整数n ，及S i ∈∀，有0)(>nh p i i ，这意味着对每一个离散骨架}0,)({≥n nh X ，每一个状态都是非周期的。
因此对于纯不连续的马氏过程，无需引入周期的概念。
定义：若存在0>t ，使得0)(>t p j i ，则称由状态i 可达状态j ，记为j i →；若对一切0>t ，有0)(=t p j i ，则称由状态i 不可达状态j ；若j i →且i j →，则称状态i 与j 相通，记作j i ↔。
9-连续时间Markov过程
j 0,1, 2
* ** p* [ r V (n 1)]} ij ij j
利用这种迭代, 可知本月无定单, 采用最优 策略,4个月后最大利润为134(万元).
转移概率矩阵: 0 q1 0 0 0 0 P 0 0 0 0 0 0 0 q2 0 0 0 0 0 0 q3 0 0 0 0 0 0 q4 1 0 r1 r2 r3 r4 0 1
令n ，可知 0 为(*)最小正根.
下证(*)有根的条件 : 设G ' (1) (数学期望) . G( z) 构造函数 : f ( z ) , 0 z 1. z G' ( z) z G( z) 显然, f (0) , f (1) 1, f ' ( z ) (0 z 1). 2 z 考虑左右导数: f ' (0) , f ' (1) 1. f "( z) (G" ( z ) z G ' ( z ) G ' ( z ))z 2 2 z (G ' ( z ) z G ( z )) (0 z 1). 4 z 1 3 ( k 0 p k [k (k 1) 2k 2]z k ) 0. z
利润预测 ：某玩具商每月至多接 受2份定单. X (n)表示第n个月的定单数，可设是 齐次 Markov链, 根据过去经营的资料分 析, 接受定单的转移概率为 p 00 P p 10 p 20 r00 R r10 r 20 p 02 0.1 0.3 0.6 p12 0.3 0.3 0.4 , 0.3 0.1 0.6 p 21 p 22 I 0 1 2表示接受的定单数 .相应于P报酬矩阵为 p 01 p11 r02 20 10 20 r11 r12 10 20 40 r00 20表明 10 40 60 r21 r22 这个月无定单 , 下个月还无定单公司赔 20万元. r01
marchc原理
marchc原理"马尔科夫过程"（Markov Process，也叫马尔可夫链）最初是由俄国数学家安德烈·马尔科夫（Andrey Markov）在1906年提出的一种概率模型。
直观地说，它用来描述随机过程中某个状态的变化规律，具体来说，就是某一时刻的状态只与它的上一个状态有关。
马尔科夫过程的核心是状态和状态转移概率。
我们可以用一个简单的例子来说明：假设某人要从A地到B地，他有三种选择：步行、骑自行车或者开车。
每种选择都有它的概率，而这个概率又受到很多影响因素，比如天气，交通状况等等。
我们可以将这个过程抽象成一个马尔科夫过程。
在这个例子中，人的状态就是他所在的位置，即可以在A地、B地、还是在路上。
每个状态都有一个概率来表示这个状态的出现频率，此外，状态之间还有相应的转移概率，即人从一个状态到另一个状态的概率。
比如，假设这个人开始在A地，步行和骑自行车的概率都是0.3，而开车的概率是0.4。
当他选择步行前往B地时，步行的概率为1，即100%。
但在路上，他可能会被大雨浇湿，或者遇到了交通堵塞，这又会影响到下一步的选择，比如他可能会转而选择骑自行车或开车。
马尔科夫过程的核心就在于这些概率的推导和计算，需要针对具体的场景进行建模，而这个过程又叫做“马尔科夫链的建模”。
马尔科夫链的建模可以应用于很多实际领域中，比如自然语言处理、机器学习、金融风险模型等等。
其中最为著名的例子就是Google公司的PageRank算法，这个算法就是基于马尔科夫链的思想实现的，用来衡量网页的重要性。
通过计算网页之间的链接关系和点击率等信息，可以建立网页之间的转移概率矩阵，然后通过迭代计算，得到每个网页的PageRank值，从而实现搜索引擎排名的计算。
总之，马尔科夫过程是一种非常有用的概率模型，可以用来描述许多随机过程中的状态变化规律，具有广泛的应用前景。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
称为n步转移矩阵 规定
1，当i j P0 ( p ) 0，当i j
(0) ij
P{X (n 1) j | X (n) i, X (n 1) in1 , , X (1) i1 , X (0) i0 }
P{X (n 1) j | X (n) i}
则称{ X (t ) ,t T }为一个马尔可夫链（或马氏链）
简记为{ X n ,n 0 }
15/32
故
r r ua c 1 r
a
c
q a q c ( ) ( ) p p
当
q c 1 ( ) p
r 1
u0 uc 1 cd0
c j uj c
而 因此 故
u j (c j ) d 0
ca b ua c c
3/32
注:
马氏链由 P{ X 0 i0 } 和条件概率 P{X n in | X n1 in1} 决定
有限马氏链 状态空间是有限集I={0,1,2,…，k}
2．一步转移概率 马氏链在时刻n处于状态 i 的条件下，到时刻n+1转 移到状态 j 的条件概率， 即
P{ X n1 j | X n i}
且 t1 t 2 t n 1 t n ，有
P( X (t n ) xn | X (t n1 ) xn1 ，„，X (t1 ) x1 )
= P( X (t n ) xn | X (t n1 ) xn1 ） ，
则称 X (t ) 为马尔可夫（Markov）过程
P{ X n in , X s is | X r ir }
= P{ X n in | X r ir } P{ X s is | X r ir }
表明 若已知现在，则过去与未来是独立的。
20/32
性质4
设{ X n , n 0 }为马氏链，其状态空间为 I，
则
P{X n1 in1 ,, X nm inm | X n in ,, X 0 i0 }
= P{ X n1 in1 ,, X n m in m | X n in }
表明 特别
若已知现在，则过去同时对将来各时刻的状 态都不产生影响。
P{ X n m in m | X n in ,, X 0 i0 }
= P{ X n m inm | X n in }
16/32
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
q a q c ( ) ( ) p p q c 1 ( ) p
用同样的方法可以求得乙先输光的概率
b 当 r 1 即 p q 时， 甲先输光的概率为 c
状态空间I={0，1，2，…，k}
p00 (n) p ( n) P 10 1 pk 0 ( n )
p01 (n) p11 (n) pk 1 ( n )
p0 k (n) p1k (n) pkk (n)
6/32
4．齐次马氏链
如果马氏链的一步转移概率 pij (n) 与 n 无关，即
称为在时刻n的一步转移概率， 记作 pij (n)
4/32
注:
由于概率是非负的，且过程从一状态出发，经过一步转 移后，必到达状态空间中的某个状态 一步转移概率满足
（1） pij (n) 0 , i, j I
随机 矩阵Βιβλιοθήκη （2）jI
pij (n) 1 , i I
如果固定时刻 n T
称为n步转移概率
i. j I
由于马氏链是齐次的，这个概率与m无关
所以简记为 pij
(n )
23/32
显然有
( ( pijn) 0 ， pijn ) 1 ，i. j I
jI
2．n步转移矩阵
由所有 n 步转移概率 pij
(n )
为元素组成的矩阵
Pn ( p )
(n ) ij
i. j I
P{ X n 1 j | X n i} pij
则称此马氏链为齐次马氏链（即关于时间为齐次） 5．初始分布 设 p0 (i) P{ X 0 i} ，i I ，
如果对一切i I 都有
p0 (i) 0
iI
p0 (i) 1
7/32
称 p0 (i) 为马氏链的初始分布
表明 马氏链的子链也是马氏链
22/32
三、n步转移矩阵 在马氏链的研究中，须研究“从已知状态i出发， 经过n次转移后，系统将处于状态j”的概率. 1．n步转移概率
设{ X n , n 0 }为齐次马氏链，其状态空间为 I，
系统在时刻m从状态i经过n步转移后处于状态j的概率
P{ X m n j | X m i}
1
2
3
4
5
p11 p 21 P p31 1 p41 p51
0 1 3 P 0 1 0 0
p12 p22 p32 p42 p52
1 1 3 1 3 0 0
p13 p23 p33 p43 p53
0 1 3 1 3 1 3 0
p14 p24 p34 p44 p54
21/32
性质5
则
设{ X n , n 0 }为马氏链，其状态空间为 I，
对任意给定的 n 个整数，0 k1 k 2 k n ，有
P{ X kn ikn | X kn1 ikn1 ,, X k1 ik1 }
= P{ X kn ikn | X kn 1 ikn 1 }
第五章
Markov过程
第一节 基本概念 第二节 Markov链的状态分类及性质 第三节 极限定理及平稳分布
第四节 Markov链的应用
第五节 连续时间Markov链 第六节 转移概率和柯尔莫哥洛夫微分方程
1/32
设{ X (t ) ， t T }对任意 n 个不同的 t1 , t 2 ,„, t n T
设
q r p
d j u j u j 1
则可得到两个相邻差分间的递推关系
d j rd j 1
于是
d j rd j 1 r d j 2 r d 0
2 j
需讨论 r
14/32
当
r 1 c 1 1 u0 uc (u j u j 1 )
3．一步转移矩阵
则由一步转移概率为元素构成的矩阵 P1 ：
称为在时刻n的一步转移矩阵
5/32
即有
p00 (n) p ( n) 10 P 1 pn 0 ( n )
p01 (n) p11 (n) pn1 (n)
有限马氏链
j 0
c 1
d j r d0
j
i j c 1
j 0 c 1
而
u j u j uc
c 1
j 0
1 r d0 1 r
c
(ui ui 1 )
c 1 i
di r d0 i j i j j c r r j c j 1 d0 r (1 r r )d 0 1 r j c 两式相比 r r uj 1 rc
根据全概率公式有
u j u j 1 p u j 1q
这一方程实质上是一差分方程，它的边界条件是
u0 1, uc 0
13/32
欲求 于是
ua
uj （p + q） u j pu j 1 qu j 1
先求
q u j u j 1 ( )(u j 1 u j ) p
12/32
解
设0 j c
设 u j 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
考虑质点从j出发移动一步后的情况
在以概率 p 移到 j 1 的假设下，
u 到达 0 状态先于到达 c 状态的概率为 j 1
同理
以概率 q 移到 j 1 的前提下，
u 到达 0 状态先于到达 c 状态的概率为 j 1
注
马氏链在初始时刻有可能处于I中任意状态，初始分布 就是马氏链在初始时刻的概率分布。
6．绝对分布 概率分布
n pn (i) P{ X n i} ，i I ， 0
称为马氏链的绝对分布或称绝对概率 例1 天气预报问题
8/32
例2 不可越壁的随机游动
设一质点在线段[1，5 ]上随机游动，状态空间I={1，2，3， 4，5}，每秒钟发生一次随机游动，移动的规则是：
q a 当 p q 时，乙输光的概率为1 ( ) p a 当 p q 时，乙先输光的概率为 c q c 1 ( ) p
17/32
||
二、基本性质 性质1
设{ X n , n 0 }为马氏链，其状态空间为 I，则
P{ X 0 i, X 1 i1 ,, X n in } = P{X 0 i} P{ X 1 i1 | X 0 i} P{ X 2 i2 | X 1 i1 } „ P{X n in | X n1 in1}
0 0 1 3 1 3 1
p15 p25 p35 p45 p55
0 0 0 1 3 0
故
10/32
若将移动规则改为 （1）若移动前在2，3，4处，则均以概率1/2向左或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。 因为质点在1，5两点被“吸收”， 故称 有两个吸收壁的随机游动 其一步转 移矩阵为
1 1 2 P 0 1 0 0 0 0 1 2 0 0 0 1 2 0 1 2 0 0 0 1 2 0 0 0 0 0 1 2 1