随机环境马氏链的状态性质
有限状态下随机环境马氏链的性质
Ａｂ ｔａ ｔ Ｌｅ ｛ ｝ｂ ａ ｋ ｖｃ ａｎ ｎｒ ｎ ｏ ｅ ｖｒ ｎ ｅ ｔ ｔ ｉｉｅｏ ｏ ｎ ａ ｌ ｔ ｔ ｐ ｃ ．Ｆ ｒ ｔ ｓｒ ｃ ｔ ｅＭ ｒ ｏ ｈ ｉｓｉ ａ ｄ ｍ ｎ ｉｏ ｍ ｎ ｓｗｉ ｆｎｔ ｒｃ ｕ ｔｂ ｅｓａｅｓ ａ ｅ ｉｓｌ ｈ ｙ，ｗｅ
有 限 状 态 下 随 机 环 境 马 氏 链 的性 质
宁小青 郭 光耀
（ 汉工程 大学 理学 院 ， 汉 武 武 ４０ ７ ） ３ ０ ３
摘 要 ： 设 是 随 机 环 境 的 马 氏链 ， 先 介 绍 了 Ｈｏ Ｉ马 氏 链 及 绕 积 马 氏 链 ， 用 绕 积 马 氏 链 ， 义 假 首 ｐ 利 定
ｉ ｒ ｄ ｅ Ｈ ｏｐ ａ ｋ ｖ ｃ ａ ｎ ｎｄ ｓ ｗ ｏ ｕｃ ａ ｋ ｖ ｃ ａ ｎｓ ａ ｄ ｄ ｆｎｅ ｓ ｍ ｅ ｃ ｒ ｃ ｅ ｍ ｂｅ ｎｄ ｓ ｍ ｅ ｎｔ ｏ ｕｃ ｆＭ ｒ ｏ ｈ ｉ ｓ ａ ｋｅ ｐｒ ｄ ｔＭ ｒ ｏ ｈ ｉ ， ｎ ｅ ｉ ｏ ｈａ ａ ｔ ｒ ｎｕ ｒａ ｏ
ｔａ ｔ ｔ ｓ ａ ｄ ｗｅ ｋ ｒ ｃ ｒ ｎ ｔ ｔ ｓ；ａ ｄ ｉ ｉ ｓ ｅ ｉ ｌｓ ａ ｅ ｏ ｔｏｎ ｙ ｒ ｃ ｒ ｎ ｔ ｔ ｎ ｃ ｎ ｌ ａ ｏ Ｙ， ｉｌｓ ａ ｅ ｎ ａ ｅ ｕｒ ｅ ｔｓ ａ ｅ ｎ ｆｚ ｓｅ ｓ ｎｔａ ｔ ｔ ｒｓ ｒ ｇｌ ｅ ｕｒ ｅ ｔｓ ａ ｅ ａ ｄ ｚ ａ ｅ ｄ ｔ
Ｐｒ ｐ ｒ ｉｓ ｏ ｎ ｔ ｔ ｔ ａ ｋｏ ａ ｎ ｉ ｎ ｏ ｖ ｒ ｎ ｅ ｔ ｏ ｅ ｔｅ ｆ Ｆｉ ｉｅ Ｓ ａ ｅ Ｍ ｒ ｖ Ｃｈ ｉ ｎ Ｒａ ｄ ｍ Ｅｎ ｉｏ ｍ ｎ ｓ
随机环境中马氏链的状态研究
摘 要 ： 用马 氏链 的一 般 理 论 和 Ｆ ｇ ｅ 的 Ｌ 利 ｏｕｌ 理 论 ， 论 了 随机 环境 中马 氏链 状 态 的性 讨 质 ， 到 了状 态强常返 存在 的充 分条件 、 态正 则本 质 与 强 常返 的 关 系， 得 状 以及在 一 定条件 下保 守 集 与其任 意 非 空子 集的 关 系． 关键 词 ： 随机环 境 中马 氏链 ； 强常返 ； 则本 质 ； 可分 正 不 中图分 类号 ： １ ．２ ０２ １６ 文献标 识 码 ： Ａ
Ｖ ∈Ｌ Ｅ， ）， Ｐ为 ￡ ｆ （ ， 则 上 的压 缩算 子 ， 而 （ ， Ｐ）为一 Ｈ ｐ 链 ． 从 Ｅ， ． ｏｆ
设Ｆ∈Ｅ记Ｌｘ ；）＝ Ｉ ，（ ， ）∈Ｆ ） （．；）＝ （ ） ｕｕ ｛ ， ）∈ ， （， Ｆ Ｐ育 ｕ ｛ ， ｝ ； ｘ Ｆ Ｐ． Ｉ ， （ ０
２０ ０ ８年 ２月
Ｆ ｂ２ ｏ ｅ ．０８
文 章编 号 ：６ ２— ５ Ｘ（０ ８ Ｏ — ０ ３— ２ １７ ０ ８ ２ ０ ） １ ０ ２ ０
随 机 环 境 中 马 氏链 的 状 态 研 究 术
崔 静
（ 徽师范大学 数学 与计 算机学 院， 安 安徽 芜湖 ２ １０ ４ ００）
收稿 日期 ： ０ ２ ７—０ ２ ； 回 日期 ：０ ７－ ９— ０ ０ ６— ９ 修 ２０ ０ ２ ． 基金项 目： 安徽省教育厅 自然科学 基金 （ Ｊ０ ７ １４ 项 目资助． Ｋ２０Ｂ８ ） 作者简介 ： 崔静 （ ９２一） 女 ， １８ ， 安徽灵璧人 ， 助教 ， 硕士 ， 事随机环境 中的马 氏链研究 从
设 是 至多 可数 集 ， Ａ是其 上 的离散 一代 数 ，＠， （ Ｂ）是任 意 可测 空 间 ，Ｐ（ ）０∈ ＠｝ （ ． ｛ ０． 是 Ａ）上 的转 移 函数 族 ， 设 对 ＶＡ ∈Ａ， （ ， ，）是 ＢＸＡ可测 的． ｚ表 示 整数 ． 示非 负 整数集 ， 示 实 假 Ｐ ・ ・Ａ 设 Ⅳ表 尺表 数 集 ， ， Ｐ）是一 概率 空 间 ， （ Ｆ， 随机序 列 ， 若满 足 ： ＝（ ） 。 与 ＝（ ） 是 定义 在 （ ． Ｐ Ｆ． ）上 分别取 值 于 和 ＠ 的
马氏链
模型假设
钢琴每周需求量服从波松分布，平均每周 架 钢琴每周需求量服从波松分布，平均每周1架. 存贮策略：当周末库存量为零时，订购 架 存贮策略：当周末库存量为零时，订购3架，周初 到货；否则，不订购. 到货；否则，不订购 以每周初的库存量作为状态变量， 以每周初的库存量作为状态变量，状态转移具有 无后效性. 无后效性 在稳态情况下计算失去销售机会的概率和每周的 平均销售量, 作为该存贮策略的评价指标. 平均销售量 作为该存贮策略的评价指标
11.1 健康与疾病
通过有实际背景的例子介绍马氏链的基本概念和性质. 通过有实际背景的例子介绍马氏链的基本概念和性质 人的健康状态随着时间的推移会随机地发生转变. 人的健康状态随着时间的推移会随机地发生转变 保险公司要对投保人未来的健康状态作出估计, 保险公司要对投保人未来的健康状态作出估计 以制 订保险金和理赔金的数额 . 人的健康状况分为健康和疾病两种状态， 例1. 人的健康状况分为健康和疾病两种状态，设对特 定年龄段的人，今年健康、 定年龄段的人，今年健康、明年保持健康状态的概率 而今年患病、明年转为健康状态的概率为0.7. 为0.8, 而今年患病、明年转为健康状态的概率为 若某人投保时健康, 年后他仍处于健康状态的概率. 若某人投保时健康 问10年后他仍处于健康状态的概率 年后他仍处于健康状态的概率
模型建立
Dn P 0
Dn~第n周需求量，均值为 的波松分布 周需求量， 第 周需求量 均值为1的波松分布
P( Dn = k ) = e / k! (k = 0,1,2L)
1 0.368 2 0.184 3 0.061 >3
−1
0.368
0.019
Sn~第n周初库存量 状态变量 ) Sn ∈{1,2,3} 状态转移阵 周初库存量(状态变量 第 周初库存量 p11 p12 p13 Sn − Dn , Dn < Sn 状态转 S = n+1 P = p21 p22 p23 Dn ≥ Sn 移规律 3,
马尔科夫链在环境监测中的应用教程(五)
马尔科夫链在环境监测中的应用教程马尔科夫链是一种随机过程，它的性质可以用来描述从一个状态转移到另一个状态的概率。
在环境监测中，马尔科夫链可以用来分析环境变化的趋势，预测未来的状态，从而帮助我们更好地了解和管理环境。
一、马尔科夫链的基本概念马尔科夫链是一个离散时间随机过程，具有马尔科夫性质，即下一个状态只依赖于当前状态，与过去的状态无关。
在环境监测中，我们可以将环境的不同状态看作是马尔科夫链中的不同状态，而环境变化的过程则可以看作是状态之间的转移过程。
二、马尔科夫链的应用在环境监测中，我们可以利用马尔科夫链来分析环境变化的规律。
通过收集环境数据，我们可以建立起一个描述环境状态转移的马尔科夫链模型。
然后，我们可以利用这个模型来预测未来环境的状态，从而及时采取措施来应对环境变化。
三、马尔科夫链模型的建立建立马尔科夫链模型需要收集环境数据，并对数据进行分析。
首先，我们需要确定环境的不同状态，例如良好、一般、糟糕等。
然后，我们需要收集环境状态之间的转移概率，即在当前状态下转移到下一个状态的概率。
最后，我们可以利用这些数据来建立起一个描述环境状态转移的马尔科夫链模型。
四、马尔科夫链模型的应用建立好马尔科夫链模型之后，我们就可以利用这个模型来预测未来环境的状态。
通过计算状态转移概率，我们可以得到未来各种状态的概率分布，从而了解未来环境的可能变化趋势。
这样，我们可以及时采取措施来应对环境变化，保护环境，减少损失。
五、马尔科夫链的局限性和改进虽然马尔科夫链在环境监测中有着重要的应用，但它也有一定的局限性。
例如，马尔科夫链假设未来状态只依赖于当前状态，而与过去的状态无关，这在某些情况下可能并不成立。
因此，我们可以通过改进马尔科夫链模型，引入更多的因素，来提高模型的准确性和适用性。
六、结语马尔科夫链在环境监测中有着重要的应用，可以帮助我们更好地了解和管理环境。
通过建立马尔科夫链模型，我们可以分析环境变化的规律，预测未来环境的状态，及时采取措施来保护环境，减少损失。
马氏链简介
显然，cij 0
n
n
cij (ai1b1 j ai2b2 j ainbnj ), (i 1,2,, n)
j 1
j 1
n
n
cij (ai1b1 j ai2b2 j ainbnj ), (i 1,2,, n)
j 1
j 1
n
用随机变量 X n 表示第 n 个月的经营状况
Xn 1 Xn 2
表示销路好； 表示销路坏；
n 0,1,2
X n 称为这个经营系统的状态。
用ai n表示第 n 月处于状态 i 的概率， i 1,2,
即
ai n PXn i ai n 称为状态概率。
pij 表示已知这月处于状态 i ，下月处于状态 j 的概率，i, j 1,2, 即
每次传播消息的失真率为 p, 0 p 1,
即 ai 将消息传给 ai1, 时，传错的概率为 p
这样经过长时间传播第n个人得知消息时，消息 的真实程度如何？
第n个人知道消息可能是真，也可能是假， 有两种状态，记为
Xn 1 Xn 2
表示消息假； 表示消息真；
n 0,1,2
用ai n表示第 n 个人处于状态 i 的概率， i 1,2,
n01 2 3
4
ห้องสมุดไป่ตู้
1 0.5 0.45 0.445 0.4445 ？
0 0.5 0.55 0.555 0.5555 ？
a1(n)
5 10
5 102
a2 (n)
4 9
5 10n
5 10
1 (
1 10n1
随机环境中马氏链状态的常返性与暂留性
费时龙等: 随机环境中马氏链状态的常返性与暂留性
189
所以状态a既不是弱常返的, 也不是强暂留的. 例1说明了随机环境中马氏链状态与经典马氏链状态存在着本质区别, 随机环境中马氏链状 态存在着既不是常返的, 也不是暂留的状态. 而要使得在随机环境情形下只有常返和暂留两种 状态必须满足一定的条件, 为此, 文献[9-12]引入了如下的π 不可约概念. − → − → 定 义 3 称 X 是π 不可约的, 若对任意的x, y ∈ X, θ ∈ Θ Z , B ∈ BZ , πB > 0, 存在m ≥ 1, 使 − → 得 θ ∈ T −m B, P (θ0 , · · · , θm−1 ; x, y ) > 0. 但是, π 不可约概念在随机环境下一般是不成立的, 反例如下. − → − → − → − → 例2 设Θ = {0, 1}, Θ = Θ Z , B = B Z , π 为( Θ , B )上的概率测度, B1 = · · · × Θ × {0} × − → Θ × · · · , B2 = · · · × Θ × {1} × Θ × · · · , 则必有πB1 > 0或πB2 > 0, 若πB1 > 0, 取 θ = − → − → (· · · , 0, 0, 0, · · · ), 则对任意的m ≥ 1, 都有 θ ∈ / T −m B1 , 若πB2 > 0, 取 θ = (· · · , 1, 1, 1, · · · ), 则 − → 对任意的m ≥ 1, 都有 θ ∈ / T −m B2 , 因此π 不可约条件在随机环境下一般不能满足, 下列定理1及 定理2改进了这一条件. − → − → 定 理 1 设π 是平稳遍历的, x ∈ X, 若对几乎处处的 θ , 存在M ( θ ), 使得当n ≥ M 时, 都 − → 有P (n) ( θ ; x, x) > 0, 则状态x必然是弱常返的或强暂留的. − → 证 为方便起见, 不妨设条件对任意的 θ 成立. 若x不是强暂留的, 则存在B ∈ BZ , π (B ) > − → − → 0. 使得对任意的 θ ∈ B, 有G( θ ; x, x) = ∞, 由Pointcare常返性定理知, 存在F ⊂ B, π (F ) = − → − → π (B ) > 0, 使得对任意的 θ ∈ F, 有自然序列n1 < n2 < · · · , 满足T ni θ ∈ F. 又π 是平稳 ∞ − → 遍历的, 故由遍历性定理知π ( T −n F ) = 1, 所以对几乎处处的 θ ∈ Θ Z , 存在m ≥ 0, 使 n=0 − → − → 得T m θ ∈ F, 从而由上述证明知存在自然序列n1 < n2 < · · · , 使得T m+ni θ ∈ F , 取充分大 − → − → 的nk , 使得m + nk ≥ M ( θ ), T m+nk θ ∈ F, − → G( θ ; x, x)
马氏链的极限分布和平稳分布
马氏链的极限分布和平稳分布马氏链是一种离散时间随机过程，具有马氏性质，即未来的状态只与当前的状态有关，而与过去的状态无关。
马氏链的极限分布和平稳分布是研究马氏链长期行为的重要概念。
在本文中，我们将详细介绍马氏链的极限分布和平稳分布的概念、性质以及计算方法。
首先，我们来介绍一下马氏链的极限分布。
马氏链的极限分布是指在长时间内，马氏链的状态分布趋于稳定的分布。
也就是说，当时间趋于无穷大时，马氏链的状态分布将不再发生变化，而是收敛到一个固定的分布。
这个分布就是马氏链的极限分布。
马氏链的极限分布具有以下性质：1. 极限分布存在唯一性：对于任意一个马氏链，只要它满足一定的条件，它的极限分布就是唯一的。
2. 极限分布与初始分布无关：马氏链的极限分布与初始状态的概率分布无关，只与转移概率矩阵有关。
3. 极限分布是不可约的：如果一个马氏链是不可约的，即任意两个状态之间都是可达的，那么它的极限分布是存在的。
接下来，我们来介绍马氏链的平稳分布。
平稳分布是指在长时间内，马氏链的状态分布保持不变的分布。
也就是说，当时间趋于无穷大时，马氏链的状态分布不再发生变化，而是保持在一个固定的分布。
这个分布就是马氏链的平稳分布。
马氏链的平稳分布具有以下性质：1. 平稳分布存在唯一性：对于任意一个马氏链，只要它满足一定的条件，它的平稳分布就是唯一的。
2. 平稳分布与初始分布无关：马氏链的平稳分布与初始状态的概率分布无关，只与转移概率矩阵有关。
3. 平稳分布是不可约的：如果一个马氏链是不可约的，即任意两个状态之间都是可达的，那么它的平稳分布是存在的。
在实际应用中，我们常常需要计算马氏链的极限分布和平稳分布。
下面，我们将介绍一些常用的计算方法。
对于有限状态的马氏链，可以通过迭代法来计算极限分布和平稳分布。
迭代法的基本思想是从一个初始的概率分布开始，通过不断地迭代计算，直到收敛到极限分布或平稳分布为止。
具体的迭代计算方法有很多种，常用的有幂法、Jacobi迭代法和Gauss-Seidel迭代法等。
概率论中的马尔可夫链与随机游走
概率论中的马尔可夫链与随机游走概率论是数学的一个重要分支，研究随机事件的规律性。
其中，马尔可夫链与随机游走是概率论中常见的概念和模型。
本文将介绍马尔可夫链和随机游走的基本概念、性质和应用，并分析它们在实际问题中的作用。
一、马尔可夫链的基本概念马尔可夫链是指具有马尔可夫性质的随机过程。
马尔可夫性质是指，在给定当前状态下，未来的状态只依赖于当前状态，与过去的状态无关。
马尔可夫性质可以用条件概率表示，即对于任意两个状态 i 和 j，以及任意正整数 n，有：P(X_n=j | X_0=i, X_1=xi_1, X_2=xi_2,...,X_{n-1}=xi_{n-1}) =P(X_n=j | X_{n-1}=xi_{n-1})其中，X_0, X_1, ..., X_n 表示随机过程在不同时刻的状态。
二、马尔可夫链的性质1. 马尔可夫链的状态空间马尔可夫链的状态空间是指所有可能状态的集合。
状态空间可以是有限的，也可以是无限的。
2. 马尔可夫链的转移概率矩阵转移概率矩阵是马尔可夫链的核心概念，它用来描述从一个状态转移到另一个状态的概率。
如果状态空间是有限的，转移概率矩阵是一个方阵，其元素表示从一个状态到另一个状态的转移概率。
3. 马尔可夫链的平稳分布马尔可夫链的平稳分布是指在长时间内，马尔可夫链的状态分布趋于稳定且不随时间变化的分布。
平稳分布与转移概率矩阵有关，可以通过求解状态转移方程得到。
三、马尔可夫链的应用1. 随机游走模型随机游走是马尔可夫链在数理金融学、统计物理学等领域的重要应用之一。
随机游走模型可以用来描述在离散状态空间中，随机过程在各个状态间的随机跳跃。
2. PageRank算法PageRank算法是谷歌搜索引擎中应用的一种基于马尔可夫链的排序算法。
该算法通过将互联网看做一个巨大的马尔可夫链，根据页面之间的链接关系概率进行页面排序。
3. 马尔可夫链蒙特卡洛方法马尔可夫链蒙特卡洛方法是一种基于马尔可夫链的随机模拟方法，用于求解复杂的数学问题。
随机过程之离散参数马氏链
随机过程之离散参数马⽒链前⾔随机过程讨论的是随机变量随时间的变化情况，根据统计时间节点的连续与否和随机变量变化的连续与否可分为以下四种类型：· 连续型随机过程：变量连续、时间节点连续· 离散型随机过程：变量离散、时间节点连续· 连续随机序列：变量连续、时间节点离散· 离散随机序列：变量离散、时间节点离散本篇⽂章⾥介绍的是状态离散、时间节点离散的随机过程的⼀种。
Markov链，简称马⽒链。
马⽒链的代表性质是马⽒性，简单来讲就是在知道现在的前提下，将来与过去⽆关。
这说明现在就已经保留了⾜够的信息量可以⽤来影响未来，⽽不需要过去的陈旧的信息（有些许量变质变的味道）马⽒链的描述描述马⽒链时⼀般使⽤转移概率矩阵来刻画状态之间的转移关系，⾏列排开矩阵表⽰状态i到j。
当然，简单的转化关系绘制状态转移图可能会更加鲜明。
这些矩阵元素表⽰的是状态转移性质，⾃然有的会变，有的不会变。
我们这⾥讨论的是概率不随时间变化的情况。
当马⽒链状态总数有限时，状态转移概率矩阵阶数有限。
常⽤马⽒链描述的过程有粒⼦在直线上的随机游动【左右原地不动带有吸收壁带有反射壁等】等在针对⼀些过程构建模型时，⾸先要找到随时间不同的随机变量。
然后找到状态之间的转移规律，根据规律可以得到概率转移矩阵。
推导的时候注意对问题的理解，选择合适的⽅式去表达。
马⽒链的判定及性质1. ⼀种判定⽅法是直接⽤马⽒性，另⼀种见下图。
其主要原理在于引⼊另⼀个独⽴同分布的随机变量⼀起决定下⼀状态是什么。
引⼊的这个随机变量与我们要讨论的随机变量是相互独⽴的，那么转移概率就由这个函数关系唯⼀确定。
2. 时齐马⽒链的⼀个性质是其完全由初始状态的概率分布和转移规律决定。
CK⽅程上述两个部分主要阐述的是异步转移概率，CK⽅程主要刻画的是n步转移概率。
主要思想在于像树⼀样层层展开，就是矩阵乘法。
在推导过程中可以证明P^{(n)}=PP^{(n-1)}⼊⼿，类似数学归纳。
随机环境中的马氏链状态分类
于经典 马 氏链 的状 态关 系 中的 自反性 ， 对称 性 和传递 性 等相 关 结果 在随 机 环 境 中能 否得 到 推广 这 一 问
题 至今 未解决 ． 本文 则解 决 了这 一 问题 ， 而部 分解决 了 Ｏｒｙ提 出的问题 ． 从 ｅ
２ 定 义 与 记 号
设 是 整数 集 ， 是非负 整数 集 ， ， Ｐ） 一概 率空 间 ， 至 多可 数． 是 Ｘ 的离散 ａ代 数 ，＠， ｚ＋ （ ， 是 Ｘ Ａ ｒ － （
［ 摘
要 ］ 给 出 了 随机 环 境 中马 氏链 的 特 征 数 和 状 态 的 定 义 ， 论 了状 态 间的 传 递 性 ， 讨 自反 性 ， 称 性 ， 对 是
经 典 马 氏链 相 应 结 果 的 一 般 化 ． 运 用 位 势 方 法 研 究 了状 态 间 的 关 系 ， 们 在 极 限理 论 的研 究 中非 常 有 用 ． 并 它 ［ 关键 词 ］ 随机 环 境 中马 氏链 ； 可达 ； 致 可 达 ； 常 返 一 弱
．
（） １
ｙＥ Ｘ
显然 ｐ是 （ 三 上 的转移 概率核 ， Ｅ， ） 今后 仍记 户 为 Ｐ．
设 邑： 一＠是坐标 过程 ， 考 一 ｛ 志 ≤ ｚ ， 。 ≤。 ， 记 ： ＆：≤ ） 一。 ≤志 。 定义
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
０） 【ｌ ＝ ，ｒａｅ ； Ｉ ｌ １，，，０， １（０： （’ ； 】 Ｅ） 即 ｒ Ｑ（ｘ ０） 【 Ｅ ）１＝ ， ＝ ） ｌ 故状态 ｘ 是强常返， 命题成立。 定理 ２ 在随机环境马氏链 中 ， 若状态 ｘ 是强常返 的， 则状态 ｘ 一定是弱常返的 ； 若状态 ｘ 弱常返 的， 是 则状态 ｘ 不一定是强 常返的。
当 １ （ Ｌ （’ ； ｌ ＝ ） ｌ ， （ｘ ｒ ｏ： （ｘ ０） 【 Ｉ １＝ 时 Ｑ （’ Ｅ）
：
ｌ ｎ Ｉ Ｉ （ ∞ ≤Ｋ≤ ∞ ）Ｂ Ｂ ＜ ＜ ＋ ）一 ，＝ 二。令 Ｔ： ＋ ｎ一
数 Ｌ． ） ０ ∈ ：（）＝ （ Ｆ （； １Ｘ ｝ ｘＦ ，
ｎ 为 推移 算子 ，即 Ｖ ０ （ ｎ ｚ ∈ｎ ， ＝ ０， ） Ｅ Ｔ
一 一
一
＝
一
各ｊ． ． Ｅ，．删 ｅ・ 叫 １ 啦・ ） ・ ． （ Ｊ ｘ
一
＝
喜 ＝ ｘ ：一 ． Ｅ ｘ ｒ【 ｔ Ｌ ）（ Ｌ （ ．Ｅ 一 ） 【 ）
“ Ｌ ｐ；ｘ 一 嘲Ｅ ｘ ） （： ） 剐Ｅ一 ｉ ｘ（ （ Ｌ ’ ．－ （ ）
证明： 若状态 ｘ 是强常返的， １（ Ｑ 则 ｒ ０：
（ｘ０） 【ｌ ＝ ） ｌ 对 １，， ， 有 ， （ ｘ０） （’ ； Ｉ １ ＝ ， ｒａｅ ０ Ｑ （’ ； Ｅ）
的实 值可测 函数 ， 对任何 ０ （ ｎ Ｚ ， ＝ ０ ， Ｅ ）任何
一
Ｐ ０。 ０ ｘ ） Ｐ ） （０ ）ｘｙ ・，Ｅｘ。 （ … ；’ ＝ （０ …Ｐ （’）ｘ ｙ ｙ
（０） ０： （ ） 令 １ 是 可测空 间（ ， ＝０ Ｖ ＥＺ 。 ｒ ｎ， Ｂ 上任一概率测度 ， ） 且满足 １ ・－ １， ｒＴ ｒ于是 （ ： ｅ ｎ Ｚ 是概 率空 间 （１ Ｂ ） Ｅ ｝ １ ， ， 上取 值 于 Ｏ 的严 － 平稳序列 。 令 ｓ 卜一 ： 切定 义在 ｘ× ｘ上 的随机矩 阵 ｍ ｍ ）ｙ ｘ ， ＝ ｙ ，∈ ｊ ｘ 再令 Ｐ ＿ 。且对任何 固定 首次到达集合 Ｆ的时刻 。 ： ＋ ｓ 的 ｘ ＥＸＰ （ （’ ， ｙ ０）ｘ ）是 ０的关 于 仃 代数 Ｂ ｙ ０
【ｌ＝ ， Ｒ ） ｉ） １ Ｖｎ存 在 ｋ ， Ｅ ）ｌ即 （ Ｉ ｘ ． ＝． ， ０ 故 ＞ｎ 义非 常明显 ： 给 使得 Ｒ （ ｘ＝ 。 ｘ ） ｌ ∞＜ ｍ≤ｎ ∞ ，（０ … ， ２ （０ … ０ ＜ Ｐ ， ０ ） ｐ ） ， 定初始 点（＇ ， （ｘ ０）Ｆ）Ｑ（ｘ ｏ）Ｆ）Ｆ ｘ ０）Ｌ （’ ； ， （’ ； ，
维普资讯
科
科苑 论谈 ｌ ｌｌ
随机 环境 马 氏链 的状态性 质
郭 光 耀
（ 武汉工程 大学理 学院 ， 湖北 武汉 ４ ０ ７ ） ３ ｏ ３
摘 要： 假设文 机环境的马氏 本文 是随 链， 首先介绍了Ｈｐ马氏 ｏｆ 链及绕积马氏 并介绍了 链， 随机环境马氏 链中 的几个 特征教， 此定义了 由 随机
Ｑ ） 鱼 （ ｅ （： Ｑ （Ｆ ） ＝ ｘ Ｆ ｝
Ｇ・Ｆ喜 Ｐ；）（ “ Ｉ （， Ｔ ｘ） 砷 ｙ ｘ
Ｋ（ ： （ｅ ｅ （ ） ． Ｆ －） （） ． ） 一￡ Ｐｘ： （ ＝ ） ｎ．Ｆ
上面几个 特征数 的直Ｏ ｎ观含 ， －
（ ）＝ＩＴ ｎ其 表 （ ； Ｐ（＝－ 中 示 Ｆ ．Ｆ ， ）
定义 １设（ ， Ⅱ） Ｅ ８， 是
Байду номын сангаас
１ ￡） ｌ 限测度 空 间 ， （ （’ ； ） 别是 绕 积 马 氏链 （ ，’ 到 （ｘ ０）Ｆ 分 达， 无穷次 到达 ， ｎ 第 次首达 Ｆ的概率 ， 等等。 ｐ Ｌ （ 到 Ｌ （ 的正压缩算子 ， 是 蕾 Ⅱ） Ⅱ） 则称 四元 ｌ ＝ ｛） ） Ｅ ∑ｌ （ 。 Ｄ ｘ ２ 随机环境马氏链状态 的定义与性质 组 ＝ Ｅ， ｐ Ⅱ ） （ ８， ， 是一个 Ｈ０ｆ ｐ Ｍａｋ ｖ ｒｏ 链。 定 义 ２ 称 Ｆ ８ 是本 质 的 ，若 Ⅱ（ ｙ ∈ （＇ 则 １（ Ｇ（ｘ ０） 【ｌ＝＊） ｌ 即状 态 ｘ ｒ ０： （’ ；ＥＩ ） ＝， 下 面给 出一个特殊的 Ｈｏｆ ｐ Ｍａｋ ｖ 。 ｒｏ 链 令 ０ ； （ ｙ０）Ｆ ＞Ｏ ＞Ｏ 称状态 ｘ ）Ｑ （＇ ； ） ） ， 是本质 的 ， 是弱常返的。 Ｅ ｘ×ｎ， ＝ Ｂ Ｈ＝ ×１。其 中是 ｘ上 的 ＝ ８ Ａ× ， ｋ ｒ 若【 是本 质的。否则 ， 称状态 ｘ 是非本 质的。 反 过来 ， 若状态 ｘ 是弱常返的 ，则状态 ｘ 计 数测度 ，于是得 一个 有 限测度空 间（ Ｅ， 定义 ３ 称状态 ｘ 是强常返的 ， １（ ： 不一定是强常返 的。实际上 。 若 ｒ ０ ￡， ， 任何 Ｆ 。令 （ ） ：ｘ ｘ ０） ｝ Ⅱ）对 ∈Ｅ Ｆ 。 ｆ （’ ∈Ｆ， ： 设 Ｑ （’ ； ｌ ＝ ＝ 。称状态 ｘ （ｘ ０）【 Ｉ ｌ ｌ Ｅ） 是弱常返 的， 若 （ （ ０） ）【 ｘ ×ｎ。令 ： （ ，ｘ Ｆ） ０： ＥＦ ， Ｅ ） ｐ ｎ （’ １（ Ｇ （’ ； ）∞）ｌ 称 状态 ｘ ｒ ０：（ｘ０）【 ＝ ＝ 。 是强暂 取 １ Ｔ ， 中 Ｔ（ ）： １ （ ）使 得 １ 是 可 ｒ １其 ＝ １ （ ） Ｔ（ ）， ０ １ ｒ １（ Ｇ （’ ． ＜∞） ｌ ｒ ０： （ｘ ０）【 ） Ｅ ＝。 ｎ， ）上 的概率 测 度 ，且 满 足 １ ・ ｒ 在时齐 可数 的马氏链 中 ，状态 ｘ 本质 测 空 间 （ Ｂ 是 （’ ∈ｘ∈ｎ，∈ ８） ｘ ０） Ｆ 可证对 每个 固定 的 ｎ ≥ Ｔ－ ｒ ｌ ＝１ 的铮状 态 ｘ 是强 常返 的舒状 态 ｘ 是弱 常返的 ， ｌｐ Ｊ・ ・， Ｅ×８上 的 Ｍ ｒ ｖ ， ，（，， ）是 １ ａ ｏ 核 且满足 ｋ 但是在随机环境 的马氏链 中， 却不存在这种等 记 ｔ ） ｉｆ ＞０ ０ １， ＝ｆ ： ｏ（ ＝ｌ ｎ－ ， Ｊ１ ｆ ｎ ３ ｏ （ — 方 程 式 ： ｍ＋ ， ｘ ） ） （ （ ’ 价 关系 ， Ｋ ｃ） （ ｎ （’ ， ＝』 ｍ，ｘ Ｆ ， 下面讨论本 质 ， 强常返 ， 弱常返等 的关
环境马氏链 强常返 ， 弱常返等状态， 在随机环境的马氏链 下， 讨论 它们的 关系。 关键词 ： 随机环境马 氏链； 强常返 ； 常返 弱
ｌ引言及符号 ｐ Ⅱ） ｆ叶 ∈Ｎ 为绕积 Ｍ ｒｏ 链。 ， 称 ｘｎ ｝ ａ ｖ ｋ 设 ｘ为任一可数或有 限集 ， ｘ的一切 Ａ为 ｃ 曲ｕ 等 分别在 文献【 ７ 中讨 论 了随 ｏ ｒ ｎ ２— 】 子集， 于是 有可测 空间（ ，】 ） ＾， （ 再设 （ Ｂ） 任 机环境 的马氏链 ， 面对随机环境马氏链作进 Ｏ，０ 是 下 可测 空间 ， ｚ Ｉ， ｌ ± ） 令 ：Ｏ ± ， ２的整数集 ， ： Ｎ 步 的讨论。本文将 利用一般状态马氏链的状 态 的定义来研 究随机环境 马氏链的状 态分类 与 １， ，｝ ０ ｌ２为非负数整数集 ， Ｏ： ｚＳ Ｓ。 ｎ＝ ｏ ，＝ 特征 ，下面介 绍本文 中用到的几个常见的特 征 Ｏ ： 一Ｏ为坐标 函数 ｎ ）Ｂ ∈ｚ ， ： 仃（ Ｏ，