随机环境中马氏链的一类强极限定理

合集下载

马氏链模型——精选推荐

1 马氏链模型正则链从任意的状态出发经过有限次的转移都能达到另外的任意状态，定义如下：一个有K 个状态的马氏链如果存在正整数N ，使从任意状态i 经过N 次转移都以大于零的概率到达状态j （i ，j=1,2，...k ）则称为正则链。

定理1 若马氏链的转移矩阵为P ，则它是正则链的充要条件是：存在正整数N 使p N >0(指p N 的每个元素大于零)定理 2 正则链存在唯一的极限状态概率w=()12k ωωω ，，，使得当n →∞时状态概率()a n w →，w 与初始状态概率无关，w 又称稳定概率，满足11k i i wP ww ===∑从状态i 出发经过n 次转移，第一次到状态j 的概率称为i 到j 的首次概率，记作()ij f n 于是()1i j i j n n f n μ∞==∑为状态i 第一次到达状态j 的平均转移次数，特别地，ij μ是状态i 首次返回的平均转移次数。

ij μ与稳定概率ω有密切地关系，即定理3 对于正则链ij =1/μω吸收链 1ii p =，于是系统一旦进入状态i 就不再离开它，可以把它看作“吸收”其它状态的一个状态，并且从其它的状态可以经过有限次的转移到达状态i 定义如下：定义2 转移概率1ii p =的状态i 称为吸收状态。

如果马氏链至少包含一个吸收状态，并且从每个非吸收状态出发，能以正的概率经有限次的转移到达某个吸收状态，那么这个马氏链称为吸收链。

吸收链的转移矩阵可以写成简单的标准形式，若有r 个吸收状态，k-r 个非吸收状态，则转移矩阵P 可表示为r r I O P R Q ⨯⎡⎤=⎢⎥⎣⎦其中k-r 阶子方阵Q 的特征值λ满足1λ＜这要求子阵()k r r R -⨯中必含有非零元素，已满足从任意一非吸收状态出发经有限次转移可到达某个吸收状态的条件。

这样Q 就不是随机矩阵，它至少存在一个小于1的行和，且如下定理成立定理4 对吸收链P 的标准形式，（I-Q ）可逆，()10s s M I Q Q ∞-==-=∑记元素全为1的列向量()1,1,,1Te = 则y=Me的第i 个分量是从第i 个非吸收状态出发，被某个吸收状态吸收的平均转移次数。

关于可列非齐次马氏链泛函滑动平均的一类强极限定理

关于可列非齐次马氏链泛函滑动平均的一类强极限定理吴玉;崔影;范爱华【摘要】用分析的方法研究可列非齐次马氏链泛函的极限性质.首先利用渐近对数似然比作为连续型随机序列相对独立随机序列的偏差的一种随机性度量,构造几乎处处收敛的上鞅,再由B-C引理,得到关于可列非齐次马氏链泛函滑动平均的一类强极限定理,并推广了经典结果.【期刊名称】《安徽工业大学学报（自然科学版）》【年(卷),期】2015(032)001【总页数】4页(P81-84)【关键词】可列非齐次马氏链;泛函;B-C引理;强极限定理【作者】吴玉;崔影;范爱华【作者单位】安徽工业大学数理科学与工程学院,安徽马鞍山243032;安徽工业大学数理科学与工程学院,安徽马鞍山243032;安徽工业大学数理科学与工程学院,安徽马鞍山243032【正文语种】中文【中图分类】O211.3马尔科夫过程是随机过程中历史最悠久且最为重要的一类随机过程，它为信息科学、管理科学以及金融决策等各个领域提供了强有力的数学工具。

自1907年苏联科学家Markov引出马尔科夫链概念以来，人们对马氏链的研究已经形成了较为完整的理论体系，取得了丰富的研究成果。

近年来，关于非齐次马氏链的研究引起了许多学者的广泛的兴趣，如：文献[1]研究了随机环境中马氏链的一类强极限定理，推广了在随机环境中马氏链的泛函极限定理的结果；文献[2]研究关于独立同分布随机序列的极限定理，得到了独立同分布随机序列滑动平均的熵定理和中心极限定理；文献[3]研究非齐次马氏链函数的强大数定律，并且给出了直接加于链和过程样本函数上的充分条件；文献[4-5]研究一类对可列非齐次马氏链普遍成立的强大数定理，且在几乎处处收敛的条件下，给出了任意非齐次马氏链状态序偶出现频率和转移概率的一种关系；文献[6]中给出了可列非齐次马氏链M元状态序组出现频率的一类强极限定理，所得的结论对任意可列非齐次马氏链普遍成立；文献[7]中通过构造新的概率密度函数，在适当的限制条件下建立了几乎处处收敛鞅，得到了关于非负随机序列和的强大数定律和一类随机偏差定理；文献[8-9]研究了可列非齐次马氏链泛函的强大数定律。

11.3 马氏链

§11.3
一、马氏过程
马氏链
马尔科夫过程是由前苏联数学家A. A. Markov 首先提出和研究的一类随机过程, 已成为内容丰富, 理论较完善, 应用十分广泛的一门数学分支, 应用涉及计算机、自动控制、通信、生物学、经济、气象、物理、化学等等领域.
电子科技大学
系统特征在已知系统现在所处状态下, 系统将来的演变规律与过去无关, 称为无后效性.
p (0<p<1), 则各级输入状态和输出状态的转
移矩阵为
p 1 p P ( pij ) p 1 p E {0,1}, i , j E .
数字传输过程是齐次马氏链.
电子科技大学
EX.11.3 Polya模型（传染病模型）设坛子中有b个黑球 , r 个红球. 从坛子中随机地摸出一个球，然后将球放回并加入c 只同色球，如此取和放 , 不断进行下去. 研究坛子中黑色球个数.
电子科技大学
分析设ξ(n)表示第n次摸球后坛子中的黑球个数. 每取放一次后黑球或者增加 c 个黑球, 或者不变. 显然, {ξ(n), n≥1}是马氏链，但 pij (n,1) P{ξ(n 1) j ξ(n) i } n时刻转移 i j i c; 概率与n有 b r nc , 关 , {ξ(n), i 1 , j i; n≥1}是非齐 b r nc 次马氏链 0,其他.
在时刻m, 老鼠处于各状态的概率只与第 m－1次时所处状态与转移概率有关，而与第m－1次前的状态无关.
老鼠的随机转移状态运动过程是一个马氏链.
电子科技大学
三、齐次马氏链
定义11.3.3 若马氏链 {ξ(n), n≥0}的一步转移概率与起始时刻无关，即对任意m pij (m,1) P{ξ(m 1) j ξ(m) i } pij (1) pij，

马氏环境中马氏链的中心极限定理

→ → → → →
→
我们称 X 为随机环境ξ 中的马氏链 ,而 ξ 称为随机环境序列 , 特别地 , 若 ξ 是一马氏过程 , 则称
) 作为一二元过程是马氏的 ,我们称其为马氏双链 X 是马氏环境中的马氏链. 此时 , ( X ,ξ
→ →
[1 ]
.
本文我们仅研究状态空间 X 和环境空间 _ 均是可数的情形 . 为叙述简便计 , 不妨设
→ → →
环境中马氏链的研究归结为马氏双链的研究提供了关键性的依据 1
) 是以 π( ・ ) 为平稳分布的平稳遍历链 , 若存在实数 α,β, 引理 2 假设马氏双链 ( X ,ξ ) < 1 , 使得 Π θ∈_ , Π y ∈X , 有 : 0 < α,β< 1 , 且 λ= β+ α( 1 + β ) ≤( 1 + α ) inf K (ω,θ ) , ( 1) sup K (ω,θ ω ω
收稿日期 :1996210212. 作者陈内萍 ,女 ,34 岁 ,讲师
第 2 期陈内萍 : 马氏环境中马氏链的中心极限定理 5
极限结果 1 设 ( X , D) , ( _ ,
→
∑) 是任意两个可测空间 , 在空间 ( X , D) 上给定转移概率族 ) ;θ∈_ } ,且 Π A ∈ { P (θ D , P (θ; x , A ) 是 ∑ × D 可测的 , X = { X } ≥ 0 是一取值于 X 的随机
Abstract A sufficient condition on Markov chains in Markovian environment s being φ3 2mixing is given. Then t he cent ral limit t heorem for Markov chains in Markovian environ2 ment s is proved. φ3 2mixing ,cent ral limit t heorem , Markov chains in Markovian environ2 Key words

关于非齐次马氏链的一个强极限定理

令
（）＝
＋丽
＋．．＋・
收稿日期ｔ０１１６２０ —１一ｌ作者筒介：范爱华（９４一）女，１６．安擞安庆人．安擞工业太学数理示剐教授。
维普资讯
第２期
范爱华：于非齐次马氏链的一个强极限定理关
Ｐ（．，Ｐ（） …。Ｘ）Ｘ，，Ｐ（墨）
、
【５Ｊ
的子列：而且仅当五：１１＆）（≤ ≤ｎ时选取式（）５中的ｎ（一鼠）于是得到式（）鼠，５的子序列，记
口：
∑
（６）
（）７
随机选择的概念最早源于赌博系统。二三十年代德国著名统计学家ＲＶＭｉｓ发现了这个问题的重要．．ｓｅ
性．并把它作为公理而引进 …，这个同题和概率论频率定义的关系至今仍受到学者们的关注 …。在文献［１３中
提出了研究强极限定理的一种新方法一网微分法，文献【１４研究了随机序列几何平均的强极限定理。文将本随机选择的概念推广到有限非齐次马氏链随机转移概率随机调和平均的情形。且文献［１的结果是本文并３
Ａｂａｔｈ０ｉｎ０ａｄｍｅｅｔｎｉｘｅｄｄｔａｄｍａｍｏｉｕｖｒｇｆｒｎｏ￣ｎｉｏｒｂ。蛐ｒｃ：Ｔｅｎｔｆｎｏｓｌｃｉｓｅｔｎｅｏｒｎｏｈｒｎｏｓａｅａｅｏａｄｍａｓｔｎｐｏａ０ｒｏｉｂｌｙｆｒｎｎｈｍｇｎｏｒｏｈｉｓｂｓｇａｎｗｍｅｈｄｏｉｅｅｔｔｎ０ｅ・ｉｔｏｏｅｏｅｏｓＭａｋｖｃａｎｙｕｉｅｔｏｆｄｆｒｎａｉｎｎｔｉｎｉｏＫｅｒｓａｄｍｅｅｔｎｙｗｏｄ：ｒｎｏｓｌｃｉ；ｄｆｒｎｉｔｎｏｅ；ｒｎｏｈｒｎｏｓａｅａｅｏｉｅｅｔｉｎｎｔａｄｍａｍｏｉｕｖｇｆａｏ

随机过程中的定理

随机过程中的定理有很多，以下列举其中几个：
1.大数定律：这个定理表明，当试验次数很大时，事件发
生的频率会趋近于某个常数，这个常数就是该事件发生
的概率。

2.中心极限定理：这个定理指出，当独立同分布的随机变
量之和趋于无穷大时，它们的和的分布趋近于正态分布。

3.马尔可夫链的稳态收敛定理：这个定理表明，对于一个
非周期的、不可约的马尔可夫链，其状态的概率会收敛
于一个独立于初始状态的概率值，这个概率值就是该状
态的稳态概率。

4.强马氏性定理：这个定理表明，已知过程在一个停时的
状态，则停时之前与之后独立。

5.Donskers定理：这个定理指出，独立同分布的随机变
量之和经过适当的标准化后，会收敛到布朗运动。

马氏链的极限分布和平稳分布

马氏链的极限分布和平稳分布在开始之前，一些概念的说明如下：步转移概率：有限步返回概率：从出发首次到的平均步数:极限分布：如果一个马尔科夫链的所有状态互通且均为周期为1的正常返状态，则对于该马尔可夫链，极限称为该马尔可夫链的极限分布不变分布/平稳分布/概率不变测度：对于马尔可夫链，若概率分布满足：则称为该马尔可夫链的不变分布/平稳分布/概率不变测度。

这里为一步转移概率。

三个引理的证明及其推论接下来的两个引理说明了任何不可约常返Markov链有一个唯一的不变测度 , 这个测度可以是有限的()也可以是无限的()。

考虑一个从状态开始的Markov链，定义第一次返回到的时间为：对于状态定义在第一次返回到状态之前经过的平均次数为：引理1对一个从状态开始不可约正常返的Markov链，我们有：(1)(2)对任意，有(3)是一个不变测度引理2考虑一个不可约常返Markov链，固定一些状态.接着，每个不变测度都可以表示为,对全部的,这里c是一个常数。

事实上，。

我们可以将上述两个引理总结为如下：一个常返、不可约Markov链有唯一的不变测度。

注：这个不变测度可能是有限的或者无限的。

如果Markov链是正常返的，我们可以观察到，所以我们甚至可以进行标准化，使得它成为一个不变概率测度，即平稳分布推论：一个正常返的、不可约Markov链有一个唯一的不变概率测度。

接下来这个引理说明了平稳分布中状态对应的数值与自身状态的关系引理3：如果马氏链存在一个平稳分布，那么如果状态的，那么状态是常返的。

证明：由课本上的证明我们可以很容易得到，由此我们可以得到:因为是平稳分布，所以，并且因为，交换求和次序我们可以得到上式等于：又因为，代入原式我们可以得到最后一个不等号是因为，这证明，证明了状态是常返的。

有了上面三个引理的铺垫，我们可以使用耦合法来证明下面这个定理。

耦合法证明收敛定理收敛定理:如果马氏链是不可约，非周期，正常返的，则它存在一个平稳分布，并且当时，证明开始之前我们来简述一下耦合法的思想，我们现在有一个离散的马尔科夫链a，假设它从状态出发，那么我们只需要得到在步之后它处于状态的概率就是，接下来是证明的关键步骤：我们可以构造一个与这个马尔科夫链a同时出发并且初始值是平稳分布的马尔科夫链b，因为b的初始值是平稳分布，所以步之后处于状态的概率就是，接下来我们证明a和b在概率的意义下一定会相遇，这样之后由于无记忆性，a和b的表现行为就是相同的，就完成了证明。

Cantor 型非齐次马氏链强极限定理的研究

Cantor 型非齐次马氏链强极限定理的研究王康康【摘要】研究了对任意Cantor 型非齐次马氏链普遍成立的一类强大数定理.证明中利用条件期望以及马氏性的概念,采用测度的网微分法并运用纯分析运算得出结论.作为推论,得到随机变量序列已有的经典强大数定律以及对任意随机变量序列普遍成立的强大数定律.【期刊名称】《江苏科技大学学报（自然科学版）》【年(卷),期】2006(020)005【总页数】5页(P19-23)【关键词】Cantor 型马尔可夫链;网微分法;条件期望;任意随机序列【作者】王康康【作者单位】江苏科技大学,数理学院,江苏,镇江,212003【正文语种】中文【中图分类】O211.40 引言关于随机变量序列强大数定理的研究始终是概率论研究的核心问题之一。

近几年来,刘文[1]研究了任意随机变量序列调和平均几乎处处收敛的性质。

刘文[2]又于2003年研究了离散随机变量序列多元函数序列的若干极限性质。

杨卫国[3]通过构造适当的鞅也研究了一般随机变量序列的一些强极限性质。

刘文[4]在文献中研究了任意随机序列关于调和平均几乎处处收敛的一类强极限定理。

本文的目的是通过采用测度的网微分法以及纯分析方法给出Cantor型马尔可夫链涉及条件期望的若干强极限定理的证明。

通过对矩条件的限制给出Cantor型马尔可夫链强极限定理的一个证明,作为推论得到了已有的的经典强大数定理,证明方法也较为简捷。

1 主要定理定义:设{Xn,n≥0}为定义在概率空间(Ω,F,P)上并于Sn={0,1,…,qn}上取值的非齐次马氏链,其中{qn,n≥0}为一列正整数。

设{Xn,n≥0}初始分布与转移矩阵分别为(p(s1),p(s2),…,p(sn)),p(sn)>0,sn∈Sn( 1 )Pn=(pn(sn-1,sn)),pn(sn-1,sn)>0,sn-1∈Sn-1, sn∈Sn, n≥1.( 2 )其中pn(sn-1,sn)=P(Xn=sn|Xn-1=sn-1)(n≥1)。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

收稿日期：０７０－４２０— ６０基金项目：家自然科学基金资助（０７０６国１５１７）
（）２
作者简介：晓敏（９０）硕士生，要从事概率极限理论研究。武１８一，女，主
维普资讯
，
）‰ ｛＝
） ≥ｏ为，】凡
ＷＵａｍｉ．Ｘｉｏ－ｎＹＡＮＧｅ－ｇ Nhomakorabea ｉｕｏ
（ａｕｔｏｃｅｃ，ｉｇｕＵｉｒｔ，ｈｎｊｎ１０３ＣｉａＦｃｌｆｉｅＪｎｓｎｖｓｙＺｅｇｉｇ２２１，ｈｎ）ｙＳｎａｅｉａ
ＡｂｔａｔｈｏｓｕｔｅｄｆｉｏｆｒｏｈｉｓｉａｄｍｖｒｎｎｓｇｖｎＡｌｓｆｓｏｇｌｔｓｒｃ：ｅｃｎｔｃｉｅｎｔｎｏｋｖＣａｎｎＲｎｏＥｎｉｍｅｔｉｅ．ｃａｓｏ￣ｎｉＴｒｖｉｉＭａｏｉｍｉｔｅｒｍｓｏｒｏｈｉｓｉａｄｍｎｉｏｍｅｔｂｒｎａｅｍｅｈｄｉｐｏｅ．ｈｏｅｆＭａｋｖｃａｎｎｒｎｏｅｖｒｎｎｓｙｍａｔｇｌｔｏｓｒｖｄｉ
第１期
武晓敏等：随机环境中马氏链的一类强极限定理
１１Ｏ
Ｐｘ）Ｉ（Ｑｍ（Ａ，（）Ｆ＝４ｄ）
可以证明，固定 ∈ ，）看成ｍ的函数是可测的。上述定义有意义，故由测度论扩张定理，ｆＰ￣Ｙ＂ｒ张成Ｆ上的一个概率测度，仍记为Ｐ。定义２对任意ｍ∈Ｍｚ ∞ （）时间凡的坐标记为， ∈ ＝在令
第２卷第１５期
２０８笠０
Ｊｎａｙ０８ａｕｒ２０
１月
文章编号：６１７７（０８Ｏ一１００１７ — ８２２０）ｌ００ —４
随机环境中马氏链的一类强极限定理
武晓敏。卫国杨（苏大学理学院，江苏镇江２２１）江１０３
Ｋｅｙｗｏｒ：ｒｎｄｍｎｖｒｎｎ；ｒｏｈｉｓｓｒｎｉｔｔｅｒｍｓｄｓａｏｅｉｏｍｅｔＭａｋｖｃａｎ；ｔｏｇｌｍｉｈｏｅ；ｍａｔｎａｅｒｉｇｌ
关于齐次马氏链与非齐次马氏链的极限定理已有相当多的研究，但这些研究均是对确定的马氏链而言的，随机环境中的马氏链是近年来兴起的新课题。Ｎｗｏｋ最早研究了随机环境中马氏链的一般理论口ａｒｔｉｚ１，Ｃｇｕｎ研究了随机环境中马氏链的遍历理论及中心极限定理闭近几年，ｏｂｒ。毕秋香等人对随机环境中马氏链的
维普资讯
Ｖｏ．Ｎｏ１１２５．
安徽工业大学学报（自然科学版）
Ｊｆｎｕｎｖｒｔｏｅｈｏｇ（ａｒｌｃｎｅ．ｈｉｉｓｙｆｃｎｌｙＮｔａＳｉｃ）ｏＡＵｅｉＴｏｕｅ
式（）了上的分布，１确定由于ｚ任意的，是因此也确定了上的一切有限维分布，全体这样的分布记为，
称％是有初始分布，取值于Ｅ的非齐次马氏链。设初始分布固定，对任意，∈ ，，Ａ∈ 令
∈ ）．）（Ｆ∈ （占
为环境过程，可测空间称Ｑ为环境空间。）
对＝
，
∈ ∈ ，及任意Ｅ上固定的概率测度，０ｌｏ令当＜ｏ＜，
ｍｏｌ）０ｏ１ｌ） ¨ ｌｆ，ｆ））ｂ２ …，＝， …ｍ，）（）１
摘要：通过随机环境中马氏链的一般构造性定义，利用鞅方法，得到了随机环境中马氏链的一类强极限定理。关键词：随机环境；马氏链；强极限定理；鞅
中图分类号：２１２０１．６文献标识码：Ａ
ＡａｓｏｔｏｇＬｍｉＴｈｏｅｆＭａｋｖＣｈｉｓｉｎｏＥｎｉｏｍｅｔＣｌｓｆＳｒｎｉｔｅｒｍｓｏｒｏａｎｎＲａｄｍｖｒｎｎｓ
泛函极限定理进行了进一步的研究［文中研究随机环境中马氏链的一类强极限定理，３１，推广了毕秋香的结果。
１随机环境中马氏链的构造性定义
设Ｅ是有限集或可列集，是Ｅ的一切子集的全体构成的ｏ代数，占ｒｚ及分别表示全体整数及全体非负整数集，，分别表示轨道空间及相应的由柱集产生的乘积ｏ代数。ｒ以记Ｅ上全体转移概率矩阵，即＝ｍ，，∈ ）为转移矩阵，｛ＹＥ，，ｍ在上赋弱拓扑定义一最小ｏｒ代数，使对任意的ｘ ∈ ，（为可测的；，Ｅｍｘｙ，分别表示乘积空间和相应的乘积ｏ代数。ｒ定义１设Ｑ为（上的概率分布，（ ∈ （ｍ∈‰ ∈ Ｑ空间上的典型过程＝／Ｚ称），∈ ７，