马尔可夫链
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
马尔可夫过程
一类随机过程。它的原始模型马尔可夫链,由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性:在已知目前状态(现在)的条件下,它未来的演变(将来)不依赖于它以往的演变 ( 过去 ) 。例如森林中动物头数的变化构成——马尔可夫过程。在现实世界中,有很多过程都是马尔可夫过程,如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等,都可视为马尔可夫过程。关于该过程的研究,1931年 A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程,奠定了马尔可夫过程的理论基础。
目录
马尔可夫过程
离散时间马尔可夫链
连续时间马尔可夫链
生灭过程
一般马尔可夫过程
强马尔可夫过程
扩散过程
编辑本段马尔可夫过程
Markov process
1951年前后,伊藤清建立的随机微分方程的理论,为马尔可夫过程的研究开辟了新的道路。1954年前后,W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程:在已知它目前的状态(现在)的条件下,它未来的演变(将来)不依赖于它以往的演变(过去)。这种已知“现在”的条件下,“将来”与“过去”独立的特性称为马尔可夫性,具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上,因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码,那么{Xn,n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动,传染病受感染的人数,原子核中一自由电子在电子层中的跳跃,人口增长过程等等都可视为马尔可夫过程。还有些过程(例如某些遗传过程)在一定条件下可以用马尔可夫过程来近似。
关于马尔可夫过程的理论研究,1931年
Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》,首先将微分方程等分析方法用于这类过程,奠定了它的理论基础。1951年前后,伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上,建立了随机微分方程的理论,为研究马尔可夫过程开辟了新的道路。1954年前后,W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中,Ε.Б.登金(又译邓肯)等并赋予它概率意义(如特征算子等)。50年代初,角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系,后来G.A.亨特研究了相当一般的马尔可夫过程(亨特过程)与位势的关系。目前,流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。
编辑本段离散时间马尔可夫链
以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间,马尔可夫性表示为:对任意的0≤n1
(1)P[x(n)=in|x(0)=i0,x(1)=i1,...,x(n-1)=i(n-1)]=P[x(n)=in|x(n-1)=i(n-1)]
(以下n与m的区别请注意!)
只要其中条件概率(见概率)有意义。一般地,设E={0,1,…,M}(M为正整数)或E ={0,1,2,…},Xn,n≥0为取值于E的随机变量序列,如果(1)式成立,则称{X,n≥0}为马尔可夫链。如果(1)式右方与m无关,则称为齐次马尔可夫链。这时(1)式右方是马尔可夫链从i出发经n步转移到j的概率,称为转移概率,记为。对于马尔可夫链,人们最关心的是它的转移的概率规律,而n步转移矩阵正好描述了链的n步转移规律。由于从i出发经n+m步转移到j必然是从i出发先经n步转移到某个k,然后再从k出发(与过去无关地)经m步再转移到j,因此有
这就是柯尔莫哥洛夫-查普曼方程。根据这一方程,任意步转移矩阵都可以通过一步转移矩阵计算出来。因此,每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵P来刻画。P的每一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵。例如,设0
为了进一步研究马尔可夫链的运动进程,需要对状态进行分类。若pij>0,则称i可以直达j,记作i→j,如还有pji>0,则记作i凮j,采用这样的记号,可以用图形表示运动的进程。例如图形
表示一个马尔可夫链的运动情况,当链处于b1,b2,b3状态时,将永远在{b1,b2,b3}中运动,当链处于α1,α2,α3,α4状态时,将永远在{α1,α2,α3,α4}中运动,而{d 1,d2,
…}不具有这种性质,因为从d1可一步转移到b1或d2,自d3可到α1或d4,等等。对一般的马尔可夫链,若C是由一些状态组成的集合,如果链一旦转移到C中的状态,它将永远在C 中转移,C 就称为这个链的闭集。对闭集C,如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0,则称C为不可约闭集,例如上例中的{b1,b2,b3}。至于{b1,b2,b3,с1,c2}虽然也是闭集,但却是可约的。如果从状态i出发经有限次转移后回到i的概率为1,则称i为常返状态。状态空间 E可以分解为由一切非常返状态组成的集 E0(如上例中的{d 1,d2,…})和一些由常返状态组成的不可约闭集Eα(如上例中的{b1,b2,b3},{α1,α2,α3,α4},{с1,c2})的并。这样,在链的转移中,它或者总是在E0中转移,或者转移到某个常返类Eα中,一旦转移到Eα,它将永远在Eα中转移,而且不时回到其中的每一个状态。特别,当 E本身是不可约常返闭集时,极限存在,其中0≤r 编辑本段连续时间马尔可夫链 设E是{0,1,…,M}或{0,1,2,…},{X,t≥0}是一族取值于E的随机变量,如果在(1)式中,将n1,n2,…,m,n理解为实数,(1)式仍成立,则称{Xt,t≥0}为连续时间马尔可夫链。若还与s≥0无关,记为pij(t),则称链为齐次的。连续时间齐次马尔可夫链也由它的转移矩阵P(t)=(pij(t))(i,j∈E,t>0)所刻画。P(t)满足下述条件:①pij(t)≥0,;②柯尔莫哥洛夫-查普曼方程;通常假定:③标准性这里δii=1,δij=0(i≠j)。有时直接称满足①、②、③的一族矩阵P(t)=(pij(t)),t≥0为转移矩阵或马尔可夫链。当①中条件放宽为时,称为广转移矩阵,它有很好的解析性质。例如,每个pij(t)在t>0时具有连续的有穷导数 P拞(t);在t=0,右导数P拞(0)存在,i≠j时P拞(0)非负有穷,但P 拞(0)可能为无穷。矩阵Q =(qij)呏(P拞(0))称为链的密度矩阵,又称Q矩阵。对于每个齐次马尔可夫链{X,t≥0},钟开莱找到一个具有较好轨道性质(右下半连续)的修正{X 怂,t≥0}(即对一切t≥0,P(X怂≠Xt)=0,且对每个轨道对一切t≥0有),而且以概率1,对任意t≥0,s从大于t的一侧趋于t时,X最多只有一个有穷的极限点。 以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或Q过程。在一定条件下,Q广转移矩阵P(t),t≥0满足向后微分方程组或者向前微分方程组。 上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。他并提出求解上述方程组的问题,这就是Q矩阵问题或构造问题:给定一个矩阵Q =(qij),满足0qij<+∞(i≠j),,是否存在Q广转移矩阵?如果存在,何时唯一?如果不唯一,如何求出全部的Q广转移矩阵?对于qii都有限的情形,W.费勒于1940年构造了一个最小解p(t),证明了Q 广转移矩阵总是存在的;中国学者侯振挺于1974年对于qii都有限的情形找到了Q 广转移矩阵的唯一性准则;至于求出全部Q 广转移矩阵的问题,仅仅对一些特殊的情形获得解决。对于Q 的对角线元素全为无穷的情形,D.威廉斯曾获得了完满的结果。