马尔可夫链

马尔可夫过程编辑词条一类随机过程。

它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。

该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 ( 过去 ) 。

例如森林中动物头数的变化构成——马尔可夫过程。

在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。

关于该过程的研究，1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。

目录马尔可夫过程离散时间马尔可夫链连续时间马尔可夫链生灭过程一般马尔可夫过程强马尔可夫过程扩散过程编辑本段马尔可夫过程Markov process1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。

1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。

流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。

类重要的随机过程，它的原始模型马尔可夫链，由俄国数学家Α.Α.马尔可夫于1907年提出。

人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。

这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。

荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。

青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的，当现在所处的位置已知时，它下一步跳往何处和它以往走过的路径无关。

如果将荷叶编号并用X0,X1,X2，…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。

液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。

还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。

关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。

1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。

1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。

50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。

目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。

编辑本段离散时间马尔可夫链以上述荷花池中的青蛙跳跃过程为例，荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n1<n2<…<nl<m,n>0,i0,i1,i2，…，i(n-1），i,j∈E，有(1)P[x(n)=in|x(0)=i0,x(1)=i1,...,x(n-1)=i(n-1)]=P[x(n)=in|x(n-1)=i(n-1)]（以下n与m的区别请注意！）只要其中条件概率（见概率）有意义。

一般地，设E={0，1，…，M}(M为正整数）或E ={0,1,2，…},Xn，n≥0为取值于E的随机变量序列，如果（1）式成立，则称{X,n≥0}为马尔可夫链。

如果（1）式右方与m无关，则称为齐次马尔可夫链。

这时（1）式右方是马尔可夫链从i出发经n步转移到j的概率，称为转移概率，记为。

对于马尔可夫链，人们最关心的是它的转移的概率规律，而n步转移矩阵正好描述了链的n步转移规律。

由于从i出发经n+m步转移到j必然是从i出发先经n步转移到某个k，然后再从k出发（与过去无关地）经m步再转移到j，因此有这就是柯尔莫哥洛夫－查普曼方程。

根据这一方程，任意步转移矩阵都可以通过一步转移矩阵计算出来。

因此，每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵P来刻画。

P的每一元素非负且每行之和为1，具有这样性质的矩阵称为随机矩阵。

例如，设0<p<1，q= 1-p，则M阶方阵为随机矩阵，它刻画的马尔可夫链是一个具有反射壁的随机游动。

设想一质点的可能位置是直线上的整数点 0，1，…，M,0和M称为壁，它每隔单位时间转移一次，每次向右或左移动一个单位。

如果它处在0或M，单位时间后质点必相应地移动到1或M-1，如果它处于0和M之间的i，则它以概率p转移到i+1，以概率q转移到i-1。

又如果把P的第一行换成（1,0，…，0），则此时表示0是吸收壁，质点一旦达到0，它将被吸收而永远处于0。

如果不设置壁，质点在直线上的一切整数点上游动，称为自由随机游动，特别当时，称为对称随机游动。

为了进一步研究马尔可夫链的运动进程，需要对状态进行分类。

若pij>0，则称i可以直达j，记作i→j，如还有pji>0，则记作i凮j，采用这样的记号，可以用图形表示运动的进程。

例如图形表示一个马尔可夫链的运动情况，当链处于b1,b2,b3状态时，将永远在{b1,b2,b3}中运动，当链处于α1，α2，α3，α4状态时，将永远在{α1，α2，α3，α4}中运动，而{d 1,d2，…}不具有这种性质，因为从d1可一步转移到b1或d2，自d3可到α1或d4，等等。

对一般的马尔可夫链，若C是由一些状态组成的集合，如果链一旦转移到C中的状态，它将永远在C 中转移，C 就称为这个链的闭集。

对闭集C，如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0，则称C为不可约闭集，例如上例中的{b1,b2，b3}。

至于{b 1,b2,b3，с1,c2}虽然也是闭集，但却是可约的。

如果从状态i出发经有限次转移后回到i 的概率为1，则称i为常返状态。

状态空间 E可以分解为由一切非常返状态组成的集 E0（如上例中的{d1,d2，…}）和一些由常返状态组成的不可约闭集Eα（如上例中的 {b1,b2,b3}, {α1，α2，α3，α4},{с1,c2}）的并。

这样，在链的转移中，它或者总是在E0中转移，或者转移到某个常返类Eα中，一旦转移到Eα，它将永远在Eα中转移，而且不时回到其中的每一个状态。

特别，当 E本身是不可约常返闭集时，极限存在，其中0≤r<t，t是0）的最大公约数，即链的周期，与j无关。

近20年建立起来的马丁边界理论，更细致地刻画了链在E0中转移的情况。

它的主要思想是在链的状态空间E 中引进距离并将E 完备化，使得在这个距离下，Xn 以概率1收敛（见概率论中的收敛）。

编辑本段连续时间马尔可夫链设E是{0,1，…，M}或{0,1,2，…},{X,t≥0}是一族取值于E的随机变量，如果在（1）式中，将n1,n2，…，m,n理解为实数，（1）式仍成立，则称{Xt，t≥0}为连续时间马尔可夫链。

若还与s≥0无关，记为pij(t），则称链为齐次的。

连续时间齐次马尔可夫链也由它的转移矩阵P(t)=(pij(t))(i,j∈E,t>0)所刻画。

P(t）满足下述条件：①pij(t）≥0，；②柯尔莫哥洛夫-查普曼方程；通常假定：③标准性这里δii=1，δij=0(i≠j）。

有时直接称满足①、②、③的一族矩阵P(t)=(pij(t）），t≥0为转移矩阵或马尔可夫链。

当①中条件放宽为时，称为广转移矩阵，它有很好的解析性质。

例如，每个pij(t）在t>0时具有连续的有穷导数 P拞（t）；在t=0，右导数P拞（0）存在，i≠j时P拞（0）非负有穷，但P 拞（0）可能为无穷。

矩阵Q =(qij）呏（P拞（0））称为链的密度矩阵，又称Q矩阵。

对于每个齐次马尔可夫链{X,t≥0},钟开莱找到一个具有较好轨道性质（右下半连续）的修正{X 怂，t≥0}（即对一切t≥0，P(X怂≠Xt)=0，且对每个轨道对一切t≥0有），而且以概率1，对任意t≥0,s从大于t的一侧趋于t时，X最多只有一个有穷的极限点。

以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或Q过程。

在一定条件下，Q广转移矩阵P(t),t≥0满足向后微分方程组或者向前微分方程组。

上面两个方程组的更普遍形式由柯尔莫哥洛夫于1931年引入。

他并提出求解上述方程组的问题，这就是Q矩阵问题或构造问题：给定一个矩阵Q =(qij），满足0qij<+∞（i≠j），，是否存在Q广转移矩阵?如果存在，何时唯一?如果不唯一，如何求出全部的Q广转移矩阵？对于qii都有限的情形，W.费勒于1940年构造了一个最小解p(t），证明了Q 广转移矩阵总是存在的；中国学者侯振挺于1974年对于qii都有限的情形找到了Q 广转移矩阵的唯一性准则；至于求出全部Q 广转移矩阵的问题，仅仅对一些特殊的情形获得解决。

对于Q 的对角线元素全为无穷的情形，D.威廉斯曾获得了完满的结果。

编辑本段生灭过程考察一个群体成员的数目，在时间的进程中可增可减，假定在时刻t群体有i个成员，在很短的时间间隔（t，t+Δt）中，群体数目增加或减少两个或两个以上几乎是不可能的，它只可能增加一个或减少（当i>0时）一个或保持不变。

而增加一个的概率为，减少一个的概率为，保持不变的概率为。

（pij(t））的密度矩阵是式中α0≥0,b0>0，对一切i>0，αi>0,bi>0。

具有上述形状的密度矩阵的齐次马尔可夫链称为生灭过程。

物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述，因此生灭过程有着广泛的实际应用。

不仅如此，生灭过程还有重要的理论研究意义。

关于生灭过程的结果已经十分丰富。

当α0=0,b0>0时，只有一个生灭过程的充分必要条件是。

对上述条件不成立的情形，中国学者王梓坤于1958年建立了“极限过渡法”，构造了全部生灭过程。

这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道。

此外，甚至对α0≥0，b0>0的情形，或更一般的双边生灭Q矩阵（即为一切整数）的情形，全部Q广转移矩阵也都已构造出来。

编辑本段一般马尔可夫过程设（E，B）为可测空间，X={X，t≥0}为一族取值于E的随机变量，如果对任意的B，以概率1有(2)则称X为马尔可夫过程。

马尔可夫过程的定义还可以进一步扩充。

第一，所谓"过去"可以作更广泛的理解，即（2）中由，Xs所产生的ζ域（见概率）可以扩大为一般的ζ域Fs，只要Fs包含由{X,u≤s}产生的ζ域，而当 s<t时，。

如果对任意s≥0，t>0，A∈B，以概率1有(3)则称随机过程X={X,t≥0}为马尔可夫过程。