泊松过程、马尔科夫链
泊松(possion)过程
显然有：
p( i
m j
)
(n)
≥
0
(i, j ∈ S)
∑ p(m) ij
(n)
=
1
j∈S
m = 1时，即为一步转移矩阵。
(i ∈ S)
规定：
p( i
0) j
(n)
= δi j
=
1 0
i= j i≠ j
（二）切普曼－柯尔莫哥洛夫（C－K）方程
定理：对于 m 步转移概率有如下的 C－K 方程：
∑ p (m+r ij
= ∑ P{X (n + m + r) = j X (n + m) = k}P{X (n + m) = k X (n) = i} k∈S
∑ =
p(m) ik(n)Leabharlann p(r) kj(n
+
m)
k∈S
对于齐次马氏链的情形：我们可以写成矩阵的形式即有：
P = P P (m+r)
(m) (r)
中科院研究生院 2008～2009 第一学期 随机过程讲稿 孙应飞
考虑顾客到达一服务台排队等待服务的情况。
若服务台前至少有一顾客等待，则在单位时间周期内，服务员完成一个顾客
的服务后，该顾客立刻离去；若服务台前没有顾客，则服务员空闲。
在一个服务周期内，顾客可以到达，设第 n 个周期到达的顾客数ξn 是一个取 值为非负整数的随机变量，且{ξn , n ≥ 1} 相互独立同分布。在每个周期开始时 系统的状态定义为服务台前等待服务的顾客数。若现在状态为 i ，则下周期的状 态 j 应该为：
中科院研究生院 2008～2009 第一学期 随机过程讲稿 孙应飞
第二章 Markov 过程
泊松过程的性质
到达时刻的分布
01
到达时刻的分布是均匀分布。在泊 松过程中，到达时刻的概率密度函 数为$f(t) = lambda e^{-lambda t}$，其中$t$是到达时刻。
02
到达时刻的期望和方差分别为 $E(T) = frac{1}{lambda}$和 $Var(T) = frac{1}{lambda^2}$ 。
泊松过程的性质
目录
CONTENTS
• 泊松过程的定义 • 泊松过程的性质 • 泊松过程的统计特性 • 泊松过程的扩展和推广 • 泊松过程的应用
01
CHAPTER
泊松过程的定义
泊松过程的基本概念
01
02
03
随机性
泊松过程是一种随机过程， 其事件的发生具有随机性。
独立性
泊松过程中，任意两个不 相交的时间区间内发生的 事件相互独立。
马尔科夫到达过程是一 种特殊的泊松过程，其 中事件的发生概率只与 当前状态有关，而与过 去的状态无关。
在马尔科夫到达过程中 ，事件的发生是一个马 尔科夫链的过程，即下 一个事件的发生概率只 取决于当前事件是否发 生，而与之前的事件无 关。这种过程具有无记 忆性。
马尔科夫到达过程的数 学表达通常使用马尔科 夫链和概率论，通过状 态转移概率和转移矩阵 来描述。
平稳性
总结词
平稳性是指泊松过程的事件发生频率与时间无关，即单位时间内发生的事件数 是一个常数。
详细描述
在泊松过程中，事件的发生频率是恒定的，不随时间的推移而改变。这意味着 在任意一个固定的时间间隔内，事件发生的次数是一个随机变量，但其均值等 于单位时间间隔内的事件发生率。
无后效性
总结词
无后效性是指泊松过程中，过去的事件不会影响未来的事件。
随机过程-第五章-连续时间的马尔可夫链
第五章 连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率.定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 ),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有},{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质: (1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布;(2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质:;0)1(≥ij p (2);1=∑∈ij Ij p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程. 证明 只证(3).由全概率公式及马尔可夫性可得 ===+=+)})0()({)(i X j s t X P s t p ij =∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足:⎩⎨⎧≠==→.,0,1)(lim 0j i ji t p ij t(5.3)称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任 一0≥t 记 },)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布.定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: (1) ,0)(≥t p j (2),1)(=∑∈t p j Ij(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i i i i ii Ii i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链. 证明 先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义 它是独立增量过程,且X(0)=0.11,...0+<<<n n t t t ,有})(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++ =,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X } = })()({11n n n n i i t X t X P -=-++ . 另一方面,因为})()({11n n n n i t X i t X P ==++=})0()()()({11n n n n n n i X t X i i t X t X P =--=-++ =})()({11n n n n i i t X t X P -=-++所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++. 即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性. 当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+=)!()(i j t eij t---λλ j<i.时,由于过程的增量只取非负整数,故,0),(=t s p ij 所以⎪⎩⎪⎨⎧<≥-==--i j ij i j t e t p t s p i j t ij ij ,0,)!()()(),(λλ, 即转移概率只与t 有关,泊松过程具有齐次性.5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(t p ij 的求解一般比较复杂.下面首先讨论)(t p ij 的可微性及)(t p ij 满足的柯尔莫哥洛夫微分程.引理5.1 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数.证明 设h>0,由定理5.1得)()()()()(t p t p h p t p h t p ij rj Ir ir ij ij -=-+∑∈)()()()()(t p t p h p t p h p ij ij ii rj ir ir -+=∑≠=)()](1[)()(t p h p t p h p ij ii rj ir ir --=∑≠故有)],(1[)()](1[)()(h p t p h p t p h t p ii ij ii ij ij --≥--=-+ ),(1)()()()()(h p h p t p h p t p h t p ii ir ir rj ir ir ij ij -=≤≤-+∑∑≠≠因此).(1)()(h p t p h t p ii ij ij -≤-+对于h<0,同样有).(1)()(h p t p h t p ii ij ij --≤-+ 综上所述得到).(1)()(h p t p h t p ii ij ij -≤-+ 由正则性条件知,0)()(lim 0=-+→t p h t p ij ij h 即)(t p ij 关于t 是一致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率,则下列极限存在 (1);)(1lim 0∞≤==∆∆-→∆ii i ii t q v t t p (2).,)(lim 0j i q tt p ij ij t ≠∞<=∆∆→∆我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t ∆的时间区间内,过程从状态i 转移到另一其他状态的转移概率为)(1t p ii ∆-等于t q ii ∆加一个比t ∆高阶的无穷小量,而过程从状态i 转移到状态j 的转移概率为)(t p ij ∆等于t q ij ∆加一个比t ∆高阶的无穷小量. 推论 对有限齐次马尔可夫过程,有 ∞<=∑≠ij ij ii q q证明 由定理5.1 ,有)()(1,1)(t p t p t pij ij ii Ij ij∆=∆-=∆∑∑≠∈由于求和是在有限集中进行,故有.)(lim )(1lim 00∑∑≠≠→∆→∆=∆∆=∆∆-=ij ij ij i j t ii t ii q t t p t t p q (5.4)对于状态空间无限的齐次马尔可夫过程,一般只有 ∑≠≥ij ij ii q q .若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=nn n n n n q q q q q qq q q Q .....................11111000100 (5.5) 由(5.4)式知,Q 矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,≥ij q 利用Q 矩阵可以推出任意时间间隔t 的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有 ),()()(t p h p h t p Ik kj ik ij ∑∈=+或等价地)()](1[)()()()(t p h p t p h p t p h t p ij ii kj ik ik ij ij --=-+∑≠两边除以h 后令0→h 取极限,应用定理5.3得到 )()()(lim )()(lim 00t p q t p hh p ht p h t p ij ii kj ik ik h ij ij h -=-+∑≠→→ (5.6) 假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论: 定理5.4 (柯尔莫哥洛夫向后方程)假设,ii ik ik q q =∑≠则对一切i,j 及0≥t ,有,)()(ij ii ik kj ik ijp q t p q t p -='∑≠ (5.7) 证明 只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有≥∑≠→)()(inflim 0t p hh p kj ik ik h )()()(inf lim ,,0t p q t p h h p kj Nk i k ik kj Nk i k ik h ∑∑<≠<≠→= 因为上式对一切N 成立,所以)()()(inflim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≥ (5.8) 为了倒转不等式,注意对于N>i,由于,1)(≤t p kj 所以 ≤∑≠→)()(sup lim ,0t p hh p kj i k ik h ≤+≤∑∑≥<≠→])()()(sup[lim ,0Nk ik kj Nk i k ik h h h p t p h h p ≤--+≤∑∑<≠<≠→])()(1)()(sup[lim ,,0Nk i k ik ii kj Nk i k ik h h h p h h p t p h h p ,)(,,∑∑<≠<≠-+≤Nk i k ikii kj Nk i k ikqq t p q令∞→N ,由定理5.3和条件得)()()(sup lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≤. 上式连同(5.8)可得 )()()(lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→=.定理5.4中)(t p ij 满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h 的状态的概率分布时我们对退后到时刻h 的状态取条件,即我们从)()(})0()({..})(,)0()({)(h p t p i X k h X P k h X i X j h t X P h t p ik Ik kj Ik ij ∑∑∈∈======+=+开始计算.对时刻t 的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得),()()(h p t p h t p kj Ik ik ij ∑∈=+)()()()()(t p h p t p t p h t p ij kj Ik ik ij ij -=-+∑∈=)()](1[)()(t p h p h p t p ij jj kj jk ik --=∑≠,所以 )}.()(1)()({lim )()(lim 00t p h h p h h p t p ht p h t p ij jj kj jk ik h ij ij h --=-+∑≠→→假定我们能交换极限与求和,则由定理5.3便得到),()()(t p q q t p t p ij ii jk kj ik ij-='∑≠ 令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的. 定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,,)()()(jj ij kj ik ik ijq t p q t p t p -='∑≠ (5.9) 利用方程组(5.7)或(5.9)及初始条件 .,0)0(,1)0(j i p p ij ii ≠==我们可以解得)(t p ij .柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解)(t p ij 是相同的.在实际应用中,当固定最后所处状态j,研究)(t p ij 时(i=0,1,2,…,n),采用向后方程比较方便;当固定状态i,研究)(t p ij 时(j=0,1,2,…,),则采用向前方程较方便.向后方程和向前方程可以写成矩阵形式),()(t QP t P =' (5.10) ,)()(Q t P t P =' (5.11) 其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---= (222120121110)020100q q q q q qq q q Q ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=............ (222120121110)020100p p p p p pp p p P 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q 决定.特别地,若Q 是一个有限维矩阵,则(5.10)和(5.11)的解为 .!)()(0∑∞===j jQtj Qt et P定理5.6 .齐次马尔可夫过程在t 时刻处于状态I j ∈的绝对概率)(t p j 满足下列方程:.)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' (5.12)证明 由定理5.2,有)()(t p p t p ij Ii i j ∑∈=t将向前方程(5.9)式两边乘以,i p 并对i 求和得.)())(()(kj jk ikiIi jj ijiIi ijIi iq t pp q t pp t p p ∑∑∑∑≠∈∈∈+-='故 .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' .与离散马尔可夫链类似,我们讨论转移概率 )(t p ij 当 ∞→t 时的极限分布与平稳分布的有限性质.定义5.4 设)(t p ij 为连续时间马尔可夫链的转移概率,若存在时刻 21,t t ,使得 ,0)(1>t p ij ,0)(2>t p ij则称状态i 和j 是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约的.定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限)(lim t p ij t ∞→存在且等于.,0I j j ∈>π这里.,0I j j ∈>π是方程组1,==∑∑∈≠Ij j kj jk k jj j q q πππ (5.13)的唯一非负解.此时称.,0{I j j ∈>π是该过程的平稳分布,并且有 .)(lim j j t t p π=∞→ (2) 若它是零常返的或非常返的,则.,,0)(lim )(lim I j i t p t p j t ij t ∈==∞→∞→在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解.例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为 ),()(01h o h h p +=λ),()(10h o h h p +=μ由定理5.3知由柯尔莫哥洛夫向前方程得到)()()(000100t p t p t p λμ-='=,)()(00μμλ++-t p 其中最后一个等式来自).(1)(0001t p t p -=因为,1)0(00=p 由常数变易法得 ,)()(00t e t p μλμλλμλμ+-+++=若记,,00μλμμμλλλ+=+=则,)()(0000t e t p μλλμ+-+=类似地由向前方程)()()(010001t p t p t p μλ-=' ,)()(lim )(1lim 1001010011011q h p dhdhh p h h p q h h h ====-==→→μ,)()(lim )(1lim 0100101000000q h p dhdhh p h h p q h h h ====-==→→λ可解得 ,)()(0001t e t p μλλλ+--= 由对称性知,)()(0011t e t p μλμλ+-+= ,)()(0010t e t p μλμμ+--= 转移概率的极限为),(lim )(lim 10000t p t p t t ∞→∞→==μ),(lim )(lim 11001t p t p t t ∞→∞→==λ 由此可见,当∞→t 时, )(t p ij 的极限存在且与i 无关.定理5.6知,平稳分布为 0100,λπμπ== 若取初始分布为平稳分布,即,}0)0({00μ===p X P ,}1)0({01λ===p X P 则过程在时刻t 的绝对概率分布为 )()()(1010000t p p t p p t p +==0)(000)(00]1[][μμλμλμμλμλ=-+++-+-t t e e=0)(000)(00][]1[λμλλλμμλμλ=++-+-+-t t e e .例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例5.2相同,即在h 时间内,机器从正常工作变为出故障的概率为),()(01h o h h p +=λ在h 时间内,机器从有故障变为经修复后正常工作的概率为),()(10h o h h p +=μ试求在t=0时正常工作的机器,在t=5时为正常工作的概率. 解 由例5.2已求得该过程的Q 矩阵为⎪⎪⎭⎫⎝⎛--=μμλλQ .根据题意,要求机器最后所处的状态为正常工作,只需计算)(00t p 即可. 由例5.2知,)()(0000t e t p μλλμ+-+=,,00μλμμμλλλ+=+=故 ,)5(5)(0000μλλμ+-+=e p 因为P{X(0)=0}=1=,0p 所以)()()(1010101t p p t p p t p +=====)5()5(}0)5({0000p p p X P .)5(5)(0000μλλμ+-+=e p5.3 生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在很短的时间内,系统的状态只能从状态i 转移到状态i-1或i+1或保持不变,确切定义如下. 定义5.5 设齐次马尔可夫过程}0),({≥t t X 的状态空间为I={0,1,2,…},转移概率为)(t p ij ,如果,0),()(1,>+=+i i i i h o h h p λλ,0,0),()(01,=>+=-μμμi i i i h o h h p),()(1)(,h o h h p i i i i ++-=μλ则称 }0),({≥t t X 为生灭过程,i λ为出生率, i μ为死亡率.若,λλi i =μλμμ,(,i i =是正常数),则称}0),({≥t t X 为线性生灭过程. 若0≡i μ,则称}0),({≥t t X 为纯生过程. 若0≡i λ,则称}0),({≥t t X 为纯灭过程. 生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t 时刻的大小,则在很短的时间h 内(不计高阶无穷小),群体变化有三种可能,状态由i 变到i+1,即增加一个个体,其概率为h i λ;.状态由i 变到i-1,即减少一个个体,.其概率为h i μ;群体大小保持不变,其概率为.)(1h i i μλ+-由定理5.3得到,0,)()(,0≥+=-==i h p dhd t q i i h ii ii μλ ⎩⎨⎧≥-=≥+====,1,1,,0,1,)()(0i i j i i j h p dh d t q ii h ij ij μλ ,2,0≥-=j i q ij故柯尔莫哥洛夫向前方程为.,),()()()()(1,11,1I j i t p t p t p t p j i j ij j j j i j ij∈++-='++--μμλλ 故柯尔莫哥洛夫向后方程为.,),()()()()(,11,I j i t p t p t p t p j i i ij j j j i i ij∈++-='+-λμλμ 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有 ,2),()(,≥-=j i h o h p j i,1100πμπλ=.1,)(1111≥+=+++--j j j j j j j j πμπλπμλ逐步递推得,0101πμλπ=…, ,11--=j jj j πμλπ 再利用11=∑∞=j j π,得平稳分布,11211100)......1(-∞=-∑+=j j j μμμλλλπ, 112111021110)......1(......-∞=--∑+=j jj j j j μμμλλλμμμλλλπ 例5.4 生灭过程例子M/M/S 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继来到之间的时间是均值为λ1的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队系列.当一个服务员结束对一位顾客的服务时顾客就离开服务系统,排队中的下一顾客进入服务. 假定相继的服务时间是独立的指数随机变量,均值为μ1.如果我们以X(t)记时刻t 系统中的人数,则}0),({≥t t X 是生灭过程⎩⎨⎧>≤≤=,,,1,s n s s n n n μμμ .0,≥=n n λλM/M/s 排队系统中M 表示马尔可夫过程,s 代表s 个服务员.特别在M/M/1排队系统中,μμλλ==n n ,,若1<μλ,则由(5.14)可得 .0),1()()(1)(1≥-=+=∑∞=n n n nnn μλμλμλμλπ。
第7章 马尔可夫链与泊松过程
为马氏链在时刻 m处于状态ai条件下, 在时刻 m n
转移到状态a j的转移概率.
说明: 转移概率具有特点
此矩阵的每一行元 素之和等于1.
Pij ( m , m n) 1, i 1,2,. j 1
由转移概率组成的矩阵
P(m, m n)( Pij (m, m n))
状态空间: I={0, 1}.
30
96 次状态转移的情况: 0 0, 8次;
0 1, 18次; 1 0, 18次; 1 1, 52次.
因此, 一步转移概率可用频率近似地表示为: 8 8 p00 P{ X n1 0 | X n 0} , 8 18 26 18 18 p01 P{ X n1 1 | X n 0} , 8 18 26 18 18 p10 P{ X n 1 0 | X n 1} , 18 52 70 52 52 p11 P{ X n 1 1 | X n 1} . 18 52 70
4
2. 马尔可夫过程的定义
具有马尔可夫性的随机过程称为马尔可夫过程. 用分布函数表述马尔可夫过程
设 I : 随机过程 { X (t ), t T } 的状态空间,
如果对时间t的任意n个数值,
tX t2 t n , X n ( T, 恰有 1 (tn )在条件 ti 3 ) ,tix 下的条件分布函数 i P{ X ( tn ) xn | X ( t1 ) x1 , X ( t2 ) x2 ,, X ( tn1 ) xn1 } X (tn )在条件X (tn1 ) xn1下的条件分布函数 5 P{ X ( tn ) xn | X ( tn1 ) xn1 }, xn R
证明泊松过程是马尔可夫链
证明泊松过程是马尔可夫链泊松过程是一种常见的随机过程，它具有马尔可夫性质。
本文将通过阐述泊松过程的定义、特点以及马尔可夫链的概念，来证明泊松过程是马尔可夫链。
我们来了解一下泊松过程的定义。
泊松过程是一种随机过程，其描述了在一段时间内某个事件发生的次数。
泊松过程具有以下几个特点：1. 事件发生的次数是离散的，且是无限可数的。
2. 事件发生的概率只与时间间隔有关，而与具体的时间点无关。
3. 事件之间的发生是相互独立的，即一个事件的发生不会影响其他事件的发生。
接下来，我们来了解一下马尔可夫链的概念。
马尔可夫链是一种随机过程，其状态在给定当前状态下，未来状态的条件概率分布只与当前状态有关，而与过去状态无关。
马尔可夫链具有以下几个特点：1. 未来状态的条件概率分布只与当前状态有关，而与过去状态无关。
2. 状态空间是离散的，且是有限可数或无限可数的。
3. 在任意时刻，状态的转移只与当前状态有关，而与过去状态无关。
现在我们来证明泊松过程是马尔可夫链。
根据泊松过程的特点，可以看出泊松过程满足马尔可夫链的定义。
具体来说，泊松过程的状态可以表示为事件发生的次数，而状态之间的转移是离散的。
根据泊松过程的第二个特点，事件发生的概率只与时间间隔有关，而与具体的时间点无关，这意味着未来状态的条件概率分布只与当前状态有关，而与过去状态无关，满足马尔可夫链的第一个特点。
此外，根据泊松过程的第三个特点，事件之间的发生是相互独立的，即一个事件的发生不会影响其他事件的发生，这也满足马尔可夫链的第三个特点。
泊松过程具有马尔可夫性质，即泊松过程是马尔可夫链。
泊松过程的马尔可夫性质使得其在实际应用中具有重要的意义。
例如，在通信系统中，泊松过程可以用来描述数据包的到达时间，从而帮助我们设计和优化系统的性能。
此外，在排队论中，泊松过程也被广泛应用于描述顾客到达和服务的过程。
总结起来，泊松过程是一种具有马尔可夫性质的随机过程。
泊松过程的马尔可夫性质使得其在实际应用中具有重要的意义。
数学建模第五章随机模型
05
随机模拟
随机模拟的基本原理
随机模拟是一种基于概率统计的数值计算方法，通过模拟随机事件或过程来求解实 际问题。
随机模拟的基本原理包括抽样、统计推断和误差分析，其中抽样是随机模拟的核心 步骤，通过从概率分布中抽取样本，模拟随机事件的概率特征。
随机模拟的精度取决于样本数量和分布的准确性，样本数量越多，模拟结果越接近 真实情况。
THANKS FOR WATCHING
感谢您的观看
蒙特卡洛积分
蒙特卡洛积分是一种基于随机抽样的 数值积分方法，通过将积分转化为求 和的形式，利用大数定律和中心极限 定理来估计积分值。
蒙特卡洛积分在金融、物理、工程等 领域有广泛应用，可以用于求解复杂 的高维积分问题。
蒙特卡洛积分的精度与样本数量和积 分的可积性有关，对于不可积的积分， 可以通过增加样本数量来提高估计精 度。
马尔科夫链蒙特卡洛方法
总结词
马尔科夫链蒙特卡洛方法是一种基于马尔科夫链的随机抽样方法，常用于求解复杂数学 问题的不确定性。
详细描述
马尔科夫链蒙特卡洛方法通过构造一个马尔科夫链，使其平稳分布为目标分布，从而通 过抽样得到目标分布的近似解。这种方法在统计学、物理、经济学等领域有广泛应用， 可以用于求解复杂数学问题的不确定性，如概率论中的积分、统计推断中的参数估计等。
描述随机变量取值概率分布的函数称 为随机变量的分布函数。常见的分布 函数有离散型分布和连续型分布，如 二项分布、泊松分布、正态分布等。
03
随机过程
随机过程的定义与分类
定义
随机过程是随机变量在时间或空间上的扩展，描述了一个随机现象在连续时间或 离散时间上的变化。
分类
根据过程的性质和特点，随机过程可以分为平稳随机过程、非平稳随机过程、离 散随机过程和连续随机过程等。
马尔科夫链
为了进行天气预报，人们通常关心的是在 过去和当前的气候状态已知条件下来预测将 来的天气状态。若以表t今天，s表明天 （s>t），A表过去所处的气候状态，则由积 累的气象资料来获得条件概率分布列
P{x(s)=j|x(t)=i,A}
是十分需要的。因为它表示了在过去状态为 A、当前（今天）状态为i已知的条件下，将 来（明天）状态为的可能性（其中i与j均可取 0，1，2，3中的任一种）。
7
3 泊松过程（泊松流）及其模拟
3.1 泊松流的概念 泊松流(即泊松过程)常用来描述一个随机质点流 的状态变化过程。 随机质点流指源源不断地随机地到达某目标的一 串质点，如：到商场的顾客流、到达工厂的定单 流，网络上到达某节点的数据流等。 单位时间内到达目标的泊松流质点数目服从泊松 分布：
λk − λ P( x = k ) = e (λ > 0, k = 0,1,2...) k!
的第i0 行取出各元素 Pi00 Pi01 … Pi0m 即可。
28
有了x(1)的条件分布列，就可以直接按照上一节对 离散型随机变量的一般模拟法来求取x(1)的样本值i1。 其具体做法为首先取伪随机数u1，然后选取数i1，使满 足不等式
∑ Pi 0 j < u 1 ≤ ∑ Pi 0 j
P{x(1)=j|x(0)= i0}=Pi0j (j=0,1,2,…)
27
是已知的，这只须从矩阵
P P P P
0 0
P P P P
0 1
… … … …
P P
0 m
:
i0 0
:
i0 1
:
1 m
P=
:
in 0
第一章-马氏过程_泊松过程_讲稿
第一章 随机过程离散时间随机过程连续型随机过程()X t →采样 →(),1,2,n n X X t n ==⋅⋅⋅称为随机变量序列12,,,,n X X X ⋅⋅⋅⋅⋅⋅也记作{(),1,2,,}X n n n =⋅⋅⋅⋅⋅⋅或{}n X ，简记为()X n 或n X 。
称()X n 为离散时间随机过程。
()X n 在时刻n 的取值是一个随机变量n X ，其概率分布就是离散时间随机过程的一维分布。
()X n 在时刻n m ,的取值n m X X ,的联合分布，就是离散时间随机过程的二维分布。
以此类推，()X n 在n 个时刻的取值的联合分布，就是离散时间随机过程的n 维分布。
若经过某时间平移k 后，其任意n 维分布保持不变：X k k N k X N F x x x k k N k F x x x N 1212(,,...,;1,2,...,)(,,...,;1,2,...,)++++++=则称该离散时间随机过程为严平稳的。
均值 nX n m E X E X n ()(())==均方值 nX n E X ψ22()=相关函数 X n n R n n E X X 1212(,)()=宽平稳的定义 nX n X m E X m ()==X n n X R n n E X X R m m n n 121221(,)()(),===-nX X R ψ2(0)=<∞遍历性 （对应连续随机过程的时间平均 TTT dt T 1lim 2-→∞⎰g ）时间均值 Nn N n NA X n X n X N 1()()lim 21→∞=-==+∑ 时间相关函数NX n n m N n NR n n m X n X n m X X N 1(,)()()lim 21+→∞=-+=+=+∑ 定义： 若宽平稳随机序列()X n 的时间均值依概率1等于其统计均值X m ，时间相关函数依概率1等于其统计相关函数X R m ()则称其为宽遍历的。
第6章-马尔可夫过程和泊松过程V2
p ( n ) P ( s , n )p ( s )
6.1.3切普曼-柯尔莫哥洛夫 方程 C-K方程
pij ( s , n ) pik ( s , r ) pkj ( r , n )
k 1 N
也可写成矩阵形式 ， 即P(s,n)=P(s,r)P(r,n)
13
6.1.3切普曼-柯尔莫哥洛夫 方程 C-K方程
26
反射壁
0 1 2 状态转移图和状 态转移矩阵一一 P n, n 1 0 对应 0 0
1 0 12 0 0
0 120
27
状态概率的计算
p(1) PT (1)p(1)
0 0 12 0 1 0 0 0 1 2 0
P( X n 1 j X 0 i0 , X 1 i1 ,, X n 1 in 1 , X n i ) P( X n 1 j X n i )
注意：在教科书中，一般约定状态空间为I={a1,a2,a3,a4等}; 为了简约表示，也可用i1表示状态，而不是ai1。
pij ( s , n ) 证明：
P{ X n a j | X s a i }
P{ X n a j , X s ai } P{ X s ai }
n
N
因为事件Xr=ak， k=1,2,构成一划分。 （全概率公式）
P{ X s ai } N P{ X a , X a , X a } n j r k s i P{ X r ak , X s ai } P{ X r ak , X s ai } P{ X s ai } k 1
第六章
马尔可夫过程与泊松过程
主要内容
第五章 连续时间马尔可夫链
的停留时间
i 超过x的概率为1,则称状态i为吸收状态. 随机过程讲义
第五章 连续时间的马尔可夫链
定理5.1 齐次马尔可夫过程的转移概率具有下列性：
(1) pij(t) 0; (2)
kI
p (t ) 1;
jI ij
(3) pij ( t s ) pik ( t ) pkj ( s ) 证 由概率的定义, (1)(2)显然成立, 下证(3).
ji
p ( t )
ijtຫໍສະໝຸດ qij .ji
说明 对状态空间无限的齐次马尔可夫过程, 一般只有
qii qij .
ji
随机过程讲义
第五章 连续时间的马尔可夫链
二、柯尔莫哥洛夫方程
问题：若连续时间齐次马尔可夫链具有有限状态空间为 I={0,1,2, ,n}, 则其转移速率可构成矩阵
iI iI
(4) p j ( t ) pi ( t ) pij ( );
iI
jI
pi pii1 ( t1 ) pi1i2 ( t 2 t1 )
, X ( t n ) in }
pin1in ( t n t n1 ).
随机过程讲义
第五章 连续时间的马尔可夫链
分布律
(n) pij 0,
转移方程
( n) ( l ) ( nl ) pij pik pkj k I
j I
(n) pij 1
时间 连续
1 , i j lim pij ( t ) t 0 0 , i j
pij ( t ) 0
p (t ) 1
j I ij
则对一切i,j及t 0, 有
( t ) qik pkj ( t ) qii pij ( t ) Qi Pj . pij
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 X t DX t DX t X 0 t 0 t
R X s, t st 1
C X s, t RX t , s X t X s mins, t
二、正态过程
1.定义
设{X(t),t∈T}是随机过程，若对任意正整数n和 t 1 , t 2 ,, t n T
X t1 , X t 2 ,, X t n 是n维正态随机变量，
则称{X(t),t∈T}是正态过程或高斯过程。
2.正态过程的一个重要性质
随机过程为正态过程的充分必要条件是其任意有限个状态 的线性组合为一维正态随机变量。
P X t n x n X t 1 x1 , , X t n1 x n1
P X t n x n X t n1 x n1
则称{X(t),t∈T}为马尔科夫过程.
例：直线上的随机游动
q
X0
p
q
Xn
p
马尔科夫链→
二、马尔科夫链
1.马尔科夫链的定义
则称此随子可在允许的轨道上运动，假设以Xn-1=ai 表示电子在第i条轨道上运动，并且电子轨道的跃迁只在t1,t2,t3,…发生， 显然，在时刻tn由第i轨道变到第j轨道的概率只与i,j有关，而与电子过去 在什么轨道上无关,这个过程{Xn,n≥0}是个马尔科夫过程。
T1
O
W1
T2
W2
T3
W3
Tn
W n 1
Wn
X(t)表示t时刻事件A发生 (如:顾客出现)的次数，
{Wn,n=1,2,…}为泊松过程的等待时间序列 {Tn,n=1,2,…}为泊松过程的等待(或到达)时间序列间隔序列。
泊松量过程的实例→
时间间隔的分布：定理7.1.2
设{X(t),t≥0}是具有参数λ的泊松过程，{Tn,n≥1}是对应的时间 间隔序列，则随机变量Tn(n=1,2,…)独立同服从均值为1/ λ的 指数分布,其分布函数为
p1 N p2 N p NN
p11 P p 21 或
p12 p 22
无 限 状 态 空 间
例7(p246)
多步转移概率→
三、多步转移概率
1. 定义
设{Xn,n≥0}为马尔科夫链，
其状态空间为 X a1 , a 2 ,, a n , ，则称条件概率
7.3 马尔科夫链
一、马尔科夫过程
马尔科夫过程是具有这样特性的过程：当已知随机过程现在时刻处于某 状态时，此过程“将来”的情况便与“过去”的情况无关。这种特性通 常称为无后效性。
设{X(t),t∈T}为随机过程，若对任意正整数n及 t 1 t 2 t n ,
PX t 1 x1 ,, X t n1 x n1 0, 且其条件分布
一步转移概率→
2.转移概率(一步转移概率)
设{Xn,n≥0}为马尔科夫链，其状态空间为 X a1 , a 2 ,, a n , 则称条件概率
pij n, n 1 P X n1 a j X n a i
. pij n
i , j 1,2,, N ,
为马尔科夫链{Xn,n≥0}在时刻n的一步转移概率，简称为转移 概率，记作
k
上式称切普曼-柯尔莫哥洛夫方程，又称C-K方程。 C-K方程又可写为：
n r s pij pijr s pik pkj k
r s r s C-K方程的矩阵形式为： P P P
取r=s=1,可的两步转移概率与一步转移概率的关系→
和转移概率，则对一切 状态下标 j 和非负整数m n , 有
p j n pij m, n pi m , j 1,2,, N ,
i
特别地，当m=0时，有，
p j n pij 0, n pi 0, j 1,2,, N ,
i
向量形式为：
n pn p0P
r s r s P P P
2 1 1 2 P P P P
3 21 2 1 3 P P P P P
一般地，
n n P P
这就是n步转移概率的计算依据，可由对1步转移概 率取n次方求得。
为{Xn , n≥0}的初始分布，也称初始概率分布。
向量形式为 p0 p1 0, p2 0,, p N 0,
可以证明，齐次马尔科夫过程的一维概率分布(任意时刻)可由初始概率分布和转移概率决定→
定理： 设 pi n, pij m, n分别是马尔科夫过程X n , n 0的一维概率分布
则称{X(t),t≥0}为强度是λ的泊松过程。
泊松量过程的数字特征→
k
t s k ;
k!
(2)泊松过程的数字特征
E X t X s t s ;
设t,s∈[0,+∞),且s<t，
X t EX t X 0 t 0 t;
2 pij
转移概率可写成矩阵形式：
P pij , a i , a j , X , i , j 1,2, ,
有 限 状 态 空
X为X n , n 1 的状态空间 .
p11 p 21 P pN1
p12 p 22
pN 2
pij m , m n P X m n a j X m a i
i , j 1,2,, N ,
为马尔科夫链在m时刻从状态ai 经n步转到m+n时刻
p ijn m . 的状态aj的n步转移概率,记作
2. 性质
10
j
p ijn 1, i , j 1,2,
例14(p252)
可见，马氏链的一维概率分布被初始 分布和一步转移概率完全决定。
有限维概率分布→
(2)有限维概率分布
同样可证：齐次马氏链的任意维概率分布被初始分布和 一步转移概率完全决定，其关系为
P X t1 a i1 , X t 2 a i2 , , X t n a in
i
p i 0 p ii1 t 1 p i1i2 t 2 t 1 p in 1in t n t n 1
FTn t PTn t 1 e
t
证明(p233)
等待时间的分布：定理7.1.3
设{Wn,n=1,2,…}是与泊松过程{X(t),t≥0}对应的一个等待时
间序列，则Wn服从参数为n和λ的Γ分布，其概率为
t t n 1 e , t 0, f Wn t n 1! 0, t 0.
第七章 泊松过程、马尔科夫链
按随机过程的不同性质进行分类，是一种更深刻、更能反映实际背景的分类方法。本章介绍 几种常用的随机过程类型：独立增量过程、泊松过程、正态过程、维纳过程和马尔科夫链。
7.1 独立增量过程与泊松过程
一、独立增量过程
1.独立增量过程
设{X(t),t≥0}是随机过程，如果对于任意的正整数n和 0 t 1 t 2 t n 随机变量 X t 2 X t 1 , X t 3 X t 2 ,, X t n X t n1 是相互独立的，
2 pijn 1,
i 1,2, .
多步转移概率的计算→
3. n 步转移概率的计算 定理：设{Xn , n≥0}为马尔科夫过程，则对任意非负 整数m<m+r<m+n ,和状态下标i , j ，有
pij m, m n pik m, m r pkj m r , m n
k 1
s t
n k
证明(p235)
正态过程与维纳过程(略)→
7.2 正态过程与维纳过程(自习内容)
一、二阶矩过程
若随机过程{X(t),t∈T}的二阶矩存在(有限),则称之为二阶矩过程。
从二阶矩过程的均值函数和相关函数出发来讨论随机过程的性质，而不 涉及它的有限维分布，这种理论称为随机过程的相关理论。
设{Xn,n≥0}为随机变量序列，其状态空间为
0
X a1 , a 2 ,, a n ,
1 n
如果对任意的正整数n及任意n+1个状态 a i , a i ,, a i X ,有
P X n a in X 0 a i0 , X 1 a i1 , , X n 1 a in 1 P X n a i n X n 1 a i n 1
则称 {X(t),t≥0} 是独立增量过程，又称可加过程.
平稳独立增量过程→
2.平稳独立增量过程(齐次增量过程)
设{X(t),t≥0}是独立增量过程，若对任意0≤s<t,随机变量X(t)X(s)的分布仅依赖于t-s,而与起点s和终点t本身无关，则称 {X(t),t∈[0,+∞)}是平稳(也称齐次)独立增量过程.
正态过程的一种特殊情形：维纳过程
三、维纳过程
定义：设{W(t),t≥0}为随机过程，如果满足：
1W 0 0; 2它是独立、平稳增量过 程； 3对任意s, t , 增量W t W s ~ N 0, 2 t s , 2 0.
则称{W(t),t≥0}为维纳过程。
则随机过程{N(t),t≥0}为计数过程。
泊松过程→
2.泊松过程
复习：泊松分布
(1)泊松过程的定义
设随机过程{X(t),t≥0}的状态空间为X={0,1,2,…},且 满足下列三个条件：
①X t , t 0为独立增量过程； ②对任意 s t , X t X s ~ t s , 0 即PX t X s k e t s ③X 0 0.