随机过程第5章(Galton-Waston分支过程)

随机过程马氏过程

5
一齐次马氏链的遍历性
定义4.1 设齐次马氏链的状态空间为 E={1,2,…}，若对于E中所有的状态 i,j，存在不依赖于i的常数πj，为其转移概率的极限，即
lim p ij
n (n)
j,
i, j E
其相应的转移矩阵有
6
P
(n)
n P
P
(2)
P
2
即知其所有的二步转移概率均大于0，由定理 4.1知，此链具有遍历性.
11
再由转移概率与稳态概率满足的方程组得
1 1 1 2 3 0 1 2 2 1 1 2 1 2 0 3 2 2 1 1 0 1 2 3 3 2 2
(n) n
lim p 12
n
(n)
0 1 lim p 22 ,
(n) n
故由定义4.1知，此链不具有遍历性,也不存在稳态概率。
14
二齐次马氏链的平稳分布
定义4.2 设{X(n),n≥0}是一齐次马氏链，若存在实数集合{rj,j∈E}，满足
(1 )
(2)
rj 0
于是由此可推测
(n)
lim P
n
0 0 0
1/ 2 1 0
1/2 0 1
4
因此,一般来说，通常讨论关于齐次马氏链的n步转移概率的两方面问题，一是其极限是否存在？二是如果此极限存在，那么它是否与现在所处状态i无关，在马氏链理论中，有关这两方面问题的定理，统称为遍历性定理。

i E
p i ( 0 ) p ij
(1 )
(n)

随机过程

所以状态1是遍历的。状态2,3,4也是遍历的
5马尔科夫过程——Markov链
i,jS={A,B,C,D}({1,2,3,4}) 有: 则 lim P n π
( pijm ) 0
P4 = P2 P2 0.7020 0.2908 0.2536 0.2876
0.8194 P 2 P P 0.1790 0.1480 0.1780
0.02 0.05 0.02 0.70
5 马尔科夫过程——Markov链由此解得： 1= 0.482 ；2= 0.253 ；3= 0.179 ；4 =0.086 即 ={1, 2, 3, 4}={0.482 ,0.253 ,0.179 ,0.086}；因此A,B,C,D四种品牌牙膏长期的市场占有率分别为： 48.2%，25.3%，17.9%，8.6%
0.8
2
0.05 0.01 0.9 0.05 0.01 0.05 0.8 0.03
1
0.01
0.08 0.02 0.01
3
0.02 0.01
4
0.7
(1 ( ( f11 f11 ) f112) f11n) p11 p12 p21 p13 p31 1
5 马尔科夫过程——Markov链
定理6：设{Xn,n0}是一马氏链，则{Xn,n0}为平稳过程的充分必要条件是(0) =(i(0),iS ) 是平稳分布,即有： (0) = (0) P
定理7：不可约的具有遍历性的Markov链恒有唯一的平稳分布且 lim p ( n ) 1
0.1786 0.1787 0.1787 0.1787
0.1787 0.1787 0.1787 0.1787

随机过程_课件---第五章

随机过程_课件---第五章第五章离散参数Markov 链5.1 Markov 链的基本概念1、Markov 链和转移概率矩阵定义5-1考虑只取有限个或可数个值的随机过程{},0,1,2,n X n = 。

把过程所取可能值得全体称为它的状态空间，记之为E ，通常假设{}0,1,2,E= 。

若n X i =就说“过程在时刻n 处于状态i ”，假设每当过程处于状态i ，则在下一个时刻将处于状态j 的概率是固定的ij p ，即对任意时刻n1(|)n n ij P X j X i p +===若对任意状态011,,,(,n 0)n i i i i j -≥ 及任意的有11111001(|,,,,)(|)n n n n n n n P X j X i X i X i X i P X j X i +--+======== 这样的随机过程称为Markov 链。

称矩阵00010201011121012j j i i i ij p p p p p p p p P p p p p ??=是一步转移概率矩阵，简称为转移矩阵。

由ij p 的定义可知，这是一种带有平稳转移概率的Markov 链，也称作时间齐次Markov 链或简称时齐次Markov 链。

且具有，0ij p ≥ , 01ij j p ∞==∑2、例题例5-1（直线上的随机游动）考虑在直线上整数点上运动的粒子，当它处于位置j 时，向右转移到j+1的概率为p ，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即00X =。

于是粒子在时刻n 所处的位置{}n X 就是一个Markov 链，且具有转移概率,1,10,jk p k j p q k j =+??==-其他当12p q ==时，称为简单对称随机游动。

例5-6（排队模型）考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务。

随机过程Ch5-连续时间的马尔可夫链

推论：对有限齐次马尔可夫过程，有
qii qij ji
称该马尔可夫过程为保守的。
证： pij (h) 1 1 pii (h) pij (h)
jI
ji
lim1
h0
pii (h) h
lim h0
ji
pij (h) h
qij
ji
即 qii qij 状态空间有限 ji
若状态空间为I 1，2,, N有限，
为的指数变量，而在回到状态0之前，它停留在状态1的时间是参数为的指数变量。显然该
马氏链是一个齐次马氏链。
其状态转移概率为：
p01h p10 h
h h
0h 0h
由指数分布的无后效性得到。
理由如下：设正常工作为0状态，故障为1状态。
设器件寿命X服从参数为的指数分布。
f
x
ex
,
x0
0, x 0
则器件在0, t 正常工作，即寿命超过t的概率为： PX t exdx et
t
已知器件用了t小时，器件寿命超过t h，
即在t,t h器件不坏的概率为：
p00h PX t h / X t
PX
t h, X
PX t
t
PX PX
t h t
eth eh 1 h 0h
互通：i j i j，j i。若所有状态都是互通的，则称此马尔可夫链为不可约的。
定理5.7 设连续时间马尔可夫链是不可约的，则有下列性质：
(1)若它是正常返的，则极限 lim t
pij (t)
存在
且等于j >0，jI。这里j 是
jq jj kqkj,
j 1
k j
jI
的唯一非负解，此时称{j >0，jI}是该

5随机过程第五章马尔可夫过程

P X nk m j | X n i, X nk l P X nk l | X n i
lS
k m pil n . plj n k
lS
特殊地，在C-K方程中，m=1, 有
P k 1 n P k n P1 n k P k n P n k
5、1 马尔可夫过程定义
2）时间离散状态连续
3）时间连续状态离散泊松过程更新过程
马尔可夫序列
纯不连续马尔可夫过程生灭过程排队服务系统
4）时间状态连续
维纳过程
5、2 马尔可夫链的转移概率及概率分布
设Markov链 X n , n 0 状态空间为S 1．转移概率 (1) 定义： n时刻 X n i k步转移
1
1 0
1/2
2
1/2
对齐次链，有关C-K方程和概率分布可简化
C-K方程
故有绝对分布
pij
k m
pil plj ,
k m
lS
P
k m
P
k
P
m
Pk Pk , k 0
n j n i 0 . pij
一步转移概率矩阵
P n pij n , i, j S
(4) 0步转移概率 k=0 连续性条件则
P
0
1, i j pij n ij 0, i j
0
n I
单位矩阵
1,2,3，系统在n时刻的k步转移概率矩阵为例状态空间 S
t iS
t t1
t1 ... pit it tn1

随机过程第5章 Brown运动与Ito积分

泛应用于金融工程、物理学、通讯等许多领域。
事实上，在介绍连续时间随机过程遍历性时已
经接触到随机积分，如 X T
=
1 2T
∫−TT
X (t)dt
.
定义5.3 设X={X(t), t∈T}是一随机过程, 若对每个
t∈T，都有
E[ X 2(t)] < ∞,
则称{X(t), t∈T}为二阶矩过程.
由Schwarz不等式可得，二阶矩过程X的均值函数mX(t)和自协方差函数RX(s,t)都存在. 因此，二阶矩过程是一个很大的过程类。事实上，宽平稳过程、Gauss过程、Brown运动都是二阶矩过程。
π |a| t
推论5.1 P{τ a < ∞} = 1.
推论5.2 E[τ a ] = ∞ .
∫ 定理5.2
P{max 0≤s≤t
Bs
≥ a} =
2 +∞ e− y2 2dy， a ≥ 0.
π |a| t
证明：对于任意的a ≥ 0 ，则
0m≤as≤xt Bs ≥ a ≅ {τ a ≤ t}.
§5.2 Brown运动性质
容易证明：Brown运动具有下面性质性质1 Brown运动的轨道是时间t的连续函数. 性质2 Brown运动是独立增量过程. 定义5.2 设X={Xt, t ≥ 0}是一个可积的随机过
程. 如果对任意的t>s≥0均有E[Xt|Fs]=Xs, 则称X是一个鞅；如果E[Xt|Fs] ≥ Xs, 则称X是一个下鞅；E[Xt|Fs] ≤ Xs, 则称X是一个上鞅.
5.3.2 关于Brown运动的积分
设{Wt, -∞<t<∞}是方差参数为σ2的Brown运动，a和b为两个有限数，f(t)是[a,b]上的连续可

第五章随机过程中的马尔可夫过程

p(k m) ij
(n)

p(k il
)
(n)
p(m lj
)
(n

k
),
i, j S,
n, k, m 0
l
或
P(km) (n) P(k) (n)P(m) (n k)
证明
2006年9月
p(k ij
m)
(n)

P{X
nk
m

j|
Xn
i}
P{U( X nk l), X nkm j | X n i} l
i
P( X 0 i)P( Xt1 i1 | X 0 i)P( X t2 i2 | X 0 i, X t1 i1)L i
• P( X tn in | X 0 i, X t1 i1, X t2 i2 ,L , X tn1 in1)
P( X 0 i)P( X t1 i1 | X 0 i)P( X t2 i2 | X 0 i)P( X tn in | X tn1 in1)
i

qi0
pt1 ii1

(0)
pt2 i1i2
t1

(t1
)L
p (t ) tn tn1
in1in
n1
i
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
3) 绝对分布
称q(jn) P(Xn j), n 0, j S为马尔可夫链{Xn，n 0}的绝对分布。
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
一种最简单的形式:
P{X (t1) i1, X (t2 ) i2,L , X (tn1) in1, X (tn ) in} P{X (t1) i1}P{X (t2) i2}L P{X (tn ) in}

随机过程课件-c5

引理5.1 设齐次马尔可夫过程满足正则性条件，则对于任意i,j∈I，pij(t)是t的一致连续函数。转移概率的正则性条件:
⎧1 , i = j lim pij (t ) = ⎨ t →0 ⎩0 , i ≠ j
5 连续时间的马尔可夫链
12
转移速率
5 连续时间的马尔可夫链
13
Q矩阵
若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,…,n}
λ
λ
26
求其平稳分布。
pij(t)极限存在且与i无关，存在平稳分布
5 连续时间的马尔可夫链
27
或者
此Markov链是不可约的
5 连续时间的马尔可夫链
28
5 连续时间的马尔可夫链
29
5.3 生灭过程
5 连续时间的马尔可夫链
30
Q矩阵
I = {0,1,2,3,...}
⎛ − λ0 ⎜ ⎜ μ1 ⎜ Q=⎜ ⎜ ⎜ ⎜ ⎜ ⎝
⎛ − q00 ⎜ ⎜ q10 Q =⎜ ⎜ ⎜ q ⎝ n0 q01 − q11 qn1 q0 n ⎞ ⎟ q1n ⎟ ⎟ ⎟ − qnn ⎟ ⎠
Q= P′ (0)
利用Q可以推出任意时间间隔的转移概率所满足的方程组，从而求解转移概率。
5 连续时间的马尔可夫链
14
微分方程
P′(t)=QP(t) 定理5.5 (科尔莫戈罗夫向前方程) 在适当的正则条件下有
5 连续时间的马尔可夫链
22
渐近性质
5 连续时间的马尔可夫链
23
5 连续时间的马尔可夫链
24
回顾
转移概率： pij(s,t)= P{X(s+t)=j|X(s)=i} P(s+t)=P(s)P(t) 转移速率 Q= P′ (0) 科尔莫戈罗夫微分方程向后方程：P′(t)=QP(t) 向前方程：P′(t)=P(t)Q

(完整word版)随机过程知识点汇总(word文档良心出品)

第一章随机过程的基本概念与基本类型一．随机变量及其分布1．随机变量X ，分布函数)()(x X P x F ≤=离散型随机变量X 的概率分布用分布列 )(k k x X P p == 分布函数∑=kpx F )(连续型随机变量X 的概率分布用概率密度)(x f 分布函数⎰∞-=xdt t f x F )()(2．n 维随机变量),,,(21n X X X X =其联合分布函数),,,,(),,,()(221121n n n x X x X x X P x x x F x F ≤≤≤== 离散型联合分布列连续型联合概率密度３．随机变量的数字特征数学期望：离散型随机变量X ∑=k kp xEX 连续型随机变量X ⎰∞∞-=dx x xf EX )(方差：222)()(EX EX EX X E DX -=-= 反映随机变量取值的离散程度协方差（两个随机变量Y X ,）：EY EX XY E EY Y EX X E B XY ⋅-=--=)()])([( 相关系数（两个随机变量Y X ,）：DYDX B XY XY ⋅=ρ 若0=ρ，则称Y X ,不相关。

独立⇒不相关⇔0=ρ４．特征函数)()(itXeE t g = 离散 ∑=k itx p e t g k )( 连续 ⎰∞∞-=dx x f e t g itx )()(重要性质：1)0(=g ，1)(≤t g ，)()(t g t g =-，k k k EX i g =)0(５．常见随机变量的分布列或概率密度、期望、方差０－１分布 q X P p X P ====)0(,)1( p EX = p q DX =二项分布 kn k k n q p C k X P -==)( np EX = npq DX =泊松分布 !)(k ek X P kλλ-== λ=EX λ=DX 均匀分布略正态分布),(2σa N 222)(21)(σσπa x ex f --=a EX = 2σ=DX指数分布 ⎩⎨⎧<≥=-0,00,)(x x e x f x λλ λ1=EX 21λ=DX６．Ｎ维正态随机变量),,,(21n X X X X =的联合概率密度),(~B a N X)}()(21ex p{||)2(1),,,(121221a x B a x B x x x f T nn ---=-π),,,(21n a a a a =，),,,(21n x x x x =，n n ij b B ⨯=)(正定协方差阵二．随机过程的基本概念１．随机过程的一般定义设),(P Ω是概率空间，T 是给定的参数集，若对每个T t ∈，都有一个随机变量X 与之对应，则称随机变量族{}T t e t X ∈),,(是),(P Ω上的随机过程。