应用随机过程 期末复习资料

第一章 随机过程的基本概念

一、随机过程的定义

例1：医院登记新生儿性别，0表示男，1表示女，X n 表示第n 次登记的数字，得到一个序列X 1 ， X 2 ， ···，记为{X n ，n=1,2, ···}，则X n 是随机变量，而{X n ，n=1,2, ···}是随机过程。

例2：在地震预报中，若每半年统计一次发生在某区域的地震的最大震级。令X n 表示第n 次统计所得的值，则X n 是随机变量。为了预测该区域未来地震的强度，我们就要研究随机过程{X n ，n=1,2, ···}的统计规律性。

例3：一个醉汉在路上行走，以概率p 前进一步，以概率1-p 后退一步（假设步长相同）。以X(t)记他t 时刻在路上的位置，则{X(t), t ≥0}就是（直线上的）随机游动。

例4：乘客到火车站买票，当所有售票窗口都在忙碌时，来到的乘客就要排队等候。乘客的到来和每个乘客所需的服务时间都是随机的，所以如果用X(t)表示t 时刻的队长，用Y(t)表示t 时刻到来的顾客所需等待的时间，则{X(t), t ∈T}和{Y(t), t ∈T}都是随机过程。

定义：设给定参数集合T ，若对每个t ∈T, X(t)是概率空间),,(P ?Ω上的随机变量，则称{X(t), t ∈T}为随机过程，其中T 为指标集或参数集。

E X t →Ω:)(ω，E 称为状态空间，即X(t)的所有可能状态构成的集合。

例1：E 为{0,1} 例2：E 为[0, 10]

例3：E 为},2,2,1,1,0{Λ-- 例4：E 都为),

0[∞+

注：（1）根据状态空间E 的不同，过程可分为连续状态和离散状态，例1，例3为离散状态，其他为连续状态。

（2）参数集T 通常代表时间，当T 取R, R +, [a,b]时，称{X(t), t ∈T}为连续参数的随机过程；当T 取Z, Z +时，称{X(t), t ∈T}为离散参数的随机过程。

（3）例1为离散状态离散参数的随机过程，例2为连续状态离散参数的随机过程，例3为离散状态连续参数的随机过程，例4为连续状态连续参数的随机过程。

二、有限维分布与Kolmogorov 定理

随机过程的一维分布：})({),(x t X P x t F ≤= 随

机

过

程

的

二

维

分

布

：

T t t x t X x t X P x x F t t ∈≤≤=21221121,,},)(,)({),(21

M

随机过程的n 维分布：

T t t t x t X x t X x t X P x x x F n n n n t t t n ∈≤≤≤=ΛΛΛΛ,,},)(,)(,)({),,(21221121,,21

1、有限维分布族：随机过程的所有一维分布，二维分布，…n 维分布等的全体

}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n ΛΛΛ称为{X(t), t ∈T}的有限维分布族。

2、有限维分布族的性质：

（1）对称性：对（1,2，…n ）的任一排列),,(21n j j j Λ，有

),,(),,(21,,,,21212

1

n t t t j j j t t t x x x F x x x F n n n

j j j

ΛΛΛΛ=

（2）相容性：对于m

),(),,(1,1,,111m t t m t t t t x x F x x F m n m m ΛΛΛΛΛΛ=∞∞+

3、Kolmogorov 定理

定理：设分布函数族}1,,,),

,,({2121,,21≥∈n T t t t x x x F n n t t t n ΛΛΛ满足上述的对称

性和相容性，则必存在一个随机过程{X(t),

t ∈T}，使

}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n ΛΛΛ恰好是{X(t), t ∈T}的有限维分布族。

定义：设{X(t), t ∈T}是一随机过程：

（1） 称X(t)的期望)]([)(t X E t X =μ（如果存在）为过程的均值函数。

（2） 如果T t ∈?，)]([2

t X E 存在，则称随机过程{X(t), t ∈T}为二阶矩过程。此时，称函

数))]()())(()([(),(221121t t X t t X E t t X X μμγ--=，T t t ∈21,为过程的协方差函数；称)

,()]([t t t X Var γ=为过程的方差函数；称

T t s t X s X E t s R X ∈=,)],()([),(为自相关函数。

例：)()(0b t a tV X t X ≤≤+=，其中0X 和V 是相互独立的且均服从N(0,1)分布的随机变量，求)(t X μ和),(21t t γ。

三、随机过程的基本类型

独立增量过程：如果对任意,,,,21T t t t n ∈???,21n t t t

)()(1--n n t X t X 是相互独立的，则称{X(t), t ∈T}是独立增量过程。

平稳增量过程：如果对任意21,t t ，有X(t 1+h)-X(t 1)d X(t 2+h)-X(t 2)，则称{X(t), t ∈T}是平稳增量过程。

平稳独立增量过程：兼有独立增量和平稳增量的过程称为平稳独立增量过程，例如Poisson 过程和Brownian motion

Poisson 过程

Poisson 过程

1. 计数过程

定义：随机过程}0),({≥t t N 称为计数过程，如果)(t N 表示从0到t 时刻某一特定事件A 发生的次数，它具备以下两个特点： （1）0)(≥t N 且取值为整数；

（2）t s <时，)()(t N s N ≤且)()(s N t N -表示],(t s 时间内事件A 发生的次数。 2. Poisson 过程

定义：计数过程}0),({≥t t N 称为参数为λ（0>λ）的Poisson 过程，如果 （1）;0)0(=N

（2）过程具有独立增量性；

（3）在任一长度为t 的时间区间中事件发生的次数服从均值为t λ的Poisson 分布，即对一切0,

0>≥t s ，有 ()Λ

,1,0,!

))()((===-+-n n t e

n s N s t N P n t

λλ

注：Poisson 过程具有平稳增量性

因为)()(s N s t N -+的分布只依赖于t, 与区间起点s 无关，,0=s 令

()Λ,1,0,

!

)n )((===-n n t

e t N P n t λλ

t t EN t m λ==∴)()(

于是可认为λ是单位时间内发生的事件的平均次数，一般称λ是Poisson 过程的强度。 例：（Poisson 过程在排队论中的应用）研究随机服务系统中的排队现象时，经常用到Poisson 过程模型。例如：到达电话总机的呼叫数目，到达某服务设施（商场、车站、购票处等）的顾客数，都可以用Poisson 过程来描述。以某火车站售票处为例，设从早上8:00开始，此售票处连续售票，乘客以10人/小时的平均速率到达，则9:00-10:00这一小时内最多有5名乘客来此购票的概率是多少10:00-11:00没有人来买票的概率是多少

解：我们用一个Poisson 过程来描述，设8:00为时刻0，则9:00为时刻1，参数10=λ，于是!10}5)1()2({5

10

n e

N N P n n ∑=-=

≤-, 100

10!

010}0)2()3({--===-e e N N P 例：（事故发生次数及保险公司接到的索赔数）若以)(t N 表示某公路交叉口、矿山、工厂等

场所在],0(t 时间内发生不幸事故的数目，则Poisson 过程就是}0),({≥t t N 的一种很好近似。例如，保险公司接到赔偿请求的次数（设一次事故导致一次索赔），向315台的投诉（设商品出现质量问题为事故）等都是可以用Poisson 过程的模型。我们考虑一种最简单的情形，设保险公司每次的赔付都是1，每月平均接到索赔要求4次，则一年中它要付出的金额平均为多少

解：设一年开始时刻为0，1月末为时刻1，…年末为时刻12，则有

124!)124(})0()12({?-?==-e n n N N P n

∑∞

=?-??=-0

12

4!)124()]0()12([n n e n n N N E =48

问题：为什么实际中有这么多现象可以用Poisson 过程来反映呢

{}{}{}).

(2)(0h )iv ( );(1)(0h ,0)iii ( )ii ( ;

0)()i ( 0),(2.1.2h o h N P h o h h N P t N Poisson t t N =≥↓+==↓>=≥时，当时，当存在过程有平稳独立增量

过程，如果满足：称为：计数过程

定义λλ

定理：定义1和定义2是等价的。

例：事件A 的发生形成强度为λ的Poisson 过程}0),({≥t t N ，如果每次事件发生时以概率p 能够被记录下来，并以M(t)表示到时刻t 被记录下来的事件总数，则}0),(M {≥t t 是一个强度为p λ的Poisson 过程。

例：若每条蚕的产卵数服从Poisson 分布，强度为λ，而每个卵变为成虫的概率为p ，且每个卵是否变为成虫彼此间没有关系，求在时间[0, t]内每条蚕养活k 只小蚕的概率。

与Poisson 过程相联系的若干分布

设n T 表示第n 次事件发生的时刻，n=1,2，…，规定00=T 。n X 表示第n 次与第n-1次事件发生的间隔时间，n=1,2，…。 1. 关于n X 和n T 的分布

定理：n X （n=1,2,…）服从参数为λ的指数分布，且相互独立。 定理：n T （n=1,2,…）服从参数为n 和λ的Γ分布。

注：如果每次事件发生的时间间隔,....,21X X 相互独立，且服从同一参数为λ的指数分布，则计数过程}0),({≥t t N 是参数为λ的Poisson 过程。

例：设从早上8:00开始有无穷多的人排队等候服务，只有一名服务员，且每个人接受服务的时间是独立的并服从均值为20min 的指数分布，则到中午12:00为止平均有多少人已经离去，已有9个人接受服务的概率是多少

例：假设某天文台观测到的流星流是一个Poisson 过程，根据以往资料统计为每小时平均观察到3颗流星。试求：上午8:00-12:00期间，该天文台没有观察到流星的概率。

2. 事件发生时刻的条件分布 对于t s ≤，有t

s t N s T P ==≤}1)(|{1 现在考虑2≥n 的情况：

定理：在已知n t N =)(的条件下，事件发生的n 个时刻,,21T T n T Λ的联合分布密度是

n n t

n t t t f !

),,(21=

Λ， n t t t Λ<<<210 例：乘客按照强度为λ的Poisson 过程来到某火车站，火车在时刻t 启程，计算在],0(t 内

到达的乘客等待时间的总和的期望值。即要求])([)

(1

∑=-t N i i

T t E ，其中i

T 是第i 个乘客来到的

时刻。

2.3 Poisson 过程的推广

1. 非齐次Poisson 过程

定义：计数过程}0),({≥t t N 称作强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程，如果

{}{}).

(2)()t ()iv ( );()(1)()t ()iii ( }0),({)ii ( ;

0)()i ( h o t N h N P h o h t t N h N P t t N t N ==≥-++==-+≥=λ具有独立增量

等价定义：

定义：计数过程}0),

({≥t t N 称作强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程，

若

（1）;0)0(=N

（2）}0),({≥t t N 具有独立增量性； （3）即任意实数0,

0>≥s t ，)()(t N s t N -+为具有参数du

u t m s t m s

t t

?

+=-+)()()(λ的Poisson 分布，称ds s t m t ?=0

)()(λ为非齐次Poisson 过程的均值函数（或累积强度函数）

。

定理：设}0),

({≥t t N 是一个强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程。对任意

的0≥t ，令)),(()(*1

t m N t N -= 则)}(*{t N 是一个强度为1的Poisson 过程。

例：设某设备的使用期限为10年，在前5年内它平均年需要维修一次，后5年平均2年需维修一次。试求它在试用期内只维修过一次的概率。

2． 复合Poisson 过程

定义：称随机过程}0),

({≥t t X 为复合Poisson 过程，如果对于0≥t ，它可以表示为：

∑==

)

(1

)(t N i i

Y

t X ，其中}0),

({≥t t N 是一个Poisson 过程，},2,1,{Λ=i Y i 是一族独立 同

分布的随机变量，并且与}0),

({≥t t N 独立。

注：复合Poisson 过程不一定是计数过程。

例：保险公司接到的索赔次数服从一个Poisson 过程}0),

({≥t t N ，每次要求赔付的金额

i Y 都相互独立，且有相同分布F ，每次的索赔数额与它发生的时刻无关，则],0[t 时间内保

险公司需要赔付的总金额}0),({≥t t X 就是一个复合Poisson 过程，其中∑==

)

(1

)(t N i i

Y

t X 。

例：设顾客到达某服务系统的时刻Λ,,21S S ，形成一强度为λ的Poisson 过程，在每个时刻),2,1(Λ=n S n ，可以同时有多名顾客到达。n Y 表示在时刻n S 到达的顾客人数，假定

),2,1(Λ=n Y n 相互独立，并且与{n S }也独立，则在],0[t 时间内到达服务系统的顾客总人

数可用一复合Poisson 过程来描述。

例：假定顾客按照参数为λ的Poisson 过程进人一个商店，又假设各顾客所花的钱数形成一族独立同分布的随机变量。以)(t X 记到时间t 为止顾客在此商店所花费的总值，易见

}0),({≥t t X 是一个复合Poisson 过程。

定理：设{∑==)

(1

)(t N i i

Y

t X ，0≥t }是一复合Poisson 过程，Poisson 过程}0),({≥t t N 的强度

为λ，则

（1）)(t X 有独立增量；

（2）若+∞<][2

i Y E ，则 ][)]([1Y tE t X E λ=，][)]([2

1Y tE t X Var λ=

例：在保险中的索赔模型中，设索赔要求以Poisson 过程到达保险公司，速率为平均每月两次。每次索赔服从均值为10000元的正态分布，则一年中保险公司平均的赔付额是多少

例：设顾客以每分钟6人的平均速率进入某商场，这一过程可用用Poisson 过程来描述。又该进入该商场的每位顾客买东西的概率为，且每位顾客是否买东西互不影响，也与进入该商场的顾客数无关。求一天（12小时）在该商场买东西的顾客数的均值。

3．条件Poisson 过程

定义：设随机变量0>Λ，在λ=Λ的条件下，计数过程}0),({≥t t N 是参数为λ的Poisson 过程，则称}0),({≥t t N 为条件Poisson 过程。

定理：设}0),({≥t t N 是条件Poisson 过程，且∞<Λ][2

E ，则

（1）][)]([Λ=tE t N E ；

（2）][][)]([2

Λ+Λ=tE Var t t N Var

例：设意外事故的发生频率受某种未知因素影响有两种可能21,λλ，且,)(1p P ==Λλ

q p P =-==Λ1)(2λ，10<

故在t+s 之前不会到来的概率。另外，这个发生频率为1λ的概率是多少

第三章 Markov 链

基本概念

定义：随机过程}2,1,0,

{Λ=n X n 称为Markov 链，若它只取有限或可列个值（常用非

负整数集{Λ2,1,0}来表示），并且对任意的0≥n ，及任意状态110,,,,

-n i i i j i Λ，有

},,,|{11001i X i X i X j X P n n n n ====--+Λ=}|{1i X j X P n n ==+，其中i X n =表示过

程在时刻n 处于状态i ，称{Λ2,1,0}为该过程的状态空间，记为E . 上式刻画了Markov 链的特性，称为Markov 性。

定义：称条件概率}|{1i X j X P n n ==+为Markov 链}2,1,0,

{Λ=n X n 的一步转移概率，

简称转移概率，记为ij p ，它代表处于状态i 的过程下一步转移到状态j 的概率。

定义：当Markov 链的转移概率ij p =}|{1i X j X P n n ==+只与状态j i ,有关，而与n 无关时，称之为时齐Markov 链；否则，就称之为非时齐的。 注：我们只讨论时齐Markov 链，简称Markov 链。

定义：当Markov 链的状态为有限时，称为有限链，否则称为无限连。但无论状态有限还是无限，我们都可以将ij p （E j i ∈,）排成一个矩阵的形式，令

P=（ij p ）=??

???

????

???M M

M

ΛΛΛ222120121110

020100

p p p p p p p p p 为转移概率矩阵，简称转移矩阵。容易看出ij p （E j i ∈,）具有性质：

（1）0≥ij p ，E j i ∈,； （2）∑∈E

j ij

p

=1，E i ∈?。

例：考虑一个包含三个状态的模型，若个体健康，认为他处于状态1S ，若他患病，认为他处于状态2S ，若他死亡，认为他处于状态3S ，易见这是一个Markov 链，转移矩阵为

P=????

?

?????10

232221131211

p p p p p p

例：（赌徒的破产或称带吸收壁的随机游动）系统的状态时n ~0，反映赌博者在赌博期间拥有的钱数，当他输光或拥有钱数为n 时，赌博停止，否则他将持续赌博。每次以概率p 赢得1，以概率q=1-p 输掉1。这个系统的转移矩阵为

P=???

??

??

?????????1000000

00000000000000001Λ

ΛM M M M M M M ΛΛ

p q p q

例：（带反射壁的随机游动）设上例中当赌博者输光时将获得赞助1继续赌下去，就如同一个在直线上做随机游动的球在到达左侧0点处立刻反弹回一样，这就是一个一侧带有反射壁的随机游动，此时转移矩阵为：

P=???

??

??

?????????1000000

00000000000000010

Λ

ΛM M M M M M M ΛΛ

p q p q

例：（自由随机游动）设一个球在全直线上做无限制的随机游动，它的状态为0，Λ,2,1±±，它是一个Markov 链，转移矩阵为：

P=??????????

???????????

?

M

M M M M M M M ΛΛ

ΛΛΛΛM

M M M M M M M ΛΛΛΛΛΛM M M M M M M M p

q

p q p q p q 0

000

0000000000000000000

练习：设有一只蚂蚁在图上爬行，当两个节点相邻时，蚂蚁将爬向它邻近的一点，并且爬向任何一个邻近节点的概率是相同的，求转移矩阵。

2． n 步转移概率， C-K 方程

定义：称条件概率}|{)

(i X j X P p m n m n ij

===+，1,0;,≥≥∈n m E j i 为Markov 链的

n 步转移概率，相应地称)()

()(n ij n p P =为n 步转移矩阵。

规定：??

?=≠=j

i j

i p ij 10)

0( 问题：)

(n ij p 和ij p 是什么关系

定理：Chapman-Kolmogorov 方程，简称C-K 方程 对一切E j i n ∈≥,,0m ,有

（1）)

()

()

(n kj

m E

k ik

n m ij

p p p ∑∈+=

（2）n n n n P P P P P P P ==??=?=--Λ)2()1()( 证明：

例：（赌徒的破产或称带吸收壁的随机游动）系统的状态时n ~0，反映赌博者在赌博期间拥有的钱数，当他输光或拥有钱数为n 时，赌博停止，否则他将持续赌博。每次以概率p 赢得1，以概率q=1-p 输掉1。设2

1

,3=

==q p n ，赌博者从2元赌金开始赌博，求他经过4次赌博之后输光的概率。

例：甲乙两人进行某种比赛，设每局甲胜的概率是p 。乙胜的概率是q ，和局的概率是r ，

1r q p =++。设每局比赛后，胜者记“+1”分，负者记“-1”分，和局不计分，且当两人

中有一人获得2分时比赛结束。以n X 表示比赛至第n 局时甲获得的分数，则

},2,1,0,{Λ=n X n 为时齐Markov 链，求甲获得1分的情况下，不超过两局可结束比赛

的概率。

例：质点在数轴上的点集}2,1,0,1,2{--上做随机游动，质点到达点-2后，以概率1停留在原处；到达点2后，以概率1向左移动一点；到达其他点后，分别以概率

3

1

向左、右移

动一点，以概率

3

1

停留在原处。试求在已知该质点处于状态0的条件下，经3步转移后仍处于状态0的概率。

例：（广告效益的推算）某种啤酒A 的广告改变了广告方式，经调查发现买A 种啤酒及另外三种啤酒B, C ，D 的顾客每两个月的平均转换率如下（设市场中只有这四种啤酒）：

)

50.0()

10.0()

20.0()

20.0()00.0()70.0()10.0()20.0()04.0()06.0()60.0()30.0()01.0()02.0()02.0()95.0(D C B A D D C B A C D C B A B D C B A A →→→→

假设目前购买A ，B, C ，D 四种啤酒的顾客的分布为（25%，30%，35%，10%），试求半年后啤酒A 的市场份额。

3.2 状态的分类及性质

定义：若存在0≥n 使得0)

(>n ij

p ，称状态i 可达状态),(E j i j ∈，记为j i →。若同时

有i j →，则称i 与j 互通，记为j i ?。

定理：互通是一种等价关系，即满足： （1） 自反性：i i ?；

（2） 对称性：j i ?，则i j ?

（3） 传递性：j i ?，k j ?，则k i ? 证明：

定义：把任何两个互通状态归为一类，若Markov 链只存在一个类，就称它是不可约的；否则称为可约的。

例：在例中考三个状态：健康状态1S ，患病状态2S ，死亡状态3S ，可分为几个类

定义：若集合}0,1:{)

(>≥n ii

p n n 非空，则称它的最大公约数)(i d d =为状态i 的周期。

若1>d ，称i 是周期的。若1=d ，称i 是非周期的。规定，上述集合为空集时，称i 的周期为无穷大。

注：（1）虽然i 有周期d 但并不是对所有的n ，)

(nd ii p 都大于0。请举出反例：

（2）虽然i 有周期d 但可能0)

(=d ii p ，举出反例：

定理：若状态j i ,同属一类，则)()(j d i d =。 证明：

定义：对于任何状态j i ,，以)

(n ij

f 记从i 出发经n 步后首次到达j 的概率，则有

1

},|1,2,1,,{0)

()0(≥=-=≠===n i X n k j X j X P f f k n n ij

ij

ij Λδ

令∑

∞

==1

)

(n n ij

ij f f ，如果1=jj f ，称状态j 为常返状态；如果1

态。

问题：ij f 的含义是什么

定义：（1）对于常返状态i ，定义∑∞

==

1

)

(n n ii i nf

μ，可以知道i μ表示的是由i 出发再返回到i

所需的平均步数（时间）。

（2）对于常返状态i ，若+∞

态。

（3）若i 为正常返状态，且是非周期的，则称之为遍历状态。若i 是遍历状态，且1)

1(=ii f ，

则称i 为吸收状态，此时显然1=i μ。

例：设Markov 链的状态空间为}4,3,2,1{=E ，其一步转移概率矩阵为：

??????????

??????

??????=02

10

2

10323100001002121P 试将状态进行分类。

定理：状态i 为常返的当且仅当

∞=∑∞

=0

)(n n ii

p

；状态i 为非常返状态时，有ii

n n ii

f p -=∑∞

=11

)

(。

引理：对任意状态j i ,及+∞<≤n 1，有)(1

)()(l n jj l l ij n ij

p f p

-∞

=∑=。