几种常用的随机过程

第十讲 几种常用的随机过程

10.1 马尔可夫过程 10.1.1马尔可夫序列

马尔可夫序列是指时间参数离散，状态连续的马尔可夫过程。

一个随机变量序列x n （n=1,2,…）,若对于任意的n 有

)|(),...,,|(112

1

x x F x x

x x F n n X n n n

X

---= （10.1）

或

)|(),...,,|(112

1

x

x f x x

x x f n n

X

n n n

X

---=

（10.2）

则称x n 为马尔可夫序列。x n 的联合概率密度为

)

()|( )

|()|(),...,,(1

1

2

2

11

2

1

x f x x f x

x f x x f x x x f X

X

n n X

n n

X

n

X

??---=

（10.3）

马尔可夫序列有如下性质：

（1） 一个马尔可夫序列的子序列仍为马尔

可夫序列。

（2） )

|(),...,,|(1

21x

x f x x x x f n n

X

k n n n n X -+++=

（10.4）

（3） )|(),...,|(111x X x x X n n n n E E --=

（10.5）

（4） 在一个马尔可夫序列中，若已知现在，

则未来与过去相互独立。即

)

|()

|()|,(1

x x f x

x f x x x f r

s

X

n n

X

r

s

n

X

-=

，n>r>s （10.6）

（5） 若条件概率密度)|(1

x x f n n

X

-与n 无关，

则称马尔可夫序列是齐次的。

（6） 若一个马尔可夫序列是齐次的，且所

有的随机变量X n 具有同样的概率密度，则称该马尔可夫序列为平稳的。

（7） 马尔可夫序列的转移概率满足切普曼

—柯尔莫哥洛夫方程，即

)

|()|

()|(x x f

x x f

x x f

s

r X

r

n X

s

n X

?

∞

∞

-=

，

n>r>s (10.7)

10.1.2马尔可夫链

马尔可夫链是指时间参数，状态方程皆

为离散的马尔可夫过程。

1 马尔可夫链的定义 设

),2,1( =n X n 为离散时间随机过程，

其状态空间},,,{21a a a N I =。如果过程在k m t +时刻为任一状态),,2,1(N i a i k m =+的概率，只与过程在m t 时刻的状态有关，而与过程在m t 时刻以前的状态无关，即

1

1m k {|,,}

P{|} (10.8)X m k m m k m m k m m P i i i i i a

a a X X X a a X ++++====== 则称该过程为马尔可夫链，或简称马氏链。

2 马氏链的转移概率及有限维分布

马氏链的转移概率定义为

(,){|},

i,j 1,2,N;m,k

.9m k

m j i ij

m m k p p a a X

X ++====皆为正整数（10）

如果

)

,(k m m p ij

+与m 无关，则称该马氏

链为齐次的。下面我们仅研讨齐次马氏链，

并习惯上省去“齐次”二字。

马氏链的一步转移概率及其矩阵分别定义为

m 1

(1)(,1)P{|} (10.10)

X

m ij ij ij m m j i

p p p a

a X +=+====

??????????

????==p p

p p

p p p p

p NN N N N N P P

2

1

222

21

11211)1(

（10.11） 一步转移概率矩阵P 有以下两个性质

1

0≤≤

p

ij

（10.12）

∑==N

i ij

p

1

1

（10.13）

马氏链的高阶转移概率及其矩阵分别定义为

m n

()(,)P{|}

( 10.14 )

X

m ij ij n m m n j

i

p p a

a X +=+===11

12

121

22

212

()()()()

()()() (10.15)

()()

()N

N N N NN n n n n n n P n n n n p p

p p p p

p p

p ??????=?????

?

???

?

n 步转移概率矩阵P(n)具有如下的性质：

0() 1 (10.16)

ij

n p ≤

≤

1

() 1 (10.17)

N

ij

i n p ==∑

此外，还规定

???≠====j

i j

i m m ij ij ij p p ,0,1),()0(δ

马氏链的n 步转移概率及其矩阵具有如下的切普慢—柯尔摩哥洛夫方程的离散形式，即

N

ir

r 1

()()() (10.18)

p ij

ij

rj

n l k k p p p

==+=∑()()()() (10.19)

p n p l k p l p k =+=当n 为任意正整数时，则有

()(1) (10.20)

n

p n p p n p =?-==

式（7.18），若n=k+1,则有

(1)()() (10.21)

ij

ir

rj

ir

rj

r

r

k k k p p p

p p +==∑∑ 由上可知，以一步转移概率

p ij

为元素的一步转移概率矩阵P 决定了马氏链状态转移过程的概率法则。但是，P 决定不了初始概率分布，必须引入初始概率

0{},0,1,2,

(10.22)i i

p i p

x a ===

并称{p i

}=（ ,,,2

1

p p p ）为初始分布，显然

有

10, 1 (10.23)i

i

i

p

p ≥≥=∑

若绝对概率}{)(a X p j

k

j

p k ==，则有

(1)(1)() (10.24)j

i

ij

i

ij

i

i

k k k p p p p p +=+=∑∑

马氏链的有限维分布可表示为

01010

10

01

1010101{,,,}

p{}{|}

{|}

(10.25)

i X X p

n

n n n n

n n n p i i i P i i i P i i i i i

i

a a a X X X a a a X a a X X p p ---==========

3．遍历性及平稳分布

（1）遍历性 设)(n X 为齐次马氏链，若

对于一切状态i 与j ，存在不依赖于i 的极限

lim () (10.36)ij j n p n p →∞

= 则称马氏链X （n ）具有遍历性。

定理 （有限马氏链具有遍历性的充分条件）对有限状态的齐次马氏链X （n ），若存在正整数m ，使

()0,,1,2,..., (10.37)ij p m i j N >=

则此链是遍历的。而且，式（10.36）中的

}

,...,{}{21N j p p p p =是方程组

1

,1,2,..., (10.38)N

j i ij i p p p j N ===∑

在满足条件

11, 1 (10.39)

N

j j i o p p =<<=∑

下的惟一解。

（2）平稳分布 马氏链的一个概率分布

，如有

和即：10},{0=≥∑∞

=j j j j v v v

.40j i i ij

v v p ∞

==∑（10）

则称它为该链的平稳分布。并有

() (10.41)i i ij i v v p n ∞

==∑

10.1.3马尔可夫过程

这里论及的马尔可夫过程是指时间，

状态皆连续的马尔可夫过程。扩散过程就是 这类马尔可夫过程的一个特例。

设有一随机过程：

满足

，，相应的观测值）观测得到

（对，，若在n n n n n n x x x x t X t t t t T t t t t T t t X ,...,...,...,),(121121121---∈<<<<∈

1221122111(;/,,...,,;,...,,)

(;/;),3 .42X n n n n n n X n n n n F x t x x x x t t t t F x t x t n ------=≥的整数（10）

则称此类过程为马尔可夫过程，简称马氏过程。

马氏过程的转移概率分布定义为：

111100000(;|;){()()} (10.43 )(;|;){()|()}, (10.44 )

X n n n n n n n X F x t x t P X t X t x F x t x t P X t x X t x t t ----=≤==≤=>或 转移概率分布是关于x 的分布函数，故有：

00000001|0 .452| 1 .463|0 (10.47 4|X X X X F x t x t F t x t F t x t F x t x ≥∞=-∞=（）（；；）（10）（）（；；）（10）（）（；；））（）（；；1000111100 5||| X X X X t x F x t x t F x t x t d F x t x t ∞-∞

=?）是关于单调不减，右连续的函数。

（）满足切普曼—柯尔莫哥洛夫方程

（；；）（；；）（；；） .48（10）

马氏过程的转移概率密度定义为

0000(;|;)(;|;) .49 X X f x t x t F x t x t x

?

=

?（10）故有 0000001221122111(;/;) 1 .50(;/;)(), .51(;/,,...,,;,...,,)

(;/;),3 X X X n n n n n n X n n n n f x t x t dx f x t x t x x t t f x t x x x x t t t t f x t x t n δ∞

-∞

------=→-→=≥?

（10）

当时（10）的整数 .52（10）

它也满足切普曼——柯尔莫哥洛夫方程

(;/;)(;/;)(;/;),

.53X n n k k X n n r r X r r k k k r n f x t x t f x n x t f x t x t dx t t t ∞-∞

=<

（10）

如果马氏过程X （t ）有

00000000 (;/;)(/;),t ( 10.54 ) (;/;)(/;), .55 X X X X F x t x t F x x t f x t x t f x x t t ττττ==-==-或（10）

则称它为为齐次马尔可夫过程。

马氏过程X （t ）的n 维概率密度可写成

12121

111112n 1

(,,...;,,...,)

(;)(;/;),...t (10.56 )

X n n X X i i i i i f x x x t t t f x t f x t x t t t τ-++=<<<∏

10.2 独立增量过程 10.2.1独立增量过程

设有一个随机过程))((T t t X ∈，若对任意的时刻b t t t t n <<<<<≤ 2100，过程的增量

)()()()( )()(11201----n n t X t X t X t X t X t X 、、、 是

相互独立的随机变量，则称)(t X 为独立增量过程或可加过程。

若参数集[] ,0b t T =，则像马尔可夫过程一样，独立增量过程的有限维分布可由它的初始概率分布{}x t X <)(P 0及一切增量的概率分布唯一地确定。

如果独立增量过程)(t X 的增量

)()(1--i i t X t X 的分布仅与)(1--i i t t 有关，而与

1-i i t t 、本身无关，则称)(t X 为齐次的。

10.2.2泊松过程

实际上，泊松过程就是一个纯不连续的马尔可夫过程，而且也是一个独立增量过程。

1. 泊松过程

（1） 定义 设随机过程))

,0[)((0∞≥∈t t t X 的状态只取非负整数值，若满足下列三个条件：

① 1;}0)(P{0==τX

② X(t)为均匀独立增量过程； ③ 对任意时刻，21021),,(,t t t t t <∞∈对

应的随机变量的增量)()(),(1221t X t X t t X -=服从数学期望为)(12t t -λ的泊松分布，即对于k=0,1,2···有

21k 121221()21P (,){(,)()()}[()] (10.57)

!

k t t t t P X t t X t X t k t t e k λλ--==-=-=

则称X(t)为泊松过程。

对于式（10.57），若t t t ==21,0 时，则

有

k 2()P (0,),0,0,1,2,

(10.58)!

k t

t t e t k k λλ-=>=

（2）数字特征 泊松过程X(t)的均值、均方差、方差、自相关函数分别为：

222[()]

(10.59)[()] (10.60)D[()] E X t t

E X t t t X t t λλλλ==+=22

1212X 12122

11212

(10.61)

,R ( ,)[ ()()] (7.26),t t t t t t t E X t X t t t t t t λλλλ?+≤?==?+≥?? 2. 泊松增量

（1） 定义 由泊松过程X(t)在给定的

时间间隔0t >?内的增量与t ?之比，我们构成一新过程： X(t t)-X(t)Y(t) (10.63)t

+?=?

称它为泊松增量。显然，若k 是间隔t),(?+t t 内的随机点数，则Y(t)=k/△t 。故

k

t

k (t)P Y(t) (10.64)t k!e λλ-????==??

??

? （2） Y(t)的均值、自相关函数分别为：

21212212

1211

E[Y(t)][(t)]-[()] (10.65)

t t

, t (,) (10.66), t t t Y E X t E X t t t R t t t t t t λλλλλ=+?=???->??

=?-+--

???

3．过滤的泊松过程与散粒噪声

泊松过程X(t)对t 求导，就能得到与时间轴上随机点i t 相对应的冲激序列)(t Z ，称此离散随机过程为泊松冲激序列。即

∑-==i

i t t dt t dX t Z )()()(δ

（10.67）

（1） 过滤的泊松过程 设有一泊松冲激脉冲序列 )()(∑-=i

i t t t Z δ经过一线性时不

变滤波器，则此滤波器输出是一随机过程X(t)，如图：

()

1

X(t)()()(),0 (10.72)

N T i

i Z t h t h t t t ==*=

-≤<∞∑

式中，h(t)为滤波器的冲激响应；i t 为第

i 个冲激脉冲出现的时间；N(t)为在T ][0,内输入到滤波器的冲激脉冲的个数，它服从泊

松分布。我们称此为过滤的泊松过程。

（2） 散粒噪声 在电子管、晶体管中， 由散粒效应引起的散粒噪声电流皆为过滤的泊松过程。因此，散粒噪声X(t)可表示成类似式（10.72）的形式。

X(t)Z(t)()(), (10.73)

i i

h t h t t t =*=--∞<<+∞∑

而且，不难证明此X(t)也是平稳的。

10.2.3 维纳过程

维纳过程)(t W 是另一个最重要的独立增

量过程，有时也称它为布朗运动过程，还可以将它看成是随机游动X(t)的极限形式。

1.定义 设随机过程 ) ),0[)((∞∈t t W 满足下列条件：

（1）1;0}P{W(0)== （2） )(t W 为均匀独立增量过程，且对任意时刻 ,t t ),0[t t 2121<∞∈，、及 )]W(t )[W(t , 012εεε+-+>具有与)]W(t )[W(t 12-相同的正态分布函数，其概率密度为

21212

2121(;t ,t )1()

exp[]

2(t t ) (10.79)

W f w w w w α-=

---

式中，α为正常数。

（3） 对任意时刻),0[∞∈t ，

)(t W 具有均值E[W(t)]=0的正态分布函数，

其概率密度为

2/2t

1

(,) (10.80)

w

W

f w t eα

-

=

2.W(t)的均值与自相关函数分别为

T0

n

E[W(t)]E[lim()]0 (10.81)

X t nT

→

→∞

===

121212

112

212

(t,t)E[W(t)W(t)]min(t,t)

t,t t

(10.82)

t,t t

W

Rα

α

α

==

≤

?

=?

≥

?

3. W(t)与正态白噪声N(t)

维纳过程W(t)的形式导数W(t)?就是正态白噪声N(t)，N(t)的自相关函数为

121212

2

1212

12

(t,t)E[N(t)N(t)][W(t)W(t)]

(t,t)(t t) (10.83)

t t

N

W

R E

Rαδ

==

?

==-

??

令τ=

-

1

2

t

t，则有

()() (10.84)

N

Rταδτ

=

换言之，W(t)可表示为N(t)的积分，即

t

W(t)N(u)du (10.85)

=?

4． 扩散方程

维纳方程W(t)满足下列扩散方程

2

211

2

22

22 (10.86)02p p t w p p t w αα???=????????+=???? 式中，))()(;(),;,(2122111122t t w t W t w f t w t w p p W >=== 为在22)(w t W =之下随机变量)(1t W 的条件概率密度。实际上，此式是柯尔莫格洛夫方

程的特例。

可以证明，下列条件概率密度式

221111222

121212(,;,)(;;)

1()

exp[]

2() , (10.88)

W p w t w t f w t w t w w t t t t α=-=-->

是式（10.85）具有初始条件为

11221212(;;)(), (10.89)

W f w t w t w w t t δ→-→

的惟一解。