随机过程 第5-6讲
107518-概率统计随机过程课件-第五章(第三,四节 )
第三节 常用随机变量的数学期望和方差数学期望和方差的定义及计算公式 (一)离散型随机变量的数学期望和方差}{iiix X P x EX ==∑,}{)()]([iiix X P x g X g E ==∑,}{)(2iiix X P EX x DX =-=∑,222)()(EX EX EX X E DX -=-=,},{),()],([jiijjiy Y x X P y x g Y X g E ===∑∑,(二) 连续型随机变量的数学期望和方差⎰+∞∞-=dx x xf EX )(,⎰+∞∞-=dx x f x g X g E )()()]([,⎰⎰+∞∞-+∞∞-=dxdy y x f y x g Y X g E ),(),()],([, ⎰+∞∞-=dx x xf EX X)(⎰⎰+∞∞-+∞∞-=dxdy y x xf ),(, ⎰+∞∞-=dy y yf EY Y)(⎰⎰+∞∞-+∞∞-=dxdy y x yf ),(222)()(EX EX EX X E DX -=-=,⎰+∞∞--=dx x f EX x DX )()(2,nnnR ndxdx dx x x x f x x x g X X X g E n⋅⋅⋅⋅⋅⋅⋅⋅⋅=⋅⋅⋅⎰21212121),,,(),,,()],,,([ .(三) 数学期望和方差的性质 b EX k b X k E ini iini i+=+∑∑==11)(,若X 与Y 相互独立,则EY EX XY E ⋅=)(,DY b DX a c bY aX D 22)(+=++,若nX X X ,,,21⋅⋅⋅相互独立,则nnEX EX EX X X X E ⋅⋅⋅⋅=⋅⋅⋅2121)(,ini iin i iDX k b X k D ∑∑===+121)( ,例1 设X 服从(0—1)分布:求EX ,DX .解 p p p EX =-⨯+⨯=)1(01,p p p EX =-⨯+⨯=)1(01222, )1()(222p p p p EX EX DX -=-=-=.例2 设X 服从二项分布),(p n B , 即 kn kknp p C k X P --==)1(}{ ,n k ,,1,0⋅⋅⋅= 求EX ,DX .解 (由于直接比较繁杂,采用分解的方法)若nX X X ,,,21⋅⋅⋅相互独立, 同服从(0—1)分布,p X P p X P ii-====1}0{,}1{, n i ,,1⋅⋅⋅=,则 ),(~1p n B X X ni i∑==,p EX i=, )1(p p DX i -=.np p X E X E EX ni in i n i i====∑∑∑===111)(,∑∑====ni in i i DX X D DX 11)()1()1(1p np p p ni -=-=∑= .例 3 设X 服从泊分布)(λ∏，即!}{k e k X P kλλ-== ，⋅⋅⋅=,2,1,0k求EX ,DX .解 ∑∑∞+=∞+=----=⋅=011)!1(!k k k kk ek e k EX λλλλλλλλλ=⋅=-e e ，∑∑∞+=∞+=---=⋅=0122)!1(!k k kkk ke k e k EX λλλλ∑+∞=--+-=1)!1(]1)1[(k kk k e λλ222)!2(λλλ∑∞+=---=k k k e λλλ∑∞+=---+11)!1(k k k eλλλλλλλλ+=⋅+⋅=--22e e e e ， 于是λλλλ=-+=-=2222)()(EX EX DX 。
第6讲随机过程
随机过程的基本概念1．概率论1.1 条件概率设A 、是两个事件，当B ()0>B P 时()()()B P AB P B A P =|称为在事件发生的条件下事件的条件概率。
B A 可以推广到任意有限多个事件的场合。
设n A A A ,,,21L 为任意个事件，则有n ()()()()()12121312121|||−=n n n A A A A P A A A P A A P A P A A A P L L L1.2 事件的独立性对于任意两个事件A 与，若B ()()()B P A P AB P =则称事件A 与是相互独立的。
B 一般地，设个事件n n A A A ,,,21L 相互独立，则有()()()()n n A P A P A P A A A P L L 2121=设n A A A ,,,21L 是样本空间Ω的一个完备事件组，且()0>i A P ()n i ,,2,1L =，则对于在样本空间上定义的任一随机事件的概率，可计算如下ΩB ()()()∑==ni i i A B P A P B P 1|上式称为全概率公式。
设n A A A ,,,21L 是样本空间Ω的一个完备事件组，且()0>i A P ()n i ,,2,1L =，则对于在样本空间上定义的任一随机事件，，有ΩB ()0>B P ()()()()()∑==n k k k i i i A P A B P A P A B P B A P 1|||()n i ,,2,1L =上述公式称为贝叶斯公式。
意义：在实际工作中可能碰到这样一类问题，已知某个试验结果是由多个原因B i A 造成的，如果人们通过试验观察到这个结果，希望利B用来探讨每个原因B i A 导致这个结果的可能性有多大，即求后验概率()B A P i |。
与后验概率()B A P i |相对应，求解()B A P i |时所需的已知条件()i A P 被称为先验概率，它是根据以往数据分析所得的。
随机过程第5-6讲
它的一步转移概率矩阵为： 例 5 设有八个状态 { 0,1, 2, 3, 4, 5, 6, 7 } 的齐次马氏链，
Page 4 of 20
信息学院 2008-2009 随机过程讲稿 侯卫民
0 0 0 0 1/ 4 1/ 2 1/ 4 0 0 0 0 0 1 / 2 1 / 2 0 0 0 0 0 0 1/ 3 2 / 3 0 0 0 0 0 1 0 0 0 0 P= 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1/ 2 1/ 2 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0
试研究其状态关系。 例 2 设有四个状态 { 0,1, 2, 3} 的齐次马氏链，它的一步转移概率矩阵为：
Page 3 of 20
信息学院 2008-2009 随机过程讲稿 侯卫民
0 1/ 2 1/ 2 0 1 / 2 1 / 2 0 0 P= 1/ 4 1/ 4 1/ 4 1/ 4 0 0 0 1
(n)
{
}
为状态 i 的周期，记为 d i ，当 d i = 1 时，称该状态无周期。 定义：称非周期正常返状态为遍历态。 注意：一个不可约的、非周期的、有限状态的马氏链一定是遍历的。
（七）常返、非常返、周期状态的分类特性 设 i ↔ j ，则 i 和 j 或者都是非常返态，或者都是零常返态，或者都是正常
有关的性质： （1） C 是闭集 ⇔ pi j = 0 , ∀ i ∈ C , j ∉ C ⇔ pi j = 0 ( n ≥ 1), ∀ i ∈ C , j ∉ C
(n)
（2） C 是闭集 ⇔
∑p
j∈C
ij
= 1, ∀ i ∈ C
随机过程第六章
T
T
X (t )dt
<x(t)>是随机过程的样本函数按不同时刻取平均，它随样本不同而不同， 是个随机变量。 对于一个确定的样本
X (t ) lim 1 T 2T
T
T
X (t )dt 常数
时间平均
集合平均
20
定义6.10 设{X(t),-∞<t<∞}是均方连续的平稳过程，若
n
lim E[| X n X |2 ] 0
成立，则称{Xn}均方收敛于X，记作
Xn X
m. s
l.i.m X
n
n
X
称二阶矩随机序列{Xn}依分布收敛于二阶矩随机变量X，若{Xn}相应的分 布函数列{Fn(x)}，在X的分布函数F(x)的每一个连续点处，有
n
lim Fn ( x) F ( x)
t
a
X ( ) d
在均方意义下存在，且随机过程{Y(t), t∈T}在区间[a,b]上均方可微，且有 Y’(t)=X(t)。
18
推论：设X (t )均方可微，且X (t )均方连续，则 X (t ) X (a) X (t )dt.
a t
及
X (b) X (a) X (t )dt.
第六章：平稳随机过程
严平稳过程的定义 宽平稳过程的定义 平稳过程的数字特征 平稳过程自相关函数的性质 时间平均和集合平均的概念 平稳过程遍历性定义 遍历性判定定理 遍历性应用举例
1
严平稳过程的定义
设{X(t),t∈T}是随机过程，如果对任意常数τ和正整数n， t1,t2, …,tn∈T，t1+τ,t2+τ, …,tn+τ ∈T， (X(t1),X(t2), …,X(tn))与(X(t1+τ),X(t2+τ), …,X(tn+τ))有 相同的联合分布，则称{X(t),t∈T}为严平稳过程或侠义 平稳过程。
随机过程_课件---第五章
随机过程_课件---第五章第五章离散参数Markov 链5.1 Markov 链的基本概念1、Markov 链和转移概率矩阵定义5-1考虑只取有限个或可数个值的随机过程{},0,1,2,n X n = 。
把过程所取可能值得全体称为它的状态空间，记之为E ，通常假设{}0,1,2,E= 。
若n X i =就说“过程在时刻n 处于状态i ”，假设每当过程处于状态i ，则在下一个时刻将处于状态j 的概率是固定的ij p ，即对任意时刻n1(|)n n ij P X j X i p +===若对任意状态011,,,(,n 0)n i i i i j -≥ 及任意的有11111001(|,,,,)(|)n n n n n n n P X j X i X i X i X i P X j X i +--+======== 这样的随机过程称为Markov 链。
称矩阵00010201011121012j j i i i ij p p p p p p p p P p p p p ??=是一步转移概率矩阵，简称为转移矩阵。
由ij p 的定义可知，这是一种带有平稳转移概率的Markov 链，也称作时间齐次Markov 链或简称时齐次Markov 链。
且具有，0ij p ≥ , 01ij j p ∞==∑2、例题例5-1（直线上的随机游动）考虑在直线上整数点上运动的粒子，当它处于位置j 时，向右转移到j+1的概率为p ，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即00X =。
于是粒子在时刻n 所处的位置{}n X 就是一个Markov 链，且具有转移概率,1,10,jk p k j p q k j =+??==-其他当12p q ==时，称为简单对称随机游动。
例5-6（排队模型）考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务。
随机过程课件
1
m X (t1 )][ x2 m X (t 2 )] f ( x1 x2 ; t1 , t 2 )dx1dx 2 f ( x1, x2 ; t1 , t 2 )dx1dx 2
x x
1 2
X(t) 协方差与相关函数的关系为 当 mx (t ) 0 时 C X (t 1 , t 2 ) R X (t 1 , t 2 ) 在协方差定义中取t1=t2=t,就有
为XT 的均值函数或数学期望。其中F(x,t)是过程 的一维分布函数。 若是连续型随机变量，有 mX (t) xf(x,t)dx 其中f(x,t)是一维分布密度。 12
2．随机过程的方差 若 DX (t) 2 (t) E[X(t) mX (t)]2 存在，t∈T， X 称为X（t）的方差。 x (t) Dx (t) 称为X（t）的标准差。 它们描绘过程的样本曲线在各个t时刻对均 值 m X ( t ) 的离散程度， 对每个t1∈T， EX (t1 ) 反映t1状态取值的概率平均。 DX (t1 ) 反映t1状态取值与 EX (t1 ) 离散程度。 在工程中随机过程的均方值具有物理意义，比 较有用。均方值定义为： E[ X 2 (t )] X (t ) DX (t ) E( X 2 (t )) E 2 ( X (t )) 有关系式： 13 Dx (t ) x (t ) [mx (t )]2 即
第一章. 随机过程的基本概念
§1.1 随机过程及其概率分布
在实际问题中，有时需要对随机现象的变化进 行研究，这时就必须考虑无穷个随机变量或一族 随机变量, 我们就称这种随机变量族为随机过程。 例1: 生物群体的增长问题。在描述群体的发展 或演变过程中, 以 Xt 表示在时刻 t 群体的个数, 则 对每一个 t ，Xt 是随机变量。假设我们从 t ＝0 开 始每隔24小时对群体的个数观测一次, 则{Xt , t ＝0, 1, 2, ...}是一个随机过程。 例2: 电话呼唤问题。某电话总机在[0，t]时间 内收到的呼唤次数用 Xt 来表示, 则对于固定的 t ， 1 Xt 是随机变量。于是{Xt , t ∈[0, ∞)}是随机过程。
北大随机过程课件：第3章第5讲更新过程
2．更新过程分析
2.1 计算 N(t)的概率分布
对于更新过程，当给定事件间隔 xn (n ≥ 1) 的概率分布函数 F(t)，或概率密度函数
f(t) 时，计算 N(t)的概率分布。
设 Sn 的分布函数是 Fn (t) ， Fn (t) 是 F (t) 的 n 次卷积；
设{N(t), t>0}是一个计数过程， xn (n ≥ 1) 表示第 n-1 次事件和第 n 次事件的时间间隔，
再设 {x1, x2 ,"} 为非负、独立、同分布的随机变量序列，则称计数过程{N(t), t>0}为更新过
程。 特点：根据事件间隔的特征(独立、同分布)定义； 举例： 假设灯泡的寿命是统计独立、同分布的随机变量，若每次使用一个灯泡，当灯泡损 坏后立刻更换新的，则在时间 t 内损害的灯泡数是一个更新过程{N(t), t>0}，其中 N(t)是在时间 t 内损坏的灯泡数。
0
给定了更新过程强度 λ(t)后，更新过程间隔概率密度函数 f(t)可由上述积分方程求
解。
2.4 更新过程的极限，平均更新时间与更新速率
在有限的时间内更新的次数是有限的、当时间 t 趋于无穷时，更新的次数趋于无穷， 考虑到，
Sn 是第 n 次更新事件发生的时刻，
N(t)是直到时刻 t 发生更新事件的次数，
P{N (t) = n} = Fn (t) − Fn+1 (t) 。
2.2 计算更新过程的期望
∞
m(t) = E{N (t)} = ∑ nP{N (t) = n}
n=1
∞n
∞∞
随机过程课件-c5
⎧1 , i = j lim pij (t ) = ⎨ t →0 ⎩0 , i ≠ j
5 连续时间的马尔可夫链
12
转移速率
5 连续时间的马尔可夫链
13
Q矩阵
若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,…,n}
λ
λ
26
求其平稳分布。
pij(t)极限存在且与i无关，存在平稳分布
5 连续时间的马尔可夫链
27
或者
此Markov链是不可约的
5 连续时间的马尔可夫链
28
5 连续时间的马尔可夫链
29
5.3 生灭过程
5 连续时间的马尔可夫链
30
Q矩阵
I = {0,1,2,3,...}
⎛ − λ0 ⎜ ⎜ μ1 ⎜ Q=⎜ ⎜ ⎜ ⎜ ⎜ ⎝
⎛ − q00 ⎜ ⎜ q10 Q =⎜ ⎜ ⎜ q ⎝ n0 q01 − q11 qn1 q0 n ⎞ ⎟ q1n ⎟ ⎟ ⎟ − qnn ⎟ ⎠
Q= P′ (0)
利用Q可以推出任意时间间隔的转移概率所满足的方程组，从 而求解转移概率。
5 连续时间的马尔可夫链
14
微分方程
P′(t)=QP(t) 定理5.5 (科尔莫戈罗夫向前方程) 在适当的正则条件下有
5 连续时间的马尔可夫链
22
渐近性质
5 连续时间的马尔可夫链
23
5 连续时间的马尔可夫链
24
回顾
转移概率： pij(s,t)= P{X(s+t)=j|X(s)=i} P(s+t)=P(s)P(t) 转移速率 Q= P′ (0) 科尔莫戈罗夫微分方程 向后方程：P′(t)=QP(t) 向前方程：P′(t)=P(t)Q
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
求此链的闭集。
解：画出状态转移图，此链可约，闭集为： {1, 3, 5} 。
例 4 设马氏链的状态空间为 S = {1,2,3,L} ，转移概率为： p11 = 1/ 2 ， pii+1 = 1/ 2 ， pi1 = 1/ 2, i ∈ S ，研究各状态的分类。
解：画出状态转移图，可知：
∑ f (n) 11
S = D U C1 U C2 U L U Ck 其中：每个 Cn , n = 1,2,L, k 均是由正常返状态组成的有限不可约闭集， D 是非常返态集。
（十一）例子
例 1 设有三个状态{0,1, 2}的齐次马氏链，它的一步转移概率矩阵为：
1/ 2 1/ 2 0 P = 1/ 2 1/ 4 1/ 4
（七）常返、非常返、周期状态的分类特性
设 i ↔ j ，则 i 和 j 或者都是非常返态，或者都是零常返态，或者都是正常
中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞
返非周期的（遍历），或者都是正常返有周期的且有相同的周期。
非常返态
状态
常返态
零常返态
正常返态
有周期 非周期（遍历态）
PD PD1 PD2 L D
P
=
P1
C1
P2
O
C2 M
其中 P1 , P2 ,L均为随机矩阵，他们对应的链是不可约的。称以上形式的
转移矩阵为标准形式。
（十）有限马氏链的性质
（1） 所有非常返状态组成的集合不可能是闭集； （2） 没有零常返状态； （3） 必有正常返状态； （4） 不可约有限马氏链只有正常返态； （5） 状态空间可以分解为：
（5）所有常返态构成一个闭集； （6）在不可约马氏链中，所有状态具有相同的状态类型；
{ } 定义：对i ∈ S ，若正整数集
n;
n
≥ 1,
p(n) ii
>
0
非空，则定义其最大公约数
为状态 i 的周期，记为 di ，当 di = 1时，称该状态无周期。
定义：称非周期正常返状态为遍历态。
注意：一个不可约的、非周期的、有限状态的马氏链一定是遍历的。
（八）周期状态的判别
（1） 按互通性将状态分类后，在同一类集合中选一个状态判别其周期性即可。
（2）
如有正整数
n
，使得
p(n) ii
>0,
p (n+1) ii
> 0 ，则状态 i 无周期。
（3） 如有正整数 m ，使得 m 步转移概率矩阵 Pm 中相应某状态 j 的那一列元素
全不为零，则状态 j 无周期
型：或者均为零常返；或者均为正常返非周期（遍历）；或者均为正常返
有且有相同的周期；而且对于 i , j ∈Cn , fi j = 1。 （2） （周期链分解定理）一个周期为 d 的不可约马氏链，其状态空间 S 可以
分解为 d 个互不相交的集 J1 , J 2 ,L, J d 之并，即有：
d
S = UJr , Jk I Jl = ∅ , k ≠ l , r =1
称此马氏链不可约，否则称此马氏链可约。
有关的性质：
（1） C 是闭集 ⇔
pi j
= 0 , பைடு நூலகம்i∈C,
j∉C
⇔
p(n) ij
= 0 (n ≥ 1), ∀i ∈C ,
j ∉C ；
（2） C 是闭集 ⇔ ∑ pi j = 1, ∀i ∈C ； j∈C
（3） i 为吸收态 ⇔ pii = 1；
（4）齐次马氏链不可约 ⇔ 任何两个状态均互通；
= 1 n ，故 2
f11
=
∞ 1 n n=1 2
= 1，故状态
1
是常返的。
又 µ1
=
∞
∑
n
n=1
1 n 2
<
∞ ，故状态
1
是正常返的。
易知状态 1 是非周期的，从而状态 1 是遍历的。
对于其它状态，由于1 ↔ i ,i ∈ S ，因此也是遍历的。
例 5 设有八个状态{0,1, 2,3, 4,5,6,7}的齐次马氏链，它的一步转移概率矩阵为：
中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞
第二章 Markov 过程
4. 马尔可夫链状态的分类
（六）闭集和状态空间的分解
定义：设 C 是状态空间 S 的一个子集，如果从 C 内任何一个状态 i 不能到达 C 外的任何状态，则称 C 是一个闭集。如果单个状态 i 构成的集{i} 是闭集，则 称状态 i 是吸收态。如果闭集 C 中不再含有任何非空闭的真子集，则称 C 是不可 约的。闭集是存在的，因为整个状态空间 S 就是一个闭集，当 S 不可约时，则
（九）分解定理
（1） 齐次马氏链的状态空间 S 可唯一地分解为有限多个或可列多个互不相交 的状态子集 D , C1 , C2 ,L之并，即有 S = D U C1 U C2 U L。 其中：D 是非常返态集，每个 Cn , n = 1,2,L均是由常返状态组成的不可 约集，其中的状态互通，因此 Cn , n = 1,2,L中的状态具有相同的状态类
且
∑ pi j = 1 , i ∈ J r , r = 1,2,L
j∈J r +1
其中约定 J r+1 = J1 。
中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞
（3） 基于上面的（1），我们将状态空间 S 中的状态依 D , C1 , C2 ,L的次序从
新排列，则转移矩阵具有以下的形式
解：{0,1}正常返，{2} 非常返，{3}吸收态。
例 3 设马氏链的状态空间为 S = {1, 2,3, 4,5} ，一步转移概率为：
1/ 2 0 1/ 2 0 0
0 1/ 4 0 3/ 4 0
P
=
0
0 1/ 3 0 2 / 3
1/ 4 1/ 2 0 1/ 4 0
1/ 3 0 1/ 3 0 1/ 3
0 1/ 3 2 / 3
试研究其状态关系。
例 2 设有四个状态{0,1, 2,3}的齐次马氏链，它的一步转移概率矩阵为：
中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞
1/ 2 1/ 2 0 0
P
=
1/ 2 1/ 4
0
1/ 2 1/ 4
0
0 1/ 4
0
0 11/ 4
试研究其状态关系。
中科院研究生院 2010～2011 第一学期 随机过程讲稿 孙应飞
0 1/ 4 1/ 2 1/ 4 0 0 0 0
0 0 0 0 1/ 2 1/ 2 0 0
0
0
0
0 1/3 2/3 0
0
P
=
0 0
0 0
0 0
0 0
0 0
1 0
0 1
0
0
0 0 0 0 0 0 1/ 2 1/ 2