概率论与随机过程第五讲
14
⎧⎨(−1)n ⎩
n
n +
⎫ 1⎭⎬
,
⎧⎨sin ⎩
nπ
4
⎫⎬ , ⎭
⎧ ⎨ ⎩
2n n +1
sin
nπ
4
⎫ ⎬ ⎭
则lim(−1)n n = 1; lim(−1)n n = −1
n→∞
n +1 n→∞
n +1
则lim sin nπ = 1; lim sin nπ = −1
n→∞
4
n→∞
4
则lim 2n sin nπ = ？lim 2n sin nπ = ？
n→∞ n +1 4 n→∞ n +1 4
2011-9-26
北京邮电大学电子工程学院
15
定理2.2.4 设 fn 是定义在（Ω, F）上的实可测函数列，
( ) 则：sup fn，inf
n
n
fn，lim n→∞
f n，nli→m∞
f
均是
n
Ω，F
上的实可测函数。
~ (1)
证明：由于对任意的 x ∈ R ，有：
（4）非负可测函数是非负不减简单（或初等）函数列的 极限（或一致极限）。
证明：若f 非负可测，则（2.2.2）和（2.2.3）变成:
( ) ∑ ( ) ( ) fn ω
+ n2n −1
= 2k χ ω k=0
n
⎧ ⎨ ⎩
k 2n
≤
f
(ω
)<
k +1 2n
⎫ ⎬ ⎭
+ nχ{ f (ω )≥n} ω
( ) ∑ ( ) ( ) gn ω
2011-9-26
北京邮电大学电子工程学院
9
显然，当 f取有限值时， f + = f + f , f − = f − f
2
2
对任意的 f，有： f = f + − f −
定理2.2.3 实可测函数的正部和负部都是可测函数，因 而任何实可测函数可表示为两个非负可测函数之差。
证明：下证实可测函数的正部 f +为可测函数
2011-9-26
北京邮电大学电子工程学院
21
~ (n)
推论 设 g 是定义在 R 的某一子集D上的函数，并且
~ (n)
它在D上沿D连续，则 g 是可测空间（D,D ∩ B ）上的 可测函数。
an ∈B
an ∈B
则 f (ω)是可测函数。
2011-9-26
北京邮电大学电子工程学院
4
定理2.2.2 关于实可测函数，有：
（1）可测函数是简单函数列的极限； （2）可测函数是初等函数列的一致极限； （3）有界可测函数是简单函数列的一致极限； （4）非负可测函数是非负不减简单（或初等）函数列
的极限（或一致极限）。 证明：设f为实可测函数。（1）对任意的正整数n，令：
A
，其中
j
A+
∞Байду номын сангаас
=
+ ∞ ，A−∞ =
−∞
j = −∞
{ } 将集合 Aj与D求交，凡是不空的重新 排列为 Al(k ),l ≥ 1 ，
2011-9-26
北京邮电大学电子工程学院
19
显然，Al(k
)
=Al( k )
∩
D
∈
~
B
(1)
∩
D
∪∞
注意：Al(k) ∩ D两两不交，且 Al(k) ∩ D = D
(2)∀ε > 0, ∃n,使an < x + ε ;则 − an > −x − ε
从上述两条可知，sup{−an} = −x.
2011-9-26
北京邮电大学电子工程学院
13
二、可测函数的运算性质
设{ fn}是定义在
Ω上取值于
~ (1)
R 的函数列，对于取定的
ω，
( ) sup n
fn (ω )
inf n
2.2.3
显然，gn(ω)是初等函数，且对每一个ω∈Ω，一致地有：
nli→m∞gn (ω ) = f (ω )
即可测函数是初等函数列的一致极限。
2011-9-26
北京邮电大学电子工程学院
6
定理2.2.2 关于实可测函数，有：
（3）有界可测函数是简单函数列的一致极限；
证明：f 有界，则存在M>0，使： f (ω ) < M，
{ω
:
f
+ (ω ) ≤
x} =
⎧Φ
⎩⎨{ω
:
f
(ω ) ≤
x} xx
< ≥
0 0
{ } 可见对任意的
x
∈
~ (1)
R ，ω：f
+
(ω
)
≤
x
∈F
2011-9-26
北京邮电大学电子工程学院
10
上确界：
对于给定的数集S={x}，若数ξ满足条件： (1) ξ 是S的上界，即对∀x∈S，有x ≤ξ; (2)对任何小于ξ的数β，一定存在S中某个 数x0， 使得x0> β. (即对∀ε>0,∃ x0∈S,使得 x0>ξ-ε) 则称ξ为数集S的上确界，记作： ξ=sup S
北京邮电大学电子工程学院
16
推论 如果可测空间（Ω, F ）上的简单函数列的 极限存在，则它是（Ω, F ）上的可测函数。
可测函数也可采用结构性定义的方式：
（Ω, F ）上收敛的简单函数列的极限函数称 为（Ω, F ）上的可测函数；
（Ω, F ）上的一致收敛的初等函数列的极限 函数称为（Ω, F ）上的可测函数。
χ
A
(ω
)
=
⎧1 ⎩⎨0
ω ω
∈ ∉
A A
为A的示性函数。
∪ (2) 若Ak∈ F ， k = 1,2,
n
~ (1)
n两两不交，且 Ak = Ω，ak ∈ R ，
k =1
n
则称函数f (ω) = ∑ ak χ Ak (ω)，ω ∈ Ω为(Ω, F )的简单函数 k =1
（高等数学里的分段函数属于简单函数的特殊情形）
上确界是数集S所有上界的最小值。
2011-9-26
北京邮电大学电子工程学院
11
下确界：
对于给定的数集S={x}，若数ξ满足条件：
(1) ξ 是S的下界，即对∀x∈S，有ξ≤x;
(2)对任何大于ξ的数β，一定存在S中某个 数x0， 使得x0< β. (即对∀ε>0,∃ x0∈S,使得 x0<ξ+ε) 则称ξ为数集S的下确界，记作： ξ=inf S
⎯n⎯→⎯∞→ 0,则 lim n→∞
fn (ω) =
f (ω)
即可测函数是简单函数列的极限。
2011-9-26
北京邮电大学电子工程学院
5
定理2.2.2 关于实可测函数，有：
(2)可测函数是初等函数列的一致极限；
设函数列{ fn}与函数f 定义在同一集合Ω上，若对任意的ε > 0,总∃N, 使得当n > N时，对一切ω ∈ Ω,都有
fn (ω )
是数列{ fn (ω )}的上 (下)确界 (可能取 ± ∞)，当
( ) ( ) ω变动时，sup fn (ω ) n
inf n
fn (ω )
是Ω上的函数，记为sup fn
n
inf n
fn
，
称为函数列{fn}的上（下）确界。
类似地，lim
n→∞
fn (ω ) =
sup inf
n k≥n
北京邮电大学电子工程学院
20
对∀x ∈ D，∀k，∃lk，使x ∈ Al(kk ) ∩ D，使得
x(k lk
)
1 - 2k
<
x<
x(k lk
)
+
1 2k
( ) 并且：gk ( x) = g
x(k lk
)
由于当k → ∞时，xl(kk) → x，g在D上连续，则：
lim
k →∞
gk
(
x)
=
g
(
x)
对一切x ∈ D成立，所以g ( x)是可测函数。
| fn (ω) - f (ω) |< ε ,
则称函数列{ fn}一致收敛于f。
证明：任意的正整数n，令：
( ) ∑ ( ) ( ) ( ) ( ) gn ω
+∞
= 2k χ ω k=−∞
n
⎧ ⎨ ⎩
k 2n
≤
f
(ω
)<
k +1 2n
⎫ ⎬ ⎭
+ ∞χ{ f (ω )=+∞} ω
− ∞χ{ f (ω )=−∞} ω
+∞
= 2k χ ω k=0
n
⎧ ⎨ ⎩
k 2n
≤
f
(ω
)<
k +1 2n
⎫ ⎬ ⎭
+ ∞χ{ f (ω )=+∞} ω
显然，fn(ω)是非负不减简单函数列，且对每一个ω∈Ω，有： fn(ω)→f(ω)；gn(ω)是非负不减初等函数列，且对每一个 ω∈Ω，一致地有：fn(ω)→f(ω)。
2011-9-26
则当n > M时(2.2.2)式变成如下形式：
( ) ∑ ( ) fn
ω
n2n −1
= 2k χ k =−n2n
n
⎧ ⎩⎨
k 2n
≤
f
(ω
)<
k +1⎫ 2n ⎭⎬
第五讲平稳随机过程与各态历经过程
第五讲 平稳随机过程与各态历经过程5．1 平稳随机过程在通信与信息领域，很多随机过程都是平稳的或近似平稳的，这是最简单的一类随机过程。
观察随机过程：)cos()(Φ+Ω=t A t X ：)cos()(Φ+=t a t X ω： )cos()(ϕω+=t A t X ： )cos()(ϕ+Ω=t a t X ：当（a）（d）中的Φ服从某种分布时，它们的数学期望和方差很可能2,0[π均匀分布不随时间而改变（平稳的概念）；当（a）中的Φ服从]时，任何一个样本都可代表这个过程（各态历经的概念）。
5.1.1严平稳过程性质：5.1.2宽（广义）平稳过程例题：3.1.3 各态历经过程例题：例2：5.2 平稳随机过程相关性分析5.2.1 自相关函数的性质性质1 实平稳过程X(t)的自相关函数是偶函数，即 )()(ττ-=X X R R 同样可得 )()(ττ-=X X C C性质2 平稳过程的均方值就是自相关函数在0=τ时的非负值0)]([)0(2≥=t X E R X性质3 平稳过程X(t)自相关函数的最大值在0=τ处 )()0(τX X R R ≥ 同理可证 )()0(τX X C C ≥性质4 周期平稳过程X(t)的自相关函数是周期函数，且与周期平稳过程的周期相同 )()(ττX X R T R =+注：若平稳过程X(t)满足X(t)=X(t+T)，则称它为周期平稳过程，其中T 为过程的周期。
性质5 非周期平稳过程X(t)的自相关函数满足)()0()()(lim 22∞-==∞=∞→X X X XX X R R m R R σττ从上面的讨论看出，对于一个平稳随机过程，自相关函数是它的最重要的数字特征，由它可得到其它的数字特征：数学期望 )(∞±=X X R m 均方值 )0()]([2X R t X E = 方差 )()0(2∞-=X X X R R σ 协方差 )()()(∞-=X X X R R C ττ例：已知非周期平稳随机过程X(t)的自相关函数为231916)(ττ++=X R求：X(t)的均值和方差。
卢正新《随机过程》第五章 布朗运动与鞅-全
lim
t 0
DX
(t)
lim (x)2
t 0
t t
lim
t 0
2t
t t
2t
3
X(t)为独立同分布的随机变量之和，由中心极限定理，可得： 1）X(t)~N(0, σ2t);
随机游动的值在不相重叠的时间区段内相互独立，得 2）X(t)是独立增量过程；
在任一时间区间随机游动的值仅与时长有关，得 3）X(t)是平稳增量过程
4）B(t0 s) B(t0 ), 0 s t0, t0 0
9
1）B(t ) B( ),t 0, 0;
证：B(t)为正态过程，则B(t ) B( )为正态过程，且 B(0 ) B( )=0
对t 0，E B(t ) B( ) 0
对s,t 0，有
E B(t ) B( )B(s ) B( )
布朗运动的轨道
从时刻0到时刻T对布朗运动的一次观察称为布朗运动在区间[0,T]上的一条轨 道或路径。
轨道的基本性质
1）是t的连续函数； 2）在任何点都不可微
定理：固定t 0，设0 t0 t0 L tn， = m1kaxn(tk -tk1),则有
n
lim
0 k 1
B(tk ) B(tk1) 2 t
B(t1) B(s1)与B(t2 ) B(s2 )独立，即B(t)为正交增量过程； 故B(t)为布朗运动。
推论：设{B(t)，t≥0} 为布朗运动，则：
1）B(t ) B( ),t 0, 0;
2）
1
B(t ), t
0,
0;
3）tB(1t ),t 0，其中tB(1t ) t0 0;
概率密度函数为：
随机过程第五章(下)
n n n d E i ( xi i ) E i ( xi i ) j ( x j j ) i 1 i 1 j 1
2
i j E ( xi i )( x j j )
即若 X 为正态，则Y AX b ，亦为正态随机变量。
5、若 X 为n维正态随机变量，那么X1,X2, …,Xn相互独立的充要条件
是两两互不相关。
定义： 若随机过程X(t)的任意n维分布都是n维正态分布，则称X(t)是正态随机 过程（高斯过程）。 正态随机过程的性质：
1. 若正态随机过程为宽平稳，则必为严平稳。
第五章（下）：正态过程
多维随机变量的定义与协方差矩阵 多维正态随机变量的性质 正态随机过程的定义 正态随机过程的性质
二维正态随机变量： 讨论随机变量X1,X2的联合概率密度函数 x a ( x a )( x a ) x a 1 1 f ( x1 , x2 ) exp{ [( 1 1 )2 2 1 1 2 2 ( 2 2 )2 ]} 2(1 2 ) 1 1 2 2 21 2 1 2 称X1,X2为二维正态随机变量。其中ρ 为X1和X2的相关函数。 对于上述二维随机变量，其边际密度可表示为
f X ( x)
1 (2 ) | C |
n 2 1 2
1 exp{ ( x a )C 1 ( x a ) ' } 2
则称 X 为n维正态随机变量，其中C为n维实对称正定阵。ห้องสมุดไป่ตู้为X ~ N (a, C)
协方差矩阵
C11 C12 C1n C C22 C2 n 21 C Cn1 Cn 2 Cnn
5随机过程第五章马尔可夫过程
例2： 多级数字信号传输（级联） 传送两种信号0，1 每级正确传送概率为p，错误为1-p 单位时间传送一级， X 0 是第一级的输入，X n 是第n级的输入 1 为状态空间的齐次马氏链， ，则 { X n , n 0} 是以 S 0， 一步转移概率矩阵为
p q P q p
0.7 0.3 P 0.4 0.6
由C－K方程，两步转移矩阵为
P 2
四步转移矩阵为
P
4
0.61 0.39 P2 0.52 0.48
0.5748 0.4251 P4 0.5668 0.4332
如今日为时刻0，则今日有雨且第四日仍有雨的概率为
P
k
n P k -1 n P(1) n k 1 P k -1 n P n k 1
P 2 n P n P n 1
P k 1 (n) P n P n 1 P n k , n, k 0
一步转移概率矩阵
P n pij n , i, j S
(4) 0步转移概率 k=0 连续性条件 则
P
0
1, i j pij n ij 0, i j
0
n I
单位矩阵
1,2,3，系统在n时刻的k步转移概率矩阵为 例 状态空间 S
5、1 马尔可夫过程定义
2）时间离散 状态连续
3）时间连续 状态离散 泊松过程 更新过程
马尔可夫序列
纯不连续马尔可夫过程 生灭过程 排队服务系统
4）时间状态连续
维纳过程
5、2 马尔可夫链的转移概率及概率分布
设Markov链 X n , n 0 状态空间为S 1．转移概率 (1) 定义： n时刻 X n i k步转移
北大随机过程课件：第3章第5讲更新过程
2．更新过程分析
2.1 计算 N(t)的概率分布
对于更新过程，当给定事件间隔 xn (n ≥ 1) 的概率分布函数 F(t)，或概率密度函数
f(t) 时，计算 N(t)的概率分布。
设 Sn 的分布函数是 Fn (t) ， Fn (t) 是 F (t) 的 n 次卷积；
设{N(t), t>0}是一个计数过程， xn (n ≥ 1) 表示第 n-1 次事件和第 n 次事件的时间间隔，
再设 {x1, x2 ,"} 为非负、独立、同分布的随机变量序列，则称计数过程{N(t), t>0}为更新过
程。 特点：根据事件间隔的特征(独立、同分布)定义； 举例： 假设灯泡的寿命是统计独立、同分布的随机变量，若每次使用一个灯泡，当灯泡损 坏后立刻更换新的，则在时间 t 内损害的灯泡数是一个更新过程{N(t), t>0}，其中 N(t)是在时间 t 内损坏的灯泡数。
0
给定了更新过程强度 λ(t)后，更新过程间隔概率密度函数 f(t)可由上述积分方程求
解。
2.4 更新过程的极限，平均更新时间与更新速率
在有限的时间内更新的次数是有限的、当时间 t 趋于无穷时，更新的次数趋于无穷， 考虑到，
Sn 是第 n 次更新事件发生的时刻，
N(t)是直到时刻 t 发生更新事件的次数，
P{N (t) = n} = Fn (t) − Fn+1 (t) 。
2.2 计算更新过程的期望
∞
m(t) = E{N (t)} = ∑ nP{N (t) = n}
n=1
∞n
∞∞
通信原理—随机过程5讲(新)
电子技术系
一维高斯随机过程
05:41
随机信号分析
基本概念 统计特性和 数字特征 平稳随机过程
高斯随机过程 随机过程通过 线性系统 窄带随机过程
正弦波加窄带 高斯噪声
小结
（3）a表示分布中心， 表示集中程度，f(x)图
形将随着 的减小而变高和变窄。
当a=0， 1 时，称f(x)为标准正态分布的密度
exp
1
2 B
n j 1
n k 1
B
jk
xj aj
j
xk ak
k
ak E[ (tk )]
2 k
E[ (tk
)
ak
]2
小结
1
2020/3/1
电子技术系
随机信号分析
基本概念 统计特性和 数字特征 平稳随机过程
平稳随机过程
高斯随机过程 erfc(x) 2 2 ( 2x)
随机过程通过 引入误差函数和互补误差函数后，不难求得
线性系统
窄带随机过程
正弦波加窄带 高斯噪声
小结
F
(
x)
1 2
1 2
erf
(
x
1
1
erfc(
x
a),
2
a),
2
2
当x a时 当x a时
2. 广义平稳的高斯过程也是狭义平稳的。
3. 高斯过程经过线性变换（或线性系统）后仍是高斯过程。
4. 若干个高斯过程之和仍是高斯过程。
5
2020/3/1
概率论与数理统计课件 第5讲
例2：某篮球运动员投中篮圈概率是0.9，求其 两次独立投篮后，投中次数 X 的概率分布。
解：X 可取的值为 ：0, 1, 2，且 P(X=0) = (0.1)(0.1) = 0.01， P(X=1) = 2(0.9)(0.1) = 0.18 , P(X=2) = (0.9)(0.9) = 0.81 .
P
(
X
0)
C
3 3
1
,
C
3 5
10
Байду номын сангаасP(
X
1)
C
2 3
C
C
3 5
1 2
6 10
,
P
(
X
2)
C
1 3
C
2 2
3
,
2
C
3 5
10
且 P( X k ) 1。
k 0
这样，我们就掌握了X 这个离散型随机变量的
概率分布。
2.2.1 离散型随机变量概率分布的定义
定义1 ：设离散型随机变量 X 所有可能取
的值为 x1 , x 2 , ,且有
，
1
2
引入随机变量
1， 0，
1 2
随机变量的分类 (通常分两大类)：
离散型随机变量
取值是有限个 或无限可列个（即：
可以逐个列举）
如“取到次品的个数”，
随 “收到的呼叫数”等。
机 变 量 连续型随机变量
全部可能取值不仅有无 限多个，而且不能一一 列举，充满了若干个区间
如：“电视机的使用寿命”， “测 量误差”等。
第二章 随机变量
• 随机变量的定义 • 离散型随机变量 • 连续型随机变量与随机变量的分布函数 • 随机变量函数的分布
随机过程第5章(Galton-Waston分支过程)
存在性
对于给定的生育概率函数， Galton-Watson分支过程存在。
唯一性
对于给定的生育概率函数， Galton-Watson分支过程是唯一 的。
灭绝概率
定义
灭绝概率是指种群最终消亡的概率。
计算方法
通过递归方式计算每一代种群数量的概率分布， 最终得到灭绝概率。
应用
灭绝概率在生态学、遗传学等领域有广泛应用， 如评估种群稳定性、预测种群发展趋势等。
计算机科学
在计算机科学中，GaltonWatson分支过程可用于模拟网络 流量、路由协议等。
统计学
在统计学中，Galton-Watson分 支过程可用于估计事件的概率分 布和参数估计。
02
Galton-Watson分支过程的 数学模型
模型建立
01
02
03
定义
初始条件
繁殖规则
Galton-Watson分支过程是一个 离散时间的马尔可夫链，描述了 一代代繁殖的种群数量变化。
01
02
03
无重叠世代
每一代种群与下一代种群 没有重叠，即每一代种群 中的个体不会在下一代中 出现。
无移民和迁出
种群中没有新的个体加入 或离开，即种群数量只受 繁殖和死亡的影响。
独立同分布
每一代种群中个体的繁殖 数量独立且服从相同的概 率分布。
03
Galton-Watson分支过程的 性质与定理
存在性与唯一性
生物多样性研究
通过模拟不同环境下的物种繁殖和灭 绝过程，可以研究生物多样性的形成 和维持机制，为保护生物多样性提供 理论支持。
遗传学中的应用
基因传递模型
Galton-Watson分支过程可以用于描述基因在世代之间的传 递过程，帮助遗传学家理解基因突变和进化的机制。
概率论第五章(讲义版)
一、大数定律 二、中心极限定理
第一节 大数定律
第五章
一、 切比雪夫 切比雪夫Chebyshev不等式 不等式 二、几个常见的大数定律
机动
目录
上页
下页
返回
结束
切比雪夫Chebyshev不等式） 不等式） 命题 (切比雪夫 不等式 设随机变量X 的数学期望 E ( X ) = µ 和方差D X） σ 2 （ = 存在，则对任意
X = X1 + X 2 + ⋯ + X n
则这种量X 一般都服从或近似服从正态分布。 习惯于把和的分布收敛于正态分布这 在概率论中， 一类定理都叫做中心极限定理.
机动
目录
上页
下页
返回
结束
定理1 独立同分布的中心极限定理） 定理1（独立同分布的中心极限定理） 设 X 1 , X 2 ,⋯ , X n ,⋯ 相互独立， 且服从同一分布， 具有相同的期望和方差
ε = 200
练习
随机掷四颗骰子， 随机掷四颗骰子，估计四颗骰子出现
的点数之和在10至18之间的概率。 的点数之和在10至18之间的概率。 10 之间的概率
思考题
1.随机变量很小怎样理解？靠近于一个常数怎么理解? 随机变量很小怎样理解？靠近于一个常数怎么理解 随机变量很小怎样理解
2.如果 X与a非常靠近，是否 对任意的ε > 0，都有｜X − a | <ε 永远成立？
由伯努利大数定律一般化得到辛钦定理：
机动
目录
上页
下页
返回
结束
定理2 辛钦定律） 定理2（辛钦定律） 设随机变量序列X1 , X2 , … 独立同分布， 且具有相同的数学期望 E ( X ) = µ , i = 1,2,⋯ i 则
随机过程第5章
第五章 离散参数Markov 链5.1 Markov 链的基本概念 1．Markov 链和转移概率矩阵 定义5-1考虑只取有限个或可数个值的随机过程{},0,1,2,nX n = ．把过程所取可能值的全体称为它的状态空间，记之为E ，通常假{}0,1,2,E = ．若n X i =就说“过程在时刻n 处于状态i ”．若对任意状态011,,,(,n 0)n i i i i j -≥ 及任意的有11111001(|,,,,)(|)n n n n n n n P X j X i X i X i X i P X j X i +--+======== 这样的随机过程称为Markov 链．假设每当过程处于状态i ，则在下一个时刻将处于状态j 的概率是固定的ijp ，即对任意时刻n ，有1(|)n nijP X j X i p +===，称过程具有齐次性．称矩阵00010201011121012j j i i i ij p p p p p p p p P p p p p ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦是一步转移概率矩阵，简称为转移矩阵． 由ijp 的定义可知，这是一种带有平稳转移概率的Markov 链，也称作时间齐次Markov 链或简称时齐次Markov 链．我们研究的均为齐次马氏链．2．例题例5-1（直线上的随机游动）考虑在直线上整数点上运动的粒子，当它处于位置j 时，向右转移到j+1的概率为p ，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即00X =．于是粒子在时刻n 所处的位置{}n X 就是一个Markov 链，且具有转移概率,1,10,jk p k j p q k j =+⎧⎪==-⎨⎪⎩其他当12p q ==时，称为简单对称随机游动．例5-6（排队模型）考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务．设在第n 个服务周期中到达的顾客数为一随机变量n Y ，且序列{}nY 是独立同分布随机序列，即(),0,1,2,,n k P Y k p k === 且01k k p ∞==∑设n X 为服务周期n 开始时服务台前顾客数，则有11,1,0n n n n n n X Y X X Y X +-+≥⎧=⎨=⎩若若此时{},1nXn ≥为一Markov 链，其转移概率矩阵为01234012340123012000p p p p p p p p p p P p p p p p p p ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦例5-8（生灭链）观察某种生物群体，以n X 表示在时刻n群体的数目，设为i 个数量单位，如在时刻n+1增生到i+1个数量单位的概率为i b ，减灭到i-1个数量单位的概率为i a ，保持不变的概率为1()i i i r a b =-+，则{},0nX n ≥为齐次马尔可夫链，{}0,1,2,E = ，其转移概率为,1,,1i ij i ib j i p r i ja j i =+⎧⎪==⎨⎪=-⎩ 0(0)a =,称此马尔可夫链为生灭链．3．定理5-1设随机过程{}nX 满足：（1）1(,)(1),n n n X f X n ξ-=≥其中:f E E E ⨯→，且n ξ取值在E 上； （2）{},1nn ξ≥为独立同分布随机变量，且0X 与{},1n n ξ≥也相互独立，则{}n X 是Markov 链，而且其一步转移概率为，对于任意,i j E ∈，1((,))ij p P f i j ξ==证明：设1n ≥，由上面(1)、(2)可知，1n ξ+与12,,,nX X X 互相独立，所以有1110011100111001(|,,,)((,)|,,,)((,)|,,,)((,))n n n n n n n n n n n n n n P X j X i X i X i P f X j X i X i X i P f i j X i X i X i P f i j ξξξ+--+--+--+================同理111001(|,,,)(|)n n n n n n P X j X i X i X i P X j X i +--+=======即{}nX 是Markov 链，由时间齐次性，其一步转移概率为1((,))ij p P f i j ξ==于是定理5-1得证．4．定理5-2时齐次Markov 链{}nX 完全由其初始状态的概率分布0(),1,2,i p P X i i ===和其转移概率矩阵()ijP p =所确定．证明：对于任意12,,,n i i i E ∈ ，计算有限维联合分布，由概率的乘法公式及马氏性可知1001121001100111100111100111111001111(,,,)(,,,)(|,,,)(,,,)(|)(,,,)n n n nn n n n n n n n n n n n n n n n i i i i i i i i i P X i X i X i P X i X i X i P X i X i X i X i P X i X i X i P X i X i P X i X i X i p p p p p ------------======================定理5-2得证． 5．例题 例5-9（1）（二项过程的概念）设在每次试验中，事件A 发生的概率为(01)p p <<，独立地重复进行这项试验，以n Y 表示到第n 次为止事件A 发生的次数，则{},1,2,nY n = 是一个二项过程．说明：令n X 表示第n 次试验中事件A 发生的次数，则n X ~(0)1,(1),1,2,n n P X p P X p n ==-=== 且独立．（易知{},1nX n ≥为马氏过程）而1,1,2,n n Y X X n =++= 服从二项分布(,)B n p ，故称此{},1nY n ≥为二项过程．（2）二项过程具有独立平稳增量性． 证明：易知增量1n l n n n l Y Y X X +++-=++ ，1121n l k n l n l n l k Y Y X X ++++++++++-=++ ，等等相互独立；且~(,),1,2,n m n Y Y B m p n +-= ，即具有平稳性． 即{},1nY n ≥为一个独立平稳增量过程．（3）独立平稳增量过程为马氏过程．5.2 C-K 方程1．定理5-3 Chapman-Kolmogorov 方程 对任何整数,0m n ≥， 有()()()m n m n ijik kj k Epp p +∈=∑或()()()m n m n P P P +=⨯证明：这里只需要证明()(1)n n P PP -=成立，再依次递推即可证明本定理．（？）因为()0100100101010(1)(|)(,|)(|)(|,)(|)(|)(n ij n n k n k n k n ik kj k P P X j X i P X j X k X i P X k X i P X j X i X k P X k X i P X j X k p p ∞=∞=∞=∞-====================∑∑∑∑由马氏性）根据矩阵的乘法规则，知()(1)n n P PP -=．定理得证．注：定义m 步转移概率()(|)m ijn m n pP X j X i +===，()m ijp 表示给定时刻n 时，过程处于状态i ，间隔m 步之后过程在时刻n+m 转移到了状态j 的条件概率．还约定(0)1iip =，(0)0ijp =，i j ≠以()n ijp 表示第i 行、第j 列的元素矩阵()n P =(()n ijp ),称为Markov 链的n 步转移概率矩阵．2．例题（两状态Markov 链） 例5-10在重复独立贝努里（Bernoulli ）试验中，每次试验有两种状态{}0,1E =，设{}nX 表示第n 次试验中出现的结果，且有(1),(0)1,1,2,n n P X p P X q p n =====-=其中01p <<，则{},1nX n ≥显然是独立同分布随机序列，从而它是Markov 链．于是经过计算有00100111,p p q p p p ====所以，一步转移概率矩阵为q p P qp ⎡⎤=⎢⎥⎣⎦而且有()n qp PP q p ⎡⎤==⎢⎥⎣⎦5.3 Markov 链的状态分类 1．互通 定义5-2称自状态i 可达状态j ，并记i j →，如果存在0n >，使()0n ijp >，称状态i 与j 互通（相同，互达），并记为i j ↔，如i j →且j i →2．定理5-4可达关系与互通关系都具有传递性，即如果i j →且j k →，则i k → 证：因为有i j →，j k →，所以存在1,1l m ≥≥，使()()0,0l m ij jk p p >>由C-K 方程()()()()()0l m l m l m ik is sk ij jk sp p p p p +=≥>∑这里1l m +≥，所以i k →成立．若将可达关系得证明正向进行，再反向进行，就可得出互通关系的传递性，证毕． 3．定义5-3 设{},1nXn ≥为齐次Markov 链，其状态空间为E 。