随机第四章4
随机过程 第四章4
lim
n
n
k 1
0， 如 j 为非常返或零常返 f p ij ( k ) ij ， 如 j 为正常返 j
练习
1设状态空间S={1,2,3,4}的齐次马氏链，它的 一步转移概率矩阵为
1 2 1 P 2 1 4 0 1 1 2 1 4 0 1 4 0 0 0 2 0 1 4 1 0
1 2
n 1 ， p 23 ( n ) 0，
n
极限 lim p i 3 ( n ) 存在 i 2 , 3 , 5
对正常返状态
j ，我们一般不讨论极限 1 n
lim p ij ( n )，
n
而只研究： (1) lim p ij ( nd )；2 ) lim (
n
j 0
定理：不可约非周期马 是存在平稳分布，且此 1 ，j u j 证：先证充分性 I
氏链是正常返的充要条 平稳分布就是极限分布
件
设 j， j I 是平稳分布， j
由于 得
i I
i
p ij ( n )
顺序，
j I
i
1， i 0，故可交换极限与求和
N
1 p kj ( n ) kI k
(1)
下面来证明等号成立， 1
由
p ik ( n )
kI
N
p ik ( n )
k 0
先令 n ，再令 N 取极限得： 1 1 kI u k
2 1 j ， 式为严格大于
n
j lim
i I
随机过程第四章
pii
(n)
1
i
0
证：(1)如i为零常返则i
，由lim n
pii nd
d
i
0
而当n不能被周期d整除时n 0modd ,
必然有pii
(n)
0，故
lim
n
pii
n
0
反之，若lim n
pii
(n)
0,
而i是正常返，
则由lim n
pii (nd )
d
i
0矛盾.
(2) 如i为遍历，即d 1，由上面定理得
即 Tij minn：X m i, X mn j，n 1
而称：
fij (n) P Tij n
P{X mv j，1 v n 1，X mn j / X m i}，n 1 为自状态i出发，经n步首次到达状态j的概率， 简称首达概率。
注：由齐次马氏链性质知，首达概率与出发时刻
p3
① q1 q2
p1
③ q3 ②
p2
求从状态1出发经n步转移首次到达各个状态的概率。
f12
(n)qq11p3 p3源自q m1 1m p1,
q3
,
n 2m, n 2m 1,
m 1 m0
同理：
f13 (n)
p1q2 p1q2
p m1 1
m q1,
p2
,
n 2m, n 2m 1,
m 1 m0
互通关系的状态是同一类型.
定理：如果i j， 则
(1) i与j同为常返或非常返，如为常返，则它们
同为正常返或零常返；
(2) i与j有相同的周期。
1证：因为i j，故存在正整数k与m，使
pij (m) 0, p ji (k ) 0
第四章 随机过程与时间序列分析(4)
第四章 随机过程与时间序列分析§4时间序列的预测分析时间序列分析的内容之一是系统的演化预测，预测的基本思想之一是设法消除随机扰动，考察其长期趋势或者周期变化。
对于严格意义的周期变化现象，不存在预测问题，例如没有人预测明天太阳什么时候升起，因为地球自转在人生的有限时期内可以近似地看成是严格的周期现象。
前面讲过的R/S 分析，则是典型的趋势预测，它不落实未来的具体数值。
但是，在许多时候，趋势预测较之数值预测更有意义。
寻找趋势，最简单的思路是基于某种平均方法对数据进行修匀处理——本节讲述的移动平均法即其之一。
这一节我们讲述两种基本的预测方法：移动平均法和指数平滑法。
这两种方法本质上都是趋势预测。
1 移动平均法移动平均法，实际上就是数据修匀式的一种时间序列预测方法，其计算方法非常简便，关键是理解它的基本思想。
⒈ 数学模型设x i 为时序中第i 个时点的观测值，序列长度为n ，平均处理的观测值数目为m ，则第t 个时点的移动平均值可定义为∑+-=+--=+++=tn t i i m t t t t x m x x x m M 1111)(1 , (4-4-1)式中M t 为第t 个时点的移动平均值，也可当作第t +1个时点的预测值y t +1，即有t t M y =+1, (4-4-2)由上式可得)(1)(1)(1)(1)(112111m t t t m t t m t t t m t m t m t t t t x x m M x x mx x x mx x m x x x m M --------+---+=-++++=-++++=, (4-4-3) 可以看出，只要计算出M t －1，就可以通过迭代法算出M t 。
从上面的公式还可以看到，m 值越大，M t 的修匀程度也就越大。
极端情况是：当m =1时，M t =x t ；当m =n ，只得一个平均值，即全体x 的均值。
⒉ 计算实例下面借助上节的数据说明移动平均法的计算方法。
随机信号分析第四章习题讲解
4-4设有限时间积分器的单位冲激响应h(t)=U(t)－U(t －0.5) 它的输入是功率谱密度为 210V Hz 的白噪声，试求系统输出的总平均功率、交流平均功率和输入输出互相关函数()()()()()22221:()2[()][()]0Y Y Y Y XY X P E Y t G d D Y t E Y t m E Y R R R h ωωπτττ∞-∞⎡⎤==⎣⎦⎡⎤=-==⎣⎦=*⎰思路()()()10()()10()10[()(0.5)]()()10[()(0.5)]XY X YX XY R R h h h U U R R U U τττδτττττττττ=*=*==--=-=----解：输入输出互相关函数()Y R τ00020.025()0()10()10()0()()()()10(()00[()(0.)()10()()()10()()10101100.55[()5)]](0)X X X Y X Y X Y Y X t m G R m m h d R U R h h h h h h d R h h d d d E Y t R U ωτττττττττλτλδτλλλλλλλμ∞∞∞∞==⇔====**-=*-=+=+=-=-=⋅=⨯==⎰⎰⎰⎰⎰时域法平均功是白噪声，，，率面积法：225[()][()]5Y Y D Y t E Y t m ==-=P 交流：平均功率()()()2141224222Y2(P1313711()2415()()()102424115112522242j j j Y X Y U t U t Sa e H e Sa G G H e Sa Sa G d Sa S d a d ωτωωωτττωωωωωωωωωωωππωωπ---∞∞∞-∞∞--∞⎛⎫--⎡⎤ ⎪⎣⎦⎝⎭-⎛⎫⇒= ⎪⎝⎭⎛⎫⎛⎫=== ⎪ ⎪⎝⎭⎝⎭⎛⎫===⎛⎫= ⎪ ⎭⎪⎭⎝⎝⎰⎰⎰P 矩形脉冲A 的频谱等于A 信号与线性系统书式域法）频()()2220000[()][()][()]5Y X Y Y m m H H D Y t E Y t m E Y t =⋅=⋅⇒=-===P 交直流分量为平均功率：流4-5 已知系统的单位冲激响应()(1)[()(1)]h t t U t U t =---，其输入平稳信号的自相关函数为()2()9X R τδτ=+，求系统输出的直流功率和输出信号的自相关函数？分析：直流功率＝直流分量的平方解: 输入平稳输出的直流分量 输出的直流功率()2300X X m R σ==±==()()()10332Y X m m h t h t ττ=*=*=⎰=31-d ()()()()()()()()()()()()()()()2'''222'[()(1()(1)(1)F )]12122222j j j j Y h t t t d F j d d F j jd H A A U t U t A Sa ej A Sa e Sa e Sa eG U t U t t j ωωωωωωωωωωωωωωωωωω----⋅↔⇒⋅↔-⇒=-⎛⎫--⇒=⎡⎤ ⎪⎣⎦⎝⎭⎡⎤⎛⎫⎛⎫⎛⎫⎛⎫⇒==+⋅-⎢⎥ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝=-=-⎭⎣-=-⎦变换 频域的微分特性 -jt f t t f t =A t A t 矩形脉冲A 谱t 的频()()()()()()()()()()()2''21920222410001lim 022239024X X Y Y X G H G H H Sa Sa R j H A A j Sa m m H j ωωωωωωωωπδτω*→=⋅⋅⎡⎤⎛⎫⎛⎫=-+⇒ ⎪ ⎪⎢⎥⎝⎭⎝⎭⎣⎦⎛⎫⎛⎫---== ⎪ ⎪⎝⎭⎝⎭=⋅=⇒＝＝直流功率294Y m =()Y X m m h t =*4-7 已知如图4.21 所示的线性系统，系统输入信号是物理谱密度为0N 的白噪声，求：①系统的传递函数()H ω？②输出()Z t 的均方值？其中2222[sin()][()]2ax dx a ax dx axSa π∞∞==⎰⎰()()()()()()()112122121212()()()()()()()()()()()F ()(1)()()11()()()()()()()(()j T Y t X t X t T h t t t T t h t d U t Y X H Y H X H H H H H H e H j H h H t h t H ωωωωωωωωωωωωωωωπδωωωωδδωλδλω-∞-∆∆=--=--⇒=⋅==⇒⇒=-=+=⋅=⋅⋅=⎡⎤⎣⎦⎰Z Z 可以分别求冲激响应，输入为冲激函数：输入为冲激函数、，冲激响应＝1(1)()1)[()](1)()j Tj T j T e e e j j ωωωπδωπδωωω----=-+=-＋()2222222220022022102(2)(1)(1)2()(1cos )2sin sin 2sin ((0)()()()21sin 21sin (0)2)()()()[()]j T j T Z X j Z Z Z Z Z Z e e H T j j T TN T G G H H N T N e d T R G R R F G R N ωωωτωωωωωωωωωωωωωωωωωπωωπωωττω+∞-∞----=⋅=-⋅=⇒⋅=⋅⋅=⋅-⋅⇒⋅==⋅⎰＝＝＝求输出Z t 的均方值即，所以有2200000sin 2222j e d N TN N T d T τωωπωπωπ∞-∞∞=⋅⋅=⋅⋅=⎰⎰4-11 已知系统的输入为单位谱密度的白噪声，输出的功率谱密度为2424()109Y G ωωωω+=++求此稳定系统的单位冲激响应()h t ？解：()()()()()()()()()()()()()()()()()()()()()()242223211242()41092243311()()12231311112()0231921Y t Y X X t G s s s s s s G H G H s H s H s s j H s H s s j j h t F H F e e U t j j s s j s H G s ωωωωωωωωωωωωωωωωω----⋅==⇒=-=++=⇒=++++⎛⎫ ⎪+=++-+-+====+ ⎪++ ⎪⎝⎭-+-+-+==系统稳定，则零头、极点都＋在左半平面带入4-12 已知系统输入信号的功率谱密度为223()8X G ωωω+=+ 设计一稳定的线性系统()H ω，使得系统的输出为单位谱密度的白噪声？解：()()()()()221()11()Y X X G G H s s H s G s H s H ωωωω=⇒⋅=⇒==⇒==即4-14 功率谱密度为02N 的白噪声作用于(0)2H =的低通网络上，等效噪声带宽为XH MHz 。
第4章 随机过程通过线性系统分析
上述积分可用极限形式表示：
、 固定时， 为确定的常用，上式是正态变量 的线性组合，而正态的线性组合还是正态分布。
2．高斯过程的均值与方差近似计算
对于高斯过程，只要均值与方差确定，则整个分布函数便确定。
由于
取定一个合适的 ，利用
可求出求出 均值与方差的近似值。
作业：P1515.1，5.2，5.7，5.8，5.9，5.11，5.14，5.15，5.26，5.28。
等效原则：理想系统与实际系统的输出平均功率相等。
例：设理想输出为 ，理想系统是矩形传输函数
为等效带宽。
如何确定 ？
依等效原则，理想系统的平均功率为 ，而
所以
称 为等效噪声带宽。
3．白噪声通过理想低通线性系统
在实际应用中，设
白噪声的谱密度为：
输出 的功率谱密度为
输出 的相关函数为：
输出 的平均功率为
输出 的自相关系统为
但求输入的概率分布不是一件容易的事为使问题得到简化一般我们假设高斯随机过程通过线性系统定理
第4章随机过程通过线性系统分析
引言：信号与系统的传统理论方法的基础是卷积运算。如图，
图1：系统的物理示意图
是系统的输入， 是系统的输出， 是系统的冲激响应函数
其中 ，为冲激函数。
对于线性系统，系统的数学运算为：
相关时间为
4．白噪声通过理想带通线性系统
理想带通线性系统具有理想矩形频率特性
白噪声的谱密度为：
输出 的功率谱密度为
输出 的相关函数为：
可写成
称为相关函数的包络。
输出 的平均功率为
输出 的自相关系统为
相关时间为
5．白噪声通过具有高斯频率特性的线性系统
随机过程-第四章 更新过程
4.1 更新过程定义
上一章我们看到泊松过程的到达时间间隔是服从独立同分布的指数随机变量。现将其 进行推广，考虑到达时间间隔服从独立同分布，但分布函数任意，这样得到的计数过程称为 更新过程。 设 X n , n 1, 2, 是一列服从独立同分布的非负随机变量，分布函数为 F ( x) ，为避 免显而易见的平凡情形， 假设 F (0) P X n 0 1 。 将 X n 解释为第 n 1 个与第 n 个事件 之间相距的时间，记 E ( X n ) 有 0 。令 Tn
这其中利用了 X n , n 1, 2, 的独立同分布性质，这里 [1 F (b)] (0,1) 。又因为
k
Tmk t Tk T0 t , T2k Tk t ,, Tmk T( m1)k t
而且更新区间（相当于时间间隔）服从独立同分布，即
P 1 因 此 存 在 a 0 ， 使 得 P Xn a 0 ， 从 而 由 于 F( 0 ) X n 0 ， P X n a 1 。而 F (a) P X n a P X n a P X n a
为 避 免 因 可 能 的
N (t ) sup n, Tn t
定义 4.1 更新过程：计数过程 N (t ), t 0 称为更新过程。
在更新过程中我们将事件发生一次叫做一次更新， 从而 X n 就是第 n 1 次与第 n 次更新 相距的时间，Tn 表示第 n 次更新发生的时刻， 而 N (t ) 就是 t 时刻或 t 时刻之前发生的总的更 新次数。更新过程一个典型的例子是机器零件的更换。 我们首先要回答是第一个问题是在有限时间内是否会有无限多次更新发生。答案是不 会发生这种情况的概率为 1。由强大数定律可知
随机过程第四章马尔可夫链
0,
p(n) ij
1, i,
jI
jI
即P(n)也为随机矩阵.
当n
1时,
p (1) ij
pij
,
P (1)
P
当n
0时,规定pi(j0)
0 , i 1 , i
j j
13
4.1 马尔可夫链与转移概率
• 定理4.1 设{Xn, nT}为马尔可夫链, 则对任意 整数n0, 0l<n和i,jI, n步转移概率 p具i(jn) 有性
Ckx 0
pxqy ，
,
k ( j i)为偶数 k ( j i)为奇数
11
4.1 马尔可夫链与转移概率
例4.4 具有吸收壁和反射壁的随机游动状态空间 {1,2,3,4}, 1为吸收壁, 4为反射壁.
解：状态转移图
状态转移矩阵
1 3
1 0 0 0
1
1
3
1 1
3
1
1
1 1 1
1 3
1 3
2
P 3
5
4.1 马尔可夫链与转移概率
= =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。
6
4.1 马尔可夫链与转移概率
定义 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔 可夫链{Xn, nT}在时刻n的一步转移概率,简 称转移概率,其中i,jI.
P{X 0 i}P{X1 i1 | X 0 i} iI
P{X 2 i2 | X1 i1} P{X n in | X n1 in1}
随机过程第4章Markov过程（PDF）
第四章 Markov 过程本章我们先讨论一类特殊的参数离散状态空间离散的随机过程，参数为0{0,1,2,}T N ==L ，状态空间为可列{1,2,}I =L 或有限{1,2,,}I n =L 的情况，即讨论的过程为Markov 链。
Markov 链最初由Markov 于1906年引入，至今它在自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。
之后我们将讨论另一类参数连续状态空间离散的随机过程，即纯不连续Markov 过程。
§4.1 Markov 链的定义与性质一、Markov 链的定义定义 4.1设随机序列{;0}n X n ≥的状态空间为I ，如果对0n N ∀∈，及0110011,,,,,{,,,}0n n n n i i i i I P X i X i X i +∈===>L L ，有：11001111{,,,}{}n n n n n n n n P X i X i X i X i P X i X i ++++=======L （4.1.0)则称{;0}n X n ≥为Markov 链。
注1：等式（4.1.0）刻画了Markov 链的特性，称此特性为Markov 性或无后效性，简称为马氏性。
Markov 链也称为马氏链。
定义4.2 设{;0}n X n ≥为马氏链，状态空间为I ，对于,i j I ∀∈，称1{}()ˆn n i j P X j X i p n +===为马氏链{;0}n X n ≥在n 时刻的一步转移概率。
注2：一步转移概率满足：()0,,()1,i j i jj Ip n i j Ipn i I ∈≥∈=∈∑若对于,i j I ∀∈，有1{}()ˆn n i j i j P X j X i p n p +===≡即上面式子的右边与时刻n 无关，则称此马氏链为齐次（或时齐的）马氏链。
设{}0()(0),p i P X i i I ==∈，如果对一切i I ∈都有00()0,()1i Ip i p i ∈≥=∑，称0()p i 为马氏链的初始分布。
随机信号分析基础第四章习题
4.2 功率谱密度与自相关函数之间的关系 典型的傅氏变换
(t)
1
c os0t
sin(t / 2)
2 t / 2
ea
ea cos0
1 , 1
0,
其他
1
2 ()
( 0 ) ( 0 )
mXmY RYX ( )
6. 互谱密度的幅度平方满足
GXY () 2 GX ()GY ()
4.4 互谱密度及其性质 相干函数定义
XY ()
GXY () GX ()GY () 1/ 2
相干函数用于数据分析，系统辨识和功率谱估计
4.5 白噪声
白噪声定义
SN
( )
N0 2
利用傅立叶反变换可求得白噪声的自相关函数为：
3.若平稳过程X(t)和Y(t)相互正交，则有
GXY ( ) 0
GYX () 0
4.4 互谱密度及其性质
4. 若随机过程X(t)和Y(t)联合平稳，RXY(τ)绝对可积， 则互谱密度和互相关函数构成傅里叶变换对，即:
GXY ()
R
XY
(
)e
j
d
GYX ( )
RYX
(
)e
j
d
RXY
4.2 功率谱密度与自相关函数之间的关系
维纳－辛钦定理
SX ( )
RX
(
)e
j
d
RX
(
)
1
2
S
X
(
)e
j
d
成立条件是Rx(τ)和Sx(ω)绝对可积
RX ( )d
随机过程-课件-第四章
随机过程-课件-第四章第四章Poion过程4.1齐次Poion过程到达时间间隔与等待时间的分布1、定理4-1强度为的齐次Poion过程{Nt,t0}的到达时间间隔序列某n,n1,2,是独立1同分布的随机变量序列，且是具有相同均值证：事件的指数分布。
即事件某1t等某1t发生当且仅当Poion过程在区间0,t内没有事件发生，价于{Nt0}，所以有P(某tt)P(Nt0)et因此，某1具有均值为1的指数分布，再求已知某1的条件下，某2的分布。
P(某2t|某1)P(在,+t内没有事件发生|某1)（由独立增量性）（由平稳增量性）et上式表明P(在,+t内没有事件发生)P(在0,t内没有事件发生)某2与某1相互独立，而且某2也是一个具有均值为1的指数分布的随机变量，重复同样的推导可以证明定理4-1的结论。
2、定理4-2等待时间Sn服从参数为n，的分布，即分布密度为f(t)et证：(t)n1,t0(n1)!因为第n个事件在时刻t或之前发生当且仅当到时间t已发生的事件数目至少是n，即事件NtnSnt是等价的，因此P(Snt)P(Ntn)ejnt(t)jj!上式两边对t求导得Sn的分布密度为f(t)etjnj1(t)j(t)etj!(j1)!jnet(t),t0(n1)!n1注：定理4-2又给出了定义Poion过程的另一种方法。
从一列均值为1/的独立同分布的指数随机变量序列某n,n1出发，定义第n个事件发生的时刻为Sn，则Sn某1某2某n这样就定义了一个计数过程，且所得计数过程Nt,t0就是参数为的Poion过程。
3、定理4-3条件随机变量(某1证：对|Nt1)U(0,t)，即在区间0,t内为均匀分布。
t,(某1|Nt1)的分布函数为P(某1,Nt1)P(某1|Nt1)P(Nt1)P(在0,内有一个事件发生，在，t内没有事件发生)P(Nt1)P(在0,内有一个事件发生)P(在，t内没有事件发生)P(Nt1)P(N1)P(Nt0)P(N1)ee(t)tett这说明(某14、顺序统计量|Nt1)在0,t上服从均匀分布。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
3
1.70,
例：设马氏链具有状态空间I 0,1, 2, 其中pi 0，qi 0，pi ri qi 1，
， 转移概率为：pii 1 pi , pii ri , pii 1 qi i 0
称这种马氏链为生灭链，它是不可约的。 p0 p1 p j 1 记a0 1，a j j 1 q1q1 q j 试证此马氏链存在平稳分布的充要条件为 a j 。
令m 取极限得： 1 pkj (n) j k 0 k 再令N 取极限得： 1
N
1 j k 0 k 1
N
1 pkj (n) kI k
pkj (n)
(1)
下面来证明等号成立，由 1 pik (n) pik (n)
j
kI
k
1
j
kI
1
k
lim p n
1
n kj j kI
1
k
kI
1
k
1
1 , j I 是平稳分布。 j
有限马尔可夫链性质：
1所有非常返状态组成的集合不可能是闭集； 2没有零常返状态； 3必有正常返状态； 4不可约有限马氏链只有正常返态； 5I D C1 C2 Cn。
回顾
定理：如果i j，if i常返，then j也常返， 且f ji 1 ，i j。
定理4. 4：( 1) 若 i零常返 lim pii (n) 0；
n
(2) 若 i正常返 lim pii (n) n
1
i
0
引理：C是闭集的充要条件为对任意i C及k C 都有pik (n) 0，n 1。
j (n) i (n 1) pij
iI
若 j (n)与n无关, 记 j (n) j , 则上式可写成
j i pij
定义：设X n , n 0为齐次马氏链，状态空间为I， 转移概率为pij，称概率分布 j , j I 为马氏链的 平稳分布。若它满足 j i pij , 或 P 1 , 2 ,, j iI 1, j 0 j jI
r
d
j
f ij f ij (md r )
r
m 0
lim pij (nd r ) f
n
(r ) ij
d
j
推论：设不可约，正常返，周期d的马氏链， 其状态空间为I，则对一切i，j I有 d ， 如i与j同属于子集G s lim pij (nd ) j n 0， 否则 其中I Gs，前面定理给出。
常返闭集；
3 有限状态马尔可夫链的平稳分布总存在； 4 有限不可约非周期马尔可夫链存在唯一的平稳
分布。
4有限不可约非周期马氏链必为正常返态，由前面
定理知存在唯一的平稳分布且等于极限分布。
例设马氏链的转移概率矩阵为： 0.7 0.1 0.2 P 0.1 0.8 0.1 0.05 0.05 0.9 求马氏链的平稳分布及各状态的平均返回时间。
每个Cn，n 1,2,均是由正常返态组成的有限 不可约闭集，D是非常返态。
对于一般的马尔可夫链，其平稳分布是否存在？ 若存在，是否唯一？有以下结论：
定理：设C为马尔可夫链中全体正常返状态构成 的集合，则有：
1 平稳分布不存在的充要条件为C ； 2 平稳分布唯一存在的充要条件为只有一个基本
解：因为马氏链是不可约的非周期有限状态， 所以平稳分布存在，由方程组
1 0.7 1 0.1 2 0.05 3 0.1 0.8 0.05 2 1 2 3 3 0.2 1 0.1 2 0.9 3 1 2 3 1
f ij (md r ) p jj (n m)d
m 0
m N 1
f
ij
(md r )
在上式中先固定N，然后令n ，再令N ， d 由前面定理得： pii (nd ) lim n i
f ij
r
d
j
lim p ( nd r ) f ij ij n
所以
n 0(mod(d ))
nd r v 0 n
pij (nd r )
f
ij
(v) p jj (nd r v)
f ij (md r ) p jj (n m)d
m0
于是，对任意的 1 N n有
m 0
f
N
N
ij
(md r ) p jj (n m)d pij (nd r )
及0 r d 1有
fij (d 1) fij (2d 1) fij (3d 1)
定理：如j为正常返，周期为d，则对任意的i lim pij (nd r ) f n d
(r ) ij
j
证：因为d 为j的周期，所以当n不能被d 整除时， p jj (n) 0
kI k 0 N
先令n ，再令N 取极限得： 1 1 2 kI k 将式 1 对于j求和，并假定对某个j， 1 式为严格大于 产生矛盾。
1 1 pkj (n) jI j jI kI k 1 1 1 pkj (n) 产生矛盾， kI k jI kI k 1 1 故有 pij n , 令n 取极限得：
1 n p jj (k )表示单位时间内再回到j的平均次数。 n k 1
j nf jj (n)表示平均返回时间，如 j 0.5小时，
n 1
1 平均半小时返回一次， 2单位时间内返回二次。
j
而
1
j
也表示从j出发，单位时间回到j的平均次数， 1 n 1 p jj (k ) n k 1 j
对正常返状态j，我们一般不讨论极限lim pij (n)， n 1 n 而只研究： (1) lim p ( nd ) ； ( 2 ) lim p ( k ) 。 ij ij n n n k 1
(1) lim pij (nd )
n
记
f
(r ) ij
f ij (md r )， 0 r d 1，
§4.4 pij n 的渐近性质与平稳分布
在实际应用中，人们常关心的问题：
lim pij (n)是否存在 ?
n
若存在，其极限是否与i有关 ?
在马氏链理论中，有关这类问题的定理，统称 为遍历定理。
一. pij (n)的渐近性质 1. j是非常返或零常返的情况 定理：设j为非常返或零常返，则对一切i，有 lim p ( n ) 0 i I ij n
推论： （1） 有限齐次马氏链的所有非常返状态 集合D不可能是闭集。 （2）有限齐次马氏链不可能存在零常返状态。 （3）不可约的有限齐次马氏链的所有状态都 是正常返状态。
2. j是正常返情形
以上讨论了零常返与非常返情形，现讨论正常返 情形。这比前面两种情况要复杂一此，事实上， 如果状态j是正常返的， lim pij (n)不一定存在，即使
递推关系： q1 1 p0 0 0 q j 1 j 1 p j j q j j p j 1 j 1 0
将rj 1 p j q j 代入 j rj p j 1 j 1 j ,j0 qj p j 1 j 1 p0 p j 1 j 0 a j 0 qj q1 q j 对j求和：1 j 0 a j
得 j lim i pij (n) i lim pij (n)
n
1 i iI j
1 j
iI
i
1，故至少存在一个 k 0，即
1
k
0
于是 lim pik (n) n
1
k
0 k 0 0为非常返, 或零常返
s 0 d 1
特别当d 1，则对一切i，j有 lim p ( n ) ij n 1
j
1 , j I 称为极限分布。 j
1 n 2lim pij (k ) n n k 1
p
k 1
n
jj
(k )表示从j出发，在n步之内返回到的j平均次数，
j 0
j 0 1 2 r0 p0 0 0 q1 r1 p1 1 0 q2 r2 p2 P 2 p j 1 j qj rj pj q j 1
证：由平稳分布所满足的方程组： 0 0 r0 1q1 j j 1 p j 1 j rj j 1q j 1 p r q 1 j j j j 1
n
存在也可能与i有关，例如下图描述了一个有6种 状态的马氏链的状态转移概率情况，由下图易见
1
1 1
5
1 2
2
1 2
3
1
1 3
1 3
6
1 3
4
1
n 1,2, p11 (2n) 1，p11 (2n 1) 0，
故 lim p11 (n)不存在；
n
1 另外p33 (n) 1，p53 (n) n 1，p23 (n) 0， 2 这说明对正常返状态，极限 lim pi 3 (n)存在i 2,3,5 n 但极限值与i有关。
iI
定理：不可约非周期马氏链是正常返的充要条件 是存在平稳分布，且此平稳分布就是极限分布 1 ，j I j 证：先证充分性