中科院随机过程第5-6讲

合集下载

107518-概率统计随机过程课件-第五章(第三,四节 )

第三节常用随机变量的数学期望和方差数学期望和方差的定义及计算公式 (一)离散型随机变量的数学期望和方差}{iiix X P x EX ==∑,}{)()]([iiix X P x g X g E ==∑,}{)(2iiix X P EX x DX =-=∑,222)()(EX EX EX X E DX -=-=,},{),()],([jiijjiy Y x X P y x g Y X g E ===∑∑,(二) 连续型随机变量的数学期望和方差⎰+∞∞-=dx x xf EX )(,⎰+∞∞-=dx x f x g X g E )()()]([,⎰⎰+∞∞-+∞∞-=dxdy y x f y x g Y X g E ),(),()],([, ⎰+∞∞-=dx x xf EX X)(⎰⎰+∞∞-+∞∞-=dxdy y x xf ),(, ⎰+∞∞-=dy y yf EY Y)(⎰⎰+∞∞-+∞∞-=dxdy y x yf ),(222)()(EX EX EX X E DX -=-=,⎰+∞∞--=dx x f EX x DX )()(2,nnnR ndxdx dx x x x f x x x g X X X g E n⋅⋅⋅⋅⋅⋅⋅⋅⋅=⋅⋅⋅⎰21212121),,,(),,,()],,,([ .(三) 数学期望和方差的性质 b EX k b X k E ini iini i+=+∑∑==11)(,若X 与Y 相互独立,则EY EX XY E ⋅=)(,DY b DX a c bY aX D 22)(+=++,若nX X X ,,,21⋅⋅⋅相互独立,则nnEX EX EX X X X E ⋅⋅⋅⋅=⋅⋅⋅2121)(,ini iin i iDX k b X k D ∑∑===+121)( ,例1 设X 服从(0—1)分布:求EX ,DX .解 p p p EX =-⨯+⨯=)1(01,p p p EX =-⨯+⨯=)1(01222, )1()(222p p p p EX EX DX -=-=-=.例2 设X 服从二项分布),(p n B , 即 kn kknp p C k X P --==)1(}{ ,n k ,,1,0⋅⋅⋅= 求EX ,DX .解 (由于直接比较繁杂,采用分解的方法)若nX X X ,,,21⋅⋅⋅相互独立, 同服从(0—1)分布,p X P p X P ii-====1}0{,}1{, n i ,,1⋅⋅⋅=,则 ),(~1p n B X X ni i∑==,p EX i=, )1(p p DX i -=.np p X E X E EX ni in i n i i====∑∑∑===111)(,∑∑====ni in i i DX X D DX 11)()1()1(1p np p p ni -=-=∑= .例 3 设X 服从泊分布)(λ∏，即!}{k e k X P kλλ-== ，⋅⋅⋅=,2,1,0k求EX ,DX .解 ∑∑∞+=∞+=----=⋅=011)!1(!k k k kk ek e k EX λλλλλλλλλ=⋅=-e e ，∑∑∞+=∞+=---=⋅=0122)!1(!k k kkk ke k e k EX λλλλ∑+∞=--+-=1)!1(]1)1[(k kk k e λλ222)!2(λλλ∑∞+=---=k k k e λλλ∑∞+=---+11)!1(k k k eλλλλλλλλ+=⋅+⋅=--22e e e e ，于是λλλλ=-+=-=2222)()(EX EX DX 。

随机过程第六章

T
T
X (t )dt
<x(t)>是随机过程的样本函数按不同时刻取平均，它随样本不同而不同，是个随机变量。对于一个确定的样本
X (t ) lim 1 T 2T

T
T
X (t )dt 常数
时间平均
集合平均
20
定义6.10 设{X(t),-∞<t<∞}是均方连续的平稳过程，若
n
lim E[| X n X |2 ] 0
成立，则称{Xn}均方收敛于X，记作
Xn X
m. s
l.i.m X
n
n
X
称二阶矩随机序列{Xn}依分布收敛于二阶矩随机变量X，若{Xn}相应的分布函数列{Fn(x)}，在X的分布函数F(x)的每一个连续点处，有
n
lim Fn ( x) F ( x)

t
a
X ( ) d
在均方意义下存在，且随机过程{Y(t), t∈T}在区间[a,b]上均方可微，且有 Y’(t)=X(t)。
18
推论：设X (t )均方可微，且X (t )均方连续，则 X (t ) X (a) X (t )dt.
a t
及
X (b) X (a) X (t )dt.
第六章：平稳随机过程

严平稳过程的定义宽平稳过程的定义平稳过程的数字特征平稳过程自相关函数的性质时间平均和集合平均的概念平稳过程遍历性定义遍历性判定定理遍历性应用举例
1
严平稳过程的定义
设{X(t),t∈T}是随机过程，如果对任意常数τ和正整数n， t1,t2, …,tn∈T，t1+τ,t2+τ, …,tn+τ ∈T， (X(t1),X(t2), …,X(tn))与(X(t1+τ),X(t2+τ), …,X(tn+τ))有相同的联合分布，则称{X(t),t∈T}为严平稳过程或侠义平稳过程。

刘次华随机过程第五章

i∈ I
1 1 2
i∈I
i
ij
(t )
i∈I
n−1i n
(t n − t n −1 )
5.1 连续时间马尔可夫链
例5.1 证明泊松过程{X(t), t≥0}为连续时间齐次马尔可夫链。证明：先证泊松过程的马尔可夫性。证明：泊松过程是独立增量过程，且X(0)=0，对任意0<t1< t2<…< tn< tn+1有
j ≠i
1 − pii (∆t ) qii = lim = lim ∆t →0 ∆t →0 ∆t 注：一般而言qii
∑p
j ≠i
ij
(∆t )
∆t
= ∑ qij
j ≠i
∑q
j ≠i
ij
5.2 柯尔莫哥洛夫微分方程
若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,…,n}, 则
⎛ − q00 ⎜ ⎜ q10 Q= ⎜ ⎜ ⎜ q ⎝ n0 q01 − q11 qn1 q0 n ⎞ ⎛ Q1 ⎞ ⎟ ⎜ ⎟ q1n ⎟ ⎜ Q2 ⎟ = ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ ⎟ ⎜ ⎟ − qnn ⎠ ⎝ Qn ⎠
5.1 连续时间马尔可夫链
定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t)) ，i,j∈I，t ≥0 命题：若τi为过程在状态转移之前停留在命题：状态i的时间，则对s, t≥0有 (1) P{τ i > s + t | τ i > s} = P{τ i > t} (2) τi 服从指数分布证(1) 事实上
5.1 连续时间马尔可夫链
过程在状态转移之前处于状态i的时间τi服从指数分布 Fτ i ( x ) = 1 − e − λi x F (1)当λi=+∞时， τ ( x ) = 1, P{τ i > x} = 1 − Fτ ( x ) = 0, 状态i的停留时间τi 超过x的概率为0，则称状态i为瞬时状态； F (2)当λi=0时，τ ( x ) = 0, P{τ i > x} = 1 − Fτ ( x ) = 1, 状态i的停留时间τi 超过x的概率为1，则称状态i为吸收状态。

第3-4讲随机过程孙应飞

j

(i
,
1)

,
i 1 i0
其中为该周期内到达的顾客数。
记第 n 个周期开始的顾客数为 X n ，则 X n1 ( X n 1) n ，其中
a ˆ max{a,0}，根据马氏链的定义，可知{X n , n 0}是一马氏链。
由此推出：
P(m) P P (m1) (1) (P)m Pm
其中： P(1) P 由此可知：对于齐次马氏链，如果知道了它的初始分布 (0) 和一步转移矩
阵 P ，就可以求得 X (n) 的所有有限维概率分布。即有：
P{X (n1) i1, X (n2 ) i2 ,, X (nk ) ik }

m1

n

j 2

i
,
m2

n
j 2

i
中国科学院大学 2019～2020 第一学期随机过程讲稿孙应飞
n ji n ji n ji
C p q , (n)
2
2
2
n
p ij
0 ,
(n j i 是偶数) (n j i 是奇数)
p(n) ii

n
即上面式子的右边与时刻 n 无关，则称此马氏链为齐次（或时齐的）马氏链。对于齐次马氏链，我们记 P ( pi j ) ，称矩阵 P 为齐次马氏链的一步转移概
中国科学院大学 2019～2020 第一学期随机过程讲稿孙应飞
率矩阵，简称为转移矩阵。
注 3：对于马氏链{X (n); n 0} ，我们有： P{X (0) i0 , X (1) i1,, X (n) in} P{X (n) in X (0) i0 , X (1) i1,, X (n 1) in1}

随机过程_课件---第五章

随机过程_课件---第五章第五章离散参数Markov 链5.1 Markov 链的基本概念1、Markov 链和转移概率矩阵定义5-1考虑只取有限个或可数个值的随机过程{},0,1,2,n X n = 。

把过程所取可能值得全体称为它的状态空间，记之为E ，通常假设{}0,1,2,E= 。

若n X i =就说“过程在时刻n 处于状态i ”，假设每当过程处于状态i ，则在下一个时刻将处于状态j 的概率是固定的ij p ，即对任意时刻n1(|)n n ij P X j X i p +===若对任意状态011,,,(,n 0)n i i i i j -≥ 及任意的有11111001(|,,,,)(|)n n n n n n n P X j X i X i X i X i P X j X i +--+======== 这样的随机过程称为Markov 链。

称矩阵00010201011121012j j i i i ij p p p p p p p p P p p p p ??=是一步转移概率矩阵，简称为转移矩阵。

由ij p 的定义可知，这是一种带有平稳转移概率的Markov 链，也称作时间齐次Markov 链或简称时齐次Markov 链。

且具有，0ij p ≥ , 01ij j p ∞==∑2、例题例5-1（直线上的随机游动）考虑在直线上整数点上运动的粒子，当它处于位置j 时，向右转移到j+1的概率为p ，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即00X =。

于是粒子在时刻n 所处的位置{}n X 就是一个Markov 链，且具有转移概率,1,10,jk p k j p q k j =+??==-其他当12p q ==时，称为简单对称随机游动。

例5-6（排队模型）考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务。

随机过程讲义

n U U{N (t ) = n − l , N (t + h) − N (t ) = l} l =2
故有：
Pn (t + h) = Pn (t )(1 − λh − ο (h)) + Pn −1 (t )(λh + ο (h)) + ο (h)
化简并令 h → 0 得：
Pn′(t ) = −λPn (t ) + λPn −1 (t )
∀ n ∈ N ， t i ∈ T , 1 ≤ i ≤ n ，有随机过程 X (t ) 的增量： X (t 2 ) − X (t1 ), X (t 3 ) − X (t 2 ),L, X (t n ) − X (t n−1 )
相互独立，则称随机过程 { X (t ), t ∈ T } 是独立增量过程。注意：若独立增量过程的参数集 T = [ a, b), a > −∞ ，一般假定 X ( a ) = 0 ，则独立增量过程是一马氏过程。特别地，当 X ( 0) = 0 时，独立增量过程
两边同乘以 e ，移项后有：
λt
d λt λt [e Pn (t )] = λ e Pn −1 (t ) dt Pn (0) = P{N (0) = n} = 0
当 n = 1 时，有：
d λt [e P1 (t )] = λ , P1 (0) = 0 ⇒ P1 (t ) = (λ t )e −λ t dt
由归纳法可得：
(λ t ) n − λ t Pn (t ) = e , n ∈ N0 n!
注意： E{N (t )} = λ t 现的平均次数。注意：Poission 过程的转移率矩阵（Q 矩阵）的表示，并用上一章讲过的方法求解 Poission 过程的一维分布。

随机过程课件

1
m X (t1 )][ x2 m X (t 2 )] f ( x1 x2 ; t1 , t 2 )dx1dx 2 f ( x1, x2 ; t1 , t 2 )dx1dx 2
x x

1 2
X(t) 协方差与相关函数的关系为当 mx (t ) 0 时 C X (t 1 , t 2 ) R X (t 1 , t 2 ) 在协方差定义中取t1=t2=t,就有
为XT 的均值函数或数学期望。其中F(x,t)是过程的一维分布函数。若是连续型随机变量，有 mX (t) xf(x,t)dx 其中f(x,t)是一维分布密度。 12

2．随机过程的方差若 DX (t) 2 (t) E[X(t) mX (t)]2 存在，t∈T， X 称为X（t）的方差。 x (t) Dx (t) 称为X（t）的标准差。它们描绘过程的样本曲线在各个t时刻对均值 m X ( t ) 的离散程度，对每个t1∈T， EX (t1 ) 反映t1状态取值的概率平均。 DX (t1 ) 反映t1状态取值与 EX (t1 ) 离散程度。在工程中随机过程的均方值具有物理意义，比较有用。均方值定义为： E[ X 2 (t )] X (t ) DX (t ) E( X 2 (t )) E 2 ( X (t )) 有关系式： 13 Dx (t ) x (t ) [mx (t )]2 即
第一章. 随机过程的基本概念
§1.1 随机过程及其概率分布
在实际问题中，有时需要对随机现象的变化进行研究，这时就必须考虑无穷个随机变量或一族随机变量, 我们就称这种随机变量族为随机过程。例1: 生物群体的增长问题。在描述群体的发展或演变过程中, 以 Xt 表示在时刻 t 群体的个数, 则对每一个 t ，Xt 是随机变量。假设我们从 t ＝0 开始每隔24小时对群体的个数观测一次, 则{Xt , t ＝0, 1, 2, ...}是一个随机过程。例2: 电话呼唤问题。某电话总机在[0，t]时间内收到的呼唤次数用 Xt 来表示, 则对于固定的 t ， 1 Xt 是随机变量。于是{Xt , t ∈[0, ∞)}是随机过程。

(解答)《随机过程》第二章习题

P{Y4
0
Y3
1,Y2
1}
P{Y4 0,Y3 1,Y2 1} P{Y3 1,Y2 1}
P{Y4
0
Y3
1,Y2
0}
P{Y4 0,Y3 1,Y2 P{Y3 1,Y2 0}
0}
由{Yn , n 2} 的定义，可知
{Y3 1,Y2 1} {3 1,2 0,1 1} {3 0,2 1,1 0} {3 1,2 1,1 0} {3 0,2 1,1 1} {3 1,2 1,1 1}
P{Y4 0 Y3 1,Y2 1} P{Y4 0 Y3 1,Y2 0} 根据马氏链的定义可知{Yn , n 2} 不是马氏链。
2、天气预拨模型如下：今日是否下雨依赖于前三天是否有雨（即一连三天有雨；前两天有
雨，第三天是晴天；…），试将此问题归纳为马尔可夫链，并确定其状态空间。如果过
{ n ; n 1}是一马氏链，并求其 n 步转移概率矩阵。
解：令 X k 表示第 k 此抛掷掷得的点数， k 1，则：
n
max{
1k n
X
k
},
n 1,2,
易见状态空间为： S {1,2,3,4,5,6} 。因为对于任意的正整数 n 及状态空间中的状态：
i1 i2 in1 i 及 j ，我们有：
0 0 0 0 1 1
0 0 0 0 1 1
0 0 0 0 0 1 0 0 0 0 0 1
0 0 0 0 0 1
即有： P HH 1 ，因此有：
P (n) Hn H 1
(1 / 6) n 0
0
0
0
0
(2 / 6) n (1 / 6) n (2 / 6) n 0 0 0 0
(3 / 6) n (2 / 6) n (3 / 6) n (2 / 6) n

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

讨论其周期性。解：主对角线为 0，它是具有周期性的转移矩阵的标准形式。八个状态可以分为四个子集， c1 = {0} ， c2 = {1,2,3} ， c3 = {4,5} ， c4 = {6,7} ，它们互不相交，它们的并是整个状态空间，该过程具有确定的周期转移，即：
c1 → c2 → c3 → c4 → c1 ，周期为 4。
1 1 1 + + L + n−1 + L = 1 2 4 2 1 2 1 2 3 2
(n) µ1 = ∑ nf11 = 1× + 2 × = < ∞ n =1 ∞
(n) µ 2 = ∑ nf 22 = 1× 0 + 2 × + L + n ⋅ n =1
1 2
1 +L= 3< ∞ 2 n−1
故状态 1 和 2 都是正常返的，易知它们是非周期的，从而是遍历状态。例 8 设一齐次马氏链的状态空间为 S = {0,1,2,L} ，其状态转移矩阵为：
(n)
{
}
为状态 i 的周期，记为 d i ，当 d i = 1时，称该状态无周期。定义：称非周期正常返状态为遍历态。注意：一个不可约的、非周期的、有限状态的马氏链一定是遍历的。
（七）常返、非常返、周期状态的分类特性设 i ↔ j ，则 i 和 j 或者都是非常返态，或者都是零常返态，或者都是正常
(n) ( n +1)
> 0 ，则状态 i 无周期。
m
（3）如有正整数 m ，使得 m 步转移概率矩阵 P 中相应某状态 j 的那一列元素全不为零，则状态 j 无周期
（九）分解定理
（1）齐次马氏链的状态空间 S 可唯一地分解为有限多个或可列多个互不相交的状态子集 D , C1 , C 2 ,L 之并，即有 S = D U C1 U C 2 U L 。其中： D 是非常返态集，每个 C n , n = 1,2,L 均是由常返状态组成的不可约集，其中的状态互通，因此 C n , n = 1,2,L 中的状态具有相同的状态类型：或者均为零常返；或者均为正常返非周期（遍历）；或者均为正常返有且有相同的周期；而且对于 i , j ∈ C n , f i j = 1 。（2）（周期链分解定理）一个周期为 d 的不可约马氏链，其状态空间 S 可以分解为 d 个互不相交的集 J 1 , J 2 ,L, J d 之并，即有：
T13 = n
(n) f13 = P{T13 = n}
1
2
3
4
…
n
…
1 4
3 42
∞
32 43
33 … 44
3n−1 … 4n
3n −1 因此， ET13 = ∑ nP{T13 = n} = ∑ n n = 4 。 4 n =1 n =1
∞
（2）由于：
(1) (n) f11 = 1 / 2, f11 = 0 , n > 1 ，故 f11 = 1 / 2 < 1 (1) (n) f 22 = 3 / 4, f11 = 0 , n > 1 ，故 f11 = 3 / 4 < 1
S = U Jr ,
r =1
d
Jk I Jl = ∅ , k ≠ l ,
且
j∈J r +1
∑p
ij
= 1 , i ∈ J r , r = 1,2,L
其中约定 J r +1 = J 1 。
中科院研究生院 2006～2007 第一学期
随机过程讲稿
孙应飞
（3）基于上面的（1），我们将状态空间 S 中的状态依 D , C1 , C 2 ,L 的次序从新排列，则转移矩阵具有以下的形式
称状态 i 是吸收态。如果闭集 C 中不再含有任何非空闭的真子集，则称 C 是不可约的。闭集是存在的，因为整个状态空间 S 就是一个闭集，当 S 不可约时，则称此马氏链不可约，否则称此马氏链可约。
有关的性质：（1） C 是闭集 ⇔ pi j = 0 , ∀ i ∈ C , j ∉ C ⇔ pi j = 0 ( n ≥ 1), ∀ i ∈ C , j ∉ C
中科院研究生院 2006～2007 第一学期
随机过程讲稿
孙应飞
第二章
Markov 过程
4.
马尔可夫链状态的分类
（六）闭集和状态空间的分解
定义：设 C 是状态空间 S 的一个子集，如果从 C 内任何一个状态 i 不能到达
C 外的任何状态，则称 C 是一个闭集。如果单个状态 i 构成的集 {i} 是闭集，则
f
(n) 11
∞ 1 1 = ，故 f11 = ∑ = 1 ，故状态 1 是常返的。 n =1 2 2 ∞ n
n
n
1 又 µ1 = ∑ n < ∞ ，故状态 1 是正常返的。 n =1 2
易知状态 1 是非周期的，从而状态 1 是遍历的。对于其它状态，由于1 ↔ i , i ∈ S ，因此也是遍历的。
中科院研究生院 2006～2007 第一学期
(1) (n) f 33 = 1, f11 = 0 , n > 1 ，故 f 33 = 1
随机过程讲稿
孙应飞
因此，状态 1 和 2 为非常返态，3 为常返态。例 7 设齐次马氏链的状态空间为 {1,2,3,4} ，一步转移矩阵为：
1 / 2 1 / 2 0 0 0 1 P= 0 1/ 3 2 / 3 1 / 2 0 1 / 2
PD P=
PD
1
PD
2
P1 P2
L O
D C1 C2 M
其中 P 1 , P 2 ,L 均为随机矩阵，他们对应的链是不可约的。称以上形式的转移矩阵为标准形式。
（十）有限马氏链的性质
（1）所有非常返状态组成的集合不可能是闭集。（2）没有零常返状态。（3）必有正常返状态。（4）不可约有限马氏链只有正常返态。（5）状态空间可以分解为
求此链的闭集。解：画出状态转移图，此链可约，闭集为： {1, 3, 5} 。
例 4 设马氏链的状态空间为 S = {1,2,3,L} ，转移概率为： p11 = 1 / 2 ，
pi i +1 = 1 / 2 ， pi 1 = 1 / 2 , i ∈ S ，研究各状态的分类。
解：画出状态转移图，可知：
1 − p 0 1 − p1 1 − p 2 M
p0 0 0 M
0 p1 0 M
0 0 p2 M
0 L 0 L 0 L M M
试讨论此链状态的分类及常返的充分必要条件。解：画出状态转移图，图中可以看出任意二状态都相通，链是不可约的，因此只要确定任一状态是常返的条件即可。由状态转移图，可得：
S = D U C1 U C 2 U L U C k
其中：每个 C n , n = 1,2,L, k 均是由正常返状态组成的有限不可约闭集，
D 是非常返态集。
（十一）例子
例 1 设有三个状态 { 0,1, 2} 的齐次马氏链，它的一步转移概率矩阵为：
1 / 2 1 / 2 0 P = 1 / 2 1 / 4 1 / 4 0 1/ 3 2 / 3
试研究其状态关系。解：画出状态转移图，可知：
0 0 0 0
(n) f 44 = 0 (n ≥ 1) ⇒ f 44 = 0 < 1 (1) f 33 =
2 (n) 2 , f 33 = 0 (n > 1) ⇒ f 33 = < 1 3 3
故状态 3 和 4 为非常返态。
(1) ( 2) f11 = f11 + f11 + 0 +L + 0 +L =1 (n) f 22 = ∑ f 22 =0+ n =1 ∞ ∞
(n)
（2） C 是闭集 ⇔
∑p
j∈C
ij
= 1, ∀ i ∈ C
（3） i 为吸收态 ⇔ pi i = 1 （4）齐次马氏链不可约 ⇔ 任何两个状态均互通（5）所有常返态构成一个闭集（6）在不可约马氏链中，所有状态具有相同的状态类型定义：对 i ∈ S ，若正整数集 n ; n ≥ 1, pi i > 0 非空，则定义其最大公约数
例 6 设齐次马氏链的状态空间为 {1,2,3} ，一步转移矩阵为：
1 / 2 1 / 4 1 / 4 P = 0 3 / 4 1/ 4 0 0 1
求：（1） T13 的分布率及 ET13 ，（2） f i i (i = 1,2,3) 解：（1）画出状态转移图，可得 T13 的分布率为：
它的一步转移概率矩阵为：例 5 设有八个状态 { 0,1, 2, 3, 4, 5, 6, 7 } 的齐次马氏链，
中科院研究生院 2006～2007 第一学期
随机过程讲稿
孙应飞
0 0 0 0 1/ 4 1/ 2 1/ 4 0 0 0 0 0 1 / 2 1 / 2 0 0 0 0 0 0 1/ 3 2 / 3 0 0 0 0 0 1 0 0 0 0 P= 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1/ 2 1/ 2 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0
( 2)
0.3, 0.4, （2） pij = P{Yn +1 = j Yn = i} = 0.3, 0,
j = i +1 j =i j = i −1
试研究其状态关系。解： {0,1} 正常返， {2} 非常返， {3} 吸收态。例 3 设马氏链的状态空间为 S = {1, 2, 3, 4, 5} ，一步转移概率为：
0 1 / 2 0 1 / 2 0 0 1/ 4 0 3 / 4 0 P= 0 0 1/ 3 0 2 / 3 1 / 4 1 / 2 0 1 / 4 0 1/ 3 0 1/ 3 0 1/ 3