中国科学院大学电子学院孙应飞随机过程作业答案
中国科学大学随机过程(孙应飞)复习题及标准答案汇总
（1） 设}0),({≥t t X 是一个实的零均值二阶矩过程，其相关函数为t s s t B t X s X E ≤-=),()}()({，且是一个周期为T 的函数，即0),()(≥=+τττB T B ，求方差函数)]()([T t X t X D +-。
解：由定义，有：)(2)0()0()}()({2)0()0()]}()()][()({[2)]([)]([)]()([=-+=+-+=+-+--++=+-T B B B T t X t X E B B T t EX T t X t EX t X E T t X D t X D T t X t X D（2） 试证明：如果}0),({≥t t X 是一独立增量过程，且0)0(=X ，那么它必是一个马尔可夫过程。
证明：我们要证明：n t t t <<<≤∀Λ210，有})()({})(,,)(,)()({11112211----=≤=====≤n n n n n n n x t X x t X P x t X x t X x t X x t X P Λ形式上我们有：})()(,,)(,)({})()(,,)(,)(,)({})(,,)(,)({})(,,)(,)(,)({})(,,)(,)()({1122221111222211112211112211112211--------------========≤=======≤=====≤n n n n n n n n n n n n n n n n n n n n x t X x t X x t X x t X P x t X x t X x t X x t X x t X P x t X x t X x t X P x t X x t X x t X x t X P x t X x t X x t X x t X P ΛΛΛΛΛ因此，我们只要能证明在已知11)(--=n n x t X 条件下，)(n t X 与2,,2,1,)(-=n j t X j Λ相互独立即可。
(解答)《随机过程》第二章习题
第二章 Markov 过程 习题解答1、 设}1,{≥n n ξ为相互独立同分布的随机变量序列，其分布为：01}0{,0}1{>-===>==p q P p P n n ξξ定义随机序列}2,{≥n X n 和}2,{≥n Y n 如下：⎪⎪⎩⎪⎪⎨⎧=========----;1,1,3;0,1,2;1,0,1;0,0,01111n nn n n n n nn X ξξξξξξξξ ⎩⎨⎧===-;,1;0,0,01其它n n n Y ξξ试问随机序列}2,{≥n X n 和}2,{≥n Y n 是否为马氏链？如果是的话，请写出其一步转移概率矩阵并研究各个状态的性质。
不是的话，请说明理由。
解：（1）显然，随机序列}2,{≥n X n 的状态空间为}3,2,1,0{=S 。
任意取S i i i j i n ∈-132,,,,, ，由于当i X n =给定时，即1,-n n ξξ的值给定时，就可以确定1+n X 的概率特性，即我们有：}{},,,,{12233111i X j X P i X i X i X i X j X P n n n n n n ========+--+因此}2,{≥n X n 是齐次马氏链，其一步转移概率矩阵为：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=p qp q p q p qP 0000000 由于01,0>-=>p q p ，画出状态转移图，可知各个状态都相通，且都是非周期的，因此此链是不可约的遍历链。
（也可以利用02>P 判定此链是不可约的遍历链）（2）显然，}2,{≥n Y n 的状态空间为}1,0{=S ，由于：}1,1{}1,1,0{}1,10{23234234=========Y Y P Y Y Y P Y Y Y P}0,1{}0,1,0{}0,10{23234234=========Y Y P Y Y Y P Y Y Y P由}2,{≥n Y n 的定义，可知}1,1,1{}1,1,0{}0,1,1{}0,1,0{}1,0,1{}1,1{12312312312312323===⋃===⋃===⋃⋃===⋃======ξξξξξξξξξξξξξξξY Y}1,1,0,0{}0,1,0,0{}1,1,0{12341234234====⋃========ξξξξξξξξY Y Y}0,0,1{}0,1{12323======ξξξY Y ， ∅====}0,1,0{234Y Y Y利用}1,{≥n n ξ是相互独立同分布的随机变量序列及其分布，我们有：322233}1,1{q q p pq Y Y P ++=== 223234}1,1,0{q p pq Y Y Y P +==== 223}0,1{pq Y Y P ===0}0,1,0{234====Y Y Y P即有：22222343}1,10{q p pq qp pq Y Y Y P +++==== 0}0,10{234====Y Y Y P由于01,0>-=>p q p ，因此有}0,10{}1,10{234234===≠===Y Y Y P Y Y Y P根据马氏链的定义可知}2,{≥n Y n 不是马氏链。
(解答)《随机过程》第三章习题
第三章 Poisson 过程（Poisson 信号流）习题解答1、 设}0),({≥t t N 是一强度为λ的齐次泊松过程，而12/)()(-=t N t X ，0≥t 。
对0>s ，试求：（1） 计算)}()({s t N t N E +及})()({s N t s N E +的分布律；（2） 证明过程)(t X ，0≥t 是马氏过程并写出转移概率),;,(j t i s p ，其中t s ≤。
解：（1）由泊松过程状态空间可知)(t X 的状态空间为：},2,1,0:2/)2{(},2,2/3,1,2/1,0,2/1,1{ =-=--=k k St s t t s t t s t t s t N t N E λλλλ++=+++=+)(},min{)()}()({22由于tn e m t n m e n k t k n k t N kP n s N P n s N k t s N P k n s N k t s N kP n s N t s N E m tm n k t n k n k n k nk λλλλλ+=+=-=-=====+===+==+∑∑∑∑∑∞+=-∞+=--∞+=∞+=+∞=0!)()()!()(})({})({})(,)({})()({})()({因此t s N s N t s N E λ+=+)(})()({其分布列为：sn e n s n s N P t n s N t s N E P λλλ-===+=+!)(})({}})()({{（2）由泊松过程的独立增量性可知过程)(t X 也是独立增量的，又因为1)0(-=X ，因此可知过程)(t X 是一马氏过程，其转移概率为：),(;)]!(2[)]([)}1(2)({)}(2)({)}1(2)({)}1(2)({)}1(2)(),1(2)({})({})(,)({),;,()()(2s t i j e i j s t i s N P i j s t N P i s N P i s N P j t N i s N P i s X P j t X i s X P j t i s p s t i j ≥≥--=+=-=-+==+=+=+======---λλ),(;0),;,(s t i j j t i s p ≥<=附：泊松过程相关函数的计算： 设210t t ≤<，我们有：∑∑+∞=+∞=+==+=002121})(,)({)()}()({m n n m t N m t N P n m m t N t N E由于当210t t ≤<时，,2,1,0,,!!)(})(,)({212121=-=+==-+n m e n m t t t n m t N m t N P t nm n m λλ因此，我们有：1212)(1212)(1)(2121112111111212121111101222122121112110121201211112110121001210012120012100212112121212121222222222222)()!1()(!)1()(!)(!)1(!)(!)2(!)1(!)1()(!!)1()(!!)2()(!)1(!)1()(!!)1()(!!)(!!)(!!)()(})(,)({)()}()({t t t e e e t t t e e e t e e e t n t t m t et t t n t t m t et n t t m t et e n m t t t e n m t t t en m t t t en m t t t e n m t t t m en m t t t n m e n m t t t m e n m t t t n m m n m t N m t N P n m m t N t N E t t t t t t t t t t t t n n n m m m t n nn m m m t n nn m m m t m n t n m n m m n t nm n m m n t nm n m m n t n m n m m n t n m n m m n t n m n m m n t n m n m m n t nm n m m n λλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλ+=-++=----+--+--=---++--+--=---+--=-+-=-+=+==+=------∞+=--∞+=---∞+=∞+=---∞+=∞+=---∞+=∞+=-+∞+=∞+=-+∞+=∞+=-+∞+=∞+=-+∞+=∞+=-+∞+=∞+=-+∞+=∞+=-+∞+=∞+=-++∞=+∞=∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑同理我们有：当120t t ≤<时221221)}()({t t t t N t N E λλ+=因此，有：},min{)}()({),(212122121t t t t t N t N E t t R N λλ+==2、 设}0);({≥t t X 与}0);({≥t t Y 是相互独立，参数分别为1λ与2λ的Poisson 过程。
第3-4讲随机过程 孙应飞
j
(i
,
1)
,
i 1 i0
其中 为该周期内到达的顾客数。
记 第 n 个 周 期 开 始 的 顾 客 数 为 X n ， 则 X n1 ( X n 1) n ， 其 中
a ˆ max{a,0}，根据马氏链的定义，可知{X n , n 0}是一马氏链。
由此推出：
P(m) P P (m1) (1) (P)m Pm
其中： P(1) P 由此可知：对于齐次马氏链，如果知道了它的初始分布 (0) 和一步转移矩
阵 P ，就可以求得 X (n) 的所有有限维概率分布。即有：
P{X (n1) i1, X (n2 ) i2 ,, X (nk ) ik }
m1
n
j 2
i
,
m2
n
j 2
i
中国科学院大学 2019～2020 第一学期 随机过程讲稿 孙应飞
n ji n ji n ji
C p q , (n)
2
2
2
n
p ij
0 ,
(n j i 是偶数) (n j i 是奇数)
p(n) ii
n
即上面式子的右边与时刻 n 无关，则称此马氏链为齐次（或时齐的）马氏链。 对于齐次马氏链，我们记 P ( pi j ) ，称矩阵 P 为齐次马氏链的一步转移概
中国科学院大学 2019～2020 第一学期 随机过程讲稿 孙应飞
率矩阵，简称为转移矩阵。
注 3：对于马氏链{X (n); n 0} ，我们有： P{X (0) i0 , X (1) i1,, X (n) in} P{X (n) in X (0) i0 , X (1) i1,, X (n 1) in1}
(解答)《随机过程》第四章习题
第四章 二阶矩过程、平稳过程和随机分析 习题解答1、 设∑=-=Nk k k kn U n X 1)cos(2ασ，其中k σ和k α为正常数，)2,0(~πU U k ，且相互独立，N k ,,2,1 =，试计算},1,0,{ ±=n X n 的均值函数和相关函数，并说明其是否是平稳过程。
解：计算均值函数和相关函数如下0)}{cos(2)cos(2}{)(11=-=⎭⎬⎫⎩⎨⎧-==∑∑==Nk k k k N k k k k n X U n E U n E X E n ασασμ∑∑∑∑∑∑======-=--=--=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡-⋅⎥⎦⎤⎢⎣⎡-=Ni i i N i i i i i i Ni Nj j j i i j i N j j j j N i i i i X m n U m U n E U m U n E U m U n E m n R 12121111)](cos[)}cos(){cos(2)}cos(){cos(2)cos(2)cos(2),(ασαασαασσασασ因此可知，},1,0,{ ±=n X n 是平稳随机过程。
2、 设有随机过程))(cos()(t t A t X πηω+=，其中0>ω为常数，}0),({≥t t η是泊松过程，A 是与)(t η独立的随机变量，且2/1}1{}1{===-=A P A P 。
（1） 试画出此过程的样本函数，并问样本函数是否连续？ （2） 试求此过程的相关函数，并问该过程是否均方连续？ 解：（1）样本函数不连续。
（2）令：012≥>t t ，下面求相关函数：)(221)(212210)(1212211212121211212212122112221122121121212cos cos )]}(cos[)]({cos[21!)]([)]}(cos[)]({cos[)1(21))]}()(()(cos[))]()(()(2)({cos[21))]}()(()(cos[))]()(()({cos[21))}(cos())({cos(}{))}(cos())(cos({)}()({),(t t t t k t t k kX e t t e t t t t e k t t t t t t t t t t t t t t t E t t t t t t t t E t t t t E A E t t t t A E t X t X E t t R ----∞=--⋅=⋅-++=⋅-⋅-++-=-+-+-+++=-+-++++=++⋅=++==∑λλλωωωωλωωηηπωηηππηωηηπωηηπωπηωπηωπηωπηω因为：t t t R ωξ2cos ),(=因此该过程是均方连续的随机过程。
《随机过程》第四章作业解答
,
f21
=
1 3
f21
+
2 3
,
得到
f61
=
1 。类似可得
2
f62
=
f63
=
f64
=
1。
2
∞
对于状态
1
而言，τ1
=
E(T1|X0
=
1)
=
1×
1 3
+
k·
2 3
·
(
1 3
)k−2
·
2 3
=
2。类似可得：
k=2
∞
∞
∞
τ2
=
1 3
+
k
·
2 3
·
(
1 3
)k−2
·
2 3
=
2,
τ3
=
1 4
+
k
·
3 4
pk0j > pkj。从而有
n
n
pk0j = pk0j
pik >
pikpkj = pij,
k=1
k=1
∀i ∈ E
由 i 的任意性得到矛盾，从而假设不成立。对 ∀i, j ∈ E, p1j = pjj。
1+(−1)k
2k+1
17. 解：(1) P k = 1+(−1)k+1
2k+1
其中, P (Sn > 0|Xn = i) =
n+i
Cn 2
p
n+i 2
(1
−
p)
n−i 2
C p (1 n+i 2 n
随机过程第三章作业答案
Yk-1 ]] ≤ b ⋅ ∑ E[I{T ≥ k} ]
k =0
= b ⋅ ∑ P(T ≥ k) = b(1 + E[T]) < ∞，即E[W] < ∞
10证明：利用停时定理2 由已知P(T<∞)=1,得条件1已满足。
2 2 又∀n ≥ 1，E[X T ∧ n ]=E[|X T ∧ n | ] ≤ c；
利用柯西-施瓦茨不等式(E[XY])2 ≤ E[X 2 ]E[Y 2 ]： 令Y=1，(E[|X T ∧ n |])2 ≤ E[|X T ∧ n |2 ]E[12 ] ≤ c ∴ E[|X T ∧ n |] ≤ c，进而有E[ sup|X T ∧ n |] ≤ c < ∞，
第三章习题解答
3-(1) ∵{ X n , n ≥ 0}是鞅， ∴ E[X 0 ] = E[X n ] = 0，且有 E[Yk ]=E[X k -X k-1 ]=0；Var(Yk )=E[Yk2 ]；Var(X n )=E[X 2 n ]；
2 E[Yk2 ]=E[(X k -X k-1 )2 ]=E[X k +X 2 k-1 -2X k X k-1 ] 2 =E[X k ]+E[X 2 其中 k-1 ]-2E[X k X k-1 ]，
9 (一)常规证明： 右侧不等号： E[X T ∧ n ]=E[X T ∧ n ⋅ I{T ≥ n} ]+E[X T ∧ n ⋅ I{T<n} ]=E[X n ⋅ I{T ≥ n} ]+E[X T ⋅ I{T<n} ] =E[X n ⋅ I{T ≥ n} ]+E[∑ X k ⋅ I{T=k} ]
k =0 n-1
E[X k X k-1 ]=E[E[X k X k-1|X 0 X1 =E[X k-1E[X k |X 0 X1
《随机过程》第二章习题
7、 设具有三个状态的齐次马氏链的一步转移概率矩阵为：
p00 P p10 p 20
（a） 求 3 步首达概率 f 02 ；
( 3)
p01 p11 p 21
p02 1 / 2 0 1 / 2 p12 1 / 3 0 2 / 3 p 22 1 / 4 0 3 / 4
g
k 0
k
k 。
k 1
P0 P k 1 ( I P)e ；
1
（b） 对于任意 0 1 ，有： G( ) 0 ( I P) ( I P)e 。 13、 设有一生灭过程 { (t ); t 0} ，其中参数 n , n n ， 和 均为大于零的
随机过程讲稿
孙应飞
试求： （1） f 00 , f 00 , f 00 , f 01 , f 01 , f 01 ； （2） 确定状态分类，哪些属于常返的，哪些属于非常返的。 6、 试确定下列齐次马氏链的状态分类，哪些属于常返的，哪些属于非常返的。已知该链的 一步转移矩阵为：
(1) ( 2) ( 3) (1) ( 2) ( 3)
t o(t ) 生一个儿女，假定这些人是统计独立的，则如果在时刻 t 人口中有 n 个人，
在 (t , t t ) 中出生的概率是 nt o(t ) 。同样地，如果在 (t , t t ) 内一个人死亡的 概率是 t o(t ) ，则如果在 t 时刻有 n 个人活着，在 (t , t t ) 内死亡的概率是
常数，其起始状态为 (0) 0 。试求： （a） 该过程的 Q 矩阵； （b） 列出福克－普朗克微分方程； （c） 其均值函数 M (t ) E{ (t )} ； （d） 证明 lim p0 (t ) exp{ / } 。