中国科学大学随机过程(孙应飞)复习题及答案
中国科学大学随机过程(孙应飞)复习题及标准答案汇总
（1） 设}0),({≥t t X 是一个实的零均值二阶矩过程，其相关函数为t s s t B t X s X E ≤-=),()}()({，且是一个周期为T 的函数，即0),()(≥=+τττB T B ，求方差函数)]()([T t X t X D +-。
解：由定义，有：)(2)0()0()}()({2)0()0()]}()()][()({[2)]([)]([)]()([=-+=+-+=+-+--++=+-T B B B T t X t X E B B T t EX T t X t EX t X E T t X D t X D T t X t X D（2） 试证明：如果}0),({≥t t X 是一独立增量过程，且0)0(=X ，那么它必是一个马尔可夫过程。
证明：我们要证明：n t t t <<<≤∀Λ210，有})()({})(,,)(,)()({11112211----=≤=====≤n n n n n n n x t X x t X P x t X x t X x t X x t X P Λ形式上我们有：})()(,,)(,)({})()(,,)(,)(,)({})(,,)(,)({})(,,)(,)(,)({})(,,)(,)()({1122221111222211112211112211112211--------------========≤=======≤=====≤n n n n n n n n n n n n n n n n n n n n x t X x t X x t X x t X P x t X x t X x t X x t X x t X P x t X x t X x t X P x t X x t X x t X x t X P x t X x t X x t X x t X P ΛΛΛΛΛ因此，我们只要能证明在已知11)(--=n n x t X 条件下，)(n t X 与2,,2,1,)(-=n j t X j Λ相互独立即可。
(解答)《随机过程》第二章习题
第二章 Markov 过程 习题解答1、 设}1,{≥n n ξ为相互独立同分布的随机变量序列，其分布为：01}0{,0}1{>-===>==p q P p P n n ξξ定义随机序列}2,{≥n X n 和}2,{≥n Y n 如下：⎪⎪⎩⎪⎪⎨⎧=========----;1,1,3;0,1,2;1,0,1;0,0,01111n nn n n n n nn X ξξξξξξξξ ⎩⎨⎧===-;,1;0,0,01其它n n n Y ξξ试问随机序列}2,{≥n X n 和}2,{≥n Y n 是否为马氏链？如果是的话，请写出其一步转移概率矩阵并研究各个状态的性质。
不是的话，请说明理由。
解：（1）显然，随机序列}2,{≥n X n 的状态空间为}3,2,1,0{=S 。
任意取S i i i j i n ∈-132,,,,, ，由于当i X n =给定时，即1,-n n ξξ的值给定时，就可以确定1+n X 的概率特性，即我们有：}{},,,,{12233111i X j X P i X i X i X i X j X P n n n n n n ========+--+因此}2,{≥n X n 是齐次马氏链，其一步转移概率矩阵为：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=p qp q p q p qP 0000000 由于01,0>-=>p q p ，画出状态转移图，可知各个状态都相通，且都是非周期的，因此此链是不可约的遍历链。
（也可以利用02>P 判定此链是不可约的遍历链）（2）显然，}2,{≥n Y n 的状态空间为}1,0{=S ，由于：}1,1{}1,1,0{}1,10{23234234=========Y Y P Y Y Y P Y Y Y P}0,1{}0,1,0{}0,10{23234234=========Y Y P Y Y Y P Y Y Y P由}2,{≥n Y n 的定义，可知}1,1,1{}1,1,0{}0,1,1{}0,1,0{}1,0,1{}1,1{12312312312312323===⋃===⋃===⋃⋃===⋃======ξξξξξξξξξξξξξξξY Y}1,1,0,0{}0,1,0,0{}1,1,0{12341234234====⋃========ξξξξξξξξY Y Y}0,0,1{}0,1{12323======ξξξY Y ， ∅====}0,1,0{234Y Y Y利用}1,{≥n n ξ是相互独立同分布的随机变量序列及其分布，我们有：322233}1,1{q q p pq Y Y P ++=== 223234}1,1,0{q p pq Y Y Y P +==== 223}0,1{pq Y Y P ===0}0,1,0{234====Y Y Y P即有：22222343}1,10{q p pq qp pq Y Y Y P +++==== 0}0,10{234====Y Y Y P由于01,0>-=>p q p ，因此有}0,10{}1,10{234234===≠===Y Y Y P Y Y Y P根据马氏链的定义可知}2,{≥n Y n 不是马氏链。
(完整word版)随机过程试题及答案
1．设随机变量X 服从参数为λ的泊松分布，则X 的特征函数为 。
2．设随机过程X(t)=Acos( t+),-<t<ωΦ∞∞ 其中ω为正常数，A 和Φ是相互独立的随机变量，且A 和Φ服从在区间[]0,1上的均匀分布，则X(t)的数学期望为 。
3．强度为λ的泊松过程的点间间距是相互独立的随机变量，且服从均值为 的同一指数分布。
4．设{}n W ,n 1≥是与泊松过程{}X(t),t 0≥对应的一个等待时间序列，则n W 服从 分布。
5．袋中放有一个白球，两个红球，每隔单位时间从袋中任取一球，取后放回，对每一个确定的t 对应随机变量⎪⎩⎪⎨⎧=时取得白球如果时取得红球如果t t t e tt X ,,3)(，则 这个随机过程的状态空间 。
6．设马氏链的一步转移概率矩阵ij P=(p )，n 步转移矩阵(n)(n)ijP (p )=，二者之间的关系为 。
7．设{}n X ,n 0≥为马氏链，状态空间I ，初始概率i 0p P(X =i)=，绝对概率{}j n p (n)P X j ==，n 步转移概率(n)ij p ，三者之间的关系为 。
8．设}),({0≥t t X 是泊松过程，且对于任意012≥>t t 则{(5)6|(3)4}______P X X ===9．更新方程()()()()0tK t H t K t s dF s =+-⎰解的一般形式为 。
10．记()(),0n EX a t M M t μ=≥→∞-→对一切，当时，t +a 。
二、证明题（本大题共4道小题，每题8分，共32分）P(BC A)=P(B A)P(C AB)。
2.设{X (t ),t ≥0}是独立增量过程, 且X (0)=0, 证明{X (t ),t ≥0}是一个马尔科夫过程。
3.设{}n X ,n 0≥为马尔科夫链，状态空间为I ，则对任意整数n 0,1<n l ≥≤和i,j I ∈，n 步转移概率(n)()(n-)ij ik kjk Ip p p l l ∈=∑ ，称此式为切普曼—科尔莫哥洛夫方程，证明并说明其意义。
(解答)《随机过程》第三章习题
第三章 Poisson 过程（Poisson 信号流）习题解答1、 设}0),({≥t t N 是一强度为λ的齐次泊松过程，而12/)()(-=t N t X ，0≥t 。
对0>s ，试求：（1） 计算)}()({s t N t N E +及})()({s N t s N E +的分布律；（2） 证明过程)(t X ，0≥t 是马氏过程并写出转移概率),;,(j t i s p ，其中t s ≤。
解：（1）由泊松过程状态空间可知)(t X 的状态空间为：},2,1,0:2/)2{(},2,2/3,1,2/1,0,2/1,1{ =-=--=k k St s t t s t t s t t s t N t N E λλλλ++=+++=+)(},min{)()}()({22由于tn e m t n m e n k t k n k t N kP n s N P n s N k t s N P k n s N k t s N kP n s N t s N E m tm n k t n k n k n k nk λλλλλ+=+=-=-=====+===+==+∑∑∑∑∑∞+=-∞+=--∞+=∞+=+∞=0!)()()!()(})({})({})(,)({})()({})()({因此t s N s N t s N E λ+=+)(})()({其分布列为：sn e n s n s N P t n s N t s N E P λλλ-===+=+!)(})({}})()({{（2）由泊松过程的独立增量性可知过程)(t X 也是独立增量的，又因为1)0(-=X ，因此可知过程)(t X 是一马氏过程，其转移概率为：),(;)]!(2[)]([)}1(2)({)}(2)({)}1(2)({)}1(2)({)}1(2)(),1(2)({})({})(,)({),;,()()(2s t i j e i j s t i s N P i j s t N P i s N P i s N P j t N i s N P i s X P j t X i s X P j t i s p s t i j ≥≥--=+=-=-+==+=+=+======---λλ),(;0),;,(s t i j j t i s p ≥<=附：泊松过程相关函数的计算： 设210t t ≤<，我们有：∑∑+∞=+∞=+==+=002121})(,)({)()}()({m n n m t N m t N P n m m t N t N E由于当210t t ≤<时，,2,1,0,,!!)(})(,)({212121=-=+==-+n m e n m t t t n m t N m t N P t nm n m λλ因此，我们有：1212)(1212)(1)(2121112111111212121111101222122121112110121201211112110121001210012120012100212112121212121222222222222)()!1()(!)1()(!)(!)1(!)(!)2(!)1(!)1()(!!)1()(!!)2()(!)1(!)1()(!!)1()(!!)(!!)(!!)()(})(,)({)()}()({t t t e e e t t t e e e t e e e t n t t m t et t t n t t m t et n t t m t et e n m t t t e n m t t t en m t t t en m t t t e n m t t t m en m t t t n m e n m t t t m e n m t t t n m m n m t N m t N P n m m t N t N E t t t t t t t t t t t t n n n m m m t n nn m m m t n nn m m m t m n t n m n m m n t nm n m m n t nm n m m n t n m n m m n t n m n m m n t n m n m m n t n m n m m n t nm n m m n λλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλ+=-++=----+--+--=---++--+--=---+--=-+-=-+=+==+=------∞+=--∞+=---∞+=∞+=---∞+=∞+=---∞+=∞+=-+∞+=∞+=-+∞+=∞+=-+∞+=∞+=-+∞+=∞+=-+∞+=∞+=-+∞+=∞+=-+∞+=∞+=-++∞=+∞=∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑同理我们有：当120t t ≤<时221221)}()({t t t t N t N E λλ+=因此，有：},min{)}()({),(212122121t t t t t N t N E t t R N λλ+==2、 设}0);({≥t t X 与}0);({≥t t Y 是相互独立，参数分别为1λ与2λ的Poisson 过程。
第11讲随机过程孙应飞
第11讲随机过程孙应飞第三章 Poisson 过程（Poisson 信号流）九、更新过程（1）概念及基本性质定义：设}1,{≥k X k 是独立同分布，取值非负的随机变量，分布函数为)(x F ，且1)0(k k n X S X S S 1110,,0，对0≥?t ，记：}:sup{)(t S n t N n ≤=则称}0),({≥t t N 为更新过程。
更新过程是一计数过程，并有：}{})({t S n t N n ≤=≥}{}{}{})({11t S t S S t S n t N n n n n ≤-≤=<≤==++记：)(s F n 为n S 的分布函数，由∑==nk k n X S 1，易知：)()(1x F x F =)2()()()(01≥-=?-n u F d u x F x F xn n证明：由全概率公式有：))(())(()()()(}{)(}{)(}{}{}{)(1101010111x F f x f F u F d u x F u F d u x S P u F d u x S P ud u f u X u x S P x X S P x S P x F n n x n xn n X n n n n n n n----∞-∞∞---*=*=-=-≤=-≤==-≤=≤+=≤=即)(x F n 是)(x F 的n 重卷积，记作：F F F n n *=-1。
另外，记：)}({)(t N E t m =称)(t m 为更新函数。
关于更新函数，有以下重要的定理。
定理：对于0≥?t ，有：∑∞==1)()(n n t F t m证明：根据以上的关系式，计算得：∑∑∑∑∑∑∑∑∑∞=∞=∞=∞=∞=∞==∞=∞=≤=≥=≥=========11111110}{})({})({})({})({})({})({)(n n n k k kn n n k n n t S P n t N P k t N P n t N P n t N P n t N P n n t N P n t m即有：∑∞==1)()(n n t F t m推论：若对0≥?t ，1)(<="">1))(1)(()(--≤t F t F t m下面是重要的更新方程。
第3-4讲随机过程 孙应飞
j
(i
,
1)
,
i 1 i0
其中 为该周期内到达的顾客数。
记 第 n 个 周 期 开 始 的 顾 客 数 为 X n ， 则 X n1 ( X n 1) n ， 其 中
a ˆ max{a,0}，根据马氏链的定义，可知{X n , n 0}是一马氏链。
由此推出：
P(m) P P (m1) (1) (P)m Pm
其中： P(1) P 由此可知：对于齐次马氏链，如果知道了它的初始分布 (0) 和一步转移矩
阵 P ，就可以求得 X (n) 的所有有限维概率分布。即有：
P{X (n1) i1, X (n2 ) i2 ,, X (nk ) ik }
m1
n
j 2
i
,
m2
n
j 2
i
中国科学院大学 2019～2020 第一学期 随机过程讲稿 孙应飞
n ji n ji n ji
C p q , (n)
2
2
2
n
p ij
0 ,
(n j i 是偶数) (n j i 是奇数)
p(n) ii
n
即上面式子的右边与时刻 n 无关，则称此马氏链为齐次（或时齐的）马氏链。 对于齐次马氏链，我们记 P ( pi j ) ，称矩阵 P 为齐次马氏链的一步转移概
中国科学院大学 2019～2020 第一学期 随机过程讲稿 孙应飞
率矩阵，简称为转移矩阵。
注 3：对于马氏链{X (n); n 0} ，我们有： P{X (0) i0 , X (1) i1,, X (n) in} P{X (n) in X (0) i0 , X (1) i1,, X (n 1) in1}
(解答)《随机过程》第四章习题
第四章 二阶矩过程、平稳过程和随机分析 习题解答1、 设∑=-=Nk k k kn U n X 1)cos(2ασ，其中k σ和k α为正常数，)2,0(~πU U k ，且相互独立，N k ,,2,1 =，试计算},1,0,{ ±=n X n 的均值函数和相关函数，并说明其是否是平稳过程。
解：计算均值函数和相关函数如下0)}{cos(2)cos(2}{)(11=-=⎭⎬⎫⎩⎨⎧-==∑∑==Nk k k k N k k k k n X U n E U n E X E n ασασμ∑∑∑∑∑∑======-=--=--=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡-⋅⎥⎦⎤⎢⎣⎡-=Ni i i N i i i i i i Ni Nj j j i i j i N j j j j N i i i i X m n U m U n E U m U n E U m U n E m n R 12121111)](cos[)}cos(){cos(2)}cos(){cos(2)cos(2)cos(2),(ασαασαασσασασ因此可知，},1,0,{ ±=n X n 是平稳随机过程。
2、 设有随机过程))(cos()(t t A t X πηω+=，其中0>ω为常数，}0),({≥t t η是泊松过程，A 是与)(t η独立的随机变量，且2/1}1{}1{===-=A P A P 。
（1） 试画出此过程的样本函数，并问样本函数是否连续？ （2） 试求此过程的相关函数，并问该过程是否均方连续？ 解：（1）样本函数不连续。
（2）令：012≥>t t ，下面求相关函数：)(221)(212210)(1212211212121211212212122112221122121121212cos cos )]}(cos[)]({cos[21!)]([)]}(cos[)]({cos[)1(21))]}()(()(cos[))]()(()(2)({cos[21))]}()(()(cos[))]()(()({cos[21))}(cos())({cos(}{))}(cos())(cos({)}()({),(t t t t k t t k kX e t t e t t t t e k t t t t t t t t t t t t t t t E t t t t t t t t E t t t t E A E t t t t A E t X t X E t t R ----∞=--⋅=⋅-++=⋅-⋅-++-=-+-+-+++=-+-++++=++⋅=++==∑λλλωωωωλωωηηπωηηππηωηηπωηηπωπηωπηωπηωπηω因为：t t t R ωξ2cos ),(=因此该过程是均方连续的随机过程。
《随机过程》第二章习题
7、 设具有三个状态的齐次马氏链的一步转移概率矩阵为：
p00 P p10 p 20
（a） 求 3 步首达概率 f 02 ；
( 3)
p01 p11 p 21
p02 1 / 2 0 1 / 2 p12 1 / 3 0 2 / 3 p 22 1 / 4 0 3 / 4
g
k 0
k
k 。
k 1
P0 P k 1 ( I P)e ；
1
（b） 对于任意 0 1 ，有： G( ) 0 ( I P) ( I P)e 。 13、 设有一生灭过程 { (t ); t 0} ，其中参数 n , n n ， 和 均为大于零的
随机过程讲稿
孙应飞
试求： （1） f 00 , f 00 , f 00 , f 01 , f 01 , f 01 ； （2） 确定状态分类，哪些属于常返的，哪些属于非常返的。 6、 试确定下列齐次马氏链的状态分类，哪些属于常返的，哪些属于非常返的。已知该链的 一步转移矩阵为：
(1) ( 2) ( 3) (1) ( 2) ( 3)
t o(t ) 生一个儿女，假定这些人是统计独立的，则如果在时刻 t 人口中有 n 个人，
在 (t , t t ) 中出生的概率是 nt o(t ) 。同样地，如果在 (t , t t ) 内一个人死亡的 概率是 t o(t ) ，则如果在 t 时刻有 n 个人活着，在 (t , t t ) 内死亡的概率是
常数，其起始状态为 (0) 0 。试求： （a） 该过程的 Q 矩阵； （b） 列出福克－普朗克微分方程； （c） 其均值函数 M (t ) E{ (t )} ； （d） 证明 lim p0 (t ) exp{ / } 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（1） 设}0),({≥t t X 是一个实的零均值二阶矩过程，其相关函数为t s s t B t X s X E ≤-=),()}()({，且是一个周期为T 的函数，即0),()(≥=+τττB T B ，求方差函数)]()([T t X t X D +-。
解：由定义，有：)(2)0()0()}()({2)0()0()]}()()][()({[2)]([)]([)]()([=-+=+-+=+-+--++=+-T B B B T t X t X E B B T t EX T t X t EX t X E T t X D t X D T t X t X D（2） 试证明：如果}0),({≥t t X 是一独立增量过程，且0)0(=X ，那么它必是一个马尔可夫过程。
证明：我们要证明：n t t t <<<≤∀ 210，有})()({})(,,)(,)()({11112211----=≤=====≤n n n n n n n x t X x t X P x t X x t X x t X x t X P形式上我们有：})()(,,)(,)({})()(,,)(,)(,)({})(,,)(,)({})(,,)(,)(,)({})(,,)(,)()({1122221111222211112211112211112211--------------========≤=======≤=====≤n n n n n n n n n n n n n n n n n n n n x t X x t X x t X x t X P x t X x t X x t X x t X x t X P x t X x t X x t X P x t X x t X x t X x t X P x t X x t X x t X x t X P因此，我们只要能证明在已知11)(--=n n x t X 条件下，)(n t X 与2,,2,1,)(-=n j t X j 相互独立即可。
由独立增量过程的定义可知，当2,,2,1,1-=<<<-n j t t t a n n j 时，增量)0()(X t X j -与)()(1--n n t X t X 相互独立，由于在条件11)(--=n n x t X 和0)0(=X 下，即有)(j t X 与1)(--n n x t X 相互独立。
由此可知，在11)(--=n n x t X 条件下，)(n t X 与2,,2,1,)(-=n j t X j 相互独立，结果成立。
（3） 设随机过程}0,{≥t W t 为零初值（00=W ）的、有平稳增量和独立增量的过程，且对每个0>t ，),(~2t N W t σμ，问过程}0,{≥t W t 是否为正态过程，为什么？解：任取n t t t <<<≤∀ 210，则有：n k W W W ki t t t i i k ,,2,1][11 =-=∑=-由平稳增量和独立增量性，可知))(,0(~121----i i t t t t N W W i i σ并且独立 因此),,,(1121---n n t t t t t W W W W W 是联合正态分布的，由⎪⎪⎪⎪⎪⎭⎫⎝⎛--⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛-1121211110011001n n n t t t t t t t t W W W W W W W W 可知是正态过程。
（4） 设}{t B 为为零初值的标准布朗运动过程，问次过程的均方导数过程是否存在？并说明理由。
解：标准布朗运动的相关函数为：},m in{),(2t s t s R B σ=如果标准布朗运动是均方可微的，则),(/t t R B 存在，但是：20/0/),(),(lim ),(0),(),(lim),(σ=∆-∆+==∆-∆+=+→∆-+→∆+tt t R t t t R t t R tt t R t t t R t t R BB t B B B t B故),(/t t R B 不存在，因此标准布朗运动不是均方可微的。
（5） 设t N ，0≥t 是零初值、强度0>λ的泊松过程。
写出过程的转移函数，并问在均方意义下，0,0≥=⎰t ds N Y tst 是否存在，为什么？解：泊松过程的转移率矩阵为：⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛----= λλλλλλλλ0000Q其相关函数为：st t s t s R N 2},min{),(λλ+=，由于在t ∀，),(t t R N 连续，故均方积分存在。
（6） 在一计算系统中，每一循环具有误差的概率与先前一个循环是否有误差有关，以0表示误差状态，1表示无误差状态，设状态的一步转移矩阵为：⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡=5.05.025.075.011100100p p p p P试说明相应齐次马氏链是遍历的，并求其极限分布（平稳分布）。
解：由遍历性定理可知此链是遍历的，极限分布为)3/1,3/2(。
（7） 设齐次马氏链{}{},4,3,2,1,0,=≥S n X n 一步转移概率矩阵如下： ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=002/12/1002/12/12/12/1002/12/100P（a ）写出切普曼－柯尔莫哥洛夫方程（C －K 方程）； （b ）求n 步转移概率矩阵；（c ）试问此马氏链是平稳序列吗？ 为什么？解：（a ）略（b ）⎩⎨⎧====偶数奇数n P n P P n P n2)( （c ）此链不具遍历性（8） 设0,)1()()(≥-=t X t Y t N ，其中}0);({≥t t N 为强度为0>λ的Poission 过程，随机变量X 与此Poission 过程独立，且有如下分布：0,2/1}0{,4/1}{}{>=====-=a X P a X P a X P问：随机过程0),(≥t t Y 是否为平稳过程？请说明理由。
由于：0)}({=t Y E{}{}{}{}{}{}1222)(220)(12201212)()(2)()(2)()()(22)()(2)()(22122!)]([)1(2})()({)()()1(2)1(2)1(2)1()1(),(121212*********t t e a e a e n t t a n t N t N P n t N t N E a E a E a E X E X E t t R t t n t t n nn t N t N t N t N t N t N t N t N t N t N t N Y -===--==-=--=-=-=-=-⋅=---∞=--∞=---+++∑∑τλλτλλ故)}({t Y 是平稳过程。
（9） 设0,2≥+=t Yt X X t ，其中X 与Y 独立，都服从),0(2σN（a ）此过程是否是正态过程？说明理由。
（b ）求此过程的相关函数，并说明过程是否平稳。
证明：（a ）任取 n t t t N n <<<≤∈ 210,，则有：⎪⎪⎭⎫ ⎝⎛⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛+++=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛Y X t t t Yt X Yt X Yt X X X X n n t t t n 212121222212121 由于X 与Y 独立，且都服从),0(2σN ，因此可得()τY X服从正态分布，由上式可知随机向量 ()τn t t t X X X 21服从正态（高斯）分布，所以过程0,2≥+=t Yt X X t 是正态（高斯）过程。
（b ）由：0}{2}{}{=+=Y tE X E X E t221222121222121221214}{4}{}{)(2}{}{4}{)(2}{]}2][2{[}{),(21σσt t Y E t t Y E X E t t X E Y E t t XY E t t X E Y t X Y t X E X X E t t R t t X +=+++=+++=++==由于相关函数不是时间差的函数，因此此过程不是平稳过程。
（10） 设t N ，0≥t 是零初值、强度1=λ的泊松过程。
（a ）求它的概率转移函数}{),,,(i N j N P j i t s p s t ===； （b ）令0,≥-=t t N X t t ，说明⎰=1dt X Y t存在，并求它的二阶矩。
解：（a ）)()!()]([}{),,,(s t i j s t e i j s t i N j N P j i t s p -----====λλ（b ）先求相关函数：)21(},min{)})({(),(2λλλ-++=--=st st s t s N t N E s t R s t X对任意的t ，在),(t t 处),(t t R X 连续，故t X 均方连续，因此均方可积，⎰=1dt X Y t存在。
{}{}⎰⎰⎰⎰⎰⎰⎰===⎭⎬⎫⎩⎨⎧⎥⎦⎤⎢⎣⎡=101101010102102),(}{dtdss t RdtdsX X E ds X dt X E dt X E Y E Xs t s t t将),(s t R X 代入计算积分即可。
由1=λ，得：},min{)21(},min{)})({(),(2s t st st s t s N t N E s t R s t X =-++=--=λλλ{}{}31},min{),(}{1101101101101010102102=+=====⎭⎬⎫⎩⎨⎧⎥⎦⎤⎢⎣⎡=⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰ds s dt ds t dt dtds s t dtds s t R dtds X X E ds X dt X E dt X E Y E ttX s t s t t（11） 设一口袋中装有三种颜色（红、黄、白）的小球，其数量分别为3、4、3。
现在不断地随机逐一摸球，有放回，且视摸出球地颜色计分：红、黄、白分别计1、0、-1分。
第一次摸球之前没有积分。
以n Y 表示第n 次取出球后的累计积分， ,1,0=n （a ）n Y ， ,1,0=n 是否齐次马氏链？说明理由。
（b ）如果不是马氏链，写出它的有穷维分布函数族；如果是，写出它的一步转移概率ij p 和两步转移概率)2(ij p 。
（c ）令}0,0;m in{0>==n Y n n τ，求}5{0=τP 。
解：（a ）是齐次马氏链。
由于目前的积分只与最近一次取球后的积分有关，因此此链具有马氏性且是齐次的。
状态空间为：},2,1,0,1,2,{ --=S 。
（b ）⎪⎪⎩⎪⎪⎨⎧-==+=====+其他,01,3.0,4.01,3.0}{1i j i j i j i Y j Y P p n n ij⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧+=-=⨯⨯=⨯++=⨯⨯+====+其他,02,3.01,4.03.02,3.024.01,4.03.022,3.0}{)2(22222i j i j ij i j i j i Y Y P p n n ij（c ）即求首达概率，注意画状态转移图。