随机过程 答案
第3章 随机过程及答案
互相关函数 R (t1 , t 2 ) E[ (t1 )(t 2 )]
式中 (t) 和 (t) 分别表示两个随机过程。 R(t1, t2)又称为自相关函数。
10
3.2 平稳随机过程 3.2.1 平稳随机过程的定义
12
数字特征：
E (t ) x1 f1 ( x1 )dx1 a
R( t1 , t 2 ) E[ ( t1 ) ( t1 )]
x1 x2 f 2 ( x1 , x2 ; )dx1dx2 R( )
可见，（1）其均值与t 无关，为常数a ； （2）自相关函数只与时间间隔 有关。
P ( f ) 0
P ( f ) P ( f )
这与R()的实偶性相对应。
23
例题
[例3-2] 求随机相位余弦波(t) = Acos(ct + )的功率谱密度。 [解] 在[例3-1]中，我们已经考察随机相位余弦波是一个平稳 过程，并且求出其相关函数为
1 (t ) 2 (t )
n (t )
0
t
3
角度2：随机过程是随机变量概念的延伸。
在一个固定时刻t1上，不同样本的取值{i (t1), i = 1, 2, …, n} 是一个随机变量，记为 (t1)。
样本空间
随机过程是在时间进程中处于不同时刻的随机变量的集合。
S1 x1(t)
t
T /2
T / 2
x( t ) x( t )dt
aa R( ) R( )
随机过程习题和答案
一、1.1设二维随机变量(,)的联合概率密度函数为：试求:在时,求。
解：当时，＝＝1.2 设离散型随机变量X服从几何分布：试求的特征函数，并以此求其期望与方差。
解：所以：2.1 袋中红球，每隔单位时间从袋中有一个白球，两个任取一球后放回，对每 对应随机变量一个确定的t⎪⎩⎪⎨⎧=时取得白球如果对时取得红球如果对t e t tt X t 3)(.维分布函数族试求这个随机过程的一2.2 设随机过程，其中是常数，与是相互独立的随机变量，服从区间上的均匀分布，服从瑞利分布，其概率密度为试证明为宽平稳过程。
解：（1）与无关（2），所以（3）只与时间间隔有关，所以为宽平稳过程。
2.3是随机变量，且，其中设随机过程U t U t X 2cos )(=求：，.5)(5)(==U D U E.321）方差函数）协方差函数；（）均值函数；（（2.4是其中，设有两个随机过程U Ut t Y Ut t X ,)()(32==.5)(=U D 随机变量，且数。
试求它们的互协方差函2.5，试求随机过程是两个随机变量设B At t X B A 3)(,,+=的均值),(+∞-∞=∈T t 相互独若函数和自相关函数B A ,.),()(),2,0(~),4,1(~,21t t R t m U B N A X X 及则且立为多少？3.1一队学生顺次等候体检。
设每人体检所需的时间服从均值为2分钟的指数分布并且与其他人所需时间相互独立，则1小时内平均有多少学生接受过体检？在这1小时内最多有40名学生接受过体检的概率是多少（设学生非常多，医生不会空闲）解：令()N t 表示(0,)t 时间内的体检人数，则()N t 为参数为30的poisson 过程。
以小时为单位。
则((1))30E N =。
40300(30)((1)40)!k k P N e k -=≤=∑。
3.2在某公共汽车起点站有两路公共汽车。
乘客乘坐1,2路公共汽车的强度分别为1λ，2λ，当1路公共汽车有1N 人乘坐后出发；2路公共汽车在有2N 人乘坐后出发。
随机过程课后题答案
第一章习题解答1． 设随机变量X 服从几何分布，即：(),0,1,2,k P X k pq k ===。
求X 的特征函数，EX 及DX 。
其中01,1p q p <<=-是已知参数。
解()()jtxjtkk X k f t E eepq ∞===∑()k jtkk p q e∞==∑ =0()1jt kjtk pp qe qe ∞==-∑又200()kkk k q qE X kpq p kq p p p ∞∞======∑∑222()()[()]q D X E X E X P =-=（其中 00(1)nnn n n n nxn x x ∞∞∞====+-∑∑∑）令 0()(1)n n S x n x ∞==+∑则 1000()(1)1xxnn k n xS t dt n t dt x x∞∞+===+==-∑∑⎰⎰202201()()(1)11(1)1(1)xn n dS x S t dt dxx xnx x x x ∞=∴==-∴=-=---⎰∑同理 2(1)2kkkk k k k k k x k x kx x ∞∞∞∞=====+--∑∑∑∑令20()(1)k k S x k x ∞==+∑ 则211()(1)(1)xkk k k k k S t dt k t dt k xkx ∞∞∞+====+=+=∑∑∑⎰）2、（1） 求参数为(,)p b 的Γ分布的特征函数，其概率密度函数为1,0()0,0()0,0p p bxb x e x p x b p p x --⎧>⎪=>>Γ⎨⎪≤⎩（2） 其期望和方差；（3） 证明对具有相同的参数的b 的Γ分布，关于参数p 具有可加性。
解 （1）设X 服从(,)p b Γ分布，则10()()p jtxp bxX b f t ex e dx p ∞--=Γ⎰ 1()0()p p jt b x b x e dx p ∞--=Γ⎰101()()()()(1)p u p p p p p b e u b u jt b x du jt p b jt b jt b∞----==Γ---⎰ 10(())x p p e x dx ∞--Γ=⎰ （2）'1()(0)X p E X f j b∴== 2''221(1)()(0)X p p E X f j b +== 222()()()PD XE X E X b∴===（4） 若(,)i i X p b Γ 1,2i = 则121212()()()()(1)P P X X X X jt f t f t f t b-++==-1212(,)Y X X P P b ∴=+Γ+同理可得：()()iiP X b f t b jt∑=∑-3、设X 是一随机变量，()F x 是其分布函数，且是严格单调的，求以下随机变量的特征函数。
（完整版）随机过程习题答案
（完整版）随机过程习题答案随机过程部分习题答案习题22.1 设随机过程b t b Vt t X ),,0(,)(+∞∈+=为常数，)1,0(~N V ，求)(t X 的⼀维概率密度、均值和相关函数。
解因)1,0(~N V，所以1,0==DV EV ，b Vt t X +=)(也服从正态分布，b b tEV b Vt E t X E =+=+=][)]([ 22][)]([t DV t b Vt D t X D ==+=所以),(~)(2t b N t X ，)(t X 的⼀维概率密度为),(,21);(222)(+∞-∞∈=--x ett x f t b x π，),0(+∞∈t均值函数 b t X E t m X ==)]([)(相关函数)])([()]()([),(b Vt b Vs E t X s X E t s R X ++==][22b btV bsV stV E +++=2b st +=2.2 设随机变量Y 具有概率密度)(y f ，令Yt e t X -=)(，0,0>>Y t ，求随机过程)(t X 的⼀维概率密度及),(),(21t t R t EX X 。
解对于任意0>t，Yt e t X -=)(是随机变量Y 的函数是随机变量，根据随机变量函数的分布的求法，}ln {}{})({);(x Yt P x e P x t X P t x F t Y ≤-=≤=≤=-)ln (1}ln {1}ln {tx F t x Y P t x Y P Y --=-≤-=-≥= 对x 求导得)(t X 的⼀维概率密度xtt x f t x f Y 1)ln ();(-=，0>t)(][)]([)(dy y f e eE t X E t m yt tY X相关函数+∞+-+---====0)()(2121)(][][)]()([),(212121dy y f e e E e e E t X t X E t t R t t y t t Y t Y t Y X 2.3 若从0=t 开始每隔21秒抛掷⼀枚均匀的硬币做实验，定义随机过程=时刻抛得反⾯时刻抛得正⾯t t t t t X ,2),cos()(π试求：（1）)(t X 的⼀维分布函数),1(),21(x F x F 和；（2）)(t X 的⼆维分布函数),;1,21(21x x F ；（3）)(t X 的均值)1(),(X X m t m ，⽅差 )1(),(22X Xt σσ。
随机过程-方兆本-第三版-课后习题答案
习题4以下如果没有指明变量t 的取值范围，一般视为R t ∈，平稳过程指宽平稳过程。
1. 设Ut t X sin )(=，这里U 为)2,0(π上的均匀分布.（a ） 若 ,2,1=t ，证明},2,1),({ =t t X 是宽平稳但不是严平稳， （b ） 设),0[∞∈t ，证明}0),({≥t t X 既不是严平稳也不是宽平稳过程. 证明：（a ）验证宽平稳的性质,2,1,0)cos (2121)sin()sin()(2020==-=•==⎰t Ut tdU Ut Ut E t EX ππππ))cos()(cos(21)sin (sin ))(),((U s t U s t E Us Ut E s X t X COV ---=•=t U s t s t U s t s t πππ21}])[cos(1])[cos(1{212020•+++--= s t ≠=,021Ut Esin ))(),((2==t X t X COV (b) ,)),2cos(1(21)(有关与t t t t EX ππ-=.)2sin(8121DX(t)有关，不平稳，与t t tππ-=2. 设},2,1,{ =n X n 是平稳序列，定义 ,2,1},,2,1,{)(==i n X i n 为,,)1(1)1()2(1)1(---=-=n n n n n n X X X X X X ，证明：这些序列仍是平稳的. 证明：已知，)(),(,,2t X X COV DX m EX t t n n n γσ===+2121)1(1)1()1(2)(,0σγσ≡+=-==-=--n n n n n n X X D DX EX EX EX)1()1()(2),(),(),(),(),(),(111111)1()1(++--=+--=--=--+-+-++--+++t t t X X COV X X COV X X COV X X COV X X X X COV X X COV n t n n t n n t n n t n n n t n t n n t n γγγ显然，)1(n X 为平稳过程.同理可证， ,,)3()2(n n X X 亦为平稳过程.3.设1)nn k k k k Z a n u σ==-∑这里k σ和k a 为正常数，k=1，....n; 1,...n u u 是（0,2π）上独立均匀分布随机变量。
随机过程习题和答案
一、1.1设二维随机变量(,)的联合概率密度函数为：试求:在时,求。
解：当时，＝＝1.2 设离散型随机变量X服从几何分布：试求的特征函数，并以此求其期望与方差。
解：所以：2.1 袋中红球，每隔单位时间从袋中有一个白球，两个任取一球后放回，对每 对应随机变量一个确定的t⎪⎩⎪⎨⎧=时取得白球如果对时取得红球如果对t e t tt X t 3)(.维分布函数族试求这个随机过程的一2.2 设随机过程，其中是常数，与是相互独立的随机变量，服从区间上的均匀分布，服从瑞利分布，其概率密度为试证明为宽平稳过程。
解：（1）与无关（2），所以（3）只与时间间隔有关，所以为宽平稳过程。
2.3是随机变量，且，其中设随机过程U t U t X 2cos )(=求：，.5)(5)(==U D U E.321）方差函数）协方差函数；（）均值函数；（（2.4是其中，设有两个随机过程U Ut t Y Ut t X ,)()(32==.5)(=U D 随机变量，且数。
试求它们的互协方差函2.5，试求随机过程是两个随机变量设B At t X B A 3)(,,+=的均值),(+∞-∞=∈T t 相互独若函数和自相关函数B A ,.),()(),2,0(~),4,1(~,21t t R t m U B N A X X 及则且立为多少？3.1一队学生顺次等候体检。
设每人体检所需的时间服从均值为2分钟的指数分布并且与其他人所需时间相互独立，则1小时内平均有多少学生接受过体检？在这1小时内最多有40名学生接受过体检的概率是多少（设学生非常多，医生不会空闲）解：令()N t 表示(0,)t 时间内的体检人数，则()N t 为参数为30的poisson 过程。
以小时为单位。
则((1))30E N =。
40300(30)((1)40)!k k P N e k -=≤=∑。
3.2在某公共汽车起点站有两路公共汽车。
乘客乘坐1,2路公共汽车的强度分别为1λ，2λ，当1路公共汽车有1N 人乘坐后出发；2路公共汽车在有2N 人乘坐后出发。
随机过程答案2
⎪2. （1） 求参数为(p , b )的Γ 分布的特征函数，其概率密度为⎧ b p p (x ) = ⎪ x p -1e -bx , x > 0 b > 0, p 是正整数（2）求其期望和方差。
⎨Γ( p ) ⎪⎩0 x ≤ 0（3）证明对具有相同参数b 的Γ 分布，关于参数 p 具有可加性。
解 （1） 首先，我们知道Γ 函数有下面的性质：Γ(p ) = (p -1)!根据特征函数的定义，有f X (t ) = E [e jtX]= ⎰∞ejtxp (x )dx = ⎰e jtxb p Γ(p ) x p -1e -bx dx= ⎰0bpΓ( p ) -∞ 0x p -1e -(b - jt )x dx =b p 1p -1 -(b - jt )x ∞ b p p - 1 ∞ p -2 -(b - jt )x Γ(p ) - (b - jt ) x e0 + Γ( p ) (b - jt ) ⎰0 x e dx = b p p - 1 ⎰∞ x p -2 e -(b - jt )x dx Γ(p ) (b - jt ) 0 ==b p ( p - 1)! ∞ 0 -(b - jt )x Γ(p ) (b - jt )p -1 ⎰0 x e dx= b p ( p - 1)! = ⎛ b ⎫ Γ(p ) (b - jt )p b - jt ⎪ ⎝ ⎭所以⎛ b ⎫ pf X (t ) = ⎪b - jt ⎝ ⎭（2）根据期望的定义，有∞∞ p]⎰ b ⎰ ∞( )∞b pp -1 -bxb p∞p -bxm X = E [X ] = ⎰-∞ xp x dx = ⎰0 x Γ(p ) x e dx = Γ( p ) ⎰0 x e dx = b p 1 p -bx ∞ b p p ∞p -1 -bxΓ( p ) - b x e 0 + Γ(p ) b ⎰0 xe dx = p ⎰∞ bp -1 -bx = p ⎰∞ ( ) = p b 0 Γ( p ) x 类似的，有e dx p x dx b -∞ bE [X 2= ∞x 2-∞ p (x )dx = ⎰0 2b px Γ(p ) x p -1e -bx dx = p Γ(p ) ⎰0x p +1e -bx dx b p 1 p +1 -bx ∞ b p ( p + 1) ∞ p -bx= Γ( p ) - b x e 0 + Γ(p ) b ⎰0 x e dx= b p Γ( p ) =(p + 1) b 0 x p e -bx dx= (p + 1)p ∞ b pp -1 -bx= ( p + 1)p ∞ ( )b 2⎰0=(p + 1)p b 2Γ(p ) xe dxb 2⎰-∞p x dx所以， X 的方差为D X =E [X 2]- m 2= ( p + 1)p b 2⎛ p ⎫2⎪ b= p b 2⎝ ⎭ （3）p ∞∞ ∞ X -M M M M ∑ ∑ i =1 k =1 i =1 k =1i =1 k =1i =1 k =15. 试证函数 ( ) =e jt (1 - e jnt ) 为一特征函数，并求它所对应的随机变f tn (1 - e jt )量的分布。
随机过程习题答案
1 X ( )与 X (1)的联合分布律为 2 1 X( ) 0 1 2 X (1) −1 +2 1 2 0 0 1 2
0, 0, 1 1 , ⇒ F ( x1 , x2 ; ,1) = 2 2 1 , 2 1,
x1 < 0, −∞ < x2 < +∞ x1 ≥ 0, x2 < −1 0 ≤ x1 < 1, x2 ≥ −1 x1 ≥ 1, −1 ≤ x2 < 2 x1 ≥ 1, x2 ≥ 2
假定 Z (t ) = X + Yt , t ∈ R.若已知二维随机变量 例3 σ 12 ( X , Y )的协方差矩阵为 ρσ 1σ 2 的协方差函数.
ρσ 1σ 2 ,试求 Z (t ) 2 σ2
解 CZ (t1 , t2 ) = E[( X + Yt1 − ( µ X + µY t1 ))( X + Yt2 − ( µ X + µY t2 ))] = E[(( X − µ X ) + (Yt1 − µY t1 ))(( X − µ X ) + (Yt2 − µY t2 ))] = E[( X − µ X )( X − µ X )] + t2 E[( X − µ X )(Y − µY )] +t1 E[(Y − µY )( X − µ X )] + t1t2 E[(Y − µY )(Y − µY )]
(3)、令 Z (t ) = aW ( t a 2 ) ⇒ µ Z (t ) = aE[W ( t a 2 )] = 0 C Z (t1 , t 2 ) = E[ aW ( t1 a 2 ) aW ( t2 a 2 )] = a 2 E[W ( t1 a 2 )W ( t2 a 2 )] = a 2σ 2 min{ t1 a 2 , t2 a 2 } = σ 2 min{t1 , t 2 }, t1 , t 2 ≥ 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2012-2013学年第一学期统计10本《随机过程》期中考试一. 填空题1．设马氏链的一步转移概率矩阵()ij P p =，n 步转移矩阵()()n ij P p =，二者之间的关系为(n)n P P =2.状态i 常返的充要条件为()0n iin p ∞==∑∞。
3.在马氏链{},0n X n ≥中，记()n i jp ={}0,11,n P Xm j m n X j X i ≠≤≤-==，n ≥1.i j p =()1n i j n p ∞=∑,若i j p <1,称状态i 为 。
二. 判断题1. S 是一个可数集，{:0n n X ≥}是取值于S 的一列随机变量，若()1011100111111,,...,(,...,)n n n n n n n n n n n n i i S P i X i X i X i P i i -+++--++-∀≥∀∈X =|====X =|X=并且满足，则{:0n n X ≥}是一个马氏链。
×2. 任意状态都与它最终到达的状态是互通的，但不与它自己是互通的。
×3. 一维与二维简单随机游动时常返的，则三维或更高维的简单随机游动也是常返的。
×4. 若状态i ↔状态j ，则i 与j 具有相同的周期。
√5. 一个有限马尔科夫链中不可能所有的状态都是暂态。
√三. 简答题1．什么是随机过程，随机序列？答：设T 为[0，+∞）或（-∞，+∞），依赖于t(t ∈T)的一族随机变量（或随机向量）{t ξ}通称为随机过程，t 称为时间。
当T 为整数集或正整数集时，则一般称为随机序列。
2 .什么是时齐的独立增量过程？答：称随机过程{t ξ：t ≥0}为独立增量过程，如果对于01,0,n n t t t ∀∀≤<<<L 起始随机变量及其后的增量s t s ξξ+-是相互独立的随机变量组；如果s t s ξξ+-的分布不依赖于s, 则此独立增量过程又称为时齐的独立增量过程。
3.由4个状态组成的马氏链的转移概率矩阵000.50.5100001000010P ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦，确定哪些状态是暂态，哪些状态是常返态？4.考虑由状态0,1,2,3,4组成的马尔科夫链，而0.50.50000.50.5000000.50.50000.50.500.250.25000.5P ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，确定常返态？ 5.设有四个状态{}I=0123，，，的马氏链，它的一步转移概率矩阵1100221100P=2211114444001⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦1) 对状态进行分类；2) 对状态空间I 进行分解。
解：1) 33303132p 1,p p p =而，，均为零，所以状态3构成一个闭集，它是吸收态，记{}1C =3；0，1两个状态互通，且它们不能到达其它状态，它们构成一个闭集，记{}2C =01，，且它们都是正常返非周期状态；由于状态2可达12C C ，中的状态，而12C C ，中的状态不可能达到它，故状态2为非常返态，记{}D=2。
2）状态空间I 可分解为：12E=D C C ⋃⋃3) 四. 计算题1. 说是有一位赌徒，他去赌博带有赌资100元，而对手有200元赌资，他们的规则是每次下注五元，每次赢五元或输五元的概率相等, ()5P ε== ()5P ε=-=1/2.当赌徒破产或完胜时停止赌博。
问：（1）该赌徒完胜和破产的概率分别是什么？ （2）赌博结束时，该赌徒平均能赢多少钱？ （3）这场赌博平均要用多长时间？解：（1）由题可得，m=100.M=300.则完胜时: ()()100300m P S m P S ττ====m/M=100/300=1/3, 破产时：()()100()0130011/32/3m P S m P S S τττ====-==-=(2): ()()1000*0*100m m m S E S P S M P S M m ττττE ===+===（元）2. 设子代分布为二项分布B(2，1/2).考察相应的分支过程{:0n n X ≥}及其灭绝时间τ，求灭绝概率ρ解：由子代分布为二项分布B(2，1/2)，可得：Pk= k k n k n C p q -=P0=1/4，P1=1/2，P2=1/4.又知f(ρ)=20i i i P ρρ==∑=1/4+1/2ρ+1/42ρ解得：ρ=13. 设马尔科夫链的转移概率矩阵为:0.30.7000.20.80.700.3P ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦(1).求两步转移概率矩阵(2)P 及当初始分布为{}011P X ==，{}{}00230P X P X ====时，经两步转移后处于状态2的概率。
（2）求马尔科夫链的平稳分布。
：4.设马尔科夫链的状态空间I={1,2,3,4,5}，转移概率矩阵为：0.30.40.3000.60.4000010000000.30.70000.10P ⎛⎫ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪⎝⎭求状态的分类，各常返闭集的平稳分布及各状态平均返回时间。
解：（1）状态分类1C ={1,2,3}；2C ={4,5}（2）由常返闭集的定义可知，常返集有两个，下面分别求其平稳分布及各状态的平均返回时间。
A 对的常返闭集而言解方程组1122123311230.30.60.40.40.31ππππππππππππ=+⎧⎪=++⎪⎨=⎪⎪++=⎩解上述方程组的平稳分布为12330359,,747474πππ===各状态的平均返回时间为123123174174174,,30359t t t πππ====== B 对的常返闭集而言解方程组11221120.30.71πππππππ=+⎧⎪=⎨⎪+=⎩解上述方程组的平稳分布为12107,1717ππ== 各状态的平均返回时间为1212117117,107t t ππ==== 5.若012111,,244P P P ===,它的灭绝概率为0π,且'''012111,,442P P P ===,它的灭绝概率为'0π.求:(1) 0π的值；（2）'0π的值；（3）假定它们的初始时由n 个个体组成，分别求出两者的总体灭绝的概率。
解：（1）由于31,4μ=≤所以0π=1；（2）'0π满足'0π=''200111444ππ++解得这个二次方程的最小的正解是'0π=12。
（3）因为总体灭绝当且仅当初始代的每个成员的家庭都灭绝，要求的概率是0nπ。
则n π=1， '0n π=12n⎛⎫⎪⎝⎭6．小张的宾馆刚开张不久，入住的家庭数是均值为λ的随机变量，再假定一个家庭在宾馆停留的天数是参数为(01)P P <<的几何随机变量，（于是在前一个晚上留在宾馆的一个家庭，独立于已经在宾馆呆了多久，将在第二天以概率P 退房），再假定所有的家庭是彼此独立的，在这些条件下容易看出，如果以n X 记在第n 天开始入住宾馆的家庭数，那么{n X ，n ≥0}是马尔科夫链。
求： 此马尔科夫链的转移概率。
解：为了求,i j P ，我们假定在一天开始是宾馆中有i 个家庭，因为这i 个家庭将以概率q=1-q再呆一天，由此推出这i 个家庭中再留一天的家庭数i R 是二项（i,q ）随机变量。
所以，以N 记这天新入住的家庭数，我们看到,()i j i P P R N j =+=对于i R 取条件，并且利用N 是均值为λ的泊松随机变量，我们得到,0(|)ik i ki j i i k i P P R N i R k q p k -=⎛⎫=+== ⎪⎝⎭∑ 0(|)i k i k i k i P N j k R k q p k -=⎛⎫==-= ⎪⎝⎭∑ min(,)()i j k i kk i P N j k q p k -=⎛⎫==- ⎪⎝⎭∑min(,)()!j k i j k i kk i eq p k j k λλ---=⎛⎫=⎪-⎝⎭∑7.设明天是否有雨仅与今天的天气有关，而与过去的天气无关。
又设今天下雨而明天也下雨的概率为α，而今天无雨明天有雨的概率为β；规定有雨天气为状态0，无雨天气为状态1。
设0.7,0.4αβ==，求今天有雨且第四天仍有雨的概率。
解：由题设条件，得一步转移概率矩阵为00011011p p 0.70.3P=p p 0.40.6⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，于是(2)0.610.39P PP=0.520.48⎡⎤=⎢⎥⎣⎦，四步转移概率矩阵为(4)(2)(2)0.57490.4251P P P 0.56680.4332⎡⎤==⎢⎥⎣⎦，从而得到今天有雨且第四天仍有雨的概率为(4)00P 0.5749=。
8.一质点在1,2,3三个点上作随机游动，1和3是两个反射壁，当质点处于2时，下一时刻处于1,2,3是等可能的。
写出一步转移概率矩阵，判断此链是否具有遍历性，若有，求出极限分布。
解：一步转移概率矩阵010111P=333010⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，9． 设马尔科夫链的状态空间为{}0,1,2I =, 一步转移概率矩阵为0.50.40.10.30.40.30.20.30.5P ⎡⎤⎢⎥⎢⎥⎢⎣⎦=⎥，求其相应的极限分布。
解：设其极限分布012(,,),W w w w =由W=WP 得到方程组0120012101220120.50.30.20.40.40.30.10.30.51w w w w w w w w w w w w w w w ++=⎧⎪++=⎪⎨++=⎪⎪++=⎩ 解方程组得到：01221239,,.626231w w w === 10.设马氏链的转移概率矩阵为P ，求该马氏链的平稳分布及各状态的的平均返回时间？0.70.10.20.10.80.1P ⎡⎤=⎢⎥⎣⎦11.设有时齐次的马氏链转移概率矩阵为P ，讨论其马氏性，并求其平稳分布。
1001P ⎡⎤=⎢⎥⎣⎦111333(2)2711999111333,⎡⎤⎢⎥==⎢⎥⎢⎥⎣⎦P P (2)ij p 由>0知，此链有遍历性；(),,ππππ123设极限分布=，11533135151ππππππππππ==⎧⎧⎪⎪=⇒=⎨⎨⎪⎪++==⎩⎩1123221233方程组解 马氏链的状态空间为I={1,2}，均为吸收态，状态空间可分解为两个闭集之和，I={1}+{2}，故其是不可约的马氏链， 1 0P= =PP …P=P(n),0 1所以状态1和状态2都是非周期的，且有LimP11(n)=1不等于LimP21(n)=0,LimP12(n)=0不等于LimP22(n)=1，故不是遍历链，但由A=AP 得A=(A1 A2 ),A1+A2=1 故A1=A1，A2=A2 ,可见平稳吩咐是存在的，且有无穷多个12.设｛:0}n X n ≥是一个马氏链，试证：00100111,...,()()n n P X i X i X i P X i X i ======。