随机过程Markov链作业 中科大
(解答)《随机过程》第二章习题
第二章 Markov 过程 习题解答1、 设}1,{≥n n ξ为相互独立同分布的随机变量序列，其分布为：01}0{,0}1{>-===>==p q P p P n n ξξ定义随机序列}2,{≥n X n 和}2,{≥n Y n 如下：⎪⎪⎩⎪⎪⎨⎧=========----;1,1,3;0,1,2;1,0,1;0,0,01111n nn n n n n nn X ξξξξξξξξ ⎩⎨⎧===-;,1;0,0,01其它n n n Y ξξ试问随机序列}2,{≥n X n 和}2,{≥n Y n 是否为马氏链？如果是的话，请写出其一步转移概率矩阵并研究各个状态的性质。
不是的话，请说明理由。
解：（1）显然，随机序列}2,{≥n X n 的状态空间为}3,2,1,0{=S 。
任意取S i i i j i n ∈-132,,,,, ，由于当i X n =给定时，即1,-n n ξξ的值给定时，就可以确定1+n X 的概率特性，即我们有：}{},,,,{12233111i X j X P i X i X i X i X j X P n n n n n n ========+--+因此}2,{≥n X n 是齐次马氏链，其一步转移概率矩阵为：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=p qp q p q p qP 0000000 由于01,0>-=>p q p ，画出状态转移图，可知各个状态都相通，且都是非周期的，因此此链是不可约的遍历链。
（也可以利用02>P 判定此链是不可约的遍历链）（2）显然，}2,{≥n Y n 的状态空间为}1,0{=S ，由于：}1,1{}1,1,0{}1,10{23234234=========Y Y P Y Y Y P Y Y Y P}0,1{}0,1,0{}0,10{23234234=========Y Y P Y Y Y P Y Y Y P由}2,{≥n Y n 的定义，可知}1,1,1{}1,1,0{}0,1,1{}0,1,0{}1,0,1{}1,1{12312312312312323===⋃===⋃===⋃⋃===⋃======ξξξξξξξξξξξξξξξY Y}1,1,0,0{}0,1,0,0{}1,1,0{12341234234====⋃========ξξξξξξξξY Y Y}0,0,1{}0,1{12323======ξξξY Y ， ∅====}0,1,0{234Y Y Y利用}1,{≥n n ξ是相互独立同分布的随机变量序列及其分布，我们有：322233}1,1{q q p pq Y Y P ++=== 223234}1,1,0{q p pq Y Y Y P +==== 223}0,1{pq Y Y P ===0}0,1,0{234====Y Y Y P即有：22222343}1,10{q p pq qp pq Y Y Y P +++==== 0}0,10{234====Y Y Y P由于01,0>-=>p q p ，因此有}0,10{}1,10{234234===≠===Y Y Y P Y Y Y P根据马氏链的定义可知}2,{≥n Y n 不是马氏链。
随机过程第4章Markov过程（PDF）
第四章 Markov 过程本章我们先讨论一类特殊的参数离散状态空间离散的随机过程，参数为0{0,1,2,}T N ==L ，状态空间为可列{1,2,}I =L 或有限{1,2,,}I n =L 的情况，即讨论的过程为Markov 链。
Markov 链最初由Markov 于1906年引入，至今它在自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。
之后我们将讨论另一类参数连续状态空间离散的随机过程，即纯不连续Markov 过程。
§4.1 Markov 链的定义与性质一、Markov 链的定义定义 4.1设随机序列{;0}n X n ≥的状态空间为I ，如果对0n N ∀∈，及0110011,,,,,{,,,}0n n n n i i i i I P X i X i X i +∈===>L L ，有：11001111{,,,}{}n n n n n n n n P X i X i X i X i P X i X i ++++=======L （4.1.0)则称{;0}n X n ≥为Markov 链。
注1：等式（4.1.0）刻画了Markov 链的特性，称此特性为Markov 性或无后效性，简称为马氏性。
Markov 链也称为马氏链。
定义4.2 设{;0}n X n ≥为马氏链，状态空间为I ，对于,i j I ∀∈，称1{}()ˆn n i j P X j X i p n +===为马氏链{;0}n X n ≥在n 时刻的一步转移概率。
注2：一步转移概率满足：()0,,()1,i j i jj Ip n i j Ipn i I ∈≥∈=∈∑若对于,i j I ∀∈，有1{}()ˆn n i j i j P X j X i p n p +===≡即上面式子的右边与时刻n 无关，则称此马氏链为齐次（或时齐的）马氏链。
设{}0()(0),p i P X i i I ==∈，如果对一切i I ∈都有00()0,()1i Ip i p i ∈≥=∑，称0()p i 为马氏链的初始分布。
应用随机过程markov链5.1例题
随机过程是概率论的一个重要分支，而Markov链则是随机过程中的一个经典模型。
在实际应用中，Markov链可以用来描述各种随机现象，比如金融市场的走势、气候的变化、信息的传递等等。
今天，我们就来探讨一下应用随机过程中的Markov链，并通过一个例题来深入理解这个概念。
让我们来简单回顾一下Markov链的基本概念。
在一个Markov链中，假设我们有一些状态，每个状态发生的概率只与其前一状态有关，而与其他状态无关。
这个性质就是所谓的“无记忆性”，也就是说，一个状态的发生只受到前一个状态的影响，而与更早的状态无关。
这种性质使得Markov链在描述许多现实问题时非常方便，因为它可以有效地简化问题的复杂度。
接下来，我们将以一个例题来具体说明Markov链的应用。
假设我们有一个赌徒，他每天的赌博结果只与前一天的输赢有关，如果前一天赢了，那么第二天继续赢的概率为0.6，输的概率为0.4；如果前一天输了，那么第二天继续输的概率为0.7，赢的概率为0.3。
现在我们要求这个赌徒在连续三天内至少赢两次的概率是多少。
根据上述情况，我们可以建立这个问题的Markov链模型。
假设赌徒的状态有两种，分别表示赢和输。
然后我们可以根据给定的转移概率来构建状态转移矩阵，从而求出连续三天内至少赢两次的概率。
在实际操作中，我们可以通过矩阵乘法或者迭代法来得到最终的概率结果。
具体的计算过程可以参考相关的数学推导。
通过这个例题，我们不仅深入理解了Markov链的基本概念，还学会了如何将其应用到实际问题中。
我们也可以发现，在实际问题中，Markov链的应用往往需要一定的数学知识和计算技巧来解决。
对于这个主题，我们除了要了解其基本概念外，还需要具备一定的数学建模和求解能力。
应用随机过程中的Markov链是一个相当有趣且广泛应用的领域。
通过学习和掌握Markov链的相关知识，我们不仅可以更好地理解许多随机现象，还可以应用到实际问题中去解决各种复杂的情况。
随机过程 第三章 马尔科夫链
4
设P表示一步转移概率所组成的矩阵，则
p11 p12 p1n P p21 p22 p2n
称为系统状态的一步转移概率矩阵，它具有如下性质：
1、pij 0, i, j I
2、
p
jI
ij
1, i, j I
满足上述两个性质的矩阵称为随机矩阵。
p j (n)
pj
(n) p (n 1) p
( pi pijn) iI
i
ij
iI
PT (n) PT (0)P ( n)
P T (n) P T (n 1)P
13
定理 设{Xn,n∈T}为马尔可夫链，则对任意i1, …,in∈I和n≥1，有
P{X1 i1 ,, X n in }
22
状态的常返性 例：状态转移概率图
1 1/2
1
1
2
3
4
1/2
1
23
首中概率 它表示质点由i出发，经n步首次到达j 的概率
f ij( n ) P( X m v j,1 v n 1, X m n j | X m i)
定理 对任一状态i, j及1 n , 有 p
5
例：一维随机游动。设一醉汉Q(或看作一随机游动的 质点)在直线上的点集I={1,2,3,4,5}作随机游动， 游动的概率规则是：如果Q现在位于点i(1<i<5)， 则下一时刻各以1/3的概率向左或向右移动一格， 或以1/3的概率留在原处；如果Q现在处于1(或5) 这一点上，则下一时刻就以概率1移动到2(或4)这点上， 1和5这两点称为反射壁，这种游动称为带有两个反射壁 的随机游动。
随机过程与马尔可夫链
随机过程与马尔可夫链随机过程是数学中一种常见的描述随机变量随时间变化的模型。
它可以用于建模和分析各种随机现象，如股票价格的波动、人员流动、网络数据传输等。
而马尔可夫链则是一种常见的随机过程，它具有马尔可夫性质，即未来状态的概率分布仅依赖于当前状态，与过去的状态无关。
一、随机过程的定义与特点随机过程可以用数学模型来描述，其中最常见的是通过概率函数来定义。
对于离散时间的随机过程，我们可以用一个序列{Xn}来表示，其中Xn表示在第n个时间点的随机变量。
同样地，对于连续时间的随机过程，我们可以用一个函数X(t)来表示，在不同的时间点t上取不同的随机值。
随机过程具有以下几个特点：1. 随机过程描述了随机变量在时间上的演化规律；2. 随机过程是随机变量的集合，它可以包含无穷个甚至连续无穷个随机变量；3. 随机过程可以是离散时间的，也可以是连续时间的；4. 随机过程可以是有限维的，也可以是无限维的。
二、马尔可夫链的定义与性质马尔可夫链是一种特殊的随机过程，它满足马尔可夫性质。
具体来说，给定一个随机过程{Xn}，如果对于任意的时刻n，给定过去的状态Xn-1，未来状态Xn+1的条件概率分布仅依赖于当前状态Xn，则称该过程具有马尔可夫性质。
马尔可夫链的定义包括以下几个要素：1. 状态空间：马尔可夫链的状态空间是指随机变量Xn取值的范围，可以是有限的或者可数的。
2. 转移概率：对于任意两个状态i和j，转移概率Pij表示从状态i转移到状态j的概率。
3. 初始概率：初始概率πi表示初始状态为i的概率。
马尔可夫链具有以下几个重要性质：1. 马尔可夫性质：未来状态的概率分布只依赖于当前状态，与过去的状态无关。
2. 时齐性：马尔可夫链的转移概率在时间上保持不变。
3. 不可约性：任意两个状态之间存在一条路径，使得转移到目标状态的概率大于0。
4. 非周期性：不存在周期性的状态循环。
三、马尔可夫链的应用马尔可夫链在实际问题中有着广泛的应用。
Markov过程(随机过程报告)
这条性质也就是说，如果过程在时刻 处于状态 ，那么不管它以前处于什么状态，过程以后处于什么状态的概率是一样的。这就说明了，Markov链在已知“现在”的条件下，“将来”与“过去”是条件独立的。
此外，对于Markov链 及 及任意状态 ，有
对状态空间 上的任意有界实值函数 有
二、概率转移矩阵
记
并定义无穷矩阵
由于此无穷矩阵的分量都是非负的且不超过1，易见这种无穷矩阵的乘法满足结合律，又因为
所以， （无穷Βιβλιοθήκη 位阵），特别的， 称为时刻 的（一步）转移概率矩阵。
如果Markov链的概率转移矩阵 与 无关，则称其为时齐的Markov链，我们把此矩阵简记为 。
三、Markov链的例
独立同分布的随机变量的部分和序列，称为随机徘徊，它是时间参数离散情形时的时齐的独立增量过程，又若其中的随机变量只取-1和1两个值，则称为简单随机徘徊。
今考虑一个简单随机徘徊 ，其状态空间为 ，由 的定义
其中 为独立同分布随机变量序列，满足
这里 表示一个粒子分别以概率 与 向右与向左走一格。由于随机徘徊是时齐的独立增量过程，由第3章可知它也是时齐的Markov链。又因为 都是 的部分和，所以，它们和 独立，故
随机过程课程报告
——离散Markov链（李继刚）
考虑一个随机过程 ，我们假设随机变量 的取值在某个集合 中, 则集合 称为状态空间.
独立随机试验模型最直接的推广就是Markov模型. 粗略地说, 一个随机过程如果给定了当前时刻 的值 , 未来 的值 不受过去 的影响就称为是有Markov性. 如果一个过程具有Markov性, 则称该过程为Markov过程. 特别地, 当状态空间S为至多可列集时, Markov过程称为Markov链.
随机过程中的马尔可夫链
随机过程中的马尔可夫链随机过程是指一种具有随机性质的过程，而马尔可夫链是随机过程中的一种基本模型。
马尔可夫链是一种具有马尔可夫性质的随机过程。
所谓马尔可夫性质，是指在一个随机过程中，当前状态的概率分布仅依赖于当前状态，而不依赖于历史状态。
马尔可夫链广泛应用于各个领域，如物理学、生物学、计算机科学等。
一、马尔可夫链的定义与性质马尔可夫链是一种随机过程，其状态空间可以是一个有限集合或可数集合。
若设Xn表示马尔可夫链在时间n的状态，则马尔可夫链具有以下性质：1.满足马尔可夫性质：在给定现在状态下，未来状态的概率分布与过去状态无关。
2.具有无后效性：状态的转移只受当前状态影响，与之前的状态无关。
3.具有Markov性：任意时刻t，下一状态Xt+1只与当前状态Xt有关，与过去状态无关。
二、转移矩阵转移矩阵是马尔可夫链中的重要概念。
假设状态集合为{1，2，3，...，N}，若Xn=j，则转移矩阵Pij表示从状态j转移到状态i的概率。
即在马尔可夫链的当前状态为j时，下一时刻转移至状态i的概率为Pij。
满足下列条件：1.所有元素的值都是非负数；2.每行元素的和等于1。
3.初始转移概率矩阵为pc，则$t\in N^{*}$时，$i, j\in{1,2,3,...,N}$$ P_{ij} P_{j1}=P_{i1}$$ P_{ij} P_{j2}=P_{i2}$$ P_{ij} P_{jr}=P_{ir}$也就是说，转移矩阵是一个n阶方阵，矩阵中的元素为非负实数并且每行的和为1。
三、平稳分布在马尔可夫链中，若转移矩阵满足一定条件，那么存在一个平稳分布，在链条经过足够多的转移后，状态分布不再增长或减少，变得稳定，称之为稳态或平稳分布。
平稳分布是指当马尔可夫链在经过一定转移后，概率分布已经趋于稳定，不再发生变化的状态分布。
平稳分布的计算是求解方程$P_\infty=P_\infty P$。
其中$P_\infty$为平稳分布，$P$为转移矩阵。
中科院随机过程习题解答(一)
∑ξ ξ
i
j
)=
2
1≤i ≤ n1 1≤ j ≤ n2
∑ E (ξ ξ
i
j
)
当 i = j 时， E (ξ i ξ j ) = 1 ；否则 E (ξ i ξ j ) = ( p − q ) 令 n = min(n1 , n 2 ) ， N = max(n1 , n2 ) ，则有
Rηη (n1 , n 2 ) =
中科院研究生院 2004～2005 第一学期
随机过程讲稿
孙应飞
随机过程习题解答（一）
第一讲作业：
1、设随机向量 ( X , Y ) 的两个分量相互独立，且均服从标准正态分布 N (0,1) 。 （a）分别写出随机变量 X + Y 和 X − Y 的分布密度 （b）试问： X + Y 与 X − Y 是否独立？说明理由。 解： （a） X + Y ~ N (0,2), （b）由于：
) ( µσ
=
2 1
σ1 µ2
2 2 2 2 + σ 12 µ 2 + σ 12σ 2
)
（b）当 ρ XZ = 的时候， Z 和 X 线性相关，即
2 2 2 2 µ12σ 2 + σ 12 µ 2 + σ 12σ 2 = σ 12 µ 2
3 、 设 { X (t ), t ≥ 0} 是 一 个 实 的 均 值 为 零 ， 二 阶 矩 存 在 的 随 机 过 程 ， 其 相 关 函 数 为
1 2π
0 ≤ ϕ ≤ 2π
（3）给定一时刻 t ，由于 ξ , η 独立、服从正态分布，因此 ς (t ) 也服从正态分布，且
E (ς (t )) = E (ξ cos ωt + η sin ωt ) = cos ωtE (ξ ) + sin ωtE (η ) = 0 D(ς (t )) = D(ξ cos ωt + η sin ωt ) = D(ξ cos ωt ) + D(η sin ωt ) = cos 2 ωtD(ξ ) + sin 2 ωtD(η ) = 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
试求
n; (a) lim Pi,j n→∞
(b) 每个状态的平均返回时间; (c) 初始分布为何时， 该链为平稳序列。 3. 设Markov链{Xn , n ≥ 0}的状态空间I = {0, 1, 2, . . .}, 转移概率为 1 P0,0 = Pi,i+1 = Pi,0 = , 2 (a) 试求f00 和f00 ; (b) 从0出发首次返回0的平均步长µ0 ; (c) 证明此链不可约遍历。 4. 一质点在圆周上作随机游动，圆周上共有N (≥ 2) 格，质点以概率p 顺时针方向游动一
(a) 试求该链转移矩阵P; (b) 证明该链不可约遍历； (c) 试求极限 lim Pi,j 。
n→∞ (n)
7. 一质点在区间[0, N ]的整数点上作随机游动， 每次往正向和反向移动一格的概率为p, 0 < p< 1 N 为反射壁（即PN,N −1 = 1） 。若以Xn 表 2 , 而以q = 1 − 2p留在原处− p逆时针方向游动一格。
(a) 试求该Markov链的转移概率矩阵P; (b) 对该链进行状态分类（关于可约、 周期、 常返、 正常返） ； (c) 求该链的平稳分布。问 lim P(n) 是否存在？
n→∞
提示 ： 注意N 的奇偶。
5. 考虑从0出发的简单对称随机游动 （见课本例子3.8） 。 若以Nn 表示到时刻n为止过程返回
(a) 转移矩阵P; (b) 状态分类（关于可约、 周期、 常返、 正常返）; (c) 极限分布。
2
示时刻n质点所处的位置， 则{Xn , n ≥ 0}为一Markov链。
(a) 试求该链转移矩阵P; (b) 若该质点从n出发， 求它被0吸收的概率un ， 以及它被吸收的平均步数vn , n = 1, 2, . . . , N . 8. 某车间有两台相同的机器， 每天之多使用其中的一台， 工作着的机器在一天内损坏的概
1. 考虑赌徒输光模型，其中赌徒甲的初始赌资为a(> 10), 赌徒乙的初始赌资为b(> 10)。求
赌徒甲的赌资在减少到5 之前达到a + b − 3的概率。
2. 考虑一个状态为{1, 2, 3}的Markov链， 其转移矩阵为 0.6 0.4 0 P = 0.35 0.3 0.35 0 0.2 0.8 .
到0的次数。证明：
(a) E N2 n ) 2n −2n = (2n + 1) 2 − 1; n 1 (
√ (b) 当n充分大时， ENn 与 n成比例。 6. 2N 个球（N 个白球N 个黑球）随机装到甲、乙两个袋子里，每袋各装N 个球，每次从两
个袋子中个随机取一个球， 并放入对方袋中。 若以Xn 表示第n次取球后甲袋中的黑球数， 则{Xn , n ≥ 0}为一Markov链。
率为p。 车间里有一名修理工， 他一次只能修理一台机器， 且要花两天时间才能修复。 当 一台机器损坏之后，当天即停止生产。若另一台机器是好的，则第二天使用这台好的， 并修理那台坏的。 系统的状态可用数对(x, y ) 来表示， 其中x是一天结束时仍未损坏的机 器数， 而当损坏的机器已经修理了一天时y 取1， 否则取0。 试用一个Markov链{Xn , n ≥ 0} 来描述这个系统（状态空间I = {a = (2, 0), b = (1, 0), c = (1, 1), d = (0, 1)}） 。试求该链的