马尔科夫链考试例题整理
马尔科夫链例题整理
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 无 记 忆 性 布朗运动 未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
首页
一步转移概率矩阵的计算
引 例
首页
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1 ，2，3，4，5}
一步转移概率矩阵
1 q P 0 0 0
0 r q 0 0
0 p r q 0
0 0 p r 0
0 q 0 P 1 ... 0 p p 0 q 0 p 0 0 ... 0 0 ... 0 p ... 0 q 0 0 q q 0 0 ... p 0
... ... ... ... ... 0 ... 0 0 ... 0
首页
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到 i+1，以概率r停留在i，且 r p q 1 ，试 求转移概率矩阵。
例1 直线上带吸收壁的随机游动（醉汉游动） 设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
q
p
q
马尔科夫链考试例题整理
若 X (n) 表示质点在时刻n所处的位置，分析它的
概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
6
q p 0 0 0 ...
P1 q0
0 q
p 0
0 p
0 0
... ...
... ... ... ... ... ...
qp
0123 反 射 壁
7
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2, ..., N }
0
0
p2
prp
1
15
（3）
从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为
( p rp) 0 p(1 r)
16
例2 赌徒输光问题
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
2
一步转移概率矩阵的计算
引例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
随机过程与马尔可夫链习题答案
信息论与编码课程习题1——预备知识 概率论与马尔可夫链1、某同学下周一上午是否上课，取决于当天情绪及天气情况，且当天是否下雨与心情好坏没有关系。
若下雨且心情好，则50%的可能会上课；若不下雨且心情好，则有10%的可能性不上课；若不下雨且心情不好则有40%的可能性上课；若下雨且心情不好，则有90%的可能不会上课。
假设当天下雨的概率为30%，该同学当天心情好的概率为20%，试计算该同学周一上课的可能性是多大？ 分析：天气情况用随机变量X 表示，“0”表示下雨，“1”表示不下雨；心情好坏用Y 表示，“0”表示心情好用“0”表示，心情不好用“1”表示；是否上课用随机变量Z 表示，“0”表示上课，“1”表示不上课。
由题意可知已知[]5.00,0|0====Y X Z P ，[]5.00,0|1====Y X Z P []1.00,1|1====Y X Z P ，[]9.00,1|0====Y X Z P []4.01,1|0====Y X Z P ，[]6.01,1|1====Y X Z P []9.01,0|1====Y X Z P ，[]1.01,0|0====Y X Z P []3.00==X P ，[]7.01==X P []2.00==Y P ，[]8.01==Y P即题目实际上给出了八个个条件概率和四个概率[][][][]0,0|00|000===⋅==⋅===X Y Z P X Y P X P Z P[][][]0,1|00|10===⋅==⋅=+X Y Z P X Y P X P [][][]1,0|01|01===⋅==⋅=+X Y Z P X Y P X P [][][]1,1|01|11===⋅==⋅=+X Y Z P X Y P X P 由于X ，Y 相互独立，则有[][][][]0,0|0000===⋅=⋅===X Y Z P Y P X P Z P[][][]0,1|010===⋅=⋅=+X Y Z P Y P X P [][][]1,0|001===⋅=⋅=+X Y Z P Y P X P [][][]1,1|011===⋅=⋅=+X Y Z P Y P X P[]5.02.03.00⨯⨯==Z P 1.08.03.0⨯⨯+9.02.07.0⨯⨯+1.08.07.0⨯⨯+ =?注意：全概率公式的应用2、已知随机变量X 和Y 的联合分布律如又表所示，且()Y X Y X g Z +==211,，()Y X Y X g Z /,22==，求：1）1Z 的分布律与数学期望X Y 56 1 0.2 0.3 20.10.42）2Z 的分布律与数学期望 3）1Z 大于10的概率4）由上面的例子，你是否能得到离散随机变量函数的数学期望的一般表达式？包括一元和多元随机变量函数。
离散时间马尔可夫模型例题
选择题在离散时间马尔可夫模型中，如果状态转移概率矩阵P的某一行所有元素之和不为1，这意味着什么？A. 该模型是稳态的B. 存在吸收状态C. 存在状态转移概率的误差（正确答案）D. 模型是周期性的设有一个三状态（S1, S2, S3）的离散时间马尔可夫模型，若从S1到S2的转移概率为0.4，从S1到S3的转移概率为0.5，则从S1到自身的转移概率是多少？A. 0.9B. 0.1（正确答案）C. 0.4D. 0.5在一个离散时间马尔可夫链中，如果一个状态是常返的，那么它满足什么条件？A. 平均返回时间为无穷大B. 在有限步内一定会返回到该状态（正确答案）C. 转移概率矩阵的对应行全为0D. 该状态是吸收状态假设一个离散时间马尔可夫模型有两个状态（A和B），从A到B的转移概率是0.7，从B 到A的转移概率是0.4，那么状态A是哪种类型的状态？A. 吸收状态B. 瞬时状态C. 常返状态（正确答案）D. 周期状态在离散时间马尔可夫链中，如果一个状态是瞬时的，那么它满足什么条件？A. 从该状态出发，最终会回到该状态B. 从该状态出发，永远不会回到该状态（正确答案）C. 该状态是链的起始状态D. 该状态是链的终止状态设有一个四状态（S1, S2, S3, S4）的离散时间马尔可夫模型，如果S1是吸收状态，那么从S1到其他状态的转移概率应该是多少？A. 大于0B. 小于1C. 等于0（正确答案）D. 无法确定在一个离散时间马尔可夫链中，如果状态转移概率矩阵P的某一列所有元素之和为1，这意味着什么？A. 存在一个吸收状态（正确答案）B. 模型是稳态的C. 存在状态转移概率的误差D. 模型是周期性的假设一个离散时间马尔可夫模型有三个状态（X, Y, Z），从X到Y的转移概率是0.3，从X到Z的转移概率是0.4，从X到自身的转移概率是0.2，那么从X状态出发，下一步不可能发生的情况是？A. 转移到Y状态B. 转移到Z状态C. 转移到一个新的未知状态（正确答案）D. 保持在X状态在离散时间马尔可夫模型中，如果一个状态是周期性的，且周期为2，那么这意味着什么？A. 该状态每隔一步就会返回到自身B. 该状态在两步之后才能返回到自身（正确答案）C. 该状态是吸收状态D. 该状态是瞬时状态。
11章马尔可夫链习题课
切普曼-柯莫哥洛夫方程(简称C -K方程)
设{ X (n), n T1}是一齐次马氏链, 则对任意的
u,v T1,有
Pij(u v) Pik (u) pkj (v), i, j 1,2,
k 1
由C-K方程知:
马氏链的n步转移概率是一步转移概率的 n次 方,链的有限维分布可由初始分布和一步移概率完 全确定.
pN ,1 p,
p1,N q,
例5 试证Wiener过程B(t)是马尔可夫过程. 证明
p{B(t s) y | B(s) x, B(u)(0 u s)} p{B(t s) B(s) y x | B(s) x,
B(u)(0 u s)} p{B(t s) B(s) y x}
条件下,过程在时刻t t0所处状态的条件分布与 与过程在时刻t0之前所处的状态无关的特性称为 马尔可夫性或无后效性.
马尔可夫链
时间和状态都是离散的马尔可夫过程称为 马尔可夫链. 简记为: { Xn X (n), n 0,1,2,}
齐次马尔可夫链
当转移概率Pij(m,n n)只与i, j及时间间距n 有关时, 称此链是齐次的或时齐的.
转移概率、转移概率矩阵
称条件概率 Pij(m,n n) P{ Xmn a j | Xm ai }
为马氏链在时刻m处于状态ai条件下,在时刻
m n转移到状态a j的转移概率.
转移概率的特点 Pij(m,m n) 1,i 1,2,.
j 1
由转移概率组成的矩阵 P(m,m n)(Pij(m,n n))
步转移概率矩阵为
3 4
1 4
0
初始分布pi (0)
P{ X 0
i}
1, 3
P
1
1
马尔科夫链考试例题整理
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，分析它的 概率特性。
于是
d j rd j 1
d j rd j 1 r d j 2 r d 0
2 jΒιβλιοθήκη 需讨论 r19当
r 1 c 1 1 u 0 u c ( u j u j 1 )
c 1 j0
d j
c1 i j c 1
j 0 c 1
i
而
u j u j uc
p01 P( X1 1| X0 0) P(Y0 1) p1
p10 P( Xn1 0 | Xn 1) P( Xn 1 Yn 0 | Xn 1)
p20 P( Xn1 0 | Xn 2) P( Xn 1 Yn 0 | Xn 2)
13
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1， 2，3， 4，5}
一步转移概率矩阵
1 q P 0 0 0
0 r q 0 0
0 p r q 0
0 0 p r 0
(u u
di
j0
r d0
i1
j
1 rc d0 1 r
)
i r d0 i j i j j c r r j c j 1 d0 r (1 r r )d 0 1 r j c 两式相比 r r uj c 1 r
马尔可夫转移矩阵例题
马尔可夫转移矩阵例题
假设有一个马尔可夫链，其状态空间为{A, B, C}，转移概率矩阵如下：
A B C
A 0.2 0.5 0.3
B 0.6 0.1 0.3
C 0.4 0.4 0.2
这个转移矩阵表示从状态A转移到状态A的概率为0.2，从状态A转移到状态B的概率为0.5，从状态A转移到状态
C的概率为0.3，以此类推。
现在假设初始状态为A，我们希望求出经过2步之后的状态分布。
首先，我们将初始状态向量表示为 [1, 0, 0]，表示初始状态为A的概率为1，其他状态为0。
根据转移矩阵，我们可以计算出经过一步之后的状态分布。
将初始状态向量与转移矩阵相乘，得到结果为 [0.2, 0.5, 0.3]。
接下来，将上一步计算得到的状态分布作为初始状态向量，再与转移矩阵相乘，得到经过两步之后的状态分布。
将[0.2, 0.5, 0.3] 与转移矩阵相乘，得到结果为[0.38, 0.29, 0.33]。
因此，经过两步之后的状态分布为：A的概率为0.38，B的概率为0.29，C的概率为0.33。
这样，我们就得到了经过两步之后的马尔可夫链的状态分布。
马尔可夫分析法练习题
马尔可夫分析法练习题一、基础概念题1. 马尔可夫过程的定义是什么？2. 简述马尔可夫链的基本特征。
3. 马尔可夫分析法在哪些领域有应用？4. 请解释转移概率矩阵的概念。
5. 什么是稳态概率分布？二、计算题| | A | B | C ||||||| A | 0.5 | 0.2 | 0.3 || B | 0.4 | 0.3 | 0.3 || C | 0.1 | 0.1 | 0.8 |2. 已知一个马尔可夫链的初始状态概率分布为 [0.4, 0.3, 0.3]，求经过三个周期后的状态概率分布。
| | X | Y | Z ||||||| X | 0.3 | 0.2 | 0.5 || Y | 0.4 | 0.3 | 0.3 || Z | 0.1 | 0.5 | 0.4 |4. 一个公司有三个部门，员工可以在这三个部门之间调动。
已知转移概率矩阵如下，求各部门的稳态员工人数比例：| | 部门一 | 部门二 | 部门三 ||||||| 部门一 | 0.6 | 0.2 | 0.2 || 部门二 | 0.3 | 0.5 | 0.2 || 部门三 | 0.4 | 0.1 | 0.5 |三、应用题1. 假设某地区天气分为晴天、多云和雨天三种状态，已知转移概率矩阵如下，预测未来三天的天气状态概率分布：| | 晴天 | 多云 | 雨天 ||||||| 晴天 | 0.6 | 0.2 | 0.2 || 多云 | 0.3 | 0.5 | 0.2 || 雨天 | 0.4 | 0.1 | 0.5 |2. 某公司产品销售分为高、中、低三个市场，已知转移概率矩阵如下，预测未来两个季度的市场占有率：| | 高市场 | 中市场 | 低市场 ||||||| 高市场 | 0.7 | 0.2 | 0.1 || 中市场 | 0.3 | 0.5 | 0.2 || 低市场 | 0.4 | 0.2 | 0.4 |3. 假设一个网站的用户分为新用户、活跃用户和流失用户三种状态，已知转移概率矩阵如下，求各状态用户的稳态比例： | | 新用户 | 活跃用户 | 流失用户 ||||||| 新用户 | 0.5 | 0.3 | 0.2 || 活跃用户 | 0.2 | 0.6 | 0.2 || 流失用户 | 0.3 | 0.1 | 0.6 |四、案例分析题初始状态分布：潜在客户 60%，新客户 20%，老客户 15%，流失客户 5%转移概率信息：（请自行构建）初始状态分布：主干道 40%，次干道 30%，支路 30%转移概率信息：（请自行构建）五、综合分析题普通会员有20%的概率升级为银卡会员，5%的概率直接成为金卡会员。
马尔可夫链的模型解概率题
马尔可夫链的模型解概率题马尔可夫链是一种随机过程，它描述了一系列可能的状态，以及在每个状态之间转移的概率。
这种模型特别适用于那些下一个状态只依赖于当前状态的情况。
假设我们有一个天气模型，其中只有两种状态：晴天（S）和雨天（R）。
我们观察到，如果今天是晴天，那么明天还是晴天的概率是0.9，变成雨天的概率是0.1。
如果今天是雨天，那么明天还是雨天的概率是0.8，变成晴天的概率是0.2。
我们可以使用马尔可夫链来描述这个模型。
首先，我们需要一个状态转移矩阵，它描述了从一个状态转移到另一个状态的概率。
在这个例子中，状态转移矩阵可以写成：= [0.9 0.10.2 0.8]，第一行表示如果今天是晴天，那么明天还是晴天的概率是0.9，变成雨天的概率是0.1。
第二行表示如果今天是雨天，那么明天变成晴天的概率是0.2，还是雨天的概率是0.8。
现在，假设我们想知道，如果今天是晴天，那么接下来三天都是晴天的概率是多少。
我们可以使用马尔可夫链的模型来解决这个问题。
首先，我们知道今天是晴天的概率是1，雨天的概率是0。
我们可以把这个概率分布表示为一个向量：接下来，我们可以使用这个向量和状态转移矩阵来计算明天是晴天的概率。
根据马尔可夫链的性质，我们可以通过乘以状态转移矩阵来得到下一个状态的概率分布：1 = π_0 * P = [1 0] * [0.9 0.10.2 0.8] = [0.9 0.1]，是雨天的概率是0.1。
接下来，我们可以使用同样的方法来计算接下来两天的天气概率分布：0.1] * [0.9 0.10.2 0.8] = [0.83 0.17]今天是晴天，那么接下来两天都是晴天的概率是0.83，有一天是雨天的概率是0.17。
最后，我们可以计算接下来三天都是晴天的概率：_3 = π_2 * [1 0] = [0.83 0.17] * [1 0] = 0.83错误，我们不能直接这样计算。
实际上，我们应该再次使用状态转移矩阵：= π_2 * P = [0.83 0.17] * [0.9 0.10.2 0.8] = [0.767 0.233]，即0.767。
概率与数列(含马尔可夫链问题)
概率与数列(含马尔可夫链问题)·华师大附中压轴卷)长江十年禁渔计划全面施行，渔民老张积极配合政府工作，如期收到政府的补偿款.他决定拿出其中10万元进行投资，并看中了两种为期60天(视作2个月)的稳健型(不会亏损)理财方案.方案一：年化率2.4%，且有10%的可能只收回本金；方案二：年化率3.0%，且有20%的可能只收回本金；已知老张对每期的投资本金固定(都为10万元)，且第一次投资时选择了方案一，在每期结束后，老张不间断地进行下一期投资，并且他有40%的可能选择另一种理财方案进行投资.(1)设第i次投资(i=1，2，3，⋯，n)选择方案一的概率为P i，求P4；(2)求一年后老张可获得总利润的期望(精确到1元).注：若拿1千元进行5个月年化率为2.4%的投资，则该次投资获利ω=2.4%×512×1000=10元.【答案】解：(1)由题意知P i+1=(1-40%)P i+40%(1-P i)=25+15P i，整理得P i+1-12=15P i-12，其中P1=1，故数列P n-1 2是以P1-12为首项，15为公比的等比数列，则P n-12=12×15 n-1，即P n=12+12×15n-1，那么P4=63125.(2)当某期选择方案一时，获利期望值为W1=(1-10%)×2.4%×212×100000 =360元；当某期选择方案二时，获利期望值为W2=(1-20%)×3.0%×212×10000=400元；那么，在一年间，老张共投资了6次，获得的总利润的期望为W=[P1W1+(1-P1)W2]+[P2W1+(1-P2)W2]+⋯+[P6W1+(1-P6)W2]=(P1+P2+⋯+P6)W1+[(1 -P1)+(1-P2)+⋯+(1-P6)]W2≈2400-40×3+58=2255元.即一年后老张可获得的利润的期望约为2255元.·杭州一模)中国男篮历史上曾12次参加亚运会，其中8次夺得金牌，是亚运会夺冠次数最多的球队.第19届亚运会将于2023年9月23日至10月8日在杭州举办.(1)为了解喜爱篮球运动是否与性别有关，某学校随机抽取了男生和女生各1002列联表如下：喜爱篮球不喜爱篮球合计男生6535100女生2575100合计90110200依据小概率值α=0.001的独立性检验，能否认为喜爱篮球运动与性别有关？(2)校篮球队中的甲、乙、丙三名球员将进行传球训练，第1次由甲将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人，如此不停地传下去，且假定每次传球都能被接到，记开始传球的人为第1次触球者，第n次触球者是甲的概率记为P n，即P1=1.①求P3，P4，并证明：P n-1 3为等比数列；②比较第15次触球者是甲与第15次触球者是乙的概率的大小.参考公式：χ2=n(ad-bc)2(a+b)(c+d)(a+c)(b+d)，其中n=a+b+c+d为样本容量.参考数据：α=P(χ2≥k)0.100.050.010.0050.001k 2.706 3.841 6.6357.87910.828【答案】解：(1)假设H0：喜爱足球运动与性别独立，即喜爱足球运动与性别无关，计算χ2=200×(65×75-25×35)2100×100×90×110≈32.323>10.828，根据小概率值α=0.001的独立性检验，我们推断H0不成立，即认为喜爱足球运动与性别有关，此推断犯错误的概率不超过0.001.(2)①由题意知，P1=1，P2=0，P3=12，P4=12×0+1-12×12=14.证明：第n次触球者是甲的概率记为P n，则当n≥2时，第n-1次触球者是甲的概率为P n-1，第n-1次触球者不是甲的概率为1-P n-1，则P n=P n-1×0+(1-P n-1)×12=12(1-P n-1)，从而P n-13=-12P n-1-13，又P1-13=23，所以P n-1 3是以23为首项，公比为-12的等比数列.②第n 次触球者是甲的概率为P n =23×-12n -1+13，所以P 15=23×-1214+13=13×1213+13>13，第15次触球者是乙的概率为Q 15=12(1-P 15)=121-13×1213-13=13-13×1214<13，所以第15次触球者是甲的概率比第15次触球者是乙的概率大.·惠州一模)为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐.已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复.(1)求该同学第二天中午选择米饭套餐的概率；(2)记该同学第n 天选择米饭套餐的概率为P n .证明：①P n -25为等比数列；②当n ≥2时，P n ≤512.【答案】(1)解 设A 1=“第1天选择米饭套餐”，A 2=“第2天选择米饭套餐”，则A 1 =“第1天不选择米饭套餐”.根据题意P (A 1)=23，P (A 1)=13，P (A 2|A 1 )=14，P (A 2|A 1 )=1-12=12.由全概率公式，得P (A 2)=P (A 1)P (A 2|A 1)+P (A 1 )P (A 2|A 1 )=23×14+13×12=13.(2)证明 ①设A n =“第n 天选择米饭套餐”，则P n =P (A n )，P (A n)=1-P n ，根据题意P A n +1|A n )=14， P (A n +1|A n )=1-12=12.由全概率公式，得P n +1=P (A n +1)=P (A n )P (A n +1|A n )+P (A n )·P A n +1|A n )=14P n +12(1-P n )=-14P n +12.因此P n +1-25=-14P n -25.因为P 1-25=415≠0，所以P n -25 是以415为首项，-14为公比的等比数列.②由①可得P n =25+415-14n -1.当n 为大于1的奇数时，P n =25+41514 n -1≤25+415142=512.当n 为正偶数时，P n =25-41514n -1<25<512.因此当n ≥2时，P n ≤512.·荆州统测)为倡导公益环保理念，培养学生社会实践能力，某中学开展了旧物义卖活动，所得善款将用于捐赠“圆梦困境学生”计划.活动共计50多个班级参与，1000余件物品待出售.摄影社从中选取了20件物品，用于拍照宣传，这些物品中，最引人注目的当属优秀毕业生们的笔记本，已知高三1，2，3班分别有12，13，14的同学有购买意向.假设三个班的人数比例为6∶7∶8.(1)现从三个班中随机抽取一位同学：①求该同学有购买意向的概率；②如果该同学有购买意向，求此人来自2班的概率；(2)对于优秀毕业生的笔记本，设计了一种有趣的“掷骰子叫价确定购买资格”的竞买方式：统一以0元为初始叫价，通过掷骰子确定新叫价，若点数大于2，则在已叫价格基础上增加1元更新叫价，若点数小于3，则在已叫价格基础上增加2元更新叫价；重复上述过程，能叫到10元，即获得以10元为价格的购买资格，未出现叫价为10元的情况则失去购买资格，并结束叫价.若甲同学已抢先选中了其中一本笔记本，试估计其获得该笔记本购买资格的概率(精确到0.01).【答案】解：(1)①设事件A =“该同学有购买意向”，事件B i =“该同学来自i 班”(i =1，2，3).由题意可知P (B 1)=621，P (B 2)=721，P (B 3)=821，P (A |B 1)=12，P A |B 2)=13， P A |B 3)=14， 所以由全概率公式可得，P(A)=P(B1)·P(A|B1)+P(B2)·P(A|B2)+P(B3)·P(A|B3)=621×12+721×13+821×14=2263.②由条件概率可得P(B2|A)=P(B2A)P(A)=P(B2)·P(A|B2)P(A)=721×132263=722.(2)由题意可得每次叫价增加1元的概率为23，每次叫价增加2元的概率为1 3.设叫价为n(3≤n≤10)元的概率为P n，叫价出现n元的情况只有下列两种：①叫价为n-1元，且骰子点数大于2，其概率为23P n-1；②叫价为n-2元，且骰子点数小于3，其概率为13P n-2.于是得到P n=23P n-1+13P n-2(n≥3)，易得P1=23，P2=23×23+13=79，由于P n-P n-1=-13P n-1+13P n-2=-13(P n-1-P n-2)(n≥3)，于是当n≥2时，数列{P n-P n-1}是以首项为19，公比为-13的等比数列，故P n-P n-1=19×-13n-2(n≥2).于是P10=P1+(P2-P1)+(P3-P2)+⋯+(P9-P8)+(P10-P9)=23+19×1--1391--13=34+14×1310≈0.75，于是，甲同学能够获得笔记本购买资格的概率约为0.75.。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1， 2，3， 4，5}
一步转移概率矩阵
1 q P 0 0 0
0 r q 0 0
0 p r q 0
0 0 p r 0
0 0 0 ... p p
6
q q P 1 0 ...
p 0 0 0 ... 0 p 0 0 ... q 0 p 0 ... ... ... ... ... ...
q 0 反 射 壁
p 1 2 3
7
例 3．一个圆周上共有 N 格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率 q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2, ..., N }
15
（3）
从而结束比赛的概率；
从而结束比赛的概率。 所以题中所求概率为
( p rp ) 0 p (1 r )
16
例2 赌徒输光问题 赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲 获胜的概率为p，乙获胜的概率为 q 1 p ， 求甲输光的概率。 分 析 这个问题实质上是带有两个吸收壁的随机游动。从 甲的角度看，他初始时刻处于a，每次移动一格，向 右移（即赢1元）的概率为p，向左移（即输1元）的 概率为q。如果一旦到达0（即甲输光）或a + b（即 乙输光）这个游动就停止。这时的状态空间为{0，1， 2，…，c}，c = a + b，。现在的问题是求质点从a出 发到达0状态先于到达c状态的概率。 17
E {..., 2, 1,0,1, 2,...}
... ... P 1 ... ... ... ... ... ... ... ... ... 0 p r q 0 0 ... 0 0 p r q 0 ... ... ... ... ... ... ... ...
0 0 0 1 2 1
有两个吸收壁的随机游动
4
例2．带有反射壁的随机游动 设随机游动的状态空间I = {0，1，2，…}，移动的 规则是： （ 1 ）若移动前在 0 处，则下一步以概率 p 向右移 动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。 设 X n 表示在时刻n质点的位置， 则 { X n ， n 0 }是一个齐次马氏链，写出其一步转 移概率。
若 X (n) 表示质点在时刻n所处的位置，分析它的 概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X (t), 是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
0 0 0 p 1
14
（2）二步转移概率矩阵
P
(2)
P
2
1 q rp q2 0 0
0
0
0 p2 2pr r2 pq 0
r2 pq 2pr 2rq r2 2pq q2 0 2qr 0
0 0 p2 p rp 1
于是
d j rd j 1
d j rd j 1 r d j 2 r d 0
2 j
需讨论 r
19
当
r 1 c 1 1 u 0 u c ( u j u j 1 )
c 1 j0
d j
c1 i j c 1
j 0 c 1
i
而
u j u j uc
... 0 ... 0 ... 0 ... ... 1 0 a 1 0
10
练习题． 扔一颗色子，若前 n 次扔出的点数的最大值为 j ， 就说 Xn j, 试问 Xn j, 是否为马氏链？求一步转移概率矩 阵。
I={1，2，3，4，5，6}
11
1 1 1 6 6 6 0 2 1 6 6 3 0 0 P 6 0 0 0 0 ... 0 0 ... 0
5
q
p
q
p m 右反射壁
0 左反射壁
1
2
m-1
q q 0 P 1 ... 0 0
p 0 q ... 0 0
0 p 0 ... 0 0
0 0 p ... 0 0
0 0 0 ... 0 0
... ... ... ... ... ...
0 0 0 ... q 0
0 0 0 ... 0 q
1 6 1 6 1 6 4 6 0 0
1 6 1 6 1 6 1 6 5 6 1
1 6 1 6 1 6 1 6 1 6 0
12
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率 是p，乙胜的概率是q，和局的概率是 r ， （ p q r 1 ）。设每局比赛后，胜者记“+1” 分，负者记“—1”分，和局不记分。当两人中有 一人获得2分结束比赛。以 X n 表示比赛至第n局 时甲获得的分数。 （1）写出状态空间； （3）问在甲获得1分的情况下，再赛二局可以 结束比赛的概率是多始时服务台前顾客数 则有 在第n周期已有一个
Xn 1Yn, Xn1 Yn,
若Xn 1 顾客在服务，到第n+1 若Xn 0 周期已服务完毕
23
此时{ X n ， n 1 }为一马氏链， 求其转移矩阵
解
先求出转移概率
p00 P( X1 0 | X 0 0) P(Y0 0) p0
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
用同样的方法可以求得乙先输光的概率
b 当 r 1 即 p q 时， 甲先输光的概率为 c
q a 1 ( ) 当 p q 时，乙输光的概率为 p a 当 p q 时，乙先输光的概率为 c q c 1 ( ) p
22
q a q c ( p) ( p)
根据全概率公式有
u j u j 1 p u j 1q
这一方程实质上是一差分方程，它的边界条件是
u0 1, uc 0
18
欲求
于是
ua
先求
uj
设
q r p
q u j u j 1 ( )(u j 1 u j ) p
d j u j u j 1
则可得到两个相邻差分间的递推关系
9
5 ．设袋中有 a 个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有 k 个白球，则称系统处于状态 k ， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为 0 0 I={0，1，2，…，a} 0 1 1 a 1 0 0 a a 一步转移矩阵是 2 a2 0 0 P a a 1 ... ... ... ... a 1 0 ... 0 a 0 ... 0 0
解 设0 j c 考虑质点从j出发移动一步后的情况
设 u j 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
在以概率 p 移到 j 1 的假设下，
到达 0 状态先于到达 c 状态的概率为 u j 1
同理 以 概 率 q 移 到 j 1 的 前 提 下 ，
到达 0 状态先于到达 c 状态的概率为u j 1
p11 P(Xn1 1| Xn 1) P( X n 1 Yn 1| X n 1) P(Yn 1) p1
P(Yn 0) p0
P(Yn 0) p0 p22 P( Xn1 2 | Xn 2) P(Yn 1) p1
p21 P( Xn1 1| Xn 2) P( Xn 1 Yn 1| Xn 2)
q c 1 ( p )
例3 排队问题 顾客到服务台排队等候服务，在每一个服务周期中只 要服务台前有顾客在等待，就要对排在前面的一位提 供服务，若服务台前无顾客时就不能实施服务。
设在第 n 个服务周期中到达的顾客数为一随机变量 Yn
且 诸 Yn 独 立 同 分 布 ：
a
c
q a q c ( p) ( p)
当
q c 1 ( p )
r 1
u0 uc 1 cd 0
c j uj c
而 因此 故
u j (c j ) d 0
ca b ua c c
21
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
p01 P( X1 1| X0 0) P(Y0 1) p1
p10 P( Xn1 0 | Xn 1) P( Xn 1 Yn 0 | Xn 1)
p20 P( Xn1 0 | Xn 2) P( Xn 1 Yn 0 | Xn 2)
0 q 0 P 1 ... 0 p p 0 q ... 0 0 p 0 ... ... 0 0 p ... 0 ... ... ... ... q 0 0 0 0 ... 0 q 0 0 ... p q 0