马尔科夫链例题整理
马尔科夫链例题整理通用课件
马尔科夫链的理论。
在其他领域的应用
要点一
总结词
除了大数据和人工智能领域，马尔科夫链在其他领域也有 广泛的应用前景。
要点二
详细描述
例如在物理学中的统计力学、生物学中的基因序列分析、 经济学中的市场预测和交通规划等领域，马尔科夫链都可 以发挥重要作用。随着科学技术的发展，马尔科夫链的应 用前景将更加广阔。
05
马尔科夫链的优化与改进
状态转移概率优化
状态转移概率矩阵调整
01
根据实际数据和业务需求，对状态转移概率矩阵进行优化，以
提高模型预测的准确性和稳定性。
状态转移概率学习
02
通过训练数据学习状态转移概率，利用监督学习或强化学习等
方法对状态转移概率进用平滑技术处理状态转移概率，以减少模型预测的误差和不
用户行为分析
总结词
利用马尔科夫链分析用户在互联网上 的行为模式和习惯。
详细描述
通过分析用户在互联网上的行为数据 ，利用马尔科夫链可以发现用户的行 为模式和习惯，从而更好地理解用户 需求，优化产品设计和服务。
自然语言处理
总结词
利用马尔科夫链进行文本生成、语言模型等自然语言处理任 务。
详细描述
马尔科夫链在自然语言处理领域有着广泛的应用，如文本生 成、语言模型等。通过建立状态转移概率矩阵，可以模拟文 本生成的过程，从而生成符合语法和语义规则的自然语言文 本。
详细描述
马尔科夫链可以用于对大量数据进行建模， 通过分析数据之间的转移概率，预测未来的 趋势和模式。在大数据领域，马尔科夫链可 以应用于推荐系统、股票市场预测、自然语 言处理等领域。
马尔可夫链例题讲解
马尔可夫链例题讲解
马尔可夫链是一个数学模型，用于描述一系列状态之间的随机转移。
每个状态的未来只取决于其当前状态，而与过去的状态无关。
以下是一个马尔可夫链的简单例题及其讲解：
例题：求销售状态的转移概率矩阵
题目描述：记录了某抗病毒药的6年24个季度的销售情况，得到表1。
试求其销售状态的转移概率矩阵。
表1 某抗病毒药24个季度的销售情况
季度销售状态
Q1 畅销
Q2 畅销
Q3 畅销
... ...
Q24 畅销
分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和
由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2。
由此，可得到下面的市场状态转移情况表（表2）。
表2 市场状态转移情况表
下季度药品所处的市场状态 1（畅销） 2（滞销）本季度药品所处的市
场状态
1（畅销） 7 7 1（畅销）
2（滞销） 7 2 2（滞销）
现计算转移概率：以频率代替概率，可得连续畅销的概率：P(连续畅销) =
7/15。
同样得由畅销转入滞销的概率：P(畅销→滞销) = 7/15。
滞销转入畅销的概率：P(滞销→畅销) = 7/15。
连续滞销的概率：P(连续滞销) = 2/15。
综上，得销售状态转移概率矩阵为：P=(P(连续畅销) P(畅销→滞销) P(滞销→畅销) P(连续滞销))=(7/15 7/15 7/15 2/15)。
从上面的计算过程知，所求转移概率矩阵P的元素其实可以直接通过表2中的数字计算而得到，即将表中数分母中的数为15减1是因为第24季度是
畅销，无后续记录，需减1。
马尔科夫链(与数列结合的概率递推问题)(解析版)
马尔科夫链（与数列结合的概率递推问题）如果要评选出 2023 年各地模拟题中最“成功”的题目，我想非“马尔科夫链”莫属了，尽管2023 年新高考I 卷出乎了很多“命题专家”的意料，但第 21 题考察了马尔科夫链，可谓为广大“专家”“名卷”“押题卷”挽回了一些颜面。
2023年新高考I 卷第21题的投篮问题是马尔可夫链；再往前的热点模考卷中，2023年杭州二模第21题的赌徒输光问题是马尔可夫链，2023年茂名二模的摸球问题是马尔可夫链；再往更前的2019年全国I 卷药物试验也是马尔可夫链，在新人教A 版选择性必修三 P91 页 拓展探索中的第10题是传球问题，是马尔科夫链的典型模型，可以看出自从新教材引入全概率公式（新人教A 版选择性必修三 P49 页），可想而知，未来会有越来越多的递推型概率难题出现模考试题中！因此，在复习备考中全概率等系列内容需要格外关注马尔科夫链作为一种命题模型出现了，马尔科夫链在题中的体现可以简单的概括为全概率公式+数列递推，对于高中生而言，马尔科夫链其实也不难理解。
本文主要介绍了马尔科夫链和一维随机游走模型在高考中的几种具体的应用情形，希望对各位接下来的复习和备考有一些帮助。
基本原理虽然贝叶斯公式不做要求，但是全概率公式已经是新高考考查内容了，利用全概率公式，我们既可以构造某些递推关系求解概率，还可以推导经典的一维随机游走模型，即：设数轴上一个点，它的位置只能位于整点处，在时刻0=t 时，位于点)(+∈=N i i x ，下一个时刻，它将以概率α或者β（1),1,0(=+∈βαα）向左或者向右平移一个单位. 若记状态i t X =表示：在时刻t 该点位于位置)(+∈=N i i x ，那么由全概率公式可得：)|()()|()()(1111111+==++=−==+−==+⋅+⋅=i t i t i t i t i t i t i t X X P X P X X P X P X P另一方面，由于αβ==+==+−==+)|(,)|(1111i t i t i t i t X X P X X P ，代入上式可得：11−+⋅+⋅=i i i P P P βα.进一步，我们假设在0=x 与),0(+∈>=N m m m x 处各有一个吸收壁，当点到达吸收壁时被吸收，不再游走.于是，1,00==m P P .随机游走模型是一个典型的马尔科夫过程.进一步，若点在某个位置后有三种情况：向左平移一个单位，其概率为a ，原地不动，其概率为b ，向右平移一个单位，其概率为c ，那么根据全概率公式可得：11+−++=i i i i cP bP aP P2023·新高考Ⅰ卷T211．乙两人投篮，每次由其中一人投篮，规则如下：若命中则此人继续投籃，若末命中则换为对方投篮．无论之前投篮情况如何，甲每次投篮的命中率均为0.6，乙每次投篮的命中率均为0.8．由抽签确定第1次投篮的人选，第1次投篮的人是甲、乙的概率各为0.5． （1）求第2次投篮的人是乙的概率； （2）求第i 次投篮的人是甲的概率； （3）已知：若随机变量i X 服从两点分布，且()()110,1,2,,i i i P X P X q i n ==−===⋅⋅⋅，则11n ni i i i E X q == = ∑∑．记前n 次（即从第1次到第n 次投篮）中甲投篮的次数为Y ，求()E Y ． 【解析】（1）记“第i 次投篮的人是甲”为事件i A ，“第i 次投篮的人是乙”为事件i B ，所以，()()()()()()()21212121121||P B P A B P B B P A P B A P B P B B =+=+()0.510.60.50.80.6×−+×.（2）设()i i P A p =，依题可知，()1i i P B p =−，则()()()()()()()11111||i i i i i i i i i i i P A P A A P B A P A P A A P B P A B +++++=+=+，即()()10.610.810.40.2i i i i p p p p +=+−×−=+， 构造等比数列{}i p λ+，设()125i i p p λλ++=+，解得13λ=−，则1121353i i p p + −=−，又11111,236p p =−=，所以13i p−是首项为16，公比为25的等比数列，即11112121,365653i i i i p p −−−=×=×+． （3）因为1121653i i p − =×+，1,2,,i n =⋅⋅⋅， 所以当*N n ∈时，()122115251263185315nnn n n E Y p p p − =+++=×+=−+ − ，故52()11853nnE Y=−+．2019·全国Ⅰ卷2．为治疗某种疾病，研制了甲、乙两种新药，希望知道哪种新药更有效，为此进行动物试验.试验方案如下：每一轮选取两只白鼠对药效进行对比试验.对于两只白鼠，随机选一只施以甲药，另一只施以乙药.一轮的治疗结果得出后，再安排下一轮试验.当其中一种药治愈的白鼠比另一种药治愈的白鼠多4只时，就停止试验，并认为治愈只数多的药更有效.为了方便描述问题，约定：对于每轮试验，若施以甲药的白鼠治愈且施以乙药的白鼠未治愈则甲药得1分，乙药得1−分；若施以乙药的白鼠治愈且施以甲药的白鼠未治愈则乙药得1分，甲药得1−分；若都治愈或都未治愈则两种药均得0分.甲、乙两种药的治愈率分别记为α和β，一轮试验中甲药的得分记为X . （1）求X 的分布列.（2）若甲药、乙药在试验开始时都赋予4分，)0,1,2,,8(i p i =⋅⋅⋅表示“甲药的累计得分为i 时，最终认为甲药比乙药更有效”的概率，则00p =，81p =，11()127i i i i p ap bp cp i ==++…－＋，，，，其中)1(a P X ==－，(0)b P X == (1)c PX ==. 假设0.5α=，0.8β=. ①证明：1)0{,1,2,,}7(i i p p i−=⋅⋅⋅＋为等比数列； ②求4p ，并根据4p 的值解释这种试验方案的合理性. 【解析】（1）X 的所有可能取值为－1，0，1.11()()P X αβ=−−=，()()()011P X αβαβ=+−−=，()1(1)P X αβ=−=， 所以X 的分布列为X －11P(1)αβ− )1((1)αβαβ+−− ()1αβ−（2）①证明 由（1）得0.4a =，0.5b =，0.1c =.因此110.40.50.1i i i i p p p p −+=++，故()()110.10.4i i i i p p p p −=−＋－，则()114i i i i p p p p −=−＋－.又因为1010p p p −≠=，所以1)0{,1,2,,}7(i i p p i−=⋅⋅⋅＋为公比为4，首项为1p 的等比数列. ② 由①得()()()88877610087761001413p p p p p p p p p p p p p p p p −=−+−+…+−+=−+−+…+−+=⋅. 由于81p =，故18341p =−， 所以()()()()444332*********3257p p p p p p p p p p p −=−+−+−+−+==. 4p 表示最终认为甲药更有效的概率.由计算结果可以看出，在甲药治愈率为0.5，乙药治愈率为0.8时，认为甲药更有效的概率为410.0039257p =≈，此时得出错误结论的概率非常小，说明这种试验方案合理.课本原题：人教A 版数学《选择性必修三》P913．甲、乙、丙三人相互做传球训练，第１次由甲将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人．求n 次传球后球在甲手中的概率． 【解析】记第n 次传球后球在甲手中的概率为n P ，则第1n −次传球后球在甲手中的概率为1n P −， 开始时球在甲手中，则01P =．若第n 次传球后球在甲手中，则第1n −次传球后球不在甲手中，即第1n −次传球后球在乙或丙手中， 所以第1n −次传球后球不在甲手中的概率为11n P −−，又乙或丙在第n 次把球传到甲手上的概率为12， 于是有()1112n n P P −−=，即1111323n n P P − −=−− ，1n ≥， 于是数列13n P−是首项为0213P −=，公比为12−得等比数列， 所以121332nn P −=×−，所以()*211323nn P n =×−+∈ N .1．（2024届·武汉高三开学考）有编号为1，2，3，...，18，19，20的20个箱子，第一个箱子有2个黄球1个绿球，其余箱子均为2个黄球2个绿球，现从第一个箱子中取出一个球放入第二个箱子，再从第二个箱子中取出一个球放入第三个箱子，以此类推，最后从第19个箱子取出一个球放入第20个箱子，记i p 为从第i 个箱子中取出黄球的概率. (1)求23,p p ； (2)求20p . 【答案】(1)2815P =，33875P =；(2)201911652P =+⋅【分析】（1）分第一次取出黄球和绿球两种情况，再由互斥事件概率加法公式计算可得答案； （2）由题意可得()132155+=+−i i i P P P ，可得答案. 【详解】（1）从第二个箱子取出黄球的概率223128353515P =⋅+⋅=， 从第三个箱子取出黄球的概率3838238115515575P =⋅+−⋅= ； （2）由题意可知，()1321215555i i i i P P P P +=+−=+， 即1111252i i P P + −=− ，又123P = 1111111111,,,26265652i i i i P P P −− −=∴−=⋅∴=+ ⋅ 201911652P ∴=+⋅.重点题型·归类精讲【答案】(1)1942，1311776n n P −=−−(2)第二次，证明见解析【分析】（1）根据全概率公式即可求解2P ，利用抽奖规则，结合全概率公式即可由等比数列的定义求解， （2）根据1311776n n P −=−−，即可对n 分奇偶性求解.【详解】（1）记该顾客第()*N i i ∈次摸球抽中奖品为事件A ，依题意，127P =， ()()()()()22121121212119||1737242P P A P A P A A P A P A A ==+=×+−×= ． 因为()11|3n n P A A −=，()11|2n n P A A −=，()n n P P A =，所以()()()()()1111||n n n n n n n P A P A P A A P A P A A −−−−=+，所以()111111113262n n n n P P P P −−−=+−=−+， 所以1313767n n P P − −=−−， 又因为127P =，则131077P −=−≠， 所以数列37n P−是首项为17−，公比为16−的等比数列，故1311776n n P −=−−．（2）证明：当n 为奇数时，1131976742n n P −<<⋅，当n 为偶数时，131776n n P −=+⋅，则n P 随着n 的增大而减小， 所以，21942n P P ≤=，综上，该顾客第二次摸球抽中奖品的概率最大.3．从甲､乙､丙等5人中随机地抽取三个人去做传球训练.训练规则是确定一人第一次将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人，每次必须将球传出. (1)记甲乙丙三人中被抽到的人数为随机变量X ，求X 的分布列；(2)若刚好抽到甲乙丙三个人相互做传球训练，且第1次由甲将球传出，记n 次传球后球在甲手中的概率为,1,2,3,n p n = ，①直接写出123p p p ，，的值；②求1n p +与n p 的关系式*()n N ∈，并求n p *()n N ∈. 【答案】(1)分布列见解析(2)①10p =，212p =，314p =；②111,1,2,322n n p p n +=−+=；11(1)132n n − −+ 【分析】（1）由离散型随机变量的分布列可解；（2）记n A 表示事件“经过n 次传球后，球在甲手中”，由全概率公式可求111,22n n p p +=−+再由数列知识，由递推公式求得通项公式.【详解】（1）X 可能取值为1,2,3，()1232353110C C p X C ===；()213235325C C p X C ===；()3032351310C C p X C === 所以随机变量X 的分布列为（2）若刚好抽到甲乙丙三个人相互做传球训练，且n 次传球后球在甲手中的概率为,1,2,3,n p n = ， 则有10,p =2221,22p ==3321,24p == 记n A 表示事件“经过n 次传球后，球在甲手中”，111n n n n n A A A A A +++=⋅+⋅所以()()()11111n n n n n n n n n p P A A A A P A A P A A +++++=⋅+⋅=⋅+⋅ ()()()()()()111110122n n nn n n n n n P A P A A P A P A A p p p ++=⋅+⋅=−⋅+⋅=−∣∣ 即111,1,2,322n n p p n +=−+=， 所以1111323n n p p + −=−− ，且11133p −=− 所以数列13n p− 表示以13−为首项，12−为公比的等比数列，所以1111332n n p −−=−×−所以1111111132332n n n p −−=−×−+=−−即n 次传球后球在甲手中的概率是11(1)132n n −−+.2023届惠州一模4．为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐. 已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复. （1）求该同学第二天中午选择米饭套餐的概率 （2）记该同学第n 天选择米饭套餐的概率为n P（Ⅰ）证明：25n P −为等比数列；（Ⅱ）证明：当2n ≥时，512n P ≤. 【解析】（1）设1A =“第1天选择米饭套餐”，2A =“第2天选择米饭套餐”，则1A =“第1天不选择米饭套餐”，于是，()123P A =，()113P A =，()2114|P A A =，()2111122|P A A =−=， 由全概率公式()()()()()21211212111134323||P A P A P A A P A P A A =+=×+×=；（2）（Ⅰ）设n A =“第n 天选择米饭套餐”，则()n n P P A =，()1n n P A P =−，()14|1n n P A A +=，()11|1122n n P A A +=−=， ()()()()()()111111111424|2|n n n n n n n n n n n P P A P A P A A P A P A P P P A ++++==+=+−=−+， 所以1212545n n P P + −=−− ，25n P − 是以124515P −=为首项，14−为公比的等比数列。
马尔科夫链考试例题整理
若 X (n) 表示质点在时刻n所处的位置，分析它的
概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
6
q p 0 0 0 ...
P1 q0
0 q
p 0
0 p
0 0
... ...
... ... ... ... ... ...
qp
0123 反 射 壁
7
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2, ..., N }
0
0
p2
prp
1
15
（3）
从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为
( p rp) 0 p(1 r)
16
例2 赌徒输光问题
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
2
一步转移概率矩阵的计算
引例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
马尔科夫链例题整理
0 0 0 1 2 1
首页
有两个吸收壁的随机游动
例2．带有反射壁的随机游动
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是： （1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
P(Yn 0) p0
首页
所以转移矩阵为
p0 p 0 P 0 1 0 L
首页
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
q c 1 ( ) p b 当 r 1 即 p q 时， 甲先输光的概率为
用同样的方法可以求得乙先输光的概率
q a q c ( ) ( ) p p
c
q a 当 p q 时，乙输光的概率为1 ( ) p a 当 p q 时，乙先输光的概率为 c
i j c 1
j 0 c 1
而
u j u j uc
c 1
j 0
1 rc j r d0 d0 1 r
(ui ui 1 )
c 1 i
di r d 0 j c i j i j r r j c j 1 d0 r (1 r L r )d0 1 r j c 两式相比 r r 首页 uj c 1 r
马尔科夫链例题
一步转移概率矩阵的计算
引 例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是：
（1）若移动前在2，3，4处，则均以概率 或向右 移动一单位；
1 2
向左
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是：
（1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）；
（2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
设 X n 表示在时刻n质点的位置，
则
{ X n ， n 0 }是一个齐次马氏链，写出其一步转
例2 赌徒输光问题
首页
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直
1
0
a 1
0
... 0
一步转移矩阵是
a
a
2
a2
0
0
... 0
P1 a
a
... ... ... ... ... ...
首页
0
...
0
0
...
0
a 1 a
0
1
a
0
1
0
练习题． 扔一颗色子，若前n次扔出的点数的最大值为j，
就说 Xn j, 试问 Xn j, 是否为马氏链？求一步转移概率矩
首页
q p 0 0 0 ...
P1
q 0
0 q
p 0
随机过程-9马尔科夫链的状态分类
1 2
P
0 1
1 0
0 1
2 0
1
2 0
1 0 1
P2
2 0
1
2 0
1 2
1
1
1 2
2
3
1 2
1
由1出发，经过一步首次回到1：无
由1出发，经过两步首次回到1：1→2→1
由1出发，经过三步首次回到1：无
由1出发，经过四步首次回到1：1→2→3→2→1
f (1) 0 11
f (2) 1
11
2
f (3) 0 11
f (4) 1
11
4
f (5) 0 11
f (6) 1
马尔科夫链状态的分类
1、周期性
• 例：从状态1出发，再回到状态1，可能的步数为 3,6,9，...，例如：1→3→6→1，或 1→4→6→2→5→6→1，等等。
• 步数的最大公约数，称为周期。周期为3.
4.2 马尔可夫链的状态分类
例4.6 设马尔可夫链的状态空间 I={1,2,,9}，转移概率如下图
• 定义4.3 状态i的周期d： d=G.C.D{n: p(n) >0}
ii
(最大公约数greatest common divisor) • 如果d>1，就称i为周期的， • 如果d=1，就称i为非周期的
4.2 马尔可夫链的状态分类
注(1)如果i有周期d，则对一切非零的n,
n0 mod d，有 p(n) 0
同理可得
4.2 马尔可夫链的状态分类
f (n) 13
( (
p1q2 p1q2
离散时间马氏链例题
离散时间马氏链例题离散时间马氏链（离散时间马尔科夫链）是一种随机过程，其中每个状态的未来转变仅依赖于其当前状态，而不依赖于过去的状态或转变。
以下是离散时间马氏链的一个简单例题：天气预报问题假设明天的天气仅与今天的天气有关，而与过去的天气无关。
如果今天下雨，那么明天下雨的概率为0.7；如果今天不下雨，那么明天下雨的概率为0.4。
我们要求出今天下雨并且四天后仍然下雨的概率（假设α=0.7，β=0.4）。
解：定义状态：我们可以定义两个状态，状态0表示不下雨，状态1表示下雨。
建立转移概率矩阵：根据题目描述，我们可以得到以下的转移概率矩阵P：P = [0.6 0.4; 0.3 0.7]其中，P(i, j)表示从状态i转移到状态j的概率。
3. 应用马氏链的性质：我们知道马氏链的性质是未来的状态只与当前状态有关，与过去的状态无关。
因此，我们可以使用转移概率矩阵来计算四天后仍然下雨的概率。
我们从今天下雨（状态1）开始，想要知道四天后仍然下雨的概率。
我们可以通过连续应用转移概率矩阵来计算这个概率：今天下雨并且四天后仍然下雨的概率= P(1, 1)^4但是这是错误的，因为我们不能直接取四次方。
正确的做法是，考虑所有可能的路径，即在这四天中，天气可能如何变化。
例如，它可能一直保持下雨，或者可能在中间某天下雨然后再次下雨等等。
我们需要考虑所有这些可能性。
但是，对于较大的n值，直接计算所有路径是不切实际的。
我们可以使用一种称为“稳态概率”的概念来简化计算。
稳态概率是指，当时间趋于无穷大时，马氏链处于某个特定状态的概率。
在这个例子中，我们可以计算出稳态概率，然后用它来估计四天后下雨的概率。
然而在这个特定的例子中，由于转移概率矩阵不是对称的，因此没有简单的公式可以直接计算出n步转移概率。
我们需要使用矩阵的n次幂来计算这个概率。
但是注意，我们不能简单地取P(1,1)的四次幂，因为那将假设每天都独立地下雨，而实际上每天的天气都依赖于前一天的天气。
连续时间马尔可夫链例题
连续时间马尔可夫链例题假设有一个连续时间马尔可夫链，描述一个人的健康状态。
该马尔可夫链包含三个状态：健康、生病和康复。
人的健康状态可以根据以下转移概率进行模拟：1. 在任何时间点，一个健康的人以0.1的速率生病。
2. 在任何时间点，一个生病的人以0.2的速率康复。
3. 在任何时间点，一个康复的人以0.05的速率重新生病。
现在假设一个人的初始状态是健康，我们可以使用连续时间马尔可夫链模型来模拟他的健康状态随时间的变化。
假设每个时间单位是一周，我们希望模拟他一年内的健康状态。
根据上面的转移概率，我们可以得到如下的转移矩阵：```| 健康 | 生病 | 康复 |----------------------------健康 | 0.9 | 0.1 | 0 |生病 | 0.05 | 0.75 | 0.2 |康复 | 0 | 0.05 | 0.95|```该矩阵中的每个元素表示从当前状态转移到下一个状态的概率。
例如，一个健康的人在一周后仍然健康的概率为0.9，在一周后生病的概率为0.1，在一周后康复的概率为0。
使用该转移矩阵，我们可以模拟一个人一年内的健康状态。
假设每个时间单位是一周，则一年共有52个时间单位。
我们可以使用随机数生成器来生成每个时间单位的状态。
假设生成的随机数在[0,1)之间，我们可以根据转移概率进行状态转移。
例如，如果生成的随机数小于0.9，则人在下一个时间单位仍然健康；如果生成的随机数介于0.9和0.95之间，则人在下一个时间单位康复；如果生成的随机数大于等于0.95，则人在下一个时间单位重新生病。
使用这种方法，我们可以模拟一个人一年的健康状态，并观察他在这段时间内的状态变化。
这可以帮助我们更好地了解和预测一个人的健康动向。
北大随机过程课件：第 2 章 第 5 讲 马尔可夫链应用分析举例
= ( c − j )d 0
c− j c c−a b ua = = c c uj =
同样道理，可以得到乙先输光的概率， 当 r ≠ 1 ， ua = 当 r＝ 1 ， ub =
1 − (q / p) a ， 1 − (q / p) c
a 。 c
该例题是有两个吸收壁的特例， 建立了边界条件、递推关系、首先概率表达式， 该例题着重研究对称和非对称的赌徒输光的问题。
构造：
( p + q )u j = pu j +1 + qu j −1 p (u j − u j +1 ) = q(u j −1 − u j ) (u j − u j +1 ) =
定义
q (u j −1 − u j ) p q =r， p
(u j − u j +1 ) = d j , (0 ≤ j < c),
建模：具有两个吸收壁，五个状态的随机游动
1．一局比赛的建模 问题：一局比赛共有多少个状态 很多，例如 15:0 就是一个状态，40:15 又是一个状态。还是回到我们分析比赛规则的目 的上来，我们是为了得到两名选手最终赢球与输球的概率，那么当一局比赛打到 30:40 的时 候， 如果选手 B 再取胜一球， 则 30:60， 选手 B 获胜， 而之前这局比赛到底是怎么打到 30:40 的并不是我们关心的问题，我们只关心一局比赛会打到 30:40 的概率（初始概率）以及之后 由状态 30:40 打到状态 30:60 的概率（转移概率） 。这是典型的马尔科夫链。 那么我们实际要做的事情就是如何确定比赛中对我们的分析有用的状态以及这些状态
例 2：网球比赛
网球比赛在选手 A 和 B 之间进行。网球的计分制是 15，30，40 和 60 分，如果选手 A 赢了 第一球，比分是 15:0，否则比分是 0:15。如果选手 A 接着赢了第二球，比分为 30:0，如果 A 接着赢了第三球，比分为 40:0，如果 A 再接着赢了第四球，则比分为 60:0，选手 A 赢得 该局比赛。当选手 A 赢了第一球而输了第二球，对手 B 得 15 分，从而比分为 15:15。平分 是指第六球后双方分数相同(例如 30:30，40:40，…)。在平分后，接下来的一球如果选手 A 得分/失分，则称此时的状态为 A 占先/B 占先。如果 A 在占先后再得分，则选手 A 赢得该 局。如果选手 B 在占先后再得分，则选手 B 赢得该局。 一旦第一局比赛结束，选手进入第二局比赛，直到一方赢得至少 6 局且至少领先对手两局， 这样该方获得一盘比赛的胜利。因而，一盘结束时的比分为下列情形之一：6:0，6:1，6:2， 6:3，6:4，7:5，8:6，…或是它们的逆序等等(实际规则中采用了决胜局的办法避免一盘比赛 的时间过长，此处不详细讨论)。一盘结束后，进行另一盘，直到一方赢得三盘中的两盘（或 五盘中的三盘） ，从而赢得整场比赛。 试对网球比赛中一局比赛的规则进行分析讨论。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
首页
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
q c 1 ( ) p b 当 r 1 即 p q 时， 甲先输光的概率为
用同样的方法可以求得乙先输光的概率
q a q c ( ) ( ) p p
c
q a 当 p q 时，乙输光的概率为1 ( ) p a 当 p q 时，乙先输光的概率为 c
E {..., 2, 1,0,1,2,...}
... ... P1 ... ...
首页
... 0 0 ...
... p 0 ...
... r p ...
... q r ...
... 0 q ...
... 0 0 ...
... ... ... ...
5．设袋中有a个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有k个白球，则称系统处于状态k， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
故
r r ua c 1 r
a
c
q a q c ( ) ( ) p p
当
q c 1 ( ) p
r 1
u0 uc 1 cd0
c j uj c
而 因此 故
u j (c j )d0
ca b ua c c
根据全概率公式有
u j u j 1 p u j 1q
这一方程实质上是一差分方程，它的边界条件是
u0 1, uc 0
首页
欲求
于是
ua
uj （p + q）u j pu j 1 qu j 1
先求
q u j u j 1 ( )(u j 1 u j ) p
设
q r p
X n 1 Yn , X n1 Yn , 若 Xn 1
p
k
k
1
记 X n 为服务周期 n 开始时服务台前顾客数 则有 在第n周期已有一个
若 Xn 0
顾客在服务，到第n+1 周期已服务完毕
此时{ X n ，n 1 }为一马氏链， 求其转移矩阵
解
先求出转移概率
p00 P( X1 0 | X 0 0) P(Y0 0) p0
1 6 1 6 1 6 4 6 0 0
1 6 1 6 1 6 1 6 5 6 1
1 6 1 6 1 6 1 6 1 6 0
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率 是p，乙胜的概率是q，和局的概率是 r ， （ p q r 1 ）。设每局比赛后，胜者记“+1” 分，负者记“—1”分，和局不记分。当两人中有 一人获得2分结束比赛。以 X n 表示比赛至第n 局时甲获得的分数。 （1）写出状态空间； （2）求 P(2) ； （3）问在甲获得1分的情况下，再赛二局可 以结束比赛的概率是多少？
0 q 0 P 1 ... 0 p p 0 q 0 p 0 0 ... 0 0 ... 0 p ... 0 q 0 0 q q 0 0 ... p 0
... ... ... ... ... 0 ... 0 0 ... 0
首页
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到 i+1，以概率r停留在i，且 r p q 1 ，试 求转移概率矩阵。
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
状态空间I={1，2，3，4，5}， 参数集T={1，2，3，………}，
1 其一步转 1 移矩阵为 2 P 0 1 0 0
0 0 1 2 0 0
0 1 2 0 1 2 0
0 0 1 2 0 0
i j c 1
j 0 c 1
而
u j u j uc
c 1
j 0
1 rc j r d0 d0 1 r
(ui ui 1 )
c 1 i
di r d 0 j c i j i j r r j c j 1 d0 r (1 r L r )d0 1 r j c 两式相比 r r 首页 uj c 1 r
设 X n 表示在时刻n质点的位置， 则 { X n ， n 0 }是一个齐次马氏链，写出其一步转 移概率。 首页
q
p
q
p
0 左反射壁 1 2 m-1 m 右反射壁
q q 0 P1 ... 0 0
p 0 0 0 ... 0 0 0 0 p 0 0 ... 0 0 0 q 0 p 0 ... 0 0 0 ... ... ... ... ... ... ... ... 0 0 0 0 ... q 0 p 0 0 0 0 ... 0 q p
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
首页
（3）
在P
(2)
中 p (2) 45 是在甲得 1 分的情况下经二步转移至得 2 分
从而结束比赛的概率；
p (2) 41 是在甲得 1 分的情况下经二步转移至—2 分（即乙得 2 分）
从而结束比赛的概率。 所以题中所求概率为
p (2) 45 + p (2) 41 ( p rp) 0 p(1 r )
首页
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1 2，3，4，5} ，
一步转移概率矩阵
1 q P 0 0 0
0 r q 0 0
0 p r q 0
0 0 p r 0
q c 1 ( ) p
首页
例3 排队问题 顾客到服务台排队等候服务，在每一个服务周期中只 要服务台前有顾客在等待，就要对排在前面的一位提 供服务，若服务台前无顾客时就不能实施服务。
设在第 n 个服务周期中到达的顾客数为一随机变量 Yn
且诸Yn 独立同分布：
P Yn k ) pk ， k 0,1, 2, L ， （
首页
一步转移概率矩阵的计算
引 例
例1 直线上带吸收壁的随机游动（醉汉游动） 设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
解 设0 j c
设u j 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
考虑质点从j出发移动一步后的情况
在以概率 p 移到 j 1 的假设下，
u 到达 0 状态先于到达 c 状态的概率为 j 1
同理 以概率 q 移到 j 1 的前提下，
u 到达 0 状态先于到达 c 状态的概率为 j 1
练习题． 扔一颗色子，若前n次扔出的点数的最大值为j， 就说 X n j, 试问 X n j, 是否为马氏链？求一步转移概率矩 阵。
I={1，2， 1 6 6 3 0 0 P 6 0 0 0 0 ... 0 0 ... 0
解 这是一个齐次马氏链，其状态空间为 0 0 I={0，1，2，…，a} 0 1 1 a 1 0 0 a a 一步转移矩阵是 2 a2 0 0 P a a 1 ... ... ... ... a 1 0 ... 0 a 首页 0 ... 0 0
... 0 ... 0 ... 0 ... ... 1 0 a 1 0
p20 P( X n1 0 | X n 2) P( X n 1 Yn 0 | X n 2) P(Yn 1) 0 p21 P( X n1 1 | X n 2) P( X n 1 Yn 1 | X n 2)
p11 P( X n1 1 | X n 1) P( X n 1 Yn 1 | X n 1) P(Yn 1) p1
首页
q q P1 0 ...
p 0 q ...
0 p 0 ...
0 0 p ...
0 0 0 ...
... ... ... ...
q 0 反 射 壁
p 1 2 3
首页
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率 q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2,..., N }
P(Yn 0) p0
首页
所以转移矩阵为
p0 p 0 P 0 1 0 L
0 0 0 p 1
首页
（2）二步转移概率矩阵
P
(2)
P
2
1 q rp q2 0 0
0 r 2 pq 2rq q 0
2
0 2 pr r 2 2 pq 2qr 0
0 p2 2 pr r pq 0
2
0 0 p2 p rp 1
若 X (n) 表示质点在时刻n所处的位置，分析它的 概率特性。
例2 直线上的随机游动时的位置X(t),是 无后效性的随机过程.