运筹学 第九章 马尔科夫分析
马尔可夫分析法
马尔可夫分析法马尔可夫分析法是俄国数学家马尔可夫在1907年提出, 并由蒙特·卡罗加以发展而建立起的一种分析方法。
它主要用于分析随机事件未来发展变化的趋势, 即利用某一变量的现在状态和动向去预测该变量未来的状态及动向, 以便采取相应的对策。
1马尔可夫过程及马尔可夫链 [3]定义1设随机序列{X(n) ,n=0, 1, 2, …}的离散状态空间为E, 若对于任意m个非负整数n1,n2, …,nm(0≤n1<n2<…<nm) 和任意自然数k, 以及任意i1,i2, …,im,j∈E满足 [3]P{X(nm+k) =j|X(n1) =i1,X(n2) =i2, …,X(nm)=im}=P{X(nm+k) =j|X(nm) =im} (1) [3]则称X(n) ,n=0, 1, 2, …}为马尔可夫链。
[3]在式(1) 中, 如果nm表示现在时刻,n1,n2, …,nm-1表示过去时刻,nm+k表示将来时刻, 那么此式表明过程在将来nm+k时刻处于状态j仅依赖于现在nm时刻的状态im, 而与过去m-1个时刻n1,n2, …,nm-1所处的状态无关, 该特性称为马尔可夫性或无后效性。
式(1) 给出了无后效性的表达式。
[3]2齐次马尔可夫链和k步转移概率 [3]P{X(nm+k) =j|X(nm) =im},k≥1称之为马尔可夫链在n时刻的k 步转移概率, 记为Pij(n,n+k) 。
转移概率表示已知n时刻处于状态i, 经k个单位时间后处于状态j的概率。
若转移概率Pij(n,n+k) 是不依赖于n的马尔科夫链, 则称为齐次马尔可夫链。
这种状态只与转移出发状态i、转移步数k及转移到达状态j有关, 而与n无关。
此时,k 步转移概率可记为Pij(k) , 即 [3]Pij(k) =Pij(n,n+k) =P{X(n+k) =j|X(n) =i},k>0 (2) [3]式中,0≤Ρij(k)≤1,∑j∈EΡij(k)=10≤Ρij(k)≤1,∑j∈EΡij(k)=1。
运筹学基础（马尔可夫）（PDF）
P(m+L) = P(m)P(L)
若pi(m)为系统经过m步转移后处于状态i的概率，则：
=
(0) () =
=1
() ( − )
(m ≥ L)
=1
记u(0) = (p1(0), p2(0), …, pn(0))为系统的初始状态向量，则上
概率为1/2。试写出马尔可夫链的一步转移矩阵。又
已知周一他的状态好，问周三状态好、周五状态不好
的概率各为多少。
例题
已知北京市面上销售三种洗衣粉，碧浪A，立白L和奥妙
O。市场调查表明，购买碧浪的顾客下个月仍有60%的
概率继续购买A（pAA=0.6），但有20%的顾客转而购买
立白L（pAL=0.2），还有20%的顾客转而购买奥妙O（
转而购买立白L（pAL=0.2），还有20%的顾客转而购
买奥妙O（pAO=0.2）。类似地，还有pLA=0.1，
pLL=0.7，pLO=0.2，pOA=0.1，pOL=0.1，pOO=0.8。已
知，上个月北京市场共销售100万kg洗衣粉，其中A
、L、O各为30万kg，40万kg和30万kg。假设各月市
场总消费量不变，试预测稳定状态下“最终市场占有
率”。
例题
碧浪很受刺激，决定采取竞争手段。经过研究，碧浪
认为采取加强广告宣传和促销的手段，可以改变转移
概率，增加一部分原本购买立白和奥妙的客户，转而
购买碧浪。假设改变后，新的转移矩阵为：
0.6 0.2 0.2
P = = 0.2 0.6 0.2
题（有限状态稳定的马尔可夫过程问题）的数学模型：
11 12 … 1
… 2
马尔可夫决策ppt课件
V(s)→V*(s)
ii)异步迭代法 对于每一个状态s,得到新的 v(s)后，不存储，直接更新。
13
知道了V*(s)后，再用（3）求出相应的最优策略
γ=0.99
3 0.86 0.90 0.93
+1
2 0.82
0.69
-1
1 0.78 0.75 0.71 0.71
12
3
4
14
• 策略迭代法（π→π*）
• 在增强学习里有一个重要的概念是Q学习，本质是将与状 态s有关的V(s)转换为与a有关的Q。
• 里面提到的Bellman等式，在《算法导论》中有BellmanFord动态规划算法，有值得探讨的收敛性的证明。
19
Thank you!
20
5
MDP是如何工作的
时间0，从状态S0出发. . .
取出你在哪个地方at state S0
选择一个动作A0决定action a0
循环
得到一个新状态 S1~PS0a0
a0
a1
S0
S1
a2 S2
S3 . . . . . .
RR((SS00)) ++ γRR(S(S1)1) ++ γ2R(S2) ++ γ3R(S33) ...... ...... γ∈[0,1) 目标：E[R(S0) + γR(S1) + γ2R(S2) + γ3R(S3)+. . .]
7
递推
Vπ（s）= E[R(S0)+γR(S1)+γ2R(S2)+γ3R(S3)+. . . ] = R(S0)+γ（E[R(S1)+γ2R(S2)+γ3R(S3)+. . .] ）
运筹学基础课后习题答案
运筹学基础课后习题答案[2002年版新教材]第一章导论 P51.、区别决策中的定性分析和定量分析，试举例。
定性——经验或单凭个人的判断就可解决时，定性方法定量——对需要解决的问题没有经验时；或者是如此重要而复杂，以致需要全面分析（如果涉及到大量的金钱或复杂的变量组）时，或者发生的问题可能是重复的和简单的，用计量过程可以节约企业的领导时间时，对这类情况就要使用这种方法。
举例：免了吧。
2、. 构成运筹学的科学方法论的六个步骤是哪些？.观察待决策问题所处的环境；.分析和定义待决策的问题；.拟定模型；.选择输入资料；.提出解并验证它的合理性（注意敏感度试验）；.实施最优解；3、．运筹学定义：利用计划方法和有关许多学科的要求，把复杂功能关系表示成数学模型，其目的是通过定量分析为决策和揭露新问题提供数量根据第二章作业预测P251、. 为了对商品的价格作出较正确的预测，为什么必须做到定量与定性预测的结合？即使在定量预测法诸如加权移动平均数法、指数平滑预测法中，关于权数以及平滑系数的确定，是否也带有定性的成分？答：（1）定量预测常常为决策提供了坚实的基础，使决策者能够做到心中有数。
但单靠定量预测有时会导致偏差，因为市场千变万化，影响价格的因素很多，有些因素难以预料。
调查研究也会有相对局限性，原始数据不一定充分，所用的模型也往往过于简化，所以还需要定性预测，在缺少数据或社会经济环境发生剧烈变化时，就只能用定性预测了。
（2）加权移动平均数法中权数的确定有定性的成分；指数平滑预测中的平滑系数的确定有定性的成分。
2.、某地区积累了5 个年度的大米销售量的实际值（见下表），试用指数平滑法，取平滑系数α= 0.9，预测第6年度的大米销售量（第一个年度的预测值，根据专家估计为4181.9千公斤）年度 1 2 3 4 5大米销售量实际值（千公斤）5202 5079 3937 4453 3979 。
答：F6=a*x5+a(1-a)*x4+a(1-a)~2*x3+a(1-a)~3*x2+a(1-a)~4*F1F6=0.9*3979+0.9*0.1*4453+0.9*0.01*3937+0.9*0.001*5079+0.9*0.0001*4181.9F6=3581.1+400.77+35.433+4.5711+0.3764F6=4022.33 、某地区积累了11个年度纺织品销售额与职工工资总额的数据，列入下列表中（表略），计算：（1）回归参数a,b（2）写出一元线性回归方程。
马尔可夫分析
1、 已知马氏链X 的状态空间I={0,1,2,3}及一步转移概率矩阵为1100221000120033110022⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦求其平稳分布 解：由=ππP 及31i i π==∑得001310222333011221123213201i i ππππππππππππ=⎧=++⎪⎪⎪=+⎪⎪⎪=+⎨⎪=⎪⎪⎪=⎪⎪⎩∑ 求解得012321,,0.33ππππ====2、 已知6月底，甲乙丙3种型号的某商品在某地区有相同的销售额。
7月份甲保持原有客户的60%，分别获得乙丙的客户15%和30%；乙保持原有顾客的70%，分别获得甲丙顾客的10%和20%；丙保持原有顾客的50%，分别获得甲乙顾客的30%和15%。
求8月份初各型号商品的占有率及稳定状态时的占有率。
解：由于6月份甲乙丙有相同的销售额，故在市场的占有率为（1/3，1/3，1/3）；7月份的转移概率矩阵为0.60.10.30.150.70.150.30.20.5⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦故8月初各商品的占有率为0.60.10.3111(,,)=0.150.70.15(0.350,0.333,0.317)3330.30.20.5p p p ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦甲乙丙（，，）由=ππP 及31i i π==∑得1123212331231230.60.150.30.10.70.20.30.150.51πππππππππππππππ=++⎧⎪=++⎪⎨=++⎪⎪++=⎩ 解得 1230.359,0.327,0.314.πππ===3. 110.10.050.850.050.050.90.030.050.920.950.010.04R ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦4110.66860.18580.00.00040.01150.13370.89670.092000.00050.01080.95800.0417000.000.00030.98960.01040.0R ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦一年级学生四年内退学概率为0.1858 4.（1）初始概率矩阵稳态概率为（0.2778，0.3889，0.3333） （2）广告后的稳态概率（0.3333，0.3333，0.3333），（0.4375，0.25，0.3125） 5.0.40.30.30.30.50.20.20.30.5R ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦平稳概率（0.2969，0.375，0.3281）6. 已知随机游动的质点构成一个马氏链，其状态空间为I={1，2，3，4，5}，而一步转移概率矩阵为11116231116231116231P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦试求质点从状态2出发，分别被吸收于状态1、状态5的概率。
马尔可夫分析
0
P
1
2
1 1 2
,P
2
1 2 1 4
1
2
3 4
正规概 率矩阵
1 0
1 0
1 0
Q
1
2
1
,
Q
2
3
2
4
1 4
，
，Qm
2m 1 2m
1 2m
非正规概 率矩阵
概率矩阵具有一下性质：
若A是一个正规概率矩阵，则有
① 一定存在一个概率向量X，使得AT X X 成立，
且X的各分量皆为正数；
pCA 25 / 300 0.083, pAA 160 / 200 0.800 pAB 20 / 200 0.100, pBB 450 / 500 0.900 pCB 20 / 300 0.067, pAC 20 / 200 0.100 pBC 15 / 500 0.030, pCC 255 / 300 0.850
i1、i2、 in-1、i、j及一切n 0，有 p( X n1 j | X n i, X k ik , k 1, 2, p( X n1 j | X n i) pij (n),
则称{X n}是一个马尔可夫链。
n -1)
例如，有一位顾客每天向一家商店买一包香烟。他购买香烟 并不固定于一种牌号，商店中A、B、C、D、E五种牌号的香 烟他都有可能购买。设X m表示他在第m天购买的香烟牌号。 若这个人只记得昨天抽烟的味道，以前的都记不得了，那么 X m取什么值，只与X m1取什么值有关，则{X m}构成一个马尔 可夫链。
例3 ：（天气预报问题）
如果明日是否有雨仅与今日天气（是否有雨）有关，而 与过去的天气无关，并设今日下雨，则明日下雨的概率
第9章马尔可夫分析
9.3 马尔科夫分析在管理工作中的应用 Page 12
参考上面解题方法，对照教材例题，熟练掌握即可。其中 P172页例1和P173页例2为重点。
本章总结
Page 13
本章内容选择、填空和名词解释都会涉及（马尔科夫基本概 念、概率向量和概率矩阵特殊注意）；计算题考察主要有两 个知识点：1、预测下一周期或下二周期的市场份额；2、计 算最终的市场份额，本章9.3中例题特殊注意，考原题考过 若干次。
当
n
，必有：Pn
Hale Waihona Puke z1...z2 ...
... ...
zn
称作平衡（固定）概率矩阵
...
z1
z2
...
zn
9.2 马尔科夫分析问题的要求
Page 5
1、马尔科夫问题的阶：一阶马尔科夫过程在确定事件周期 的选择概率时，只考虑前一周期的选择情况，二阶马尔科夫 过程在确定事件周期的选择概率时，考虑前两 周期的选择 情况。 2、转移概率：某个销售者保持、获得或失去消费者的概率。 3、转移概率矩阵：把转移概率排列成矩阵。 4、未来市场份额的确定★ 设第一周期的市场份额为T1,转移概率矩阵为P, 则第二周期的市场份额为T2=T1*P,以此类推可以得出任意 周期的市场份额。
C.迭代过程
D.渐趋过程
Page 16
5、（09年7月）下列矩阵属于概率矩阵的是（ B ）
6、（09年4月）任意一个方阵，如果其各行都是概率向 量，则该方阵称之为( D )
Page 10
【答案】由已知的该问题的转移概率矩阵为：
0.75 0.10 0.15
0.20 0.05
0.60 0.05
0.20 0.90
设最终这三种品牌服装的市场占有率分别为X1,X2,X3
马尔可夫决策过程中的策略迭代收敛性分析(Ⅰ)
马尔可夫决策过程（MDP）是一种用于描述随机决策问题的数学框架。
在MDP 中，代理在与环境交互的过程中，根据当前状态采取行动，并且通过环境的反馈来获得奖励。
马尔可夫决策过程的目标是找到一个最优策略，使得在给定环境下，代理能够获得最大的长期奖励。
在MDP中，策略迭代是一种常用的求解方法。
策略迭代的基本思想是通过反复迭代来改进代理的策略，直至找到最优策略。
在每一次迭代中，代理根据当前策略执行动作，然后根据环境的反馈来更新策略。
策略迭代通常包括策略评估和策略改进两个步骤。
在策略评估阶段，代理通过与环境交互来估计当前策略的价值函数。
价值函数表示了在当前策略下，处于每个状态时所能获得的长期奖励。
在策略评估过程中，代理会不断更新状态的价值函数，直至收敛到真实的价值函数。
通过价值函数的估计，代理可以得到当前策略下的收益情况，从而为策略改进提供依据。
在策略改进阶段，代理根据价值函数来改进当前的策略。
具体来说，代理会尝试选择能够使得长期奖励最大化的动作，并更新策略。
通过不断的策略改进，代理可以逐渐接近最优策略。
策略迭代算法会在策略评估和策略改进之间交替进行，直至找到最优策略。
策略迭代算法的一个重要问题是其收敛性。
收敛性指的是算法在经过有限次迭代后，能够找到最优策略。
对于策略迭代算法而言，收敛性是一个至关重要的性质。
如果策略迭代算法不具有收敛性，那么代理可能无法找到最优策略，甚至无法停止迭代。
对于策略迭代算法的收敛性，有一些理论结果可以提供保证。
首先，我们可以证明策略迭代算法至少可以收敛到一个局部最优策略。
这是因为在每一次策略改进中，代理都会选择能够使长期奖励最大化的动作，从而朝着最优策略的方向前进。
另外，如果MDP是有限状态和动作空间的，那么策略迭代算法是可以收敛到最优策略的。
然而，对于大规模的MDP问题，策略迭代算法的收敛性并不是那么容易得到保证。
这是因为在大规模问题中，价值函数的估计和策略的改进都需要大量的计算资源。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第九章 马尔科夫分析
1. 试述马尔柯夫分析的数学原理。
（1）概率矩阵的乘积仍是概率矩阵；（2）概率矩阵P ，当n →∞时，n P 中的每一个行向量都相等。
2. 试述一阶马尔柯夫确定可能的未来市场分享率的过程总结。
（1）了解用户需求、品牌/牌号转换商情；（2）建立转移概率矩阵；（3）计算未来可能市场分享率（市场份额）；（4）确定平衡条件。
3.设三家公司同时向市场投放一种轮胎，当时三家公司所占的市场份额相等，但在第二年中，市场份额发生如下变化：
甲公司保持顾客的80%，丧失5%给乙，丧失15%给丙；
乙公司保持顾客的90%，丧失10%给甲，没有丧失给丙； 丙公司保持顾客的60%，丧失20%给乙，丧失20%给乙；
假设顾客的购买倾向跟第一年相同，试问第三年底三家公司各占多少市场份额。
转移概率矩阵为0.80.050.150.10.900.20.20.6⎡⎤
⎢⎥⎢⎥⎢⎥⎣⎦
，
由()()
20.80.050.150.330.330.330.10.900.380.410.20.20.20.6⎡⎤
⎢⎥=⎢⎥⎢⎥⎣⎦得第三年底三家公
司各占的市场份额为0.38，0.41，0.2。
实践能力考核选例
在本年企业A,B,C三个牛奶厂分别占本地市场份额的40%，40%和20%。
根据市场调研，A店保留其顾客的90%而增的B的5%，增的C的10%。
B店保留其顾客的85%而增的A的5%，增的C的%7。
C 店保留其顾客的83%而增的A的5%，增的B的10%。
预测未来占有的市场份额。
解：
由题意得
A B C
0.9 0.05 0.05
（0.4,0.4,0.2）[0.05 0.85 0.1 ] = （0.4,0.374，0.226）
0.1 0.07 0.83
0.4*0.9+0.4*0.05+0.2*0.1=0.4
0.4*0.05+0.4*0.85+0.2*0.07=0.374
0.4*0.05+0.4*0.1+0.2*083=0.226
因此市场变动情况即下一年的市场所占份额A,B,C各为0.4，
0.374,0.226。
由题意得
设未来市场占有率A,B,C分别为Z1，Z2，Z3。
0.9Z1+0.05Z2+0.1Z3=Z1
0.05Z1+0.85Z2+0.07Z3=Z2
0.05Z1+0.1Z2+0.83Z3=Z3
Z1+Z2+Z3=1
解方程组得
Z1=0.43
Z2=0.28
Z3=0.29
所以利用一价马尔科夫求得A,B,C未来的市场分享率各为43%，28%，29%。