序贯决策解析
王则柯博弈论4序贯决策博弈
• 试验表明，在分别判断的情况下（也就是人们不能把这两杯冰 淇淋放在一起比较），人们反而愿意为冰淇淋A多付钱。结果 显示，人们愿意花2.26美元买冰淇淋A，却只愿意用1.66美元 买冰淇淋B。 • 说明：人们在作决策的时候，不是象传统经济学那样判断一个 物品的真正价值，而是根据一些比较容易评价的线索来判断。 • 引申：在送礼物的时候，礼物在它所属的类别里面是不是昂贵 很重要。
n人序贯博弈的博弈树的主要特征
• 对于表达有n个局中人P1，P2，…，Pn参与 的一个序贯博弈的博弈树：
1. 在树的每一个非末端节点上，都只有一个局中人 进行决策； 2. 在树的每一个末端节点上，都指派了一个n维的 “支付”向量p(v)＝(p1(v)，p2(v)，…，p3(v))，这 里v是这个末端节点的相应的策略表达．而1， 2，…n是博弈参与人首次决策的自然顺序。
• 博弈树必须说明在每一个决策节点上相应的局中人能够 采取的所有可能的选择。 • 一些博弈树可能包含“不做任何决策”的决策节点。每一个 决策节点都有至少一条棱从它那里出发往后延伸，但是 没有最大延伸数量的限制。 • 对于不是根的每个节点，只能有来自别的节点的唯一的 棱指向它这个节点。
• 博弈树并不要求每个局中人必须在至少一个非末 端节点上进行决策。即，可能会出现某些局中人 并不在任何一个非末端节点上进行决策的情形。
• 策略组合
• 策略组合星号简示法 : ( U ,{ U’ , * } )2 • 策略组合的节点表示法: ( { U / D }, { U’ / D’ , U’’ / D’’ })8
4-4 倒推法（逆向推导法）
• 在序贯博弈中，由于均衡与结果是两个不同的概 念，所以求解纳什均衡的虚线排除确定法，并不适 用于求解序贯博弈的结果。一般使用倒推法（逆向 推导法）求序贯博弈的结果。
目标规划的序贯式算法
目标规划的序贯式算法序贯式算法的目标规划（SequentialDecisionMaking）是一种智能选择方法，其基本思想是：根据一系列未完成的目标，通过规定的算法，结合当前的信息和状态，来改变未来的局势，从而实现目标的较好达成。
这种方法在自然语言处理、机器学习、社会机器人等领域中被广泛应用。
在目标规划的序贯式算法中，首先求解未完成的目标，然后对这些目标进行序贯决策，以便于在每一步骤中采取最佳的行动，从而最优的实现所需的目标。
它的最大优点是可以适应各种复杂的环境，可以跟踪系统变化，从而提高目标的实现效果。
序贯式算法的目标规划一般分为三步：（1）情况分析；（2）行动规划；和（3）行动执行。
首先，必须进行情况分析，即捕获当前状态，以便于根据当前状态分析与未完成目标相关的未解决问题，以及可能出现的挑战。
其次，必须进行行动规划，即制定一系列有效的行动方案，以最终达到目标。
最后，必须进行行动执行，即根据行动规划，对行动执行进行监督，以及对状态变化和行动进行修正。
序贯式算法的目标规划虽然具有广泛的应用，但也存在一些困难，例如环境的复杂性、目标的不确定性以及行动的决策等等。
因此，在目标规划中需要考虑这些因素，以提高序贯式算法的有效性和准确性。
首先，要针对不确定性环境进行客观评估，即采取有效的预测、解析和预防技术，以减少不确定性带来的影响。
其次，应综合考虑目标和约束，采取全面考虑、量化分析和系统控制分析等方式，以确定最佳的决策，并采取行动。
最后，应综合考虑行动的各个方面，进行全面的总结分析，采取行动原则，从而更好的实现我们的目标。
总之，序贯式算法的目标规划是一种有效的智能选择方法，它可以有效的结合当前的信息和状态，根据未完成的目标和行动原则来进行分析预测，并最终实现目标的达成，从而为其他领域的研究提供有力的支持。
序贯决策 扩散模型
序贯决策扩散模型序贯决策扩散模型是一种用于分析和预测信息传播过程的模型。
它基于人们在接收到信息后做出的决策行为，并通过模拟这一过程来研究信息传播的规律和特点。
在序贯决策扩散模型中，假设信息的传播是一个连续的过程，每个个体在接收到信息后都需要做出决策，决定是否将信息传播给其他人。
这个决策过程是一个序贯的过程，每个个体会根据自己的判断和目标，选择是否传播信息。
我们需要确定信息传播的初始状态。
在现实生活中，信息传播可以从一个人或一组人开始，也可以通过媒体等渠道传播。
在模型中，我们可以假设初始状态为少数人已经接收到信息，并做出了传播的决策。
接下来，我们需要确定每个个体的决策规则。
这个规则可以是基于个体的认知能力、兴趣爱好、社交网络等因素。
个体可能会根据自己的判断和目标，选择将信息传播给自己的朋友、家人或同事。
这个决策过程可以基于个体对信息的看法、信息来源的可信度、传播成本等因素。
在模型中，我们可以通过设定参数来描述个体的决策规则。
例如，我们可以设定一个阈值，当个体认为信息的传播效果超过这个阈值时，才选择将信息传播出去。
我们还可以设定一个传播概率，表示个体传播信息的可能性。
这些参数可以根据实际情况进行调整，以更好地模拟信息传播的过程。
随着时间的推移，信息会逐渐传播到更多的人群中。
每个个体在接收到信息后都会根据自己的决策规则，选择是否将信息传播给其他人。
当所有个体都做出了决策后，下一个时间步骤开始，新的信息传播过程开始。
通过模拟多次信息传播过程，我们可以观察到信息传播的规律和特点。
例如，我们可以研究信息传播的速度、范围和影响力等指标。
我们还可以通过改变个体的决策规则和参数设置，探索不同情况下的信息传播效果。
序贯决策扩散模型在实际应用中具有广泛的意义。
例如，在疫情防控中，我们可以通过这个模型来研究病毒传播的规律，评估各种防控措施的效果。
在营销推广中，我们可以利用这个模型来研究产品信息的传播过程，优化营销策略。
决策理论与方法多属性决策多目标及序贯决策
决策理论与方法多属性决策多目标及序贯决策多属性决策是指在决策过程中考虑多个属性或指标，通过对这些属性进行量化和比较，找出最优选择的决策方法。
在实际决策中，我们常常需要考虑多个属性因素，而这些因素往往是相互矛盾甚至相互制约的。
多属性决策的关键是建立合理的评价指标体系，将不同属性进行量化，再通过合适的决策模型或方法进行计算和比较。
常用的多属性决策模型包括加权法、层次分析法和灰色关联法等。
多目标决策是指在决策过程中存在多个决策目标，且这些目标往往是相互冲突或无法同时达到的。
多目标决策的目标是找到一个最佳的折衷方案，使得各个决策目标能够得到尽可能满足。
多目标决策的关键是建立合理的决策模型，将各个决策目标进行量化和比较，再通过适当的优化方法或规划方法寻找最优解。
常用的多目标决策方法包括线性规划、整数规划、动态规划和遗传算法等。
序贯决策是指在决策过程中需要根据不完全的信息和不确定的环境进行连续的决策，即通过一系列的决策步骤逐渐完善和调整决策方案。
序贯决策的关键是建立适当的决策模型，将决策过程分解为多个连续的阶段，每个阶段根据已有的信息和条件做出决策，并根据反馈信息不断调整和优化决策方案。
常用的序贯决策方法包括马尔可夫决策过程、博弈论和贝叶斯决策等。
在实际应用中，多属性决策、多目标决策和序贯决策往往会相互结合使用。
例如，在制定企业的发展战略时，需要考虑多个因素，如市场需求、竞争环境和资源能力等，这涉及到多属性决策的内容。
同时，为了实现企业的长远目标，需要考虑多个决策目标，如利润最大化、成本最小化和风险最小化等，这也涉及到多目标决策的内容。
而在制定战略的实施方案时，可能需要根据不断变化的市场和竞争环境进行序贯的决策，这涉及到序贯决策的内容。
综上所述，多属性决策、多目标决策和序贯决策是决策理论与方法中常用的三个重要方法。
它们分别从不同的角度和需求出发，帮助人们在复杂和不确定的决策环境中做出最佳决策。
这些方法在实际应用中相互结合，能够提供更全面和准确的决策支持。
第四章序贯决策博弈(博弈论教程-石家庄经济学院,于振英)
2020年9月24日
博弈论第四章
26
第二讲子博弈精炼纳什均衡
第三节 子博弈精炼纳什均衡
➢一、子博弈：针对树型（展开型）博弈 ➢（一）定义 ➢给定n人展开型博弈T（tree），如果博弈S
（sub）满足以下三个条件： ➢1.S博弈树是T博弈树的一枝 ➢2.S不能分割T的信息集
2020年9月24日
博弈论第四章
44
第二讲子博弈精炼纳什均衡
第四节 延伸分析
➢三、子博弈精炼纳什均衡存在的问题
2020年9月24日
第四章序贯决策博弈
9
第一讲方法与解
第二节 分析方法与解
➢一、方法一：虚线排除确定法 ➢（三）策略组合 ➢（进入，｛容忍，容忍｝） ➢（进入，｛容忍，阻挠｝） ➢（进入，｛阻挠，容忍｝） ➢（进入，｛阻挠，阻挠｝）
2020年9月24日
第四章序贯决策博弈
10
第一讲方法与解
第二节 分析方法与解
第四章序贯决策博弈
15
第一讲方法与解
第二节 分析方法与解
➢一、方法一：虚线排除确定法 ➢（五）案例分析 ➢4. （进入，｛阻挠，阻挠｝） ➢入侵者：进入→不进入，-2→0，存在
单独改变激励 ➢非纳什均衡
2020年9月24日
第四章序贯决策博弈
16
第一讲方法与解
第二节 分析方法与解
➢一、方法一：虚线排除确定法 ➢（五）案例分析 ➢5. （不进入，｛容忍，容忍｝） ➢进入者：不进入→进入，0→1，存在
➢三、纳什均衡的存在性：库恩定理 ➢完全信息的有限序贯博弈都存在纳 什均衡
2020年9月24日
博弈论第四章
38
序贯均衡定义
序贯均衡定义
序贯均衡是指参与人在选择策略时，根据给定的信念，在每个决策点上选择的策略都是最优的。
具体来说，在博弈中，每个参与人都有自己的信念，即对其他参与人可能采取的策略的预期。
基于这些信念，参与人在每个决策点上都会选择他认为最优的策略。
这种选择过程是序贯的，即每个参与人都是在其他参与人选择策略之后，再根据这些策略选择自己的最优策略。
因此，在序贯均衡中，每个参与人在每个决策点上选择的策略都是最优的，从而形成了一种均衡。
序贯均衡是一种博弈论中的概念，用于描述动态博弈中的均衡状态。
与静态博弈不同，动态博弈中参与人的行动是有先后顺序的，每个参与人在做出决策时都需要考虑其他参与人的行动。
序贯均衡强调的是在动态博弈中，参与人的策略选择应该是一致的，即每个参与人在选择策略时都应该考虑其他参与人的行动，并选择最优的策略。
在实际应用中，序贯均衡可以用于分析各种动态博弈问题，如国际关系、市场竞争、团队合作等。
通过序贯均衡的分析，可以了解参与人在动态博弈中的行为特征和策略选择，从而为实际问题的解决提供理论支持和实践指导。
第四讲 序贯决策博弈
序贯情侣博弈
◆一共八种可能的策略组合：
（足球，{足球，芭蕾}） （足球，{芭蕾，足球}） （足球，{芭蕾，芭蕾}） （足球，{足球，足球}） （芭蕾，{足球，芭蕾}） （芭蕾，{芭蕾，足球}） （芭蕾，{芭蕾，芭蕾}） （芭蕾，{足球，足球}）
序贯情侣博弈
◆
（2,1) （0,0）
（-1，-1） （1，2） （足球，{足球，足球}） （2,1） （0,0） （-1，-1） （1，2） （足球，{芭蕾，足球}） （2,1）
不开发
B
开发 (-3,-3)
x
不开发
B
开发
y’
不开发
对抗策略：A开发我不开发，A不开发我 开发——{不开发，开发} ；
不开发策略:不论A开发不开发我不开发 ）——{不开发，不开发}；
(1，0) （0，1)
(0,0)
策略空间为：{开发，开发}、{开发， 不开发} 、{不开发，开发} （不开发， 不开发}。
（0,0）
（-1,-1） （1,2） （足球，{足球，芭蕾}） （2，1） （0，0） （-1，-1） （1，2） （足球，{芭蕾，芭蕾}）
纳什均衡的箭头排除确定法
◆
（2,1) （0,0）
（-1，-1） （1，2） （芭蕾，{足球，足球}） （2,1） （0,0） （-1，-1） （1，2） （芭蕾，{芭蕾，足球}） （2,1）
或行动的具体选择。 ◆纯策略为一个决策规则，它能告诉这个参与人 在每一个可能遇到的决策节点上应当采取的行 动。 ◆在序贯博弈中，一个策略就是一个完整的行动 计划。
策略
◆在进入博弈中，进入者的策略：进入和不进入
。 ◆垄断者的策略：一、不管你怎样，我总是“容 忍”；二、不管你怎样，我总是“对抗”；三 、你进入我“对抗”，你不进入我“容忍”； 四、你进入我“容忍”，你不进入我“对抗” ；即垄断者的四个纯策略：{容忍，容忍}、 { 对抗，对抗}、 {对抗，容忍}、 {容忍，对抗} 。
第九讲(序贯博弈)
反击
• 然而，美军可以通过调整在西德的部署来改变这 个结果。 • 假设美军增加西德的军队，会出现怎样的结果？
增加部署不是为了能打败苏军。 事实上，其数量无法战胜苏军。 同时还会增加美国的开销。 然而，苏军进攻后，如果美军 选择反击，还是能够救援一部 分的部队。这比全军覆没要好。 从左图可以看出，最终结果对 美军来说是变好了。
纳什均衡与子博弈完美均衡
• 再看金雀与蓝鸟的案例：
– 纳什均衡为蓝鸟进入，金雀接受；和蓝鸟不进入，而 金雀威胁展开价格战。 – 通过对扩展式的简化，两个纳什均衡中只有一个是子 博弈完美均衡。即蓝鸟进入，金雀容纳。 – 价格战的威胁是不可信的。
金雀与蓝鸟的收益矩阵：
金雀 如果蓝鸟进 如果蓝鸟进入， 入，就接受 就展开价格战 3,5 -5,2 0,10 0,10
一个商业案例 – 解答
3 PDF 文件使用 "pdfFactory Pro" 试用版本创建
一个商业案例 – 解答
Exercise – 离婚诉讼费
• 琼斯夫人因为先生外遇要与琼斯先生离婚。 根据婚前协定，如果琼斯夫人能够证明她 先生有外遇就能得到10万美元，否则只能 得到5万美元。她的律师只有雇佣私家侦探 才能证明琼斯先生有外遇，所需费用为1万 美元，包含在律师费中。琼斯夫人有两个 选择：无论诉讼结果是什么，都支付2万美 元的律师费用，或者支付诉讼收入的1/3。 • 琼斯夫人该如何选择呢？
序贯博弈有一定的承诺结构commitmentstructure囚徒困境中由于一方在不知道另即谁先做出战略承诺这使序贯博弈拥有一个或多个一方具体会做出怎样的决策下进行的适当子博弈
序贯博弈
• 序贯博弈 (sequential game)：
第九讲 序贯博弈
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解决多阶段决策问题的主要方法是决策树方法和动态规划方法，决策树由节点和分支组成，每一条 由树根通往树梢的路线都表示一种决策方案及可能遇到的一种情况。
进行决策分析时，要由树梢往树根依次计算。这种从后到前进行决策分析的方法叫做逆序归纳法。 多阶段决策分析的步骤：
（1）根据具体问题适当划分阶段； （2）确定各阶段的状态变量，寻找各阶段之间的联系； （3）由后到前用逆序归纳法进行决策分析。
利用马氏过程分析系统当前状态并预测未来状态的决策方法，称为马尔可夫决策。
二、马尔可夫链与转移概率矩阵
随机过程X(t)t,T,如果对任意 t1t2tn,ti T,都存在
P x ( t n ) y | x ( t n 1 ) x n 1 x ( t 1 ) x 1 P x ( t n ) y | x ( t n 1 ) x n 1
第六章 序贯决策分析
第一节 多阶段决策
一、多阶段决策问题
在经济活动中，常常遇到这样的决策问题，由于它的特殊性，需要将过程分为若干个相互联系的阶段， 在它的每一个阶段都需要做出决策，从而使整个过程达到最好的活动效果。当各个阶段决策确定后，就组 成了一个决策序列，因而也就决定了整个过程的一条活动路线，这种把一个问题可看作是一个前后关联的 具有链状结构的多阶段过程就称为多阶段决策过程。
（1）具有有限种状态；
（2）具有马尔可夫性；
（3）转移概率具有平稳性。
第三节 马尔可夫决策
三、稳态概率
称 j l n iP m j(n ) l n iP m x n j为稳态概率。
且 l n i P m x n j|x 0 i l n i P m x n j j
图6-2 原决策树
第三节 马尔可夫决策
一、马尔可夫决策问题
决策问题采取的行动已经确定，但将这个行动付诸实践的过程又分为几个时期。在不同的时期，系 统可以处在不同的状态，而这些状态发生的概率又可受前面时期实际所处状态的影响。。其中一种最简 单、最基本的情形，是每一时期状态参数的概率分布只与这一时期的前一时期实际所处的状态有关，而 与更早的状态无关，这就是所谓的马尔可夫链。
3
表6-1 某公司产销新产品的收益矩
为了更正确地了解市场情况，正式投产前可先生产少量产品试销。由于要增添少量生产设备等原因， 试销费需要600元。由于试销前未作广告，顾客对产品不太了解，加之试销量较小，试销结果不很准 确。假设试销结果分为产品受欢迎（H1），一般（H2）和不受欢迎（H3）三种，其准确度（似然分 布矩阵）见表6-2所示。
选择的措施：（1）发放有奖债券；（2）开展广告宣传；（3） 优质售后服务。三种方案分别实施以后，
经统计调查可知，该类商品的市场占有率的转移矩阵分别是
0.80 0.15 0.05 P1 0.20 0.45 0.35
0.30 0.40 0.30
0.90 0.05 0.05 P2 0.10 0.80 0.10
0.10 0.15 0.75
0.90 0.05 0.05 P3 0.10 0.80 0.10
因此我们可以从n步转移矩阵的n 极限取得稳态概率分布
Pn Pn1P
lim P(n) lim Pn1P
n
n
得
1 k 1 k
1
k
1
k
P
1 k 1 k
k
记 1 2 k，则P，且 i 1 i 1
此方程组为稳态方程
第三节 马尔可夫决策
四、马尔可夫应用实例
例6-6 某生产商标为的产品的厂商为了与另外两个生产同类产品和 的厂家竞争，有三种可供
第一节 多阶段决策
三、应用举例
例6-1 离散情况决策分析。某企业考虑是否花费4000元钱从某科研机关购买某项技术然后产销新
Байду номын сангаас
产品。如果买技术，可以进行大批生产（a1），中批生产（a2），或小批生产（a3），可能出现的市
场销售情况也分为畅销（
1）一般（
2）和滞销（
）三种。其收益（利润，元）矩阵如表6-1
则称 X(t)t,T具有马尔可夫性。 条件概率 P x nj|x n 1 i称为转移概率，也称一步转移概率。
各状态之间的转移概率可记为
p11
P
p1k
其中 pij 1 ，对所有i；且 pij 0 ，对所有i,j ， j
称P为一步转移概率矩阵。
pk1 pkk
定义：如果随机过程Xt,t0,1,,满足下述性质，则称X t 是一个有限状态的马尔可夫链（Markov）。
第一节 多阶段决策
表6-2 试销结果的准确度
如不买此项技术，把这笔费用用在其他方面，在同样的时期可获利8000元。那么，该公司应 该如何决策？
（1）是否买技术？ （2）如果买技术，是否采取试销办法？ （3）如果不试销，应大批生产，中批生产还是小批生产？如果试销，又应该如何根据试销结 果决定其行动？ 例6-2 连续情形的决策分析。某工厂现有10万元资金可供生产某种产品使用，生产过程有两个方 案可供选择。方案1：每万元资金，每年可产生0.5万元的利润，年产量为2000吨。方案2：每万元资金， 每年可产生0.2万元的利润，年产量为3000吨。每年可用一部分资金采取一种方案生产，另外一部分资 金采取另一种方案进行生产，但一年内不变。假设前一年的利润可作为下一年的资金在两个方案间再行 分配，但一个方案前一年的资金不得在下一年向另一方案转移。那么，为使四年内的总产量最高，该厂 在这四年中应该如何分配资金？
第二节 序贯决策
有些决策问题，在进行决策后又产生一些新情况，需要进行新的决策，接着又有一些新的情况，又需 要进行新的决策。这样决策、情况、决策…，就构成一个序列，这就是序列决策。解决序列问题的有利办 法仍然是决策树。
例6-3 设有某石油勘探队，在一片估计能出油的荒田钻探，可以先做地震试验，然后决定钻井与否。 或者不做地震试验，只凭经验决定钻井与否。做地震试验的费用每次30000元，钻井费用为10000元。若钻 井后出油，这井队可收入40000元；若不出油就没有任何收入。各种情况下出油的概率已估计出，并标在图 6-2上。问钻井队的决策者如何做出决策使收入的期望值为最大。