多阶段决策问题
第六章 多阶段决策
θ θ1 θ2 θ3
P（θ） 0.4 0.3 0.3
a1
40000
a2
30000
a3
10000
20000
30000
10000
-30000 -20000 10000
为了更正确地了解市场情况，正式投产前可先生产少量产品 试销。由于要增添少量生产设备等原因，试销费需要600元。 由于试销前未做广告，顾客对产品不太了解，加之试销量较小， 试销结果不很准确。假设试销结果分为产品受欢迎（H1）、一 般（H2）和不受欢迎（H3）三种，其准确度见表。
（3）如果不试销，应大批生产、中批生产还是 小批生产？如果试销，又应该如何根据试销结 果决定其行动？
第二节 序列决策
序列决策：有些问题，在进行决策后又产 生一些新情况，需要进行新的决策，接着又 有一些新的情况，又需要进行新的决策。这 样就构成一个序列，这就是序列决策。
例 6-3 设某石油勘探队，在一片估计能出油的 荒田钻探，可以先做试验，然后决策钻井与否。或 者不做试验，只凭经验决策钻井与否。做试验的费 用为每次3000元，钻井费用为10000元。若钻井 后出油，井队可收入 40000 元；若不出油就没有 收入。各种情况下出油的概率已估计出，并标在图 6-2 上。问钻井队该如果决策使其期望收入值最大。
θ θ1 θ2 θ3
P（θ） P(H1|θ ) 0.4 0.4 0.3 0.2 0.3 0.4
P(H2|θ )
P(H3|θ )
0.3 0.4 0.5
0.3 0.4 0.1
如不买此技术，把这笔费用用在其它方面， 在同样的时期可获利ห้องสมุดไป่ตู้000元。那么，该公司应 该如何决策？ （1）是否买技术？
（2）如果买技术，是否采取试销方法？
多阶段决策问题与动态规划
s1=1000, x1*=0 s2=900, x2*=0 s3=810, s4=576, x4*=576 s5=397, x5*=397 x3*=810
4.4 动态规划的应用(一)
1 求解静态规划问题
某些静态规划问题可用动态规划法来求解。
例 用动态规划法求解 max z=x12.x22.x3 x1+x2+x3=c xi≥0 i=1,2,3
值函数； (6) 写出递推方程和边界条件，建立基本方程； (7) 按照基本方程递推求解。
以上步骤是动态规划法处理问题的基本步骤，其中 的前六步是建立动态规划模型的步骤。
例：机器负荷问题 某种机器可以在高低两种 不同的负荷下进行生产．在高负荷下进行生产 时，产品的年产量g和投入生产的机器数量u的 关系为 g＝8u, 这时机器的年完好率为a=0.7 ．在低负荷下生产时，产品的年产量h和投入 生产的机器数量v的关系为h＝5v, 这时机器的 年完好率为b=0.9．假定开始生产时完好的机 器数量为s1，要求制定一个五年计划,在每年 开始时决定机器在两种不同负荷下生产的数量 ,使五年内产品的总产量最高。
解: (1)按年数划分为5个阶段，k=1,2,3,4,5
(2)取第k年初完好的机器数sk为状态变量, s(31)=取10第00k年投入高负荷的机器数xk为决策变量, 0≤xk≤sk (4)状态转移方程为 sk+1=0.7xk+0.9(sk-xk)=0.9sk-0.2xk
(5)指标函数为Vk,5=∑[8xj+5(sj-xj)]=∑(5sj+3xj)
(6)基本方程为
fk(sk)＝ max {5sj+3xj +fk+1(sk+1)}
k=5,4,3,2,1
第10章 动态规划
管理运筹学
7
缺点
①没有统一的处理方法，求解时要根据问题的 性质，结合多种数学技巧。因此实践经验及 创造性思维将起重要的引导作用；
②“维数障碍”，当变量个数太多时，由于计 算机内存和速度的限制导致问题无法解决。 有些问题由于涉及的函数没有理想的性质使 问题只能用动态规划描述，而不能用动态规 划方法求解。
盈利 工厂 设备台数
0 1 2
3 4 5
甲厂
0 3 7 9 12 13
乙厂
0 5 10 11 11 11
管理运筹学
29
第一阶段：只有1个始点A，终点有B1,B2,B3,B4 。对始点和终 点进行分析和讨论分别求A到B1,B2,B3,B4的最短路径问题：
表10-4
本阶段始 点(状态)
A
阶段1 本阶段各终点（决策）
B1
B2
B3
B4
4+12=16 3+13=16 3+14=17 2+12=14
到E的最 本阶段最优终 短距离 点(最优决策)
第四阶段：两个始点D1和D2，终点只有一个；
表10-1
阶段4
本阶段始点 本阶段各终点（决策） 到E的最短距离
（状态）
E
D1
10
10
D2
6
6
分析得知：从D1和D2到E的最短路径唯一。
本阶段最优终点 （最优决策)
E E
管理运筹学
27
第三阶段：有三个始点C1，C2，C3，终点有D1，D2，对始点
和终点进行分析和讨论分别求C1，C2，C3到D1，D2 的最短路
第九章多阶段决策和序贯决策
第一步，画出决策树图。
-700
2
建大厂
4
销路好0.7
销路差0.3
5
销路好0.9 销路差0.1
1
-400
建小厂
8
扩建
-300
6
销路好0.7
3
不扩建
9
销路差0.3
7
210
-40
-40
销路好0.9
210
销路差0.1
-40
销路好0.9
90
销路差0.1
60
60
3年内
7年内
第二步，从右向左计算各点的期望收益值。
第二阶段决策：产量不变，还是 增加产量。
30 5
82 买专利 决
策 自行研制
65
失败 0.2
95 产量不变 6
82
3
1 成功0.8
95 7
增加产量
60
63 成功0.6
85 产量不变 4
8
2
85
量 增加产
失败0.4
9
30
11
低0.1 中0.5 高0.4 低0.1
中0.5 高0.4
低0.1 中0.5 高0.4 低0.1
方案 收益 状态
按原工 艺方案 生产
(万元)
买专利(0.8)
产量 不变
增产
自研(0.6)
产量 不变
增产
价低 0.1 -100 -200 -300 -200 -300
中 0.5 0 50 50 0 -250
价高 0.4 100 150 250 200 600
第一阶段决策问题：购买专利， 还是自行研制
200
销路不好(0.2)
动态规划_多阶段决策问题的求解方法
动态规划_多阶段决策问题的求解方法1.构造状态网络; :一:解决多阶段决策最优化的过程为动态规划方法在程序设计中，有一类活动的过程，由于它的特殊性，可将过程2.根据状态转移关系和状态转移方程建立最优值的分成若干个互相联系的阶段，在它的每一阶段都需要做出决策，从而3.按阶段的先后次序计算每个状态的最优值。
使整个过程达到最好的活动效果。
因此各个阶段决策的选取不能任逆向思维法是指从问题目标状态出发倒推回初始意确定，它依赖于当前面临的状态，又影响以后的发展。
当各个阶段态的思维方法。
动态规划的逆向思维法的要点可归纳为以决策确定后，就组成一个决策序列，因而也就确定了整个过程的一条 1.分析最优值的结构，刻画其结构特征; 活动路线。
这种把一个问题看作是一个前后关联具有链状结构的多 2.递归地定义最优值; 阶段过程就称为多阶段决策过程，这种问题称为多阶段决策问题。
3.按自底向上或自顶向下记忆化的方式计算最优在多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前状态，又随即引起状态的转移，一个决策序列如果原问题可以分解成几个本质相同、规模较小的就是在变化的状态中产生出来的，故有"动态"的含义，我们称这种就会联想到从逆向思维的角度寻求问题的解决。
一般解决多阶段决策最优化的过程为动态规划方法。
策问题多采用动态规划逆向思维方法解决。
二、举:二:动态规划最优化原理 pascal 语例说明本文以信息学奥赛用语言——最优化原理是动态规划的基础。
任何一个问题，如果失去了这言为编程个最优化原理的支持，就不可能用动态规划方法计算。
这个“最优化说明，其他编程语言编写方法相同，语句类似。
原理”如果用数学化一点的语言来描述的话，就是:假设为了解决某 :一:问题描述一优化问题，需要依次作出 n 个决策 D1，D2，，Dn，如若这个决策设有 N 个不相同的整数组成的数列，记为: 序列是最优的，对于任何一个整数 k，1 < k < n，不论前面 k 个决策是怎样的，以后的最优决策只取决于由前面决策所确定的当前状态，即 ()且 ?? a1 a2 an aiajij以后的决策 Dk+1，Dk+2，，Dn 也是最优的。
动态规划和几个经典问题
动态规划和⼏个经典问题动态规划 (本⽂适合⼊门理解思想，后期多刷题) 动态规划是运筹学的⼀个分⽀，是求解多阶段决策过程最优化问题的数学⽅法，在经济管理、⼯程技术、⼯农业⽣产及军事部门中都有着⼴泛的应⽤，并且获得了显著的效果。
学习动态规划，我们⾸先要了解多阶段决策问题。
多阶段决策问题例⼦： ⽣产决策问题：企业在⽣产过程中，由于需求是随时间变化的，因此企业为了获得全年的最佳⽣产效益，就要在整个⽣产过程中逐⽉或逐季度地根据库存和需求决定⽣产计划。
机器负荷分配问题：某种机器可以在⾼低两种不同的负荷下进⾏⽣产。
要求制定⼀个五年计划，在每年开始时，决定如何重新分配完好的机器在两种不同的负荷下⽣产的数量，使在五年内产品的总产量达到最⾼。
航天飞机飞⾏控制问题：由于航天飞机的运动的环境是不断变化的，因此就要根据航天飞机飞⾏在不同环境中的情况，不断地决定航天飞机的飞⾏⽅向和速度（状态），使之能最省燃料和完成飞⾏任务（如软着陆）。
多阶段决策过程的特点： 根据过程的特性可以将过程按空间、时间等标志分为若⼲个互相联系⼜互相区别的阶段。
在每⼀个阶段都需要做出决策，从⽽使整个过程达到最好的效果。
各个阶段决策的选取不是任意确定的，它依赖于当前⾯临的状态，⼜影响以后的发展。
当各个阶段的决策确定后，就组成了⼀个决策序列，因⽽也就决定了整个过程的⼀条活动路线，这样的⼀个前后关联具有链状结构的多阶段过程就称为多阶段决策问题。
针对多阶段决策过程的最优化问题，美国数学家Bellman等⼈在20世纪50年代初提出了著名的最优化原理，把多阶段决策问题转化为⼀系列单阶段最优化问题，从⽽逐个求解，创⽴了解决这类过程优化问题的新⽅法：动态规划。
对最佳路径（最佳决策过程）所经过的各个阶段，其中每个阶段始点到全过程终点的路径，必定是该阶段始点到全过程终点的⼀切可能路径中的最佳路径（最优决策），这就是Bellman提出的著名的最优化原理。
多阶段决策过程
动态规划多阶段决策过程（multistep decision process ）是指这样一类特殊的活动过程，过程可以按时间顺序分解成若干个相互联系的阶段，在每一个阶段都需要做出决策，全部过程的决策是一个决策序列。
动态规划（dynamic programming ）算法是解决多阶段决策过程最优化问题的一种常用方法，难度比较大，技巧性也很强。
利用动态规划算法，可以优雅而高效地解决很多贪婪算法或分治算法不能解决的问题。
动态规划算法的基本思想是：将待求解的问题分解成若干个相互联系的子问题，先求解子问题，然后从这些子问题的解得到原问题的解；对于重复出现的子问题，只在第一次遇到的时候对它进行求解，并把答案保存起来，让以后再次遇到时直接引用答案，不必重新求解。
动态规划算法将问题的解决方案视为一系列决策的结果，与贪婪算法不同的是，在贪婪算法中，每采用一次贪婪准则，便做出一个不可撤回的决策；而在动态规划算法中，还要考察每个最优决策序列中是否包含一个最优决策子序列，即问题是否具有最优子结构性质。
动态规划算法的有效性依赖于待求解问题本身具有的两个重要性质：最优子结构性质和子问题重叠性质。
1 、最优子结构性质。
如果问题的最优解所包含的子问题的解也是最优的，我们就称该问题具有最优子结构性质（即满足最优化原理）。
最优子结构性质为动态规划算法解决问题提供了重要线索。
2 、子问题重叠性质。
子问题重叠性质是指在用递归算法自顶向下对问题进行求解时，每次产生的子问题并不总是新问题，有些子问题会被重复计算多次。
动态规划算法正是利用了这种子问题的重叠性质，对每一个子问题只计算一次，然后将其计算结果保存在一个表格中，当再次需要计算已经计算过的子问题时，只是在表格中简单地查看一下结果，从而获得较高的解题效率。
当我们已经确定待解决的问题需要用动态规划算法求解时，通常可以按照以下步骤设计动态规划算法：1 、分析问题的最优解，找出最优解的性质，并刻画其结构特征；2 、递归地定义最优值；3 、采用自底向上的方式计算问题的最优值；4 、根据计算最优值时得到的信息，构造最优解。
多阶段决策过程最优化问题研究
Ｔａ ｂ．１ Ｐｏｓｉ ｅ ｓ ｌ ｅ ｎ ｒ ａ ｅ ａｃ ｒ ａ ｓｂｌ ａ ｅ ｒ ｖｅ ｕｅ ｃ ｅ ｔ ｄ ｂｙ ｅ ｈ ａ ｅ
从 表 １中可 以看 出 ， 果 没 有 在 华 北 和 华 东 地 区建 样 板 店 ， 么 这两 个 地 区 的 销售 收 入 为 ０ 如 果 没 有 在 华 南 地 区建 样 板 如 那 ． 店 ， 南 地 区 仍 可 以通 过 订 购 系 统 获 得 每 月 ２万 元 的 销售 收 入 ． 个 问题 的 目标 函数 是 在 建 样 板 店 的个 数 有 限 的条 件 下 ， 何 华 这 如
０ 引 言
在 实践 中 ， 常 会 遇 到 这 样 的决 策 问 题 “ ： 于 过 程 的特 殊 性 ， 以 将 决 策 的 全 过 程 依 据 时 间 或 空 间 划 分 为 若 干个 相 常 由 可 互 联 系 的 阶 段． 态 规 划 方 法 的关 键 是 将 多 阶段 的决 策 问 题 变 换 成 一 系 列 的单 阶 段 问 题 ， 逐 一 求 解 ． 阶 段 的 决 策 过 程 很 动 并 多 难 直 观 地 描 述 ， 文 通 过 一 个 实 例 来 说 明动 态 规 划 解 决 多 阶段 决 策 问题 的方 法 和 过程 ． 本
１ １ 第 三 阶段 决 策 ．
将 在 华 南 地 区建 多少 样 板 店 作 为 问题 第 三 阶 段 的 决 策 ． 动 态 规 划 中假 设 第 三 阶 段 的决 策 是 决 策 过 程 中 的最 终 决 策 ， 在 因 此 ， 果 将 在华 东 、 北 地 区建 样 板 店 作 为 规 划 的第 二 阶 段 和 第 一 阶段 ， 么 在 华 南 地 区建 几 个 样 板 店 的 决 策 是 建 立 在 另 两 如 华 那
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
表示什么？
三、用最优化原理解某些资源分配问题
四、复合系统可靠性问题
部件1
部件2
……
部件n
作业 p. 181: 题 一、旅行售货员问题
旅行售货员问题(Traveling Salesperson Problem, 简 称TSP问题)是优化问题中一个著名问题，许多优 化问题(包括许多实际问题)都可以化为旅行售货员 问题。
从v0出发，经过n个城市v1, v2, … , vn，然后回v0。 设从vi到vj的距离为dij，其中dij可能不等于dji；如果 没有直接从vi到vj的路，则设dij = ∞。找一条最短 路线。
6 8
v1 7 8
9
v0
9 7
5
6 v3
5
5
8
v2
v0 v1 v2 v3
0856
v0
6085
v1
D=
7905
v2
9780
v3
二、多阶段资源分配问题
投入 y1
资源 u1
投入 z1
收益 g(y1)
生产A 回收 ay1
投入 y2
资源 u2
生产B
回收 bz1
投入 z2
收益 h(z1)
生产A 生产B