九章二节动态规划应用举例
合集下载
动态规划
多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前状态，又随即引起状 态的转移，一个决策序列就是在变化的状态中产生出来的，故有“动态”的含义，称这种解决多阶段决策最优化 问题的方法为动态规划方法 。
任何思想方法都有一定的局限性，超出了特定条件，它就失去了作用。同样，动态规划也并不是万能的。适 用动态规划的问题必须满足最优化原理和无后效性 。
动态规划
运筹学的分支
01 原理
03 局限性
目录
02 分类
动态规划（Dynamic Programming，DP）是运筹学的一个分支，是求解决策过程最优化的过程。20世纪50年 代初，美国数学家贝尔曼（R.Bellman）等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理， 从而创立了动态规划。动态规划的应用极其广泛，包括工程技术、经济、工业生产、军事以及自动化控制等领域， 并在背包问题、生产经营问题、资金管理问题、资源分配问题、最短路径问题和复杂系统可靠性问题等中取得了 显著的效果 。
最优化原理可这样阐述：一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成 的状态而言，余下的诸决策必须构成最优策略。简而言之，一个最优化策略的子策略总是最优的。一个问题满足 最优化原理又称其具有最优子结构性质 。
将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，它以前各阶段的状态无法直接影响它未来 的决策，而只能通过当前的这个状态。换句话说，每个状态都是过去历史的一个完整总结。这就是无后向性，又 称为无后效性 。
状态：状态表示每个阶段开始面临的自然状况或客观条件，它不以人们的主观意志为转移，也称为不可控因 素。在上面的例子中状态就是某阶段的出发位置，它既是该阶段某路的起点，同时又是前一阶段某支路的终点 。
动态规划.pdf
第三章：动态规划3.1 动态规划的基本概念一、动态决策问题：决策过程具有阶段性和时序性(与时间有关)的决策问题。
即决策过程可划分为明显的阶段。
二、什么叫动态规划(D.P.–Dynamic Program)：多阶段决策问题最优化的一种方法。
广泛应用于工业技术、生产管理、企业管理、经济、军事等领域。
三、动态规划(D.P.)的起源：1951年,(美)数学家R.Bellman等提出最优化原理，从而建立动态规划，名著《动态规划》于1957年出版。
四、动态决策问题分类：1、按数据给出的形式分为：•离散型动态决策问题。
•连续型动态决策问题。
2、按决策过程演变的性质分为：•确定型动态决策问题。
•随机型动态决策问题。
五1、阶段(stage)n ：作出决策的若干轮次。
n = 1、2、3、4、5。
2、状态(state)S n ：每一阶段的出发位置。
构成状态集，记为S nS 1={A}，S 2={B 1,B 2,B 3}，S 3={C 1,C 2,C 3}，S 4={D 1,D 2,D 3}，S 5={E 1,E 2}。
阶段的起点。
3、决策(decision)X n ：从一个阶段某状态演变到下一个阶段某状态的选择。
构成决策集，记为D n (S n )。
阶段的终点。
D 1(S 1)={X 1(A)}={B 1,B 2,B 3}= S 2，D 2(S 2)={X 2(B 1),X 2(B 2),X 2(B 3)}={C 1,C 2,C 3}=S 3，D 3(S 3)={X 3(C 1),X 3(C 2),X 3(C 3)}={D 1,D 2,D 3}=S 4，D 4(S 4)={X 4(D 1),X 4(D 2),X 4(D 3)}={E 1,E 2}=S 5D 5(S 5)={X 5(E 1),X 5(E 2)}={F;F}={F}。
4、策略(policy)：全过程中各个阶段的决策Xn 组成的有序总体{Xn }。
如 A àB2àC1àD1àE2àF5、子策略(sub-policy)：剩下的n个阶段构成n子过程，相应的决策系列叫n子策略。
动态规划的应用举例大全
多背包问题
在0/1背包问题的基础上，通过动态规 划的方式解决多个约束条件下的物品 选择问题。
排程问题
作业车间调度问题
通过动态规划的方式，求解给定一组作业和机器，如何分配作业到机器上，使得 完成时间最早且总等待时间最小。
流水线调度问题
通过动态规划的方式，解决流水线上的工件调度问题，以最小化完成时间和总延 误时间。
应用场景
在基因组测序、进化生物学和生物分类学等领域中，DNA序列比对是关键步骤。通过比对，可以发现物种之间的相 似性和差异，有助于理解生物多样性和进化过程。
优势与限制
动态规划算法在DNA序列比对中具有高效性和准确性，能够处理大规模数据集。然而，对于非常长的序 列，算法可能需要较长时间来运行。
蛋白质结构预测
应用场景
深度学习中的优化算法广泛应用于语音识别、图像处理、 自然语言处理等领域，动态规划可以帮助提高训练效率和 模型的准确性。
自适应控制和系统优化
问题描述
动态规划方法
自适应控制和系统优化是针对动 态系统的优化和控制问题。在这 些问题中，动态规划可以用于求 解最优控制策略和系统参数调整。
通过定义状态转移方程和代价函 数，将自适应控制和系统优化问 题转化为动态规划问题。状态表 示系统的当前状态和参数，代价 函数描述了在不同状态下采取不 同行动的代价。
考虑风险因素和概率
动态规划可以考虑到风险因素和概率，以制定最优的风险评估和管 理策略。
考虑风险承受能力和资本充足率
动态规划可以考虑到风险承受能力和资本充足率，以制定最优的风 险评估和管理策略。
04 动态规划在生物信息学中 的应用
DNA序列比对
算法描述
DNA序列比对是生物信息学中常见的问题，通过动态规划算法可以高效地解决。算法将DNA序列视为字符串，并寻 找两个或多个序列之间的最佳匹配。
在0/1背包问题的基础上，通过动态规 划的方式解决多个约束条件下的物品 选择问题。
排程问题
作业车间调度问题
通过动态规划的方式，求解给定一组作业和机器，如何分配作业到机器上，使得 完成时间最早且总等待时间最小。
流水线调度问题
通过动态规划的方式，解决流水线上的工件调度问题，以最小化完成时间和总延 误时间。
应用场景
在基因组测序、进化生物学和生物分类学等领域中，DNA序列比对是关键步骤。通过比对，可以发现物种之间的相 似性和差异，有助于理解生物多样性和进化过程。
优势与限制
动态规划算法在DNA序列比对中具有高效性和准确性，能够处理大规模数据集。然而，对于非常长的序 列，算法可能需要较长时间来运行。
蛋白质结构预测
应用场景
深度学习中的优化算法广泛应用于语音识别、图像处理、 自然语言处理等领域，动态规划可以帮助提高训练效率和 模型的准确性。
自适应控制和系统优化
问题描述
动态规划方法
自适应控制和系统优化是针对动 态系统的优化和控制问题。在这 些问题中，动态规划可以用于求 解最优控制策略和系统参数调整。
通过定义状态转移方程和代价函 数，将自适应控制和系统优化问 题转化为动态规划问题。状态表 示系统的当前状态和参数，代价 函数描述了在不同状态下采取不 同行动的代价。
考虑风险因素和概率
动态规划可以考虑到风险因素和概率，以制定最优的风险评估和管 理策略。
考虑风险承受能力和资本充足率
动态规划可以考虑到风险承受能力和资本充足率，以制定最优的风 险评估和管理策略。
04 动态规划在生物信息学中 的应用
DNA序列比对
算法描述
DNA序列比对是生物信息学中常见的问题，通过动态规划算法可以高效地解决。算法将DNA序列视为字符串，并寻 找两个或多个序列之间的最佳匹配。
动态规划练习例题
c(m,n)为最终最小代价，反向追踪获得编辑序列
动态规划方法总结
动态规划算法的设计步骤
– – – – – – – 将问题表示成多步判断 确定是否满足优化原则——必要条件 确定子问题的重叠性——估计算法效率 列出关于优化函数的递推方程(或不等式)和边界条件 自底向上计算子问题的优化函数值----非递归的算法 备忘录方法记录中间结果 标记函数追踪问题的解
• S(i)表示结束于位置i的最大子区间和 • max{S(i)}即为所求最大子区间和 • 考虑如何递推求解并反算问题解
最大子矩阵
• 已知矩阵的大小定义为矩阵中所有元素的 和。给定一个矩阵，找到最大的非空(大小 至少是1 * 1)子矩阵。 • 例如这个矩阵的最大子矩阵大小为15。
0 -2 -7 0 9 2 -6 2 -4 1 -4 1 -1 8 0 -2
动态规划练习例题在棋盘上移动在一个nn的棋盘上棋子可以向上方右上方或左上方移动每次从x方格移动到y方格将获得pxy元钱pxy不一定是正数现求一个获得钱最多的从底边到顶边的一种移动棋子的方案
动态规划练习例题
在棋盘上移动
• 在一个n×n的棋盘上，棋子可以向上方、 右上方或左上方移动，每次从x方格移动到y 方格将获得p(x,y)元钱， p(x,y)不一定是正 数，现求一个获得钱最多的从底边到顶边 的一种移动棋子的方案。
解题思路
Qx, y 1 Q x, y max Qx 1, y 1 Q x 1, y 1 y 1 px, y 1, x, y y 1 px 1, y 1, x, y y 1且x 1 px 1, y 1, x, y y 1且x 字符串X=x1,x2,…xm和Y=y1,y2,…yn 使用一系列编辑操作将字符串X转变成Y。允许使 用插入，删除，修改三种操作，每种操作都有 一定的代价，求一个总代价最小的操作序列。 – 设从字符X中删除符号xi的代价为D(xi) – 将符号yj插入X的代价为I(yj) – 将X中的符号xi修改成yj的代价为C(xi,yj)
动态规划方法总结
动态规划算法的设计步骤
– – – – – – – 将问题表示成多步判断 确定是否满足优化原则——必要条件 确定子问题的重叠性——估计算法效率 列出关于优化函数的递推方程(或不等式)和边界条件 自底向上计算子问题的优化函数值----非递归的算法 备忘录方法记录中间结果 标记函数追踪问题的解
• S(i)表示结束于位置i的最大子区间和 • max{S(i)}即为所求最大子区间和 • 考虑如何递推求解并反算问题解
最大子矩阵
• 已知矩阵的大小定义为矩阵中所有元素的 和。给定一个矩阵，找到最大的非空(大小 至少是1 * 1)子矩阵。 • 例如这个矩阵的最大子矩阵大小为15。
0 -2 -7 0 9 2 -6 2 -4 1 -4 1 -1 8 0 -2
动态规划练习例题在棋盘上移动在一个nn的棋盘上棋子可以向上方右上方或左上方移动每次从x方格移动到y方格将获得pxy元钱pxy不一定是正数现求一个获得钱最多的从底边到顶边的一种移动棋子的方案
动态规划练习例题
在棋盘上移动
• 在一个n×n的棋盘上，棋子可以向上方、 右上方或左上方移动，每次从x方格移动到y 方格将获得p(x,y)元钱， p(x,y)不一定是正 数，现求一个获得钱最多的从底边到顶边 的一种移动棋子的方案。
解题思路
Qx, y 1 Q x, y max Qx 1, y 1 Q x 1, y 1 y 1 px, y 1, x, y y 1 px 1, y 1, x, y y 1且x 1 px 1, y 1, x, y y 1且x 字符串X=x1,x2,…xm和Y=y1,y2,…yn 使用一系列编辑操作将字符串X转变成Y。允许使 用插入，删除，修改三种操作，每种操作都有 一定的代价，求一个总代价最小的操作序列。 – 设从字符X中删除符号xi的代价为D(xi) – 将符号yj插入X的代价为I(yj) – 将X中的符号xi修改成yj的代价为C(xi,yj)
动态规划的应用-排序问题
动态规划求解
? 最优排序方案：尽量减少在B上等待加 工的时间，使总加工时间最短。
? 阶段：机床A上更换工件的时刻k=1， 2，…，n。
? 状态变量：（X,t） X: 在机床A上等待加工的的工件集合。 x：不属于X的在A上最后加工完的工 件。 t: 在A上加工完x的时刻算起到B上 加工完x所需的时间。
工件是被加工的对象，是要完成的任务；机 器是提供加工的对象，是完成任务所需要的资源。
排序问题的分类：
多台机器的排序问题 单台机器的排序问题
单件作业（Job-shop）排序问题： 工件的加工路线不同
流水作业（Flow-shop）排序问题： 所有工件的加工路线完全相同
下面主要介绍三种排序问题： ? 1、一台机器、n个工件的排序问题 ? 2、两台机器、n个工件的排序问题 ? 3、 n／m／P /Fmax 排序问题
s2 ? T1( s1 , u1 ) ?s3 ?? T 2 ( s 2 , u 2 ) sk ?1 ? Tk (sk , uk )
动态规划中能 处理的状态转移
方程的形式。
动态规划方法的关键在于正确地 写出基本的递推关系式和恰当的边界 条件。要做到这一点，就必须将问题 的过程分成几个相互联系的阶段，恰 当的选取状态变量和决策变量及定义 最优值函数，从而把一个大问题转化 成一组同类型的子问题，然后逐个求
1
1.8
4
0.922Fra bibliotek051.3
3
0.5
6
1.5
应该按照什么样的加工顺序来加工这六个零件，才 能使得这六个零件在车间里停留的平均时间为最少？
可知这六个零件的停留时间为：
T1 + T2 + T3 + T4 + T5 + T6＝ P1 + ( P1 + P2 ) + (P1 + P2 + P3 ) + (P1 + P2 + P3 + P4 ) +(P1 + P2 + P3 + P4 + P5) + (P1 + P2 + P3 + P4 + P5 + P6 ) ＝ 6 P1 + 5 P2 + 4P3 + 3P4 + 2P5 + P6.
动态规划(完整)
第七章 动态规划
主要内容:
§7.1多阶段决策问题 §7.2 动态规划的基本概念和基本原理
§7.3 动态规划应用举例
例 求解最短路问题
A1 2 Q 4 3 A3 A2 6 3 7 4 B1 1 4 2 4 4 1 5 6 B2 3 B3 3 3 C2 C1 3 4 T
Ⅰ
Ⅱ
Ⅲ
Ⅳ
分阶段的最短路径
• • • • • • • Ⅳ ： C1—T Ⅲ --Ⅳ : B1—C1—T Ⅱ--Ⅲ--Ⅳ ：A2—B1—C1—T Ⅰ--Ⅱ--Ⅲ --Ⅳ： Q—A2—B1—C1—T Q--A3—B1—C1—T Q--A3—B2—C2—T 3 4 7
决策为 xk 时的指标，则它就是第 k 段指标函
数，简记为vk 。 （2）过程指标函数（也称目标函数） 用f(sk , xk)表示第k子过程的指标函数。表
示处于第 k 段 sk 状态且所作决策为xk时，
从 sk 点到终点的距离。由此可见， f(sk , xk)
不仅跟当前状态 sk 有关，
还跟该子过程策略 pk(sk) 有关,严格说来，应
(6) 指标函数
用来衡量策略或子策略或决策的效果的 某种数量指标，就称为指标函数。它是定义 在全过程或各子过程或各阶段上的确定数量 函数。对不同问题，指标函数可以是诸如费 用、成本、产值、利润、产量、耗量、距离、 时间、效用，等等。
（1）阶段指标函数（也称阶段效应）
用vk(sk , xk)表示第 k 段处于状态 sk且所作
资规划, 排序问题和生产过程的最优控制
等问题;
§7.2 动态规划的基本概念和基本思想
一、基本概念
使用动态规划方法求解决策问题首先要将 问题改造成符合动态规划求解要求的形式, 要涉及以下概念: (1)阶段 (3)决策与策略 (2)状态 (4)状态转移方程
主要内容:
§7.1多阶段决策问题 §7.2 动态规划的基本概念和基本原理
§7.3 动态规划应用举例
例 求解最短路问题
A1 2 Q 4 3 A3 A2 6 3 7 4 B1 1 4 2 4 4 1 5 6 B2 3 B3 3 3 C2 C1 3 4 T
Ⅰ
Ⅱ
Ⅲ
Ⅳ
分阶段的最短路径
• • • • • • • Ⅳ ： C1—T Ⅲ --Ⅳ : B1—C1—T Ⅱ--Ⅲ--Ⅳ ：A2—B1—C1—T Ⅰ--Ⅱ--Ⅲ --Ⅳ： Q—A2—B1—C1—T Q--A3—B1—C1—T Q--A3—B2—C2—T 3 4 7
决策为 xk 时的指标，则它就是第 k 段指标函
数，简记为vk 。 （2）过程指标函数（也称目标函数） 用f(sk , xk)表示第k子过程的指标函数。表
示处于第 k 段 sk 状态且所作决策为xk时，
从 sk 点到终点的距离。由此可见， f(sk , xk)
不仅跟当前状态 sk 有关，
还跟该子过程策略 pk(sk) 有关,严格说来，应
(6) 指标函数
用来衡量策略或子策略或决策的效果的 某种数量指标，就称为指标函数。它是定义 在全过程或各子过程或各阶段上的确定数量 函数。对不同问题，指标函数可以是诸如费 用、成本、产值、利润、产量、耗量、距离、 时间、效用，等等。
（1）阶段指标函数（也称阶段效应）
用vk(sk , xk)表示第 k 段处于状态 sk且所作
资规划, 排序问题和生产过程的最优控制
等问题;
§7.2 动态规划的基本概念和基本思想
一、基本概念
使用动态规划方法求解决策问题首先要将 问题改造成符合动态规划求解要求的形式, 要涉及以下概念: (1)阶段 (3)决策与策略 (2)状态 (4)状态转移方程
动态规划-动态规划-美国数学家贝尔曼-动态规划领域
物品
1 2 … j …n
重量（公斤/件） a1 a2 … aj … an
每件使用价值 c1 c2 … cj … cn
类似问题：工厂里的下料问题、运输中的 货物装载问题、人造卫星内的物品装载问题等。
生产决策问题：企业在生产过程中，由于需求 是随时间变化的，因此企业为了获得全年的最佳 生产效益，就要在整个生产过程中逐月或逐季度 地根据库存和需求决定生产计划。
描述状态的变量称为状态变量，它可用一个数、 一组数或一向量（多维情形）来描述，第k阶段 的状态变量常用sk表示，通常一个阶段有若干个 状态。
第k阶段的状态就是该阶段所有始点的集合， 用Sk表示。在第1阶段状态变量s1是确定的，称初 始状态。如引例中:
S1 A，S2 B1, B2, B3，S3 C1,C2,C3，S4 D1, D2
min
4
9
12
决策点为B3
AB3
f2
B3
3 9*
f1(A)=12说明从A到E的最短距离为12，最短路 线的确定可按计算顺序反推而得。即
A→B3→C2→D2→E 上述最短路线问题的计算过程，也可借助于图
形直观的表示出来：
12 2 A4
3
11
B1
7 4
6
93
B2 2
4
96
B3
2 5
6
C1 3
多阶段决策过程特点：
（1）根据过程的特性可以将过程按空 间、时间等标志分为若干个互相联系又互相 区别的阶段。
（2）在每一个阶段都需要做出决策，从 而使整个过程达到最好的效果。
（3）在处理各阶段决策的选取上，不仅只 依赖于当前面临的状态，而且还要注意对以后 的发展。即是从全局考虑解决局部（阶段）的 问题。
动态规划算法详解及经典例题
动态规划算法详解及经典例题⼀、基本概念（1）⼀种使⽤多阶段决策过程最优的通⽤⽅法。
（2）动态规划过程是：每次决策依赖于当前状态，⼜随即引起状态的转移。
⼀个决策序列就是在变化的状态中产⽣出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。
假设问题是由交叠的⼦问题所构成，我们就能够⽤动态规划技术来解决它。
⼀般来说，这种⼦问题出⾃对给定问题求解的递推关系中，这个递推关系包括了同样问题的更⼩⼦问题的解。
动态规划法建议，与其对交叠⼦问题⼀次重新的求解，不如把每⼀个较⼩⼦问题仅仅求解⼀次并把结果记录在表中（动态规划也是空间换时间的）。
这样就能够从表中得到原始问题的解。
（3）动态规划经常常使⽤于解决最优化问题，这些问题多表现为多阶段决策。
关于多阶段决策：在实际中，⼈们经常遇到这样⼀类决策问题，即因为过程的特殊性，能够将决策的全过程根据时间或空间划分若⼲个联系的阶段。
⽽在各阶段中。
⼈们都须要作出⽅案的选择。
我们称之为决策。
⽽且当⼀个阶段的决策之后，经常影响到下⼀个阶段的决策，从⽽影响整个过程的活动。
这样，各个阶段所确定的决策就构成⼀个决策序列，常称之为策略。
因为各个阶段可供选择的决策往往不⽌⼀个。
因⽽就可能有很多决策以供选择，这些可供选择的策略构成⼀个集合，我们称之为同意策略集合（简称策略集合）。
每⼀个策略都对应地确定⼀种活动的效果。
我们假定这个效果能够⽤数量来衡量。
因为不同的策略经常导致不同的效果，因此，怎样在同意策略集合中选择⼀个策略，使其在预定的标准下达到最好的效果。
经常是⼈们所关⼼的问题。
我们称这种策略为最优策略，这类问题就称为多阶段决策问题。
（4）多阶段决策问题举例：机器负荷分配问题某种机器能够在⾼低两种不同的负荷下进⾏⽣产。
在⾼负荷下⽣产时。
产品的年产量g和投⼊⽣产的机器数量x的关系为g=g(x)，这时的年完善率为a，即假设年初完善机器数为x，到年终时完善的机器数为a*x(0<a<1)；在低负荷下⽣产时，产品的年产量h和投⼊⽣产的机器数量y 的关系为h=h(y)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二节 动态规划应用举例
本节将通过动态规划的三种应用 类型——资源分配问题、复合系统可 靠性问题、设备更新问题，进一步介 绍动态规划的特点和处理方法。
一、资源分配问题
1. 问题的一般提法 设有某种资源，总数量为a，用于生产n种产品； 若分配数量xi用于生产第i种产品，其收益为gi(xi)。 问应如何分配，可使总收益最大？ 2. 数学规划模型
解：阶段k =1,2,3依次表示把设备分配给甲、乙、丙厂的过程； 状态sk 表示在第k阶段初还剩有的可分台数； 决策xk 表示第k阶段分配的设备台数； 状态转移sk+1 = sk- xk ； 阶段指标vk 表示第k阶段分配后产生的效益； 指标函数vk3 = ∑v ( x )；
3
v +f } f = Max { 基本方程 f = 0, k = 3,2,1
pn(xn) n xn
1 x1
阶段k =1,…,n表示安排第k个部件备用件的过程； 状态sk 表示在给第k个部件安排之前还剩有的容许重量； 决策xk 表示第k个部件上安排的备用件数量； 状态转移sk+1 = sk- wkxk ； 阶段指标vk 表示第k部件安排备用件后产生的可靠性； 指标函数vkn = ∏ p ( x )；
= g ( x )；
k k n i =k i i
ห้องสมุดไป่ตู้
k
xk
k
k +1
n +1
例3 某公司拟将某种高效设备5台分配给所属甲、 乙、丙3厂。各厂获此设备后可产生的效益如下 表。问应如何分配，可使所产生的总效益最大？
效益 设备台数 0 1 2 3 4 5 厂 甲 0 3 7 9 12 13 乙 0 5 10 11 11 11 丙 0 4 6 11 12 12
二、复合系统工作可靠性问题
1. 问题的一般提法 设某工作系统由n个部件串接而成，为提 高系统的可靠性，在每个部件上装有备用件。 已知部件i上装有xi个备用件时，其正常工作的 概率为pi(xi)；每个部件i的备用件重量为wi，系 统要求总重量不超过W。问应如何安排备用件 可使系统可靠性最高？ 串接:
三、设备更新问题
例4 某运输公司购进一批卡车投入运营，公司每年初需 对卡车作出更新或继续使用的决定。假设第k年中，rk(tk) 表示车龄为tk的车使用一年的收入，uk(tk)表示车龄为tk的 车使用一年的维修费用，ck(tk)表示车龄为tk的车更新成新 车的费用。现公司需制定一个10年计划，以决定如何安排 使10年的总收入最大。 问题：状态和决策怎样设置？ v1 v2 s2 S1=？ 1 2 x1 x2 v10 … s10 10 x10
1 x1
阶段k =1,…,n表示把资源分配给第k种产品的过程； 状态sk 表示在给第k种产品分配之前还剩有的资源量； 决策xk 表示分配给第k种产品的资源量； 状态转移sk+1 = sk- xk ； 阶段指标vk 指标函数vkn
v +f } f = Max { 基本方程 = ∑ g ( x )； f = 0, k = n , ,1
i =k i i n
v ×f } f = Max { 基本方程 f = 1, k = n , ,1
k xk k k +1 n +1
可靠性问题的应用很广泛，例如：
1.某重要的科研攻关项目正在由3个课题 组以3种不同的方式进行，各组已估计出失败 的概率。为减少失败的概率，选派了2名高级 专家去充实科研力量。若可估计出各组增加 专家后的失败概率，问应如何分派专家可使 总的失败概率最小？ 2.已知x1+x2+…+xn=c，求z=x1x2…xn的最大 值。
1 2
2. 数学规划模型
决策变量： 设给第i 个部件安排x 个备用件
i
目标函数： Maxz = ∏ p ( x )
i =1 i i
n
∑w x ≤W 约束条件： x 为非负整数
n i =1 i i i
模型的特点 ——变量分离。
3.用动态规划方法求解
p1(x1)
S1=W
p2(x2) s2 2 x2 s3 ... sn
k xk k k +1 4
i =k
i
i
问题：本问题是属于离散型还是属于连续型？怎样解？ ——离散型，用表格的方式求解。
效益 设备台数 0 1 2 3 4 5
厂
甲 0 3 7 9 12 13
乙 0 5 10 11 11 11
丙 0 4 6 11 12 12
k
Sk
0 1 2 3 4 5
xk
0 1 2 3 4 5
vk
0 4 6 11 12 12
vk+fk+1
0+0 4+0 6+0 11+0 12+0 12+0
fk
0 4 6 11 12 12
P
0 1 2 3 4 5
∗
kn
3
k
Sk
0 1 2
xk
0 0 1 0 1 2 0 1 2 3 0 1 2 3 4 0 1 2 3 4 5
vk
0 0 5 0 5 10 0 5 10 11 0 5 10 11 11 0 5 10 11 11 11
vk+fk+1
0+0 0+4 5+0 0+6 5+4 10+0 0+11 5+6 10+4 11+0 0+12 5+11 10+6 11+4 11+0 0+12 5+12 10+11 11+6 11+4 11+0
fk
0 5 10
P
∗
kn
0-0 1-0 2-0
3
2
4
14
2-1
16
1-3 2-2
5
21
2-3
—— 决策是更新与否，可用0-1变量表示；状态可设为车龄。
阶段k = 1,…,10表示第k年的决策过程； 状态sk = tk表示第k年的车龄；
1, 第k年更新 决策xk = 0，第k年不更新
状态转移tk+1 = tk (1-xk) +1 阶段指标vk = rk[tk (1-xk) ] - uk[tk (1-xk) ] - xk ck(tk)
决策变量： 设分配给第i种产品的资源数量为x
目标函数： Maxz = ∑ g ( x )
n i =1 i i
i
∑x =a 约束条件： x ≥ 0, i = 1,, n
n i =1 i i
3.用动态规划方法求解
g1(x1)
S1=a
g2(x2) s2 2 x2 s3 ... sn
gn(xn) n xn
k
Sk
xk
0 1 2 3 4 5
vk
0 3 7 9 12 13
vk+fk+1
0+21 3+16 7+14 9+10 12+5 13+0
fk
P
∗
kn
1
5
21
0-2-3 2-2-1
最优策略：P*13 为0-2-3或2-2-1， 即分给甲厂0台、分给乙厂2台、分给丙厂3台， 或分给甲厂2台、分给乙厂2台、分给丙厂1台。 最优值： f1=21。 可见，最优解可以是不唯一的，但最优值是唯一的。
10 i =k i
指标函数vkn = ∑v ；
{ v +f } f = Max { } 基本方程 f = 0, k = 10, ,1
k x k ∈ 0 ,1 k k +1 11
资源分配问题的应用很广泛，例如：
1.某学生正在备考4门功课，还剩7天时间， 每门功课至少复习1天。若他已估计出各门功 课的复习天数与能提高的分数之间的关系， 问他应怎样安排复习时间可使总的分数提高 最多？ 2.背包问题：旅行者携带的背包中能装的 物品重量为a，现他要从n种物品中挑选若干 数量装入背包，问他应如何挑选可使所带的 物品总价值最大？
本节将通过动态规划的三种应用 类型——资源分配问题、复合系统可 靠性问题、设备更新问题，进一步介 绍动态规划的特点和处理方法。
一、资源分配问题
1. 问题的一般提法 设有某种资源，总数量为a，用于生产n种产品； 若分配数量xi用于生产第i种产品，其收益为gi(xi)。 问应如何分配，可使总收益最大？ 2. 数学规划模型
解：阶段k =1,2,3依次表示把设备分配给甲、乙、丙厂的过程； 状态sk 表示在第k阶段初还剩有的可分台数； 决策xk 表示第k阶段分配的设备台数； 状态转移sk+1 = sk- xk ； 阶段指标vk 表示第k阶段分配后产生的效益； 指标函数vk3 = ∑v ( x )；
3
v +f } f = Max { 基本方程 f = 0, k = 3,2,1
pn(xn) n xn
1 x1
阶段k =1,…,n表示安排第k个部件备用件的过程； 状态sk 表示在给第k个部件安排之前还剩有的容许重量； 决策xk 表示第k个部件上安排的备用件数量； 状态转移sk+1 = sk- wkxk ； 阶段指标vk 表示第k部件安排备用件后产生的可靠性； 指标函数vkn = ∏ p ( x )；
= g ( x )；
k k n i =k i i
ห้องสมุดไป่ตู้
k
xk
k
k +1
n +1
例3 某公司拟将某种高效设备5台分配给所属甲、 乙、丙3厂。各厂获此设备后可产生的效益如下 表。问应如何分配，可使所产生的总效益最大？
效益 设备台数 0 1 2 3 4 5 厂 甲 0 3 7 9 12 13 乙 0 5 10 11 11 11 丙 0 4 6 11 12 12
二、复合系统工作可靠性问题
1. 问题的一般提法 设某工作系统由n个部件串接而成，为提 高系统的可靠性，在每个部件上装有备用件。 已知部件i上装有xi个备用件时，其正常工作的 概率为pi(xi)；每个部件i的备用件重量为wi，系 统要求总重量不超过W。问应如何安排备用件 可使系统可靠性最高？ 串接:
三、设备更新问题
例4 某运输公司购进一批卡车投入运营，公司每年初需 对卡车作出更新或继续使用的决定。假设第k年中，rk(tk) 表示车龄为tk的车使用一年的收入，uk(tk)表示车龄为tk的 车使用一年的维修费用，ck(tk)表示车龄为tk的车更新成新 车的费用。现公司需制定一个10年计划，以决定如何安排 使10年的总收入最大。 问题：状态和决策怎样设置？ v1 v2 s2 S1=？ 1 2 x1 x2 v10 … s10 10 x10
1 x1
阶段k =1,…,n表示把资源分配给第k种产品的过程； 状态sk 表示在给第k种产品分配之前还剩有的资源量； 决策xk 表示分配给第k种产品的资源量； 状态转移sk+1 = sk- xk ； 阶段指标vk 指标函数vkn
v +f } f = Max { 基本方程 = ∑ g ( x )； f = 0, k = n , ,1
i =k i i n
v ×f } f = Max { 基本方程 f = 1, k = n , ,1
k xk k k +1 n +1
可靠性问题的应用很广泛，例如：
1.某重要的科研攻关项目正在由3个课题 组以3种不同的方式进行，各组已估计出失败 的概率。为减少失败的概率，选派了2名高级 专家去充实科研力量。若可估计出各组增加 专家后的失败概率，问应如何分派专家可使 总的失败概率最小？ 2.已知x1+x2+…+xn=c，求z=x1x2…xn的最大 值。
1 2
2. 数学规划模型
决策变量： 设给第i 个部件安排x 个备用件
i
目标函数： Maxz = ∏ p ( x )
i =1 i i
n
∑w x ≤W 约束条件： x 为非负整数
n i =1 i i i
模型的特点 ——变量分离。
3.用动态规划方法求解
p1(x1)
S1=W
p2(x2) s2 2 x2 s3 ... sn
k xk k k +1 4
i =k
i
i
问题：本问题是属于离散型还是属于连续型？怎样解？ ——离散型，用表格的方式求解。
效益 设备台数 0 1 2 3 4 5
厂
甲 0 3 7 9 12 13
乙 0 5 10 11 11 11
丙 0 4 6 11 12 12
k
Sk
0 1 2 3 4 5
xk
0 1 2 3 4 5
vk
0 4 6 11 12 12
vk+fk+1
0+0 4+0 6+0 11+0 12+0 12+0
fk
0 4 6 11 12 12
P
0 1 2 3 4 5
∗
kn
3
k
Sk
0 1 2
xk
0 0 1 0 1 2 0 1 2 3 0 1 2 3 4 0 1 2 3 4 5
vk
0 0 5 0 5 10 0 5 10 11 0 5 10 11 11 0 5 10 11 11 11
vk+fk+1
0+0 0+4 5+0 0+6 5+4 10+0 0+11 5+6 10+4 11+0 0+12 5+11 10+6 11+4 11+0 0+12 5+12 10+11 11+6 11+4 11+0
fk
0 5 10
P
∗
kn
0-0 1-0 2-0
3
2
4
14
2-1
16
1-3 2-2
5
21
2-3
—— 决策是更新与否，可用0-1变量表示；状态可设为车龄。
阶段k = 1,…,10表示第k年的决策过程； 状态sk = tk表示第k年的车龄；
1, 第k年更新 决策xk = 0，第k年不更新
状态转移tk+1 = tk (1-xk) +1 阶段指标vk = rk[tk (1-xk) ] - uk[tk (1-xk) ] - xk ck(tk)
决策变量： 设分配给第i种产品的资源数量为x
目标函数： Maxz = ∑ g ( x )
n i =1 i i
i
∑x =a 约束条件： x ≥ 0, i = 1,, n
n i =1 i i
3.用动态规划方法求解
g1(x1)
S1=a
g2(x2) s2 2 x2 s3 ... sn
gn(xn) n xn
k
Sk
xk
0 1 2 3 4 5
vk
0 3 7 9 12 13
vk+fk+1
0+21 3+16 7+14 9+10 12+5 13+0
fk
P
∗
kn
1
5
21
0-2-3 2-2-1
最优策略：P*13 为0-2-3或2-2-1， 即分给甲厂0台、分给乙厂2台、分给丙厂3台， 或分给甲厂2台、分给乙厂2台、分给丙厂1台。 最优值： f1=21。 可见，最优解可以是不唯一的，但最优值是唯一的。
10 i =k i
指标函数vkn = ∑v ；
{ v +f } f = Max { } 基本方程 f = 0, k = 10, ,1
k x k ∈ 0 ,1 k k +1 11
资源分配问题的应用很广泛，例如：
1.某学生正在备考4门功课，还剩7天时间， 每门功课至少复习1天。若他已估计出各门功 课的复习天数与能提高的分数之间的关系， 问他应怎样安排复习时间可使总的分数提高 最多？ 2.背包问题：旅行者携带的背包中能装的 物品重量为a，现他要从n种物品中挑选若干 数量装入背包，问他应如何挑选可使所带的 物品总价值最大？