运筹学概论 第6章 动态规划

例2中，从A到F可以分成从A到B (B有两种选择B1,B2)，
从B到C (C有四种选择C1，C2，C3，C4)，从C到D (D有三 种选择D1，D2 ,D3)，从D到E (E有两种选择E1，E2)，再
从E到F五个阶段。
2 4
k＝1，2，3，4，5。
C1 C2 C3
8 4 5 3 4 4 5 8
B1
sk 1 Tk (sk , uk )
s1
u1
1
s2
u2
2
s3
sk
uk
k
Sk+1
例2中，状态转移方程为：
sk 1 uk (sk )
6. 指标函数和最优值函数
用于衡量所选定策略优劣的数量指标称为指标函数，包括阶段指标函数和 过程指标函数；阶段指标函数是指第k阶段，从状态sk出发，采取决策uk时的 效益，用d(sk, uk)或用dk(sk, uk)表示。过程指标函数是定义在全过程或所有后 部子过程上确定的数量函数。 费用、成本、利润、路长等 。用 Vk, n 表示之。 一个n段决策过程，从l到n叫作问题的原过程，对于任意一个给定的 k(1≤k≤n)，从第k段到第n段的过程称为原过程的一个后部子过程。
某部门欲采购一批原料，原料价格在五周内可能有 所变动，已预测得该种原料今后五周内取不同单价的概
率如表所示。试确定该部门在五周内购进这批原料的最
优策略，使采购价格的期望值最小。
原材料单价（元） 500 600 700
概率 0.3 0.3 0.4
动态规划问题的特点：
（1）多阶段决策过程，也称序贯决策。在多阶段决策
pk , n ( sk ) u k ( sk ), u k 1 ( sk 1 ), , u n ( sn )
当k=1时，此决策函数序列成为全过程的一个策略，简称策略，记为p1,n (s1)
p1, n ( s1 ) u1 ( s1 ), u 2 ( s2 ), , u n ( sn )
不断地做出决策；
3、找到不同时刻的最优决策以及整个过程的最优策略。 决策 状态 决策 状态 决策 状态 n
状态
1
2
多阶段决策问题的典型例子
例4 生产决策问题
企业在生产过程中，由于需求是随时间变化的，因此企业为了获 得全年的最佳生产效益，就要在整个生产过程中逐月或逐季度地根据 库存和需求决定生产计划。 某工厂每月需供应市场一定数量的产品，并将所余产品存入仓库。 一般某月适当增加产量可降低生产成本，但超产部分存入仓库会增加 库存费用。要求确定一个逐月的生产计划，在满足需求条件下，使一 年的生产与存贮费用之和最小。 显然，可以把每个月作为一个阶段，全年分为12个阶段逐次决策。
f 2 ( B1 )
表示从
则表示从B1到F的最短距离。本问题的总目标是
求 f ( A) ，即从A到终点F的最短距离。 1
二、动态规划的基本思想与基本原理
下面结合例2最短路线问题介绍动态 规划的基本思想。
2 4
C1 C2 C3
8 4
5 8 5 3 4 4
B1
3 6 8 7 7
D1 D2 D3
3 6 2 1 5
位，每月最大生产能力为6单位，计划开始和计划期末库存量都是零。试制定 四个月的生产计划，在满足用户需求条件下总费用最小。假设第i+1个月的库 存量是第i个月可销售量与该月用户需求量之差；而第 i个月的可销售量是本 月初库存量与产量之和。
i (月)
gi (需求)
1
2
3
4
2
3
2
4
例3
限期采购问题——离散随机型
uk(sk) Dk(sk)
2 4
C1 C2 C3
8 4
5 8 5 3 4 4
B1
3 6 8 7 7
D1 D2 D3
3 6 2 1 5
E1 E2
4 3
A
5
F
B2
3
C4 1 2
3
4
5
在例2中，从第二阶段的状态B1出发，可选择下一段的C1，C2，C3，即其 允许决策集合为：
D2 ( B1 ) C1 , C2 , C3
E1 E2
4 3
A
5
F
B2
3
C4 1 2
3
4
5
一种简单的方法，可以求出所有从A至F的可能铺设的路长并加以比较。
从A至F共有24条不同路径，要求出最短路线需要做23次比较运算，这种
方法称穷举法。当问题的段数很多、各段的状态也很多时，穷举法的计 算量会大大增加，甚至使得求优成为不可能。
下面介绍动态规划方法。注意本方法是从过程的最后一段开始，用逆序
V1,n (s1 , p1,n ) 表示初始状态为s1采用策略 p1, n 时原过程的指标函数值。
Vk ,n (sk , pk ,n ) 表示在第k段，状态为sk采用策略 pk ,n ，后部子过程的指
标函数值。
* 最优指标函数记为 f k ( s k )，它表示从第 k 段状态 sk 采用最优策略 pk ,n
例5
投资决策问题
某公司现有资金 Q 万元，在今后 5 年内考虑
给 A，B，C，D 4 个项目投资，这些项目投资的 回收期限、回报率均不相同，问该公司应如何
确定这些项目每年的投资额，使到第5年末拥有
资金的本利总额最大。 这是一个5阶段决策问题。
例 6 设备更新问题
企业在使用设备时都要考虑设备的更新问题，因为设备
第二节 动态规划的基本概念和基本原理 一、动态规划的基本概念
使用动态规划方法解决多阶段决策问题，首先要将 实际问题写成动态规划模型，此时要用到以下概念： (1)阶段； (2)状态；
(3)决策和策略；
(4)状态转移； (5)指标函数。
1. 阶段、阶段变量
把所给问题的过程，适当地分为若干个相互联 系的阶段，以便按次序去求每阶段的解 ; 描述阶段的变量称为阶段变量，常用k表示； 阶段的划分，一般是按时间和空间的自然特征 （年、月、路段）来划分 ；
我们决定选择C3，则可表为：
u 2 ( B1 ) C3
uk(sk) Dk(sk)
4. 策略
按顺序排列的决策组成的集合；
由第k阶段第 n阶段（终止状态）为止的过程，称为问题的后部子过程 （k 子过程） 由每段的决策按顺序排列组成的决策函数序列称为 k子过程策略，简称 子策略，记为pk,n(sk)，即
到过程终止时的最佳效益值。 f k ( s k ) 与 Vk ,n (sk , pk ,n ) 间的关系为：
f k (sk ) Vk ,n (sk , pk , n ) opt Vk , n ( sk , pk , n ) pk ,n P k ,n
opt全称optimum，表示最优化，根据具体问题分别表为max或min。 当k＝1时， f1 ( s1 ) 就是从初始状态 s1 到全过程结束的整体最优函数。 在例2中，指标函数是距离。如第2阶段，状态为B1时， V2,5 ( B1 ) B1到F的距离，而
sk Sk
2 4
C1 C2 C3
8 4
5 8 5 3 4 4
B1
3 6 8 7 7
D1 D2 D3
3 6 2 1 5
E1 E2
4 3
A
5
F
B2
3
C4 1 2
3
4
5
在例2中，第一阶段状态为A，第二阶段则有二个状态：Bl，B2。状 态变量s1的集合 S1 A ，后面各段的状态集合分别是：
S 2 B1 , B2
动态规划是解决复杂系统优化问题的一种方法。可
用于解决最优路径问题、资源分配问题、生产计划与库
存、投资、装载、排序等问题及生产过程的最优控制等，
是解决动态系统多阶段决策过程的基本方法之一。 动态规划模型的分类：①离散确定型；②离散随机 型；③连续确定型；④连续随机型。其中离散确定型是 最基本的。
例1 最优路径问题——离散确定型
过程中,总可以按照时间（也可人为引入）进程分为状态相
互联系而又相互区别的各个阶段； （2）整个活动过程总体效果最优。各时段决策有机联 系，上阶段影响下一阶段决策，进而影响总体。每个阶段 都要进行决策,但最终要使整个过程的决策达到最优效果。
动态规划问题的特点：
1、系统所处的阶段和状态是进行决策的重要因素； 2、在系统发展的不同时刻（或阶段）根据系统所处的状态，
越陈旧所需的维修费用越多，但购买新设备则要一次性支出
较大的费用。现某企业要决定一台设备未来8年的更新计划， 已预测了第 j 年购买设备的价格为 Kj，设 Gj 为设备经过 j 年后 的残值，Cj为设备连续使用j-1年后在第j年的维修费(j＝1， 2，…，8)，问应在哪些年更新设备可使总费用最小。
这是一个8阶段决策问题，每年年初要作出决策，是继续
3. 决策、决策变量
过程的某一阶段、 某个状态, 可以做出不同的决定(选择), 下一阶段的状态，这种决定称为决策。 决定
描述决策的变量，称为决策变量。常用 u k (sk ) 表示第 k 阶段当状态 为sk 时的决策变量。 决策变量是状态变量的函数。 在实际问题中决策变量的取值往往在某一范围之内，此范围称为允许 决策集合。常用 Dk(sk) 表示第 k 阶段从状态sk出发的允许决策集合。
G
1
2
4
5
6
例2
生产与存贮问题——离散连续型
某工厂生产并销售某种产品，已知今后四个月市场需求预测如表，又每 月生产j单位产品费用为：
( j 0) 0 C( j) (千元) 3 j ( j 1,2, ,6) 每月库存j单位产品的费用为 E( j ) 0.5 j (千元) ，该厂最大库存容量为3单
可供选择的策略有一定范围，此范围称为允许策略集合，用 P 表示。 1, n 从允许策略集合中找出达到最优效果的策略称为最优策略。