第八章动态规划

2 2 1 2 3
max z 3x13 4 x1 2 x22 5x2 2 x3 4 x1 2 x2 3x3 18 s.t : x1 , x2 , x3 0
x1 x2 x3 6 s.t : x1 , x2 , x3 0
max z 8 x 4 x x
问题必须能够分成几个相互联系的阶段，而且在每 一个阶段都具有需要进行决策的问题；每一阶段都必 须有若干与该阶段相关的状态。
建模时总是从与决策有关的条件中，或是从问题的
约束条件中去选择状态变量。
2017/6/29
状态的选取必须： 在问题的各阶段，能直接或间接确定状态变量值； 通过现阶段的决策，当前状态转移成下阶段状态；
y1 yn b yi 0, 整数
2017/6/29
粗格子点法：采用离散式方式。
2017/6/29
生产计划与存储问题
某商店在四个月用一个仓库经销商品，最大容量为1000单 位。每月只能卖出仓库现货,在某月购货时，下月初才到 货。未来四个月的买卖价格如下，假定在1月初仓库贮有 500单位，如何制定四个月的订购与销售计划，获利最大 （不计库存费）。
去的状态和决策如何，对前面的决策所形成的状态
而言，余下的决策必须构成最优的策略。即一个最
优策略的子策略也是最优的。
2017/6/29
动态规划模型的求解
解法

离散型：分段穷举法 连续型：利用解析方法或线性规划方法 没有固定的方法,具体模型具体分析 要求：经验、技巧、灵活
2017/6/29
max z x x x
在三个不同的地区设臵4个销售点，在不同地区设臵不 同数量的销售点，每月得到的利润如下，问在各个地 区如何设臵销售点，使得每月获得的利润最大？
2017/6/29
某有色金属公司拟拨出50万元对所属三家冶炼厂进 行技术改造，若以十万元为最少分割单位，各厂收 益与投资的关系如下表：如何投资使收益最大？
P：允许策略集合 最优策略：使整个问题达到最优效果的策略。
2017/6/29
状态转移方程确定一个过程状态到另一个状态的
演变过程。
sk 1 Tk (sk , uk )
指标函数衡量所选定的策略优劣的数量指标。
V s1 , p1,n 初始状态为s1时采用原过程策略p1,n所对应的指标函数 V sk , pk ,n 第k阶段sk时采用后部子过程策略pk ,n所对应的指标函数
授课内容
概述 基本要求 基本概念 基本解法 一维资源分配 生产计划与存储 主要应用 不确定性采购 设备更新
2017/6/29
基本思想
二维资源分配 背包问题 可靠性 排序
货郎担问题
概述
20世纪50年代，美国数学家贝尔曼,解决多阶段决 策过程的最优化的一种方法； 多阶段决策过程：可以按时间顺序分解成若干个 相互联系的阶段，每阶段有若干个方案供选择。 一种动态的决策过程，最终目标是达到整体最优。 )
2017/6/29
连续资源的分配问题
设有数量为y的某种资源，将它分别投入两种生产
方式A和B，已知收益函数分别是g(x)和h(x)，x为
资源投入量。设这种资源用于生产后还可以回收一 部分用于生产，A、B的回收率分别为a和b，对总数 量为y的资源进行n个阶段的生产，应如何分配每个 阶段投入A、B的资源数量，才能使总收益最大？
最关键的是写出递推关系式和恰当的边界条件。
2017/6/29
动态规划的优点：减少了计算工作量；丰富了计
算结果。
建立动态规划模型：
将问题的过程划分成恰当的阶段； 正确选择状态变量和决策变量； 写出状态转移方程； 正确写出指标函数：数量函数，具有可分离性；
严格单调。
2017/6/29
基本要求
u1 ( A)U1 ( A)
d A, u ( A) f u ( A)
1 2 1
2017/6/29
基本思想
在多阶段决策中，将前一段与未来分开，又将当前 效益和未来效益结合起来综合考虑。 在求整个问题的最优策略时，由于初始状态已知， 各段决策都是其状态的函数，因此可以得到每段状 态，形成最优解。

u2 ( B1 )U 2 ( B1 ) 2
min
1
2
1
3
2
1
2
2
1
3
1
2
2
3
2
2
3
3
3
u2 ( B2 )U 2 ( B2 ) 3
2
2
2
3
2
2
2
3
2
3
2
3
3
3
3
u2 ( B3 )U 2 ( B3 )
3
2
3
3
2
3
k=1
f1 A min d A, B1 f 2 B1 , d A, B2 f 2 (B2 ), d A, B3 f 2 (B3 ) min
2017/6/29
主要的应用：
最优路径问题；资源分配问题；排序问题；投资
问题；装载问题；生产计划与库存问题；生产过
程的最优控制等。 动态规划种类划分： 离散确定型；离散随机型；连续确定型；连续随 机型。
2017/6/29
例：设从甘肃要铺一条煤气管道到北京，途中须 经过陕西、山西、河北，每省设一个中间站。各
8 ○
D1 E ○
5 9
6
4 D2
○
○ 8 C 6○
C1
2
10 B 1
9 7 7
○ 6 B ○
2
4 2 3
A ○
1C
○
3
8
3 B 3
○
2017/6/29
f3 C3 min d C3 , D1 f 4 D1 , d C3 , D2 f 4 ( D2 )
pk ,n Pk ,n


f1 s1 初始状态为s1时采用原过程最优策略p *1,n 所对应的指标函数值
2017/6/29
k=4开始
k=3
f4 D1 8；f4 D2 4
f3 C1 min d C1 , D1 f 4 D1 ； d C1, D2 f4 (D2 )
2017/6/29
策略按照顺序排列的各个阶段决策组成的序列。
p1,n s1 从第一阶段s1开始到第n阶段全过程的策略 即p1,n s1 u1 s1 , u2 s2 ,un sn pk ,n sk :从第k阶段初始状态sk 开始到第n个阶段的策略.
d C , u (C ) f u (C ) f C min d C , D f D , d C , D f ( D ) min d C , u (C ) f u (C )
min
3 2 u3 ( C1 )U 3 ( C1 ) 1 3 1 4 3 1 2 1 4 1 2 2 4 2 u3 ( C2 )U 3 ( C2 ) 2 3 2 4 3 2
2017/6/29
一维资源分配
某公司有某种原料总数量为a，用于n种产品，已知
对第i个产品分配数量xi，收益为gi(xi)，问应如何分 配使总收入最大？
阶段：k=1,2, …,n 状态变量sk：第k阶段用于第k到第n个产品的数量
决策变量uk ：第k个产品的数量
2017/6/29
状态转移方程： sk 1 sk uk ;Uk {uk | 0 uk sk } 指标函数Vk,n
u3 ( C3 )U3 ( C3 )
min
d C , u (C ) f u (C )
3 3 3 4 3 3
k=2
f 2 B1 min d B1 , C1 f3 C1 , d B1 , C2 f 3 (C2 )
d B , u ( B ) f u ( B ) f B min d B , C f C , d B , C f (C ), d B , C f (C ) min d B , u ( B ) f u ( B ) f B min d B , C f C , d B , C f (C ) min d B , u ( B ) f u ( B )
2 1 2 2 3 3
min z 3x12 5x1 3x22 3x2 2 x32 7 x3 2 x1 3x2 2 x3 16 s.t : x1 , x2 , x3 0
2 x1 x2 10 x3 b s.t : x1 , x2 , x3 0, b为实数
逆序解法：规定行进方向10-1，从最终点向初始
点进行计算的解法1-10。
顺序解法：规定行进方向1-10，从最终点向初始 点进行计算的解法10-1。 上述两种方法仅仅表示行进方向不同，或对始端 和终端看法的颠倒，但是规定行进方向后，均是按
照这个方向的逆方向进行求解。
2017/6/29
动态规划的最优性原理： 作为整个过程的最优策略具有以下性质：无论过
分配用于n种产品。如何两种原料分别以xi和
yi为单位，收益为gi(xi， yi)，问应如何分配这
两种原料，使总收入最大？
max[ g1 ( x1 , y1 ) g n ( xn , yn )] x1 xn a y1 yn b xi , yi 0, 整数
： g i ui
i k n
最优值函数 f k sk ：第k阶段可分配的数量为sk时，
第k至第n个产品的最大总收入 建立递推公式：