动态规划8.22

显然,上述求解过程,利用第 k 阶段与第k 1 阶段之间的递推关系
min dk ( xk , uk ( xk )) f k 1 ( xk 1 ) , k 6,5, 4,3, 2,1 f k ( xk ) uk Dk ( xk ) f k 1 ( xk 1 ) 0
花瓶 花束 1杜鹃花 2秋海棠 3康乃馨 1 7 5 -21 2 23 21 5 3 -5 -4 -4 4 -24 10 -20 5 16 23 20
“花店橱窗布置问题”实例数据
矩阵A
阶段和阶段变量
k=1,2, …，n
状态和状态变量 每个阶段开始所面临的自然状况或客观条件。 常用状态变量 xk 表示第k 阶段的某一状态。Xk表示状态集合。
例如，最短行军路线问题的第三阶段的状态集合可记为
X ={C , C , C C } 3 1 2 3, 4
注：无后效性（举例）
2.动态规划的术语
决策和决策变量 决策就是某阶段状态给定后，从该状态演变
到下一阶段某状态的选择。常用uk(xk)表示第k阶段在状态xk下采
取的决策，Dk(xk)表示第k阶段处于状态xk下的允许策略决策集合。
uk(xk) ∈Dk(xk)
例如 第三阶段的状态为X3={C1, C2, C3, C4}，则从 C1 出发，可能 有两种选择，D3(C1)={D1, D2},如果选择从 C1到D2的路径，则
Back
3.动态规划的基本方程
下面按照动态规划的方法，将例1从最后一段开始计算，由 后向前逐步推移至A点。
当 k=6时,由 F1 到终点 G 只有一条路径，故 f6 ( F1 ) 4 ，同理
f6 ( F2 ) 3
3.动态规划的基本方程
当k=5时，出发点有三个 E1, 一是至 F , 一是至 F , 则
华锐学院数学建模暑期培训
动态规划
Dynamic Programming
主讲人：张 聪
zhcopt@
绪论 (Introduction)
20世纪50年代，美国数学家R.E.Belllman 在研究多阶段决策 过程的优化问题时，提出了著名的最优化原理，把多阶段过程 转化为一系列单阶段问题逐个求解，创立了求解这类决策过程 的新方法——动态规划。
一般地，第 k 阶段与第 k 1 阶段之间的递推关系为 f k ( xk ) min vk ( xk , uk ( xk )) f k 1 (uk ( xk )) , k n, n 1,,1 基本方程 u D ( x )
k k k
和边界条件为
fn1 ( xn1 ) 0
1．最短行军路线问题及标号法
标号法——从后段开始逐段向前求最优子路线，从而 得到全过程最优路线。
•图1.2
我们从A出发，顺 推回去，即得最优路径：
A B1 C2 D1 E2 F2 G 其最优距离值为 18
2．动态规划的术语
标号法就是动态规划的具体体现。因此，我们从该问题的标号 求解法中，可以看出动态规划方法的一般思路。下面，我们在严格 的理论基础上，引入动态规划的术语，以建立动态规划的数学模型。
d1 ( A, B1 ) f 2 ( B1 ) 5 13 f1 ( A) min min 18 d ( A , B ) f ( B ) 3 16 1 2 2 2
当k=1时，
u1 ( A) B1
Back
3.动态规划的基本方程
= Vk,n(xk,pk,n(xk))
其中，k=1,2,…,n. 常见的指标函数形式
Vk ,n ( xk , uk ,, xn1 ) v j ( x j , u j ) vk ( xk , uk ) Vk 1,n ( xk 1, uk 1,, xn1 )
j k
n
n
Vk ,n ( xk , uk , , xn 1 ) v j ( x j , u j ) vk ( xk , uk )Vk 1,n ( xk 1 , u k 1 , , xn 1 )
于是从起点A到终点G的最短距离为18.即由
u1 ( A) B1, u2 (B1 ) C2 , u3 (C2 ) D1, u4 (D1 ) E2 , u5 (E2 ) F2 , u6 (F2 ) G
组成一个最优策略，对应的最优路线为 A B1 C2 D1 E2 F2 G
u5 ( E2 ) F2 u5 ( E3 ) F2
Back
3.动态规划的基本方程
类似地，可算得，当k=4时，
f 4 ( D1 ) 7, u4 ( D1 ) E2 , f 4 ( D2 ) 6, u4 ( D2 ) E2 , f 4 ( D3 ) 8, u4 ( D3 ) E2 .
一束康乃馨的标志数为3，所有花束在放入花瓶时必须保持其 标志数的顺序。若花瓶的数目大于花束的数目，则多余的花瓶 必须空置，且每个花瓶中只能放一束花。
每个花瓶都有各自的特点，因此，当各个花瓶中放入不同的花束时， 会产生不同的美学效果，并以美学值（一个整数）来表示，空置花瓶的美 学值为零。 在上述例子中，花瓶与花束的搭配具有不同的美学值，如表1所示 表1
四、连续型动态规划★
五、动态规划的应用★
一、动态规划的基本概念和基本原理
1、最短行军路线问题及标号法
2、动态规划的术语
3、动态规划的基本方程
1．最短行军路线问题及标号法
从一个例子讲起。
例1 最短行军路线问题 图1.1给出了一个行军路线网络，从
A点走到G点，中间经过B，C，D，… 很多点，各点间的距离 如图1.1所示，现在要求选择一条由A点到G点的最短行军路线.
(3)在求整个问题的最优策略时，由于初始状态是已知的，而每段的决策都 是该段状态的函数，故最优策略所经过的各段状态便可逐次变换得到，从 而确定了最优路线。
u1 ( A)
A B1
u2 ( B1 )
C2
u6 ( F2 )
G
动态规划的优点
（1）减少了计算量
穷举法，需要计算48条路线的距离，并进行47次比较；动态规划显然要少。
1988年，黄强把模糊动态规划方法用于求解水电站水库长期优化调 度问题。 1991年，林学钛等在对河南平顶山市地表水与地下水的联合管理研 究中，运用动态规划方法对白龟山水库进行优化调度。
绪论 (Introduction)
离散型
一、动态规划的基本概念和基本原理★
二、不定期动态规划与无期动态规划 三、随机动态规划
（3）确定决策变量uk ( xk ) ，及每个阶段的允许决策集合 Dk ( xk ) （4）正确写出状态转移方程Xk+1=T(xk,uk)。 （5）正确写出指标函数Vk , n 的关系。
Vk,n 是定义在全过程及所有后部子过程上的数量函数。 满足递推关系：
n1 j k
Vk,n(xk,uk,xk+1,uk+1,...)=Vk,n(xk,uk,Vk+1,n(xk+1,uk+1,...)) Vk,n通常取如下形式：Vk,n(xk,...)= v ( x , u ) 严格单调。
多阶段决策问题
图1.1
1．最短行军路线问题及标号法
如D1 E2 F2 G
是最优路径，那么无论从该路线中的哪一点开始（如从D1点开始） 到达终点G的那一段路线，仍是从 D1 点到达终点G的所有可能选 择的不同路线的最优路线，称为由D1 出发的最短子路线。
最优化原理
1
2
E2 , E3.
若从 E1 出发，则有两个选择，
d5 ( E1 , F1 ) f 6 ( F1 ) 3 4 f 5 ( E1 ) min min 7 5 3 d5 ( E1 , F2 ) f 6 ( F2 )
其相应决策为
u5 ( E1 ) F1
j k
v j ( x j , u j ) 表示第j阶段的阶段指标. 其中，
Back
2.动态规划的术语

指标函数和最优值函数
指标函数的最优值，称为最优值函数 f k ( xk ) ，记为
fk ( xk ) opt {uk , , un } Vk ,n ( xk , uk ,, xn1 )
1956年，C.Pontryagin 提出最优控制的最优化原理。 1969年，Merton 在相关条件下，将动态规划方法用到最优投资与消 费问题的求解。
1974年，Huppe 采用动态规划来规划气田的生产。
绪论 (Introduction)
1982年，曾赛星等利用动态规划方法确定内蒙古河套灌溉区各种作 物的灌水定额和灌水次数。
Back
动态规划的基本思想 归纳如下：
起点
1
2
3
4
5
6 终点
行进方向 动态规划寻优途径
(1)正确写出递推关系式（基本方程）和恰当的边界条件。即先将整个过程 分成几个相互联系的阶段，恰当选取状态变量和决策变量及定义最优值函 数，从而将一个大问题化成一族同类型的子问题，然后逐个求解。 (2)在多阶段决策过程中，动规划态是既把当前一段和未来各段分开，又把 当前效益和未来效益结合起来考虑的一种最优化方法。因此，每段决策的 选取是从全局来考虑的，与该段的最优选择答案一般是不同的。
…,un(xn)} …,un(xn)}
子策略 pk,n(xk)={uk(xk), u2(x2),
允许策略集合 P
Back
2.动态规划的术语
指标函数和最优值函数 用来衡量所实现过程优劣的一种数量指标，称为指标函数Vk,n。 Vk,n= Vk,n(xk,xk+1,…,xn+1) = Vk,n(xk,uk,uk+1,…,un)
j j j
动态规划的多样性