第7章动态规划
合集下载
最优控制-第七章-动态规划法
当∆t很小时，有
t t
t
Lx, u, t d t Lx, u, t t
J x, t min
*
min
uU
uU
tf
t0
Lx, u, t d t Φ xt f
tf t t
t t
t
Lx, u, t d t
Lx, u, t d t Φ xt f
P1 11
7
P2 4 2
P3 4 4
12 A 4 8 Q1
4 3 2 2 Q3 B
5 Q2
第一段：P1、Q1的前站是始发站A。显见从
A到B的最优值为12，故得最优路线为AQ1P2Q3B。
综上可见，动态规划法的特点是： 1) 与穷举算法相比，可使计算量大大减少。如
上述最优路线问题，用动态规划法只须做10次
J x, t min Lx, u, t t J xt t , t t
* * uU
(8)
* J x , t J x, t * * J x x, t t J x, t t (12) x t x * T
A城出发到B城的行车时间最短。
P1 3 A 4 Q1 1
7
P2
2
P3 4
4
6 8 2 Q2
3 3 3
2 Q3 4
2
B
现将A到B分成四段，每一段都要作一最优决 策，使总过程时间为最短。所以这是一个多段最 优决策问题。 由图2可知，所有可能的行车路线共有8条。 如果将各条路线所需的时间都一一计算出来，并 作一比较，便可求得最优路线是AQ1P2Q3B，历时 12。这种一一计算的方法称为穷举算法。这种方 法计算量大，如本例就要做3×23=24次加法和7次 比较。如果决策一个n段过程，则共需(n-1)2n-1次 加法和(2n-1-1)次比较。可见随着段数的增多，计 算量将急剧增加。
运 筹 学 课 件
12/3 4
z
1 2
x4
x5 42
x3
2 3
x4
1 3
x5
4
新典式
主元化 为1，主 元所在
x2
1 2
x4
6
列的其 余元素
x1
2 3
x4
1 3
x5
4
化为0
观察最后一个典式，所有检验数均为非负， 故其对应的基本可行解为最优解，即
X * 4,6,6,0,0T z* 42
去掉引入变量，得原问题的最优解为：
运筹学课件
目录
运筹学概论 第一章 线性规划基础 第二章 单纯形法 第三章 LP对偶理论 第四章 灵敏度分析 第五章 运输问题 第六章 整数规划 第七章 动态规划 第八章 网络分析
第二章 单纯形法
(SM-Simplex Method)
1947年，美国运筹学家Dantzig提出，原理是 代数迭代。
单纯形法中的单纯形的这个术语，与该方法毫 无关系，它源于求解方法的早期阶段所研究的一 个特殊问题，并延用下来。
CB B1b B1b
z
CB B1N CN X N X B B1NX N
CB B1b B1b
上述方程组的矩阵形式为
10
0 I
CB
B1N B1N
CN
z XB XN
CB B1b B1b
上式的系数增广阵称为对应于基B的单纯形表：
T(B)
CB B1b B1b
0 I
CB
B1N B1N
CN
形式的LP问题，必须解决三个问题： ⑴初始基本可行解的确定； ⑵解的最优性检验； ⑶基本可行解的转移规则。 这里先放一下⑴，研究⑵和⑶，为此，
动态规划(完整)
第七章 动态规划
主要内容:
§7.1多阶段决策问题 §7.2 动态规划的基本概念和基本原理
§7.3 动态规划应用举例
例 求解最短路问题
A1 2 Q 4 3 A3 A2 6 3 7 4 B1 1 4 2 4 4 1 5 6 B2 3 B3 3 3 C2 C1 3 4 T
Ⅰ
Ⅱ
Ⅲ
Ⅳ
分阶段的最短路径
• • • • • • • Ⅳ ： C1—T Ⅲ --Ⅳ : B1—C1—T Ⅱ--Ⅲ--Ⅳ ：A2—B1—C1—T Ⅰ--Ⅱ--Ⅲ --Ⅳ： Q—A2—B1—C1—T Q--A3—B1—C1—T Q--A3—B2—C2—T 3 4 7
决策为 xk 时的指标，则它就是第 k 段指标函
数，简记为vk 。 （2）过程指标函数（也称目标函数） 用f(sk , xk)表示第k子过程的指标函数。表
示处于第 k 段 sk 状态且所作决策为xk时，
从 sk 点到终点的距离。由此可见， f(sk , xk)
不仅跟当前状态 sk 有关，
还跟该子过程策略 pk(sk) 有关,严格说来，应
(6) 指标函数
用来衡量策略或子策略或决策的效果的 某种数量指标，就称为指标函数。它是定义 在全过程或各子过程或各阶段上的确定数量 函数。对不同问题，指标函数可以是诸如费 用、成本、产值、利润、产量、耗量、距离、 时间、效用，等等。
（1）阶段指标函数（也称阶段效应）
用vk(sk , xk)表示第 k 段处于状态 sk且所作
资规划, 排序问题和生产过程的最优控制
等问题;
§7.2 动态规划的基本概念和基本思想
一、基本概念
使用动态规划方法求解决策问题首先要将 问题改造成符合动态规划求解要求的形式, 要涉及以下概念: (1)阶段 (3)决策与策略 (2)状态 (4)状态转移方程
主要内容:
§7.1多阶段决策问题 §7.2 动态规划的基本概念和基本原理
§7.3 动态规划应用举例
例 求解最短路问题
A1 2 Q 4 3 A3 A2 6 3 7 4 B1 1 4 2 4 4 1 5 6 B2 3 B3 3 3 C2 C1 3 4 T
Ⅰ
Ⅱ
Ⅲ
Ⅳ
分阶段的最短路径
• • • • • • • Ⅳ ： C1—T Ⅲ --Ⅳ : B1—C1—T Ⅱ--Ⅲ--Ⅳ ：A2—B1—C1—T Ⅰ--Ⅱ--Ⅲ --Ⅳ： Q—A2—B1—C1—T Q--A3—B1—C1—T Q--A3—B2—C2—T 3 4 7
决策为 xk 时的指标，则它就是第 k 段指标函
数，简记为vk 。 （2）过程指标函数（也称目标函数） 用f(sk , xk)表示第k子过程的指标函数。表
示处于第 k 段 sk 状态且所作决策为xk时，
从 sk 点到终点的距离。由此可见， f(sk , xk)
不仅跟当前状态 sk 有关，
还跟该子过程策略 pk(sk) 有关,严格说来，应
(6) 指标函数
用来衡量策略或子策略或决策的效果的 某种数量指标，就称为指标函数。它是定义 在全过程或各子过程或各阶段上的确定数量 函数。对不同问题，指标函数可以是诸如费 用、成本、产值、利润、产量、耗量、距离、 时间、效用，等等。
（1）阶段指标函数（也称阶段效应）
用vk(sk , xk)表示第 k 段处于状态 sk且所作
资规划, 排序问题和生产过程的最优控制
等问题;
§7.2 动态规划的基本概念和基本思想
一、基本概念
使用动态规划方法求解决策问题首先要将 问题改造成符合动态规划求解要求的形式, 要涉及以下概念: (1)阶段 (3)决策与策略 (2)状态 (4)状态转移方程
804运筹学考研大纲
三、考试时间与试卷结构
考试时间为180分钟，满分150分。试题的类型含：计算题和建模题，或上述题型的综合。
四、参考书目
胡运权，运筹学教程（1998年版或2003年第二版），清华大学出版社
胡运权，运筹学习题集（第三版），清华大学出版社，2002年
一、考试要求
要求考生系统掌握运筹学的基本概念、主要理论和方法，各类模型的结构特点、实际含义及一般问题的建模技巧。
二、考试内容
第一章、第二章 线性规划及单纯形法、线性规划的对偶理论与灵敏度分析
1、基本内容：线性规划问题的数学模型；图解法；基本概念和基本定理；单纯形法原理与计算步骤；解的情况判别；线性规划问题的建模与应用。线性规划问题的原问题与对偶问题的对应关系，对偶问题的性质；影子价格；了解对偶单纯形法；价值系数cj和资源可用量bi变化时的灵敏度分析。
2、重点内容：M/M/l等待制排队系统的分析和优化
第十三章 决策分析
1、基本内容：决策分析的基本概念、基本类型；风险型决策问题的期望值和决策树方法；不确定型决策方法；熟悉效用函数方法和层次分析方法基本思想。
2、重点内容：决策问题益损系数矩阵的形成和决策问题的建立；风险型决策问题的期望值和决策树方法（包括多个决策点的决策树方法）；不确定型决策方法；效用函数方法基本思想。
第七章 动态规划
1、基本内容：动态规划的基本概念；动态规划数学模型的特点及构建；离散确定型动态规划模型的求解；几个典型的动态规划问题建模和求解；一般数学规划模型的动态规划解法。
2、重点内容：最段路问题、资源分配问题、背包问题、复合系统可靠性问题等典型动态规划问题的建模和求解。
第八章 图与网络分析
1、基本内容：PERT网络图的要素与构建；PERT网络图时间参数的计算；网络的关键路线；最低成本日程（工期~成本优化）问题。
考试时间为180分钟，满分150分。试题的类型含：计算题和建模题，或上述题型的综合。
四、参考书目
胡运权，运筹学教程（1998年版或2003年第二版），清华大学出版社
胡运权，运筹学习题集（第三版），清华大学出版社，2002年
一、考试要求
要求考生系统掌握运筹学的基本概念、主要理论和方法，各类模型的结构特点、实际含义及一般问题的建模技巧。
二、考试内容
第一章、第二章 线性规划及单纯形法、线性规划的对偶理论与灵敏度分析
1、基本内容：线性规划问题的数学模型；图解法；基本概念和基本定理；单纯形法原理与计算步骤；解的情况判别；线性规划问题的建模与应用。线性规划问题的原问题与对偶问题的对应关系，对偶问题的性质；影子价格；了解对偶单纯形法；价值系数cj和资源可用量bi变化时的灵敏度分析。
2、重点内容：M/M/l等待制排队系统的分析和优化
第十三章 决策分析
1、基本内容：决策分析的基本概念、基本类型；风险型决策问题的期望值和决策树方法；不确定型决策方法；熟悉效用函数方法和层次分析方法基本思想。
2、重点内容：决策问题益损系数矩阵的形成和决策问题的建立；风险型决策问题的期望值和决策树方法（包括多个决策点的决策树方法）；不确定型决策方法；效用函数方法基本思想。
第七章 动态规划
1、基本内容：动态规划的基本概念；动态规划数学模型的特点及构建；离散确定型动态规划模型的求解；几个典型的动态规划问题建模和求解；一般数学规划模型的动态规划解法。
2、重点内容：最段路问题、资源分配问题、背包问题、复合系统可靠性问题等典型动态规划问题的建模和求解。
第八章 图与网络分析
1、基本内容：PERT网络图的要素与构建；PERT网络图时间参数的计算；网络的关键路线；最低成本日程（工期~成本优化）问题。
动态规划(完整)
(3) 决策、决策变量
所谓决策就是确定系统过程发展的方案，
决策的实质是关于状态的选择，是决策者从
给定阶段状态出发对下一阶段状态作出的选
择。
用以描述决策变化的量称之决策变量， 和状态变量一样，决策变量可以用一个数， 一组数或一向量来描述．也可以是状态变量
的函数，记以 xk xk (sk ) ，表示于 k 阶段状
阶段变量描述当前所处的阶段位置，一 般用下标 k 表示;
(2) 确定状态
每阶段有若干状态(state), 表示某一阶段决策 面临的条件或所处位置及运动特征的量,称为 状态。反映状态变化的量叫作状态变量。 k 阶段的状态特征可用状态变量 sk 描述;
每一阶段的全部状态构成该阶段的状态集合Sk ，并有skSk。每个阶段的状态可分为初始状 态和终止状态，或称输入状态和输出状态， 阶段的初始状态记作sk ，终止状态记为sk+1 ，也是下个阶段的初始状态。
状态转移方程在大多数情况下可以由数学公 式表达, 如: sk+1 = sk + xk；
(6) 指标函数
用来衡量策略或子策略或决策的效果的 某种数量指标，就称为指标函数。它是定义 在全过程或各子过程或各阶段上的确定数量 函数。对不同问题，指标函数可以是诸如费 用、成本、产值、利润、产量、耗量、距离、 时间、效用，等等。
• 2、在全过程最短路径中，将会出现阶段的最优路
径；-----递推性
• 3、前面的终点确定，后面的路径也就确定了，且 与前面的路径（如何找到的这个终点）无关；----
-无后效性
• 3、逐段地求解最优路径，势必会找到一个全过程
最优路径。-----动态规划
§7.1多阶段决策问题
• 动态规划是解决多阶段最优决策的方法, 由美国数学家贝尔曼(R. Bellman) 于 1951年首先提出;
(陈慧南 第3版)算法设计与分析——第7章课后习题答案
③ 其余元素
w[0][2] q[2] p[2] w[0][1] 15
k 1: c[0][0] c[1][2] c[0][2] min k 2 : c[0][1] c[2][2] w[0][2] 22 r[0][2] 2
17000
s[0][2]
0
m[1][3]
min
k k
1: m[1][1] m[2][3] 2 : m[1][2] m[3][3]
p1 p2 p4 p1 p3 p4
10000
s[1][3]
2
m[1][3]
min
k k
0 : m[0][0] m[1][3] 1: m[0][1] m[2][3]
第七章课后习题
姓名：赵文浩 学号：16111204082 班级：2016 级计算机科学与技术 7-1 写出对图 7-19 所示的多段图采用向后递推动态规划算法求解时的计算过程。
3
1
3
1
6
5
0
2
6
6
3
4
4 6
5
2
7
8
3
2
8
5
2
7
解析：
V 5 cost(5,8) 0 d (5,8) 8
V4
cos t(4, 6) minc(6,8) cos t(5,8) 7 cos t(4, 7) minc(7,8) cos t(5,8) 3
k 1: c[0][0] c[1][3] c[0][3] min k 2 : c[0][1] c[2][3] w[0][3] 25
《算法设计与分析》(全)
巢湖学院计算机科学与技术系
1.1、算法与程序
程序：是算法用某种程序设计语言的具体实现。 程序可以不满足算法的性质(4)。 例如操作系统，是一个在无限循环中执行的程序， 因而不是一个算法。 操作系统的各种任务可看成是单独的问题，每一个 问题由操作系统中的一个子程序通过特定的算法来实 现。该子程序得到输出结果后便终止。
渐近分析记号的若干性质
（1）传递性： ➢ f(n)= (g(n))， g(n)= (h(n)) f(n)= (h(n))； ➢ f(n)= O(g(n))， g(n)= O (h(n)) f(n)= O (h(n))； ➢ f(n)= (g(n))， g(n)= (h(n)) f(n)= (h(n))； ➢ f(n)= o(g(n))， g(n)= o(h(n)) f(n)= o(h(n))； ➢ f(n)= (g(n))， g(n)= (h(n)) f(n)= (h(n))； （2）反身性： ➢ f(n)= (f(n))；f(n)= O(f(n))；f(n)= (f(n)). （3）对称性： ➢ f(n)= (g(n)) g(n)= (f(n)) . （4）互对称性： ➢ f(n)= O(g(n)) g(n)= (f(n)) ； ➢ f(n)= o(g(n)) g(n)= (f(n)) ；
巢湖学院计算机科学与技术系
渐近分析记号的若干性质
规则O(f(n))+O(g(n)) = O(max{f(n),g(n)}) 的证明： ➢ 对于任意f1(n) O(f(n)) ，存在正常数c1和自然数n1，使得对
所有n n1，有f1(n) c1f(n) 。 ➢ 类似地，对于任意g1(n) O(g(n)) ，存在正常数c2和自然数
巢湖学院计算机科学与技术系
第1章 算法引论
1.1、算法与程序
程序：是算法用某种程序设计语言的具体实现。 程序可以不满足算法的性质(4)。 例如操作系统，是一个在无限循环中执行的程序， 因而不是一个算法。 操作系统的各种任务可看成是单独的问题，每一个 问题由操作系统中的一个子程序通过特定的算法来实 现。该子程序得到输出结果后便终止。
渐近分析记号的若干性质
（1）传递性： ➢ f(n)= (g(n))， g(n)= (h(n)) f(n)= (h(n))； ➢ f(n)= O(g(n))， g(n)= O (h(n)) f(n)= O (h(n))； ➢ f(n)= (g(n))， g(n)= (h(n)) f(n)= (h(n))； ➢ f(n)= o(g(n))， g(n)= o(h(n)) f(n)= o(h(n))； ➢ f(n)= (g(n))， g(n)= (h(n)) f(n)= (h(n))； （2）反身性： ➢ f(n)= (f(n))；f(n)= O(f(n))；f(n)= (f(n)). （3）对称性： ➢ f(n)= (g(n)) g(n)= (f(n)) . （4）互对称性： ➢ f(n)= O(g(n)) g(n)= (f(n)) ； ➢ f(n)= o(g(n)) g(n)= (f(n)) ；
巢湖学院计算机科学与技术系
渐近分析记号的若干性质
规则O(f(n))+O(g(n)) = O(max{f(n),g(n)}) 的证明： ➢ 对于任意f1(n) O(f(n)) ，存在正常数c1和自然数n1，使得对
所有n n1，有f1(n) c1f(n) 。 ➢ 类似地，对于任意g1(n) O(g(n)) ，存在正常数c2和自然数
巢湖学院计算机科学与技术系
第1章 算法引论
《算法分析与设计》(李春葆版)课后选择题答案与解析
《算法及其分析》课后选择题答案及详解第1 章——概论1.下列关于算法的说法中正确的有（）。
Ⅰ.求解某一类问题的算法是唯一的Ⅱ.算法必须在有限步操作之后停止Ⅲ.算法的每一步操作必须是明确的，不能有歧义或含义模糊Ⅳ.算法执行后一定产生确定的结果A.1个B.2个C.3个D.4个2.T(n)表示当输入规模为n时的算法效率，以下算法效率最优的是（）。
A.T(n)=T(n-1)+1，T(1)=1B.T(n)=2nC.T(n)= T(n/2)+1，T(1)=1D.T(n)=3nlog2n答案解析：1.答：由于算法具有有穷性、确定性和输出性，因而Ⅱ、Ⅲ、Ⅳ正确，而解决某一类问题的算法不一定是唯一的。
答案为C。
2.答：选项A的时间复杂度为O(n)。
选项B的时间复杂度为O(n)。
选项C 的时间复杂度为O(log2n)。
选项D的时间复杂度为O(nlog2n)。
答案为C。
第3 章─分治法1.分治法的设计思想是将一个难以直接解决的大问题分割成规模较小的子问题，分别解决子问题，最后将子问题的解组合起来形成原问题的解。
这要求原问题和子问题（）。
A.问题规模相同，问题性质相同B.问题规模相同，问题性质不同C.问题规模不同，问题性质相同D.问题规模不同，问题性质不同2.在寻找n个元素中第k小元素问题中，如快速排序算法思想，运用分治算法对n个元素进行划分，如何选择划分基准？下面（）答案解释最合理。
A.随机选择一个元素作为划分基准B.取子序列的第一个元素作为划分基准C.用中位数的中位数方法寻找划分基准D.以上皆可行。
但不同方法，算法复杂度上界可能不同3.对于下列二分查找算法，以下正确的是（）。
A.intbinarySearch(inta[],intn,int x){intlow=0,high=n-1;while(low<=high){intmid=(low+high)/2;if(x==a[mid])returnmid;if(x>a[mid])low=mid;elsehigh=mid;}return –1;}B.intbinarySearch(inta[],intn,int x) { intlow=0,high=n-1;while(low+1!=high){intmid=(low+high)/2;if(x>=a[mid])low=mid;elsehigh=mid;}if(x==a[low])returnlow;elsereturn –1;}C.intbinarySearch(inta[],intn,intx) { intlow=0,high=n-1;while(low<high-1){intmid=(low+high)/2;if(x<a[mid])high=mid;elselow=mid;}if(x==a[low])returnlow;elsereturn –1;}D.intbinarySearch(inta[],intn,int x) {if(n>0&&x>=a[0]){intlow= 0,high=n-1;while(low<high){intmid=(low+high+1)/2;if(x<a[mid])high=mid-1;elselow=mid;}if(x==a[low])returnlow;}return –1;}答案解析：1.答：C。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4 4 4 4
当 k 3，f Max v f
3 0
3 3
3
4
Max 3x 5s 13.6(0.9s 0.2x )
0
3 3
3
3
3
3
Max 0.28x 17.24s
0
3 3
3
3
x s , f 17.52s ,即第3年初将全部完好机器都 投入高负荷。
• • • • •
阶段(k) 状态(sk,Sk) 决策(uk(sk)) 状态转移 指标函数
第一节 动态规划的基本概念与方法
指标函数：用于衡量所选定策略优劣的数 量指标。
阶段指标函数：指第k阶段从状态sk出发， 采取决策uk时的数量指标，用vk(sk,uk)表示。 后部子过程的指标函数值：指第 k 阶段， 状态为 sk 采用 pk ， n 时，后部子过程的数量 指标函数值，用Vk，n(sk，pk，n) 表示。 最优指标函数值：它表示从第k段状态sk采 * 到过程终止时的最优数量指 用最优策略pk,n 标值, 记 fk = fk（ sk ）=opt vkn。
3
D1 D2
5 2 E
k 1
Sk A
xk
B B B
1
vk
2 5 1
vkn=vk+fk+1
2 20 5 14 1 19
fk
19
P
2
AB2C1D1E
3
P*14=AB2C1D1E（最短路） f1 = 19 （最短距） 12 B1 14 6 10 B2 4 13 12 B3 11
C1
C2 C3
则对任何 k（1 k n） ， 子 策 略 Pkn 对于以 sk 为起
点 的k至n子 过 程 来 说 必 为 最 优 略 策。
以最短路为例说明
（2）基本方程 根据最优性原理，可建立从后向前逆推求解 的递推公式——基本方程：
f k opt v k f k 1 xk f n1 0, k n, ,1
A
5 1
2
D2
2 A 5 1
12 14 6 10 B2 4 13 12 B3 11 B1
C1 C2
C3
9 6 5 8 10
3
D1
D2
5
2
E
解：设阶段k=1，2，3，4依次表示4个阶段选路的过程；
状态sk表示k阶段初可能处的位置； 决策xk表示k阶段初可能选择的路； 阶段指标vk表示k阶段与所选择的路段相应的路长； 指标函数 vk4 =
3 3 3 3
2 0
2 2
当 k 2，f Max v f Max 3x 5s 17.52(0.9s 0.2x )
2 3 0
2 2
2
2
2
2
Max 20.8s 0.5x
0
2 2
2
2
x 0, f 20.8s ,即第2年初将全部完好机器都 投入低负荷。
各阶段开始时可能的情形或位置叫 做状态，用状态变量sk表示。 sk 的取值集合称为状态集合，用 Sk 表示。 某状态以后的过程和以前无关，只 与当前状态有关，我们称这种特性 为“无后效性” 。 按状态的取值是离散或连续，将动 态规划问题分为离散型和连续型。
• • • • •
阶段(k) 状态(sk,Sk) 决策 状态转移 指标函数
• • • • •
阶段(k) 状态(sk,Sk) 决策(uk(sk)) 状态转移 指标函数
第一节 动态规划的基本概念与方法
动态规划中本阶段的状态是上一 阶段的决策结果。如果给定了第 k阶段的状态sk,本阶段的决策就为 uk(sk),则第k+1段的状态sk+1也就 完全确定了,它们的关系可表示为： sk+1=Tk(sk,uk)。由于它表示了由k 到k+1段的状态转移规律,所以称 为状态转移方程。
D D
1
2
E E
D D D D D D
1
5 2 3 9 6 5 8 10
50 20 35 92 65 5 2 85 10 2
5 2
8
7
DE
1
DE
2
C1
C1D1E
C2D2E C3D2E
2
3
C2
1
2
C3
1
12
2
k
Sk
B1
xk
C C
C C C C C C
1 2
vk
12 14
6 10 4 13 12 11
第七章 动态规划
（Dynamic Programming） 动态规划是研究多阶段决策问
题的一种运筹学方法。
第七章 动态规划 （Dynamic Programming）
第一节 动态规划的基本概念与方法 第二节 动态规划应用举例
第七章 动态规划
第一节 动态规划的基本概念与方法
多阶段决策过程最优化:
多阶段决策过程是指这样一类特殊的活动过程，它们 可以按时间顺序分解成若干相互联系的阶段，在每个阶 段都要做出决策，全部过程的决策是一个决策序列，所 以多阶段决策问题也称为序贯决策问题。
基本概念复习及其表示
1）阶段 2）阶段变量 3）状态 4）状态变量 5）状态集合 6）决策 7）决策变量 8）允许决策集 9）策略 10）允许策略集 11）最优策略 12）状态转移方程 13）指标函数 14）最优值函数
说出下列符号的含义
1) 2) 3) 4) 5) 6) 7) 8) Sk uk(sk) Dk(sk) pk,n= P1,n Sk+1=Tk (sk,uk) fk(sk) xk(sk) ? ? ? ? ? ? ? ?
1 1 1
5年的最大总产量为23 .72×1000=23720。
[例3].某公司有资金10万元，若投资项目i（I=1,2,3）的投资 额为 x i 时,其效益分别为: 2 g1 ( x1 ) 4x1 , g2 ( x2 ) 9x2 , g3 ( x3 ) 2x3 问应如何分配投资数额才能使总收益最大? 可列出它的静态模型:
v 表示k至4阶段的总路长； 递推公式：f Minv f f 0, k 4, ,1
k k k 1 5
A
k 4
12 B1 C1 3 14 2 9 D1 6 5 6 10 5 B2 C2 5 E 4 2 1 8 13 D2 10 12 B3 11 C3 Sk xk vk vkn=vk+fk+1 fk P
[分析]:这是一个表面与时 间没有任何关系的问题,但 要用动态规划的方法去解 则必须把它划分为“时 段”.本题可划分为3个时 段,每段只决定对一个投资 项目的投资额.这样把问题 分解为3阶段决策问题.
2 max z 4 x1 9 x2 2 x3
x1 x2 x3 10 xi 0 (i 1,2,3)
第一节 动态规划的基本概念与方法
一、多阶段决策问题
1. 时间阶段的例子（机器负荷问题）
某厂有1000台机器，现需作一个五年计划， 以决定每年安排多少台机器投入高负荷生产（产 量大但损耗也大）可使五年的总产量最大。
v1
S1=1000
v2
v3
v4
v5
1 x1
s2
2 x2
s3
3 x3
s4
4 x4
s5
5 x5
C3
10
阶段3
阶段4
第一节 动态规划的基本概念与方法 二、基本概念
• • • • • 将所要研究的问题，按时间或空间特 阶段(k) 征分成若干个互相联系的阶段，以 状态 便按次序去求每阶段的解，常用字 决策和策略 母k表示阶段变量， k=1，…，n 。 状态转移 指标函数
第一节 动态规划的基本概念与方法
第一节 动态规划的基本概念与方法
当个阶段的状态取定以后 , 就可以 做出关于下一步的选择了 , 从而确 定下一阶段的状态 , 这种决定称为 决策。 表示决策的变量叫做决策变量,常 用uk(sk)或xk表示第k阶段当状态为 sk时的决策变量。
在实际问题中决策变量的取值往往 限制在一定的范围内 , 我们称此范 围为允许决策集 ,常用Dk(sk)表示第 k 阶段从状态 sk 出发的允许决策集。
• • • • •
阶段(k) 状态(sk,Sk) 决策(uk(sk)) 状态转移 指标函数
第一节 动态规划的基本概念与方法
策略： 各段决策确定后,整个问题的决策序列就构成了一个 决策,用P1,n{u1(s1),u2(s2), …,un(sn)}表示
问题：动态规划的最优解和最优值各是什么？ ——最优解：最优策略P1n ， 最优值：最优指标f1。
解：设阶段k=1，…，5表示第k年安排机器的过程； 状态sk表示第k年初的完好机器台数； 决策xk表示第k年投入高负荷的机器台数；则投入低 负荷的台数为sk-xk ；
状态转移sk+1=0.7xk+0.9(sk-xk)；
阶段指标vk=8xk+5(sk-xk)表示第k年的产量； 指标函数vkn=
递推公式：f
6
v 表示第k至5年的总产量； Max v f
1
5
当 k 5，f Max v f
5 0
5 5
f 0, k 5, ,1
5 6
Max 8x 5(s x )
0
5 5
5
5
5
Max 3x 5s
0
5 5
5
5
4 4 4 5
x s , f 8s ,即第5年初将全部完好机器都 投入高负荷。
动态规划求解的一般步骤： - 确定过程的分段，构造状态变量； - 设置决策变量，写出状态转移； - 列出阶段指标和指标函数； - 写出基本方程，由此逐段递推求解。
当 k 3，f Max v f
3 0
3 3
3
4
Max 3x 5s 13.6(0.9s 0.2x )
0
3 3
3
3
3
3
Max 0.28x 17.24s
0
3 3
3
3
x s , f 17.52s ,即第3年初将全部完好机器都 投入高负荷。
• • • • •
阶段(k) 状态(sk,Sk) 决策(uk(sk)) 状态转移 指标函数
第一节 动态规划的基本概念与方法
指标函数：用于衡量所选定策略优劣的数 量指标。
阶段指标函数：指第k阶段从状态sk出发， 采取决策uk时的数量指标，用vk(sk,uk)表示。 后部子过程的指标函数值：指第 k 阶段， 状态为 sk 采用 pk ， n 时，后部子过程的数量 指标函数值，用Vk，n(sk，pk，n) 表示。 最优指标函数值：它表示从第k段状态sk采 * 到过程终止时的最优数量指 用最优策略pk,n 标值, 记 fk = fk（ sk ）=opt vkn。
3
D1 D2
5 2 E
k 1
Sk A
xk
B B B
1
vk
2 5 1
vkn=vk+fk+1
2 20 5 14 1 19
fk
19
P
2
AB2C1D1E
3
P*14=AB2C1D1E（最短路） f1 = 19 （最短距） 12 B1 14 6 10 B2 4 13 12 B3 11
C1
C2 C3
则对任何 k（1 k n） ， 子 策 略 Pkn 对于以 sk 为起
点 的k至n子 过 程 来 说 必 为 最 优 略 策。
以最短路为例说明
（2）基本方程 根据最优性原理，可建立从后向前逆推求解 的递推公式——基本方程：
f k opt v k f k 1 xk f n1 0, k n, ,1
A
5 1
2
D2
2 A 5 1
12 14 6 10 B2 4 13 12 B3 11 B1
C1 C2
C3
9 6 5 8 10
3
D1
D2
5
2
E
解：设阶段k=1，2，3，4依次表示4个阶段选路的过程；
状态sk表示k阶段初可能处的位置； 决策xk表示k阶段初可能选择的路； 阶段指标vk表示k阶段与所选择的路段相应的路长； 指标函数 vk4 =
3 3 3 3
2 0
2 2
当 k 2，f Max v f Max 3x 5s 17.52(0.9s 0.2x )
2 3 0
2 2
2
2
2
2
Max 20.8s 0.5x
0
2 2
2
2
x 0, f 20.8s ,即第2年初将全部完好机器都 投入低负荷。
各阶段开始时可能的情形或位置叫 做状态，用状态变量sk表示。 sk 的取值集合称为状态集合，用 Sk 表示。 某状态以后的过程和以前无关，只 与当前状态有关，我们称这种特性 为“无后效性” 。 按状态的取值是离散或连续，将动 态规划问题分为离散型和连续型。
• • • • •
阶段(k) 状态(sk,Sk) 决策 状态转移 指标函数
• • • • •
阶段(k) 状态(sk,Sk) 决策(uk(sk)) 状态转移 指标函数
第一节 动态规划的基本概念与方法
动态规划中本阶段的状态是上一 阶段的决策结果。如果给定了第 k阶段的状态sk,本阶段的决策就为 uk(sk),则第k+1段的状态sk+1也就 完全确定了,它们的关系可表示为： sk+1=Tk(sk,uk)。由于它表示了由k 到k+1段的状态转移规律,所以称 为状态转移方程。
D D
1
2
E E
D D D D D D
1
5 2 3 9 6 5 8 10
50 20 35 92 65 5 2 85 10 2
5 2
8
7
DE
1
DE
2
C1
C1D1E
C2D2E C3D2E
2
3
C2
1
2
C3
1
12
2
k
Sk
B1
xk
C C
C C C C C C
1 2
vk
12 14
6 10 4 13 12 11
第七章 动态规划
（Dynamic Programming） 动态规划是研究多阶段决策问
题的一种运筹学方法。
第七章 动态规划 （Dynamic Programming）
第一节 动态规划的基本概念与方法 第二节 动态规划应用举例
第七章 动态规划
第一节 动态规划的基本概念与方法
多阶段决策过程最优化:
多阶段决策过程是指这样一类特殊的活动过程，它们 可以按时间顺序分解成若干相互联系的阶段，在每个阶 段都要做出决策，全部过程的决策是一个决策序列，所 以多阶段决策问题也称为序贯决策问题。
基本概念复习及其表示
1）阶段 2）阶段变量 3）状态 4）状态变量 5）状态集合 6）决策 7）决策变量 8）允许决策集 9）策略 10）允许策略集 11）最优策略 12）状态转移方程 13）指标函数 14）最优值函数
说出下列符号的含义
1) 2) 3) 4) 5) 6) 7) 8) Sk uk(sk) Dk(sk) pk,n= P1,n Sk+1=Tk (sk,uk) fk(sk) xk(sk) ? ? ? ? ? ? ? ?
1 1 1
5年的最大总产量为23 .72×1000=23720。
[例3].某公司有资金10万元，若投资项目i（I=1,2,3）的投资 额为 x i 时,其效益分别为: 2 g1 ( x1 ) 4x1 , g2 ( x2 ) 9x2 , g3 ( x3 ) 2x3 问应如何分配投资数额才能使总收益最大? 可列出它的静态模型:
v 表示k至4阶段的总路长； 递推公式：f Minv f f 0, k 4, ,1
k k k 1 5
A
k 4
12 B1 C1 3 14 2 9 D1 6 5 6 10 5 B2 C2 5 E 4 2 1 8 13 D2 10 12 B3 11 C3 Sk xk vk vkn=vk+fk+1 fk P
[分析]:这是一个表面与时 间没有任何关系的问题,但 要用动态规划的方法去解 则必须把它划分为“时 段”.本题可划分为3个时 段,每段只决定对一个投资 项目的投资额.这样把问题 分解为3阶段决策问题.
2 max z 4 x1 9 x2 2 x3
x1 x2 x3 10 xi 0 (i 1,2,3)
第一节 动态规划的基本概念与方法
一、多阶段决策问题
1. 时间阶段的例子（机器负荷问题）
某厂有1000台机器，现需作一个五年计划， 以决定每年安排多少台机器投入高负荷生产（产 量大但损耗也大）可使五年的总产量最大。
v1
S1=1000
v2
v3
v4
v5
1 x1
s2
2 x2
s3
3 x3
s4
4 x4
s5
5 x5
C3
10
阶段3
阶段4
第一节 动态规划的基本概念与方法 二、基本概念
• • • • • 将所要研究的问题，按时间或空间特 阶段(k) 征分成若干个互相联系的阶段，以 状态 便按次序去求每阶段的解，常用字 决策和策略 母k表示阶段变量， k=1，…，n 。 状态转移 指标函数
第一节 动态规划的基本概念与方法
第一节 动态规划的基本概念与方法
当个阶段的状态取定以后 , 就可以 做出关于下一步的选择了 , 从而确 定下一阶段的状态 , 这种决定称为 决策。 表示决策的变量叫做决策变量,常 用uk(sk)或xk表示第k阶段当状态为 sk时的决策变量。
在实际问题中决策变量的取值往往 限制在一定的范围内 , 我们称此范 围为允许决策集 ,常用Dk(sk)表示第 k 阶段从状态 sk 出发的允许决策集。
• • • • •
阶段(k) 状态(sk,Sk) 决策(uk(sk)) 状态转移 指标函数
第一节 动态规划的基本概念与方法
策略： 各段决策确定后,整个问题的决策序列就构成了一个 决策,用P1,n{u1(s1),u2(s2), …,un(sn)}表示
问题：动态规划的最优解和最优值各是什么？ ——最优解：最优策略P1n ， 最优值：最优指标f1。
解：设阶段k=1，…，5表示第k年安排机器的过程； 状态sk表示第k年初的完好机器台数； 决策xk表示第k年投入高负荷的机器台数；则投入低 负荷的台数为sk-xk ；
状态转移sk+1=0.7xk+0.9(sk-xk)；
阶段指标vk=8xk+5(sk-xk)表示第k年的产量； 指标函数vkn=
递推公式：f
6
v 表示第k至5年的总产量； Max v f
1
5
当 k 5，f Max v f
5 0
5 5
f 0, k 5, ,1
5 6
Max 8x 5(s x )
0
5 5
5
5
5
Max 3x 5s
0
5 5
5
5
4 4 4 5
x s , f 8s ,即第5年初将全部完好机器都 投入高负荷。
动态规划求解的一般步骤： - 确定过程的分段，构造状态变量； - 设置决策变量，写出状态转移； - 列出阶段指标和指标函数； - 写出基本方程，由此逐段递推求解。