czhang-第八章 动态规划
合集下载
C语言的动态规划(1)精品PPT课件
2
A
a1
a4
32a2 Ba5 Nhomakorabea21
a3 C
D
a6
3
11.10.2020
9
Mod 4最优路径分析
❖ 分析：这个图是一个多阶段图，我们按上面 思路来分阶段来求最优解
A->B最优值 min{2 mod 4,3 mod 4}=2 A->C最优值min{(2+2)mod 4,(2+2) mod 2}=0 A->D最优值min{(0+1) mod 4,(0+3) mod 4}=1
11.10.2020
11
城市道路最短路径
H1
❖ 右图是城市道路示意 D1
图，每条边上数字是 该街道的长度，求从 C1
A1到H1的最短路径长 B1 C2
度（只允许往右或往
上走）
1
A1
B2
C3
11.10.2020
12
（1）计算直线的交点数
问题描述：
平面上有n条直线，且无三线共点，问这些直线能 有多少种不同交点数。
5
❖ 设Di为a1到i点的最短路径，则
Dd1=min{Dc1+5, Dc2+6,Dc3+6}
❖ 同样
Dc1=min{Db1+2,Db2+8} Dc2=min{Db1+7,Db2+9} …… Da1=0
11.10.2020
6
动态规划的含义
❖ 有一类特殊的活动过程，可按时间顺序将整 个过程划分成若干个互相联系的阶段，在每 一个阶段需要做出决策。在这种多阶段决策 问题中，各个阶段采取的决策依赖于当前状 态，又随即引起状态的转移。
Ch8动态规划
运筹学
Operations Research
第八章 动态规划
Dynamic Programming
8.1 动态规划数学模型Mathematical Model of DP 8.2 资源分配问题 Resource Assignment Problem 8.3 生产与存储问题Production and inventory problem 8.4 背包问题 Knapsack Problem 8.5 其它动态规划模型 Other Model of DP
南京理工大学经济管理学院 包文彬 8.1 动态规划数学模型 baowenbin@ Mathematical Model of DP
第8章 动态规划 Dynamic Programming
2012年6月12日星期二
Page 7
5 . 状态具有无后效性 当某阶段状态确定后，此阶段以后过 程的发展不受此阶段以前各阶段状态的影响。如下图所示：
第8章 动态规划 Dynamic Programming
2012年6月12日星期二
Page 12
动态规划要求过程指标满足递推关系 ，即
V k ( s k , x k , x k 1 , , x n ) V k [ v ( s k , x k ), V k 1 ( s k 1 , x k 1 , , x n )]
(8.6)
动态规划数学模型由式(8.4)或(8.6)、边界条件及状态转移方程 构成。如连和形式的数学模型
f k ( s k ) Opt {v k ( s k , x k } f k 1 ( s k 1 )}, k 1, 2 , , n xk Dk ( sk ) f n (sn ) 0 s T (sk , xk ) k 1
Operations Research
第八章 动态规划
Dynamic Programming
8.1 动态规划数学模型Mathematical Model of DP 8.2 资源分配问题 Resource Assignment Problem 8.3 生产与存储问题Production and inventory problem 8.4 背包问题 Knapsack Problem 8.5 其它动态规划模型 Other Model of DP
南京理工大学经济管理学院 包文彬 8.1 动态规划数学模型 baowenbin@ Mathematical Model of DP
第8章 动态规划 Dynamic Programming
2012年6月12日星期二
Page 7
5 . 状态具有无后效性 当某阶段状态确定后，此阶段以后过 程的发展不受此阶段以前各阶段状态的影响。如下图所示：
第8章 动态规划 Dynamic Programming
2012年6月12日星期二
Page 12
动态规划要求过程指标满足递推关系 ，即
V k ( s k , x k , x k 1 , , x n ) V k [ v ( s k , x k ), V k 1 ( s k 1 , x k 1 , , x n )]
(8.6)
动态规划数学模型由式(8.4)或(8.6)、边界条件及状态转移方程 构成。如连和形式的数学模型
f k ( s k ) Opt {v k ( s k , x k } f k 1 ( s k 1 )}, k 1, 2 , , n xk Dk ( sk ) f n (sn ) 0 s T (sk , xk ) k 1
C++中的动态规划算法及常见题目汇总
C++中的动态规划算法及常见题⽬汇总什么是动态规划在⾯试过程中如果是求⼀个问题的最优解（通常是最⼤值或者最⼩值），并且该问题能够分解成若⼲个⼦问题，并且⼦问题之间好友重叠的更⼩⼦问题，就可以考虑⽤动态规划来解决这个问题。
动态规划的分类 ⼤多数动态规划问题都可以被归类成两种类型：优化问题和组合问题优化问题 优化问题就是我们常见的求⼀个问题最优解（最⼤值或者最⼩值）组合问题 组合问题是希望你弄清楚做某事的数量或者某些事件发⽣的概率两种不同动态规划解决⽅案⾃上⽽下：即从顶端不断地分解问题，知道你看到的问题已经分解到最⼩并已得到解决，之后只⽤返回保存的答案即可⾃下⽽上：你可以直接开始解决较⼩的⼦问题，从⽽获得最⼩的解决⽅案。
在此过程中，你需要保证在解决问题之前先解决⼦问题。
这种⽅法叫做表格填充法。
常见的动态规划例⼦1.2.3.4.5.6.7.8.9.10.11. 猜数字⼤⼩ 1. 裴波那契数列 裴波那契数列就是典型的组合问题，要求出做某事的数量或者概率问题分析：对于题⽬中的青蛙爬楼梯问题，初试情况下是只有⼀级台阶时，只有⼀种跳法，只有两级台阶时，有两种跳法，当有n级台阶时，设n级台阶的跳法总数是f(n),如果第⼀步跳⼀级台阶，则和剩下的n-1级台阶的跳法是⼀样的，如果第⼀级跳两级台阶，则和剩下的n-2级台阶的跳法是⼀样的，因此最终n级台阶的跳法是f(n)=f(n-1)+f(n-2)，即其是可以被分解为更⼩的⼦问题的，下⾯我们以求解f(10)为例来分析递归的过程 我们从这张图中不难发现，在这棵树中有很多节点都是重复的，⽽且重复节点会随着n的增⼤⽽急剧增⼤，因此我们采⽤⾃顶向下的⽅式会有很低的效率，因此我们采⽤⾃下⽽上的⽅法，⾸先根据f(1)和f(2)计算出f(3),再根据f(2)和f(3计算出f(4),以此类推求出f(n) 实现的代码如下1int jumpFloor(int number) {2if(number<0)3return0;4else if(number==0||number==1||number==2)5return number;6else7 {8int result=0;9int f1=1;10int f2=2;11for(int i=3;i<=number;++i)12 {13 result=f1+f2;14 f1=f2;15 f2=result;16 }17return f2;18 }19 }矩形覆盖问题问题分析：由于2*1的⼩矩形可以横着放，也可以竖着放，当n=1时，其只有⼀种⽅式,f(1)=1，n=2时，有两种覆盖⽅式f(2)=2如图 当要构成2*n的⼤矩形时，如果第⼀个⼩矩形竖着放，则其和后⾯n-1个⼩矩形的⽅法相等，如果第⼀个⼩矩形横着放，则第⼆个⼩矩形也只能横着放，即上图右边的⽅法，因此其和后⾯n-2个⼩矩形的放法相等。
动态规划C语言
动态规划是运筹学的一个重要分支，是解 决多阶段决策过程最优化的一种方法。 所谓多阶段决策过程，是将所研究的过程 划分为若干个相互联系的阶段，在求解时， 对每一个阶段都要做出决策，前一个决策 确定以后，常常会影响下一个阶段的决策。
动态规划所依据的是“最优性原理”。 “最优性原理”：不论初始状态和第一步决策 是什么，余下的决策相对于前一次决策所产生 的新状态，构成一个最优决策序列。 最优决策序列的子序列，一定是局部最优 决策子序列。 包含有非局部最优的决策子序列，一定不是 最优决策序列。
动态规划的几个概念: 阶段：据空间顺序或时间顺序对问题的求解划 分阶段。 状态：描述事物的性质，不同事物有不同的性 质，因而用不同的状态来刻画。对问题的求解 状态的描述是分阶段的。 决策：根据题意要求，对每个阶段所做出的某 种选择性操作。 状态转移方程：用数学公式描述与阶段相关的 状态间的演变规律。
…
3.选择数据结构，将每条路经的长度存在数组 中。
东西方向上的道路长度存在两维数组h[4][3]中规定 数组的第一维为行号，第二维为列号。
3 2 1 0 3 3 2 3 0 1 4 1 2 1 2 5 4 3 2
h[4][3] = { {3,2,3}, {2,1,4}, {3,4,5}, {3,1,2} };
定义二维数组， P[4][4]={{0,0,0,0},{0,0,0,0},{0,0,0,0},{0,0,0,0}}, 第一维为行，第二维为列。这时P(O)为P[0][1]； P(N)为P[1][0]；…P(A)为P[3][3]，以下为分阶 段递推求解过程。 P[0][0] = 0;
对于阶段1:
P[0][1] = P[0][0]+h[0][0] = 0+3 = 3; P[1][0] = P[0][0]+v[0][0] = 0+2 = 3;
动态规划c++
依次类推 两个大臣又各找来了两个人。。。
最后，当被问到给你z个人和仅有第0座金 矿时最多能挖出多少金子时，就不需要别 人的帮助。因为你知道，如果z大于等于挖 取第0座金矿所需要的人数的话，那么挖出 来的最多金子数就是第0座金矿能够挖出来 的金子数，如果这z个人不够开采第0座金 矿，那么能挖出来的最多金子数就是0，因 为这唯一的金矿不够人力去开采。让我们 为这些不需要别人的帮助就可以准确地得 出答案的人们鼓掌吧，这就是传说中的底 层劳动人民！
国王来到了第9个金矿的所在地，他的臣子告诉他，如果 要挖取第9个金矿，需要1500个人，第9个金矿可以挖出 8888个金子。 然后国王叫来甲、乙两个大臣，请甲大臣求出：若挖取第 9个金矿，则用剩下的8500人，去挖取剩下9个的金矿， 最多能挖取多少金子。请乙大臣求出：若不挖取第9个金 矿，则用10000人，去挖取剩下9个的金矿，最多能挖取 多少金子。国王心想：“如此，若甲大臣求得，用剩下的 人去挖剩下的金矿最多挖出x个金子，则所有金矿最多能 挖出x+8888个金子。若乙大臣求得，用剩下的人去挖剩 下的金矿最多挖出y个金子，则所有金矿最多能挖出y个金 子。而我只需取x+8888和y中的较大值。”
程序代码调试
递归 vs 动态规划
递归版本: F(n) 1 if n=0 or n=1 then 2 return 1 3 else 4 return F(n-1) + F(n-2) 动态规划: F(n) 1 A[0] = A[1] ← 1 2 for i ← 2 to n do 3 A[i] ← A[i-1] + A[i-2] 4 return A[n]
27
例题四：求最长不降子序列
C语言动态规划(含最长不下降子序列)
构造价值数组
从前i个物 品中选取 S1=2 v1=3
给定n种物品和一背包。物品i的重量是wi， 其价值为vi，背包的容量为C。问应如何选择装 入背包的物品，使得装入背包中物品的总价值最 大?
目标：使装入背包中物品的总价值最大 约束条件：装入的物品总重不得超过C
海盗有一背包，最大容积为9，现有5件宝物： 体积si分别是2、3、4、5和4公斤 价值vi分别是3、7、5、9和 8 请给出装载方案，使背包价值达到最大。
13 B1
7 6
5
8 C1
7 C2
7 5 7 8 3
3
D1
8
7 5
5
E
D2
2
B2 14
10 C3
此时也无法定下第一，二，三阶段的城市那 三个将在整体的最优决策路径上。
（6）第四次输入结点为A，决策输出结点可能为B1，B2。 同理可得决策路径为A：AB2，费用5+14=19 此时才正式确定每个子问题的结点中，那一个结点将在最 优费用的路径上。 子问题的决策中，只对同一城市（结点）比较优劣。而 同一阶段的城市（结点）的优劣要由下一个阶段去决定。
若得到该子问题的解为：装入物品1、2，得价值为10
当n=1时:只有一个物品， s1=2,v1=3 若背包容量c=0、1，则无法装入物品1，得到背包 价值为0 若背包容量c=2、3、4、5、6，7，8，9则可装入 物品1，得到背包价值为3。
• C[1][0]=0 C[1][1]=0 C[1][2]=3 C[1][3]=3 • C[1][4]=3 C[1][5]=3 C[1][6]=3 C[1][7]=3 • C[1][8]=3 C[1][9]=3
考虑一下：
从顶点出发时到底向左走还是向右走应取决 于是从左走能取到最大值还是从右走能取到最 大值，只要左右两道路径上的最大值求出来了 才能作出决策。 可见，由下层的子问题可以得到上层的子问 题，所以，可从底层开始，层层递进，最后得 到最大值。 结论：自顶向下的分析，自底向上的计算。
C++动态规划
for i:=2 to n do begin min:=maxint; for j:=1 to i-1 do if(m[j,i]<>0)then if(k[j]+m[j,i]<min)then min:=k[j]+m[j,i]; k[i]:=min; end; writeln(k[n]); end. 本题动态规划解法以城市编号 1 到 N 顺序来划分阶段，因此是一种线性动态规划。时 间复杂度为 O（n2） 。 例 2：拦截导弹（NOIP1999） 问题描述： 某国为了防御敌国的导弹袭击， 发展出一种导弹拦截系统。 但是这种导弹拦截系统有一 个缺陷： 虽然它的第一发炮弹能够到达任意的高度， 但是以后每一发炮弹都不能高于前一发 的高度。 某天， 雷达捕捉到敌国的导弹来袭， 由于该系统还在试用阶段， 所以只有一套系统， 因此有可能不能拦截所有的导弹。 输入导弹的枚数和导弹依次飞来的高度 （雷达给出的高度数据是不大于 30000 的正整数， 每个数据之间有一个空格） ，计算这套系统最多能拦截多少导弹？如果要拦截所有导弹最少 要配备多少套这种导弹拦截系统？ 样例输入： 8 389 207 155 300 299 170 158 65 样例输出： 6（最多能拦截的导弹数） 2（要拦截所有导弹最少要配备的系统数） [算法分析] 首先来看第一问题，这个问题实际上是给定一个整数序列，求最长不上升子序列问题。 它是一个最优决策问题。仔细分析样例中最长不上升子序列是（389，300，299，170，158， 65） ，我们容易想到可以按序列的顺序划分阶段，但是如果表示状态呢？显然某个阶段的状 态表示中要包含该阶段导弹的高度， 这样才能决定后面阶段状态能否从当前阶段的状态递推 而来。所以我们假设 a[i]表示拦截的最后一枚导弹是第 i 枚时，系统能拦得的最大导弹数。 例如，样例中的 a[5]=3，表示：如果系统拦截的最后一枚导弹是高度为 299 的话，最多可以 拦截第 1 枚（389） 、第 4 枚（300） 、第 5 枚（299）三枚导弹。 那么，a[1]~a[8]中的最大值就是第一问的答案。关键是怎样求得 a[1]~a[8]？假设现在我 们已经求得 a[1]~a[7]， 那么我们如果求得 a[8]。 a[8]要求系统拦截的最后 1 枚导弹必须是 65， 也就意味着倒数第 2 枚被拦截的导弹高度必须不小于 65，则符合要求的导弹有 389、207、 155、300、299、170、158。假如拦截的倒数第 2 枚导弹是 300，则 a[8]=a[4]+1；假如拦截 的倒数第 2 枚导弹是 299，则 a[8]=a[5]+1；类似地，a[8]还可能是 a[1]+1、a[2]+1、……。 当然，我们现在要求得是以 65 结尾的最多导弹数目，因此 a[8]要取所有可能值的最大值， 即：a[8] = max{ a[1]+1，a[2]+1，……，a[7]+1} = max{a[i]} + 1， (i=1..7 且第 i 个导弹高度 h[i]>h[8])。
《动态规划课件》课件
应用场景：求解最短路径、背 包问题等
注意事项：避免重复计算子问 题和记忆化搜索
定义：将问题划分为 若干个较小的子问题， 并逐个解决子问题， 最终得到原问题的解
特点：将原问题分解为 更小的子问题，通过求 解子问题的最优解得到 原问题的最优解
应用场景：适用于 具有重叠子问题和 最优子结构特性的 问题
示例：背包问题、 最大子段和问题等
分段算法的代码 实现
分段算法的时间 复杂度分析
避免重复计算：使用备忘录或动态规划表来记录已计算过的子问题 减少子问题的数量：通过合并或减少不必要的子问题来降低计算复杂度 选择合适的递归方式：根据问题的特点选择最优的递归方式 优化递归栈：通过减少递归深度或使用循环代替递归来提高性能
优化算法：动态规划可以优化算法，提高计算效率 避免重复计算：通过记忆化搜索，避免重复计算，提高计算速度
添加标题ቤተ መጻሕፍቲ ባይዱ
添加标题
添加标题
添加标题
动态规划与分治法比较：分治法将 问题分解为子问题，而动态规划将 子问题联系起来
动态规划与回溯法比较：回溯法会 穷举所有可能解，而动态规划可以 避免不必要的搜索
机器学习与深度 学习中的动态规 划
自然语言处理中 的动态规划
计算机视觉中的 动态规划
推荐系统中的动 态规划
最大子段和问题的定义 最大子段和问题的应用场景 最大子段和问题的解决方法 最大子段和问题的实际应用案例
定义：矩阵链乘法问题是一种优化问题，通过动态规划算法来求解
应用场景：在科学计算、机器学习、图像处理等领域都有广泛的应用
算法原理：通过动态规划算法，将矩阵链乘法问题转化为子问题，从而避免重复计算，提高 计算效率
应用场景：背包问题在计算机科学、运筹学、经济学等领域都有广泛的应用，如资源分配、路径规划、时间表安 排等。
算法设计与分析 第2版 第8章-动态规划
2
A4
3
7 B1 4
3
B2
2 4
6 2
B3 5
③ 第3阶段
C1 3 4
6 C2 3
3 C3 3
k=3
D1 3
E
4 D2
2
A4
3
7 B1 4
3
B2
2 4
6 2
B3 5
④ 第4阶段
C1 3 4
6
D1 3
C2 3 3
E
4 D2
C3 3
k=4
2
A4
3
7 B1 4
3
B2
2 4
6 2
B3 5
⑤ 第5阶段
C1 3 4
int count=1;
//累计调用的步骤
int Fib1(int n)
//算法1
{ dp[1]=dp[2]=1;
printf("(%d)计算出Fib(1)=1\n"，count++);
printf("(%d)计算出Fib(2)=1\n"，count++);
for (int i=3;i<=n;i++)
计算出Fib(2)=1 （5）求解Fib(1)
计算出Fib(1)=1 计算出Fib(3)=Fib(2)+Fib(1)=2 （6）求解Fib(2) 计算出Fib(2)=1 计算出Fib(4)=Fib(3)+Fib(2)=3 （7）求解Fib(3) （8）求解Fib(2) 计算出Fib(2)=1 （9）求解Fib(1) 计算出Fib(1)=1 计算出Fib(3)=Fib(2)+Fib(1)=2 计算出Fib(5)=Fib(4)+Fib(3)=5
运筹学第八章动态规划
□第1阶段 S1={A}； □第2阶段具有3个状 态B1、B2和B3，故 S2={B1, B2, B3}。 □……
x1
x2
x3
x4
x5
（3）决策（decision）
□当过程处于某一阶段的某状态时，可以做出不同的决定，从而 确定下一阶段的状态，这种决定称为决策。 □描述决策的变量称为决策变量，常用uk( xk )表示第k阶段当状 态处于xk时的决策变量，它是状态变量的函数。
□从第2阶段的状态 B1出发，如我们决 定选择C2（也即确 定了下一阶段的状 态）。
B1
C2
B1
C2
□上例中， u2( B1 ) = C2 □状态转移律为： xk+1 = uk( xk )
□一般来说，下一阶段状态变量xk+1的取值是上阶段的某一状态 变量xk和上阶段决策变量uk(xk)的函数，记为 xk+1=Tk( xk, uk(xk) )
C2
01
用来衡量策略或子策略或决策的效果的某种数量指标，就称
02
为指标函数。
03
它是定义在全过程或各子过程或各阶段上的确定数量函数。
04
对不同问题，指标函数可以是诸如费用、成本、产值、利润、
05
产量、耗量、距离、时间、效用，等等。
06
阶段
07
指标函数
08
过程
09
指标函数
（6）指标函数
①阶段指标函数：是指第 k 阶段从状态 xk 出发，采取决策 uk 时产生的效益，用 vk(xk, uk) 表示。
07
方法去处理。
学习目标：
变量、决策变量、状态转移律、指标函数、基本方程
02
准确、熟练地掌握动态规划的基本概念、特别是状态
x1
x2
x3
x4
x5
（3）决策（decision）
□当过程处于某一阶段的某状态时，可以做出不同的决定，从而 确定下一阶段的状态，这种决定称为决策。 □描述决策的变量称为决策变量，常用uk( xk )表示第k阶段当状 态处于xk时的决策变量，它是状态变量的函数。
□从第2阶段的状态 B1出发，如我们决 定选择C2（也即确 定了下一阶段的状 态）。
B1
C2
B1
C2
□上例中， u2( B1 ) = C2 □状态转移律为： xk+1 = uk( xk )
□一般来说，下一阶段状态变量xk+1的取值是上阶段的某一状态 变量xk和上阶段决策变量uk(xk)的函数，记为 xk+1=Tk( xk, uk(xk) )
C2
01
用来衡量策略或子策略或决策的效果的某种数量指标，就称
02
为指标函数。
03
它是定义在全过程或各子过程或各阶段上的确定数量函数。
04
对不同问题，指标函数可以是诸如费用、成本、产值、利润、
05
产量、耗量、距离、时间、效用，等等。
06
阶段
07
指标函数
08
过程
09
指标函数
（6）指标函数
①阶段指标函数：是指第 k 阶段从状态 xk 出发，采取决策 uk 时产生的效益，用 vk(xk, uk) 表示。
07
方法去处理。
学习目标：
变量、决策变量、状态转移律、指标函数、基本方程
02
准确、熟练地掌握动态规划的基本概念、特别是状态
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
20
动态规划的基本概念和基本原理
□状态集合：状态变量 xk 或sk的取值集合称为状态集合，状态集 合实际上是关于状态的约束条件。 □通常用Sk表示状态集合，xkSk。
□第1阶段 S1={A}；
x1
x2
x3
x4
x5
□第2阶段具有3个状
态B1、B2和B3，故 S2={B1, B2, B3}。
□……
2015-5-23
每一决策的选定既依赖于当前面临的状态，又影响以后总体的效
果。
当每一阶段的决策选定以后，就构成一个决策序列，称为一
个策略，它对应着一个确定的效果。多阶段决策问题就是寻找使 此效果最好的策略。
2015-5-23
Copyright ©2015 Czhang. All rights reserved.
8
多阶段决策过程及实例
17
动态规划的基本概念和基本原理
□如本例可按空间分为4个
阶段来求解，
k=1, 2, 3, 4。
2015-5-23
Copyright ©2015 Czhang. All rights reserved.
18
动态规划的基本概念和基本原理
2、状态（state）
□状态：每阶段初的客观条件。描述各阶段状态的变量称为状态 变量，常用xk或sk表示第k阶段的状态。 x2 x1
Copyright ©2015 Czhang. All rights reserved.
引言
动态规划——Dynamic Programming 动态规划是运筹学的一个分支，是解决多阶段决策过
程最优化的一种数学方法。
1951年，美国数学家贝尔曼（R. E. Bellman)等人提 出了 “最优性原理”，即根据一类多阶段决策问题的特 点，把多阶段决策问题变换为一系列相互联系的单阶段决 策问题，然后分阶段逐个加以解决。从而创建了解决最优 化问题的一种新的方法 —— 动态规划。 Bellman在1957年出版了《Dynamic Programming》一 书，是动态规划领域中的第一本著作。
多阶段决策过程（Multi-Stage decision process）
多阶段决策过程是指这样一类特殊的活动过程，他们可以按时
间顺序分解成若干相互联系的阶段，在每个阶段都要做出决策，全 部过程的决策是一个决策序列，所以多阶段决策过程也称为序贯决
策过程。这种问题就称为多阶段决策问题。
决策u1 决策u2 决策uk 决策un
◎设有某种机器设备，用于完成两类工作A和B。若第k年初完好 机器的数量为 xk ，若以数量 uk 用于A，余下的（xk－uk）用于 工作B，则该年的预期收入为 g( uk ) + h( xk－uk )。这里g( uk ) 和 h( xk－uk )是已知函数，且 g( 0 ) = h( 0 ) = 0。 ◎又机器设备在使用中会有损坏，设机器用于工作A时，一年后 能继续使用的完好机器数占年初投入量的70%；若用于工作B 时，一年后能继续使用的完好机器数占年初投入量的90%。则在 下一年初能继续用于A、B工作的设备数为 xk+1=0.7uk+0.9(xk－ uk) 。 ◎设第1年初完好的机器总数为1000台，问在连续5年内每年应如 何分配用于A、B两项工作的机器数，使5年的总收益为最大。
入“时间”因素，也可将其看成是多阶段的决策问题，用动态规
划方法去处理。
Copyright ©2015 Czhang. All rights reserved.
11
多阶段决策问题的典型例子
多阶段决策问题的典型例子： 1 .最短路线问题：
给定一个线路网络，要从A向F铺设一条输油管道，各点间连线上的数字
动态规划
张冲
南京邮电大学 管理学院
Email：zcbling@
2015-5-23
Copyright ©2015 Czhang. All rights reserved.
Chapter 8 动态规划
本章主要内容：
动态规划问题及实例
动态规划的基本概念、理论和方法 动态规划的应用举例
2015-5-23
D1 3
4
4阶段
A
5 3
2 4
C2 3
3
3 决策3
E
的决策 问题。
5 1 B 5
3
D2
决策4 状态5
C3
2 3
状态4
决策2 状态1 决策1 状态2 状态3
1
4
2015-5-23
Copyright ©2015 Czhang. All rights reserved.
7
多阶段决策过程及实例
□从以上两个例子，可以知道 所谓多阶段决策问题是指这样的决策问题：其过程可分为若 干个相互联系的阶段，每一阶段都对应着一组可供选择的决策，
Copyright ©2015 Czhang. All rights reserved.
2015-5-23
5
多阶段决策过程及实例
□这是一个多阶段决策过程。
□该过程可以分为相互联系的若干阶段，每一阶段都需作出决
策，从而形成全过程的决策。
x1=1000
u1
第1年
x2=0.7u1+ 0.9(x1-u1)
动态规划模型的分类：
以“时间”角度可分成：离散型和连续型。 从信息确定与否可分成：确定型和随机型。
从目标函数的个数可分成：单目标型和多目标型。
2015-5-23
Copyright ©2015 Czhang. All rights reserved.
4
多阶段决策过程及实例
例 1 机器负荷分配问题（时间阶段问题）
Copyright ©2015 Czhang. All rights reserved.
21
动态规划的基本概念和基本原理
3、决策（decision）
□当过程处于某一阶段的某状态时，可以做出不同的决定，从而 确定下一阶段的状态，这种决定称为决策。 □描述决策的变量称为决策变量，常用uk( xk )表示第k阶段当状 态处于xk时的决策变量，它是状态变量的函数。 x2
Copyright ©2015 Czhang. All rights reserved.
13
多阶段决策问题的典型例子
3. 生产决策问题： 企业在生产过程中，由于需求是随时间变化的，因此企业
为了获得全年的最佳生产效益，就要在整个生产过程中逐月或
逐季度地根据库存和需求决定生产计划。 4. 机器负荷分配问题： 某种机器可以在高低两种不同的负荷下进行生产。在高负 荷下进行生产时，产品的年产量 g和投入生产的机器数量 u1的 关系为 g=g(u1)
1、阶段（stage）
把所给问题恰当地划分为若干个相互联系又有区别的子
问题，通常根据时间顺序或空间特征来划分，以便按阶段的 次序逐段解决整个过程的优化问题。 描述阶段的变量叫作阶段变量，阶段变量通常用k表示 （k = 1，2，3，…，n）。
2015-5-23
Copyright ©2015 Czhang. All rights reserved.
状态 阶段1 状态 阶段2 状态... 状态 阶段k 状态... 状态 阶段n 状态 s
s1
s2
s3
sk
sk+1
xn
n+1
2015-5-23
Copyright ©2015 Czhang. All rights reserved.
9
多阶段决策过程及实例
多阶段决策问题的特点的，是要达到整个活动过程的总 体效果最优，而不是某个阶段“局部”的效果最优。因此，各 个阶段决策的选取不是任意确定的。 □前一个决策的选取决定了当前状态，当前状态进行决策后又 影响到下一阶段的状态和决策，以至于影响总体效果。所以决 策者在每个阶段决策时，不应仅考虑本阶段最优，还应考虑对 最终目标的影响，从而做出对全局而言是最优的决策。 □动态规划就是符合这一要求的一种最优化方法。
Copyright ©2015 Czhang. All rights reserved.
14
多阶段决策问题的典型例子
5. 航天飞机飞行控制问题： 由于航天飞机的运动的环境是不断变化的，因此就要根
据航天飞机飞行在不同环境中的情况，不断地决定航天飞机
的飞行方向和速度（状态），使之能最省燃料和实现目的 （如软着落问题）。 6 . 线性规划、非线性规划等静态的规划问题也可以通过 适当地引入阶段的概念，应用动态规划方法加以解决。
2015-5-23
Copyright ©2015 Czhang. All rights reserved.
15
动态规划的基本概念和基本原理
由最短路介绍动态规划的基本概念和基本原理
例
2015-5-23
Copyright ©2015 Czhang. All rights reserved.
16
动态规划的基本概念和基本原理
2015-5-23
Copyright ©2015 Czhang. All rights reserved.
3
引言
动态规划是解决某一类问题的一种方法，是分析问题的一
种途径，而不是一种特殊算法（如线性规划是一种算法）。因
此，在学习动态规划时，除了对基本概念和方法正确地理解外，
应以丰富的想象力去建立模型，用创造性的技巧去求解。
2015-5-23
Copyright ©2015 Czhang. All rights reserved.
10
多阶段决策过程及实例
2.各个阶段的决策一般与“时间”有关 □动态规划方法与“时间”关系很密切，随着时间过程的发展而 决定各阶段的决策，从而产生一个决策序列，这就是“动态”的 意思。