第三章 动态规划
动态规划
多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前状态，又随即引起状 态的转移，一个决策序列就是在变化的状态中产生出来的，故有“动态”的含义，称这种解决多阶段决策最优化 问题的方法为动态规划方法 。
任何思想方法都有一定的局限性，超出了特定条件，它就失去了作用。同样，动态规划也并不是万能的。适 用动态规划的问题必须满足最优化原理和无后效性 。
动态规划
运筹学的分支
01 原理
03 局限性
目录
02 分类
动态规划（Dynamic Programming，DP）是运筹学的一个分支，是求解决策过程最优化的过程。20世纪50年 代初，美国数学家贝尔曼（R.Bellman）等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理， 从而创立了动态规划。动态规划的应用极其广泛，包括工程技术、经济、工业生产、军事以及自动化控制等领域， 并在背包问题、生产经营问题、资金管理问题、资源分配问题、最短路径问题和复杂系统可靠性问题等中取得了 显著的效果 。
最优化原理可这样阐述：一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成 的状态而言，余下的诸决策必须构成最优策略。简而言之，一个最优化策略的子策略总是最优的。一个问题满足 最优化原理又称其具有最优子结构性质 。
将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，它以前各阶段的状态无法直接影响它未来 的决策，而只能通过当前的这个状态。换句话说，每个状态都是过去历史的一个完整总结。这就是无后向性，又 称为无后效性 。
状态：状态表示每个阶段开始面临的自然状况或客观条件，它不以人们的主观意志为转移，也称为不可控因 素。在上面的例子中状态就是某阶段的出发位置，它既是该阶段某路的起点，同时又是前一阶段某支路的终点 。
动态规划.pdf
第三章：动态规划3.1 动态规划的基本概念一、动态决策问题：决策过程具有阶段性和时序性(与时间有关)的决策问题。
即决策过程可划分为明显的阶段。
二、什么叫动态规划(D.P.–Dynamic Program)：多阶段决策问题最优化的一种方法。
广泛应用于工业技术、生产管理、企业管理、经济、军事等领域。
三、动态规划(D.P.)的起源：1951年,(美)数学家R.Bellman等提出最优化原理，从而建立动态规划，名著《动态规划》于1957年出版。
四、动态决策问题分类：1、按数据给出的形式分为：•离散型动态决策问题。
•连续型动态决策问题。
2、按决策过程演变的性质分为：•确定型动态决策问题。
•随机型动态决策问题。
五1、阶段(stage)n ：作出决策的若干轮次。
n = 1、2、3、4、5。
2、状态(state)S n ：每一阶段的出发位置。
构成状态集，记为S nS 1={A}，S 2={B 1,B 2,B 3}，S 3={C 1,C 2,C 3}，S 4={D 1,D 2,D 3}，S 5={E 1,E 2}。
阶段的起点。
3、决策(decision)X n ：从一个阶段某状态演变到下一个阶段某状态的选择。
构成决策集，记为D n (S n )。
阶段的终点。
D 1(S 1)={X 1(A)}={B 1,B 2,B 3}= S 2，D 2(S 2)={X 2(B 1),X 2(B 2),X 2(B 3)}={C 1,C 2,C 3}=S 3，D 3(S 3)={X 3(C 1),X 3(C 2),X 3(C 3)}={D 1,D 2,D 3}=S 4，D 4(S 4)={X 4(D 1),X 4(D 2),X 4(D 3)}={E 1,E 2}=S 5D 5(S 5)={X 5(E 1),X 5(E 2)}={F;F}={F}。
4、策略(policy)：全过程中各个阶段的决策Xn 组成的有序总体{Xn }。
如 A àB2àC1àD1àE2àF5、子策略(sub-policy)：剩下的n个阶段构成n子过程，相应的决策系列叫n子策略。
《算法设计与分析》第3章 动态规划法
最优解的递推关系 定义m[i:j]，表示矩阵连乘A[i:j]所需的最少计算 量 则有： i j 0 m[i ][ j ] i j minj{m[i ][ k ] m[k 1][ j ] pi 1 pk p j } i k
假设：N个矩阵的维数依序放在一维数组p中， 其中Ai的维数记为Pi-1×Pi
A=A1×A2×A3×…×An
A=(A1×A2×…×Ak) × (Ak+1×Ak+2×…×An)
B
C
1.2 穷举法
穷举法：列举出所有可能的计算次序，并计算出 每一种计算次序相应需要的数乘次数，从中找出 一种数乘次数最少的计算次序。
穷举法复杂度分析： 对于n个矩阵的连乘积，设其不同的计算次序有P(n)种。 由于每种加括号方式都可以分解为两个子连乘的加括号问题： (A1...Ak)(Ak+1…An)可以得到关于P(n)的递推式如下：
【程序】矩阵连乘的 穷举法实现 int MatrixChain::LookupChain(int i, int j) { if(i==j) return 0; int u=LookupChain(i+1,j)+p[i-1]*p[i]*p[j]; //k=i s[i][j]=i; //记录最优分解位置 for ( int k=i+1;k<j; k++ ) { //遍历k int t=LookupChain(i,k)+LookupChain(k+1,j) +p[i]*p[k+1]*p[j+1]; if (t<u) { u=t; s[i][j]=k; //记录最优分解位置 } } int MatrixChain::LookupChain() return u; { } return LookupChain(1,n);
动态规划(生产和存储问题)
动态规划（生产和存储问题）一、动态规划法的发展及其研究内容动态规划是运筹学的一个分支，是求解决策过程最优化的数学方法。
20世纪50年代初美国数学家R.E.BELLMAN等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理，把多阶段问题转化为一系列的单阶段问题，逐个求解创立了解决这类过程优化问题的新方法——动态规划。
1957年出版的他的名著《Dynamic Proggramming》，这是该领域的第一本著作。
动态规划问世以来，在经济管理·生产调度·工程技术和最优控制等方面得到了广泛的应用。
例如最短路线·库存管理·资源分配·设备更新·组合·排序·装载等问题，采用动态规划法求解比用其他方法更为简便。
二、动态规划法基本概念一个多阶段决策过程最优化问题的动态规划模型通常包括以下几个要素：1．阶段阶段（stage）是对整个过程的自然划分。
通常根据时间顺序或是空间特征来划分阶段，对于与时间，空间无关的“静态”优化问题，可以根据其自然特征，人为的赋予“时段”概念，将静态问题动态化，以便按阶段的顺序解优化问题。
阶段变量一般用k=1.2….n.表示。
1.状态状态(state)是我们所研究的问题（也叫系统）在过个阶段的初始状态或客观条件。
它应能描述过程的特征并且具有无后效性，即当某阶段的状态给定时，这个阶段以后的过程的演变与该阶段以前各阶段的状态无关。
通常还要求状态是可以直接或者是间接可以观测的。
描述状态的变量称为状态变量（State Virable）用s 表示，状态变量的取值集合称为状态集合，用S表示。
变量允许取值的范围称为允许状态集合(set of admissble states).用x(k)表示第k阶段的状态变量，它可以是一个数或者是一个向量。
用X(k)表示第k阶段的允许状态集合。
n 个阶段的决策过程有n+1个状态变量，x(n+1)是x(n)的演变的结果。
动态规划算法教学PPT
03
动态规划算法的实现步骤
明确问题，建立数学模型
1
确定问题的目标和约束条件，将其转化为数学模 型。
2
理解问题的阶段划分，将问题分解为若干个子问 题。
3
确定状态变量和决策变量，以便描述子问题的状 态和决策。
划分阶段，确定状态变量和决策变量
01
根据问题的阶段划分，将问题分解为若干个子问题。
02
确定状态变量和决策变量，以便描述子问题的状态 和决策。
02
将子问题的最优解组合起来，得到原问题的最优解。
对最优解进行验证和性能评估，确保其满足问题的要求。
03
04
动态规划算法的优化技巧
分支定界法
分支定界法是一种求解优化问题的算 法，它通过不断生成问题的分支并确 定每个分支的界限，来寻找最优解。 在动态规划中，分支定界法可以用来 优化状态转移方程，减少计算量。
详细描述
多目标规划问题在实际生活中应用广泛，如资源分配、项目计划、城市规划等领 域都有涉及。常用的求解多目标规划的方法包括权重和法、帕累托最优解等。
多阶段决策问题
总结词
多阶段决策问题是动态规划中的一类，解决的问题需要在多个阶段做出决策，每个阶段的决策都会影响到后续阶 段的决策。
详细描述
多阶段决策问题在实际生活中应用广泛，如生产计划、库存管理、路径规划等领域都有涉及。常用的求解多阶段 决策问题的方法包括递归法、动态规划等。
特点
动态规划算法具有最优子结构、重叠 子问题和最优解性质等特征。
动态规划算法的应用领域
计算机科学
在计算机科学中，动态规划算法广泛应用于字符 串处理、排序、数据压缩和机器学习等领域。
电子工程
在电子工程中，动态规划算法用于信号处理、通 信和控制系统等领域。
第3章-动态规划算法
算法复杂度分析：
算法matrixChain的主要计算量取决于算法中对r， i和k的3重循环。循环体内的计算量为O(1)，而3重 循环的总次数为O(n3)。因此算法的计算时间上界 为O(n3)。算法所占用的空间显然为O(n2)。
22
3.1.4 构造最优解 若将对应m[i][j]的断开位置k记为s[i][j]，在计算出最 优值m[i][j]后，可递归地由s[i][j]构造出相应的最优 解。 s[i][j]中的数表明，计算矩阵链A[i:j]的最佳方式应在 矩阵Ak和Ak+1之间断开，即最优的加括号方式应为 (A[i:k])(A[k+1:j)。
21
m[2][5]
min
m[2][2] m[3][5] m[2][3] m[4][5]
p1 p2 p5 p1 p3 p5
0 2500 35 2625 1000
15 35 5
20 20
13000 7125
m[2][4] m[5][5] p1 p4 p5 4375 0 3510 20 11375
}
}
T(Apxq*Bqxr)=O(p*q*r)
10
A, B, C, D
A 5010 B 1040 C 4030 D 305
(A((BC)D)) (A(B(CD))) ((AB)(CD)) (((AB)C)D) ((A(BC))D)
计算量分别为：16000, 10500, 36000, 87500, 34500
矩阵的连乘积可以有许多不同的计算次序。这种 计算次序可以用加括号的方式来确定。若一个矩 阵连乘积的计算次序完全确定，也就是说该连乘 积已完全加括号，则可以依此次序反复调用2个 矩阵相乘的标准算法计算出矩阵连乘积。
算法设计与分析耿国华第三章
设计与分析
第三章 动态规划
主编 耿国华
Chapter
3
本章内容
3.1 动态规划基础
• 3.1.1 • 3.1.2 • 3.1.3 • 3.1.4
动态规划的基本思想
动态规划的基本要素 动态规划的基本步骤
动态规划示例——组合数问题
3.2 线性动态规划——合唱队形问题 3.3 区域动态规划——矩阵连乘问题
3.4 背包动态规划——0-1背包问题
3.5 树形动态规划——最优二叉搜索树问题 3.6 本章小结
Chapter
3
引言
本章给出的动态规划技术可使用较少的时间求解此类问题。
与分治法不同，在求解过程中动态规划方法采用自底向上的递 推方式，将原问题分解为互不独立的小规模子问题，根据子问
题的相关性从已知的各个局部解中选出能产生最佳解的部分，
• •
1. 问题描述 N位同学站成一排，音乐老师要请其中的(N-K)位同学 出列，而不改变其他同学的位臵，使得剩下的K位同学排
成合唱队形。
Chapter
3
3.2线性动态规划-----合唱队形问题 问题描述
• 1.问题描述
•
合唱队形要求：设K位同学从左到右依次编号为1，2，...， K，他们的身高分别为T1,T2，...，TK，则他们的身高满足 T1<...<Ti,且Ti >Ti+1>...>TK(1<=i<=K)。当给定队员人数N和 每个学生的身高T[i]时，计算需要多少学生出列，可以得到最长 的合唱队形。如下图所示：
，
i=1
i=2
步骤2：建立递归关系
i=3
j=1
j=2 j=3 j=4 j=5
《高级算法与数据结构》课程思政元素
《高级算法与数据结构》课程思政元素第三章动态规划3.1 动态规划算法的基本原理一、授课内容1.1 动态规划算法的基本思想在现实生活中，有一类问题被定义为最优决策问题，这类问题可能会有许多可行解，每一个解都对应于一个值，我们希望找到具有最优值的那个解，即最优解。
20世纪40年代，Richard Bellman首次使用了动态规划这个术语，用来描述最优决策问题的求解过程。
其核心思想是将最优决策问题按照时间或空间特征分解成若干相互关联的阶段，以便按次序去求每个阶段的解。
各阶段开始时具有客观条件（称之为状态），当各阶段的状态确定以后，就可以做出不同的决定，从而确定下一阶段的状态，这种决定称为决策。
“动态”是指在一定条件下，根据上一阶段的状态和决策来导出本阶段的状态，“规划”是指建立状态转移方程。
最优决策问题的难点在于，各个阶段决策的选取不能任意确定，它既依赖于当前面临的状态，又影响着以后的发展。
1.2 动态规划算法与分治法的区别和联系动态规划算法与（第二章）分治法类似，都是将待求解问题分解为若干个子问题，先求解子问题，再结合这些子问题的解得到原问题的解。
与分治法不同之处在于：（1）适合用动态规划求解的问题经分解得到的子问题往往不是相互独立的（即重叠子问题），在递归模型上采用分治法自顶向下求解时，有些子问题被反复计算。
动态规划算法正是利用重叠子问题的性质，将各阶段子问题的最优值保存在一个表格中，在需要时以常数时间查看结果，这样可以避免大量的重复计算。
对于一些在递归模型上具有指数下界的算法来说，当不同子问题的个数随问题的大小呈多项式增长时，用动态规划的表格式方法来存储重叠子问题的解，可以将指数时间减少为多项式时间，从而有效降低了时间复杂度。
（2）每个阶段的子问题可能会有许多可行解，当问题的最优解包含了其子问题的最优解时（即最优子结构），表格里只存储子问题的最优解就可以了。
利用最优子结构性质，动态规划可以自底向上的从子问题的最优解逐步构造出原问题的最优解，从而有效控制了空间复杂度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2: 2
3: 3
3: 4
4: 4
2: 3
2: 2
4: 4
3: 3
1: 2 1: 1
3: 3 2: 2
动态规划法求解步骤3——计算出最优值
计算最优值的两个方法： 1、自底向上 的 填表 方式 2、自顶向下 的 递归+备忘录 方式 该方式因为要避免重复计算同一子问题，所 以要引入备忘录。
计算最优值方法1：自底向上的填表方法
动态规划法求解步骤2——建立递归关系
设： (1) m[i][j](1≤i, j≤n) = 计算A[i, j] 的最少乘次数
(2) m[1][n] =计算A[1,n] 的最少乘次数。
(3) (A1A2…Ak）×（Ak+1…An）是 A[1, n]的其中 一个最优解。 则 相应的代价方程为：
K到底是多少呢？？ 只好从1尝试到 n-1
C1 B1 A B2 C3 D3 C4 阶段0 阶段1 阶段2 阶段3 阶段4 C2 D1 D2 E
算法总体思想
动态规划算法与分治法类似，其基本思想也是将 待求解问题分解成若干个子问题。
T(n)
=
n
T(n/2)
T(n/2)
T(n/2)
T(n/2)
算法总体思想
但是经分解得到的子问题往往不是互相独立的。不 同子问题的数目常常只有多项式量级。在用分治法求解 时，有些子问题被重复计算了许多次。
动态规划法求解步骤4——构造最优解
通过MatrixChain 的计算，我们知道要计算所给 的矩阵连乘积所需的最少数乘次数，但还不知道具 体应该按什么次序来做矩阵乘法才能达到最少的数 乘次数。 s[i][j]记录矩阵链A[i:j]的最佳断点。
对矩阵连乘问题构造最优解
void print(int i , int j , int **s) { if ( i == j ) cout << "A" << i; else { cout << "(" ; 构造最优解的时间复杂性：O(n) print (i,s[i][j],s); print (s[i][j]+1,j,s); cout << ")" ; } }
不同计算顺序的差别
求多个矩阵的连乘积时，计算的结合顺序是十分重要的。
对穷举搜索法的思考
穷举法：列举出所有可能的计算次序，并计算 出每一种计算次序相应需要的数乘次数，从中找出 一种数乘次数最少的计算次序。 n个矩阵的连乘积至少有 (4n/n3/2)个不同的计算顺 序，即计算顺序随 n 的增长呈指数增长。因而穷举 搜索法对此问题不是有效的算法。
怎样填？—— 分析： 1、表的维数 2、填表范围 3、按什么顺序填
1 1 2 3 4 5 6
0
2
0
3
2625
4
5
6
1 2 3 4 5 6
15750 7875 0
9375 11875 15125 4375 6000 7125 10500
750 0 2500 1000 5375 6250 3500 5000 0
• 重叠子问题性质
计算最优值方法2：递归+备忘录
备忘录方法采用一些表格来保存已解子问题的 信息（最优值、相应最优解的线索等）。每个子问 题初始化时都标记为尚未求解。在递归求解过程中， 对每个待解子问题，先查看它是否已求解。若未求 解，则计算其解并填表保存。若已求解，则查表取 出相应的结果。 书中把自上而下+备忘录的方法称为备忘录算法。
3.3 最长公共子序列（LCS）
若 给 定 序 列 X={x1,x2,…,xm} ， 则 另 一 序 列 Z={z1,z2,…,zk} ，是 X 的子序列是指存在一个严格递
增下标序列{i1,i2,…,ik}使得对于所有j=1,2,…,k有：
zj=xij。例如，序列Z={B，C，D，B}是序列X={A，B，C， B ， D ， A ，B} 的子序列，相应的递增下标序列为 {2 ， 3 ， 5，7}。 给定 2 个序列 X 和 Y ，当另一序列 Z 既是 X 的子序列又 是Y的子序列时，称Z是序列X和Y的公共子序列。 给 定 2 个 序 列 X={x1,x2,…,xm} 和 Y={y1,y2,…,yn} ， 找出X和Y的最长公共子序列。
事实正是如此。为什么？ （通过证明知道：P46 反证法）
动态规划法求解步骤1——分析最优解的结构
矩阵连乘计算次序问题的最优解包含着其子问 题的最优解。这种性质称为最优子结构性质。问题
的最优子结构性质保证了该问题使用动态规划求解
的正确性。
继续分析 子问题的重叠性 ：
具有 子问题重叠性 ！！ 重叠子问题性质保证了该问题使用动态规划求解的 有效性。
备忘录算法：P51
int MemoizedMatrixChain(int n,int **m,int **s) 备忘录算法的控制结构与直接递归方法的控制结构相 { 同，区别在于备忘录算法为每个解过的子问题建立了备忘 for(int i=1;i<=n;i++) 录以备需要时查看，避免了相同子问题的重复求解。 int LookupChain(int i，int j，int **m , int **s) for(j=i;i<=n;j++) m[i][j]=0; { //初始化，标记为对应子问题尚未求解 if (m[i][j] > 0) return m[i][j]; return if (i == j) LookupChain(1,n,m,s); return 0; } int m[i][j] = LookupChain(i，i) + LookupChain(i+1，j) + p[i-1]*p[i]*p[j];
动态规划法求解步骤1——分析最优解的结构
思考：将矩阵连乘积AiAi+1…Aj记为A[i: j]。 设 A[1: n] 的其中一个最优解在矩阵 Ak 和 Ak+1 处断 开，即 A[1:n] = ( A[1:k] )×( A[k+1:n] )。
若 矩阵连乘问题具备最优子结构性质，则 ： A[1: k] 和 A[k+1: n] 在 A[1:n]的最优解中的加 括号方式也分别是子问题 A1A2…AK 和 Ak+1Ak+2…An 的其中一个最优解。
m[i][j]
0
1 2 3 4 5 6
1
1
2
3 3 2
3
3 3 4
3 3 3 5 4 5
s[i][j]
3
自底向上的填表算法
输入：n个连乘矩阵的大小p0,p1,…,pn 输出：最少乘法次数记为m[1][n],最优解s 算法(思路：自底向上，每行自左向右 填表) 1.for (i=n;i>=1;i--) //从倒数第一行开始填表 1.1 for(j=i;j<=n;j++) //计算每行的m[i][j](i<=j) 1.1.1 若i==j，m[i][j]=0; 否则转 1.1.2 1.1.2 计算断点在 i 处的乘法次数，记为当前的最优 值m[i][j]；当前的最优断点为i,记入s[i][j]; 1.1.3 取断点值k=i+1到j-1： 计算断点为 k 处的乘法次数，与已有的最优值 m[i][j] 比较，如果当前值更优，则替换 m[i][j] 和最优断点s[i][j];
MatrixChain(自底向上填表)的时间复杂性
算法MatrixChain的主要计算取决于程序中对 i、 j和k的三重循环。循环体内的计算量为O(1)，1≤ i、 j 、 k≤n ，三重循环的总次数为 O(n3) 。因此该算法 时间复杂性的上界为O(n3) 。算法使用空间显然为 O(n2)。 动态规划算法的基本要素： 这种算法称为动态规划算法。 • 最优子结构性质
s[1,6]=3 [1,3] [1,1] [2,3] [4,5] [6,6] [2,2] [3,3] [4,4] [5,5] (A1(A2A3))((A4A5)A6)
[4,6]
动态规划算法的基本方法
动态规划算法通常可以按以下几个步骤进行： 找出最优解的性质，并刻画其结构特征； 递归地定义最优值； 以备忘录方式或自底向上方式计算出各子结构 的最优值； 根据计算最优值时得到的信息，构造最优解。 步骤 1~3 是动态规划算法的基本步骤。若需要最 优解，则必须执行第4步，为此还需要在第3步中记 录构造最优解所必需的信息。
第三章 动态规划
引例 - 多阶段图最短路问题
下图表示城市之间的交通路网，线段上的数字表示 费用，单向通行由A->E。求A->E的最省费用。
C1
8 2 A 5 B2 2 B1 11 6 3 C2 C3 C4
4
2
8 D1 3 1
7 5
3
D2
D3
E
5
引例 - 多阶段图最短路问题
此图有明显的次序，可以划分为5阶段。故此问题的要求是：在 各个阶段选取一个恰当的决策，使由这些决策组成的一个决策序 列所决定的一条路线，其总路程最短。
k=1
n–1
解此递归式，得： T(n)≥2n–1 = Ω(2n)。
此算法的时间复杂性随n的指数增长。不可行！ 因为直接递归中有大量重复计算！
如A[1: 4]计算中(图中红框标出的都是重复计算):
1: 4
1: 2
1: 1 2: 4 1:1 2: 2
3: 4 3: 3 4: 4 1: 1 2: 2 2: 3 3: 3 1: 3 4: 4
方法二：自上而下 + 备忘录的求解方式——备忘录
算法
根据计算最优值时得到的信息，构造最优解。
3.1 矩阵连乘问题
给定n个矩阵：A1, A2, …, An，其中Ai与Ai+1是可 乘的。确定一种连乘的顺序，使得矩阵连乘的计算 量为最小。 设 A 和 B 分别是 p×q 和 q×r 的两个矩阵，则乘积 C=AB为p×r的矩阵，计算量为p*q*r次数乘。 但是对于多于 2 个以上的矩阵连乘，连乘的顺序 却非常重要，因为不同的顺序的总计算量将会有很 大的差别。