运筹学之动态规划(东南大学)汇总
运筹学动态规划
运筹学动态规划第7章动态规划动态规划是Bellman 在1957年提出的解多阶决策问题的方法，在那个时期，线性规划很流行，它是研究静态问题的，而Bellman 提出的解多阶决策问题的方法适用于动态问题，相对于线性规划研究静态问题，取名动态规划。
动态规划方法应用范围非常广泛，方法也比较简单。
动态规划是将一个多阶决策问题分解为一系列的互相嵌套的一步决策问题，序贯求解使问题得到简化。
动态规划问题按照问题的性质可以分为确定性的和随机性的，按决策变量的和状态变量的取值可以分为离散型的和连续型的。
此外还有依据时间变量连续取值还是离散取值又分为连续时间动态规划问题和离散时间动态规划问题。
本章重点讨论离散时间确定性动态规划问题，包括状态变量和决策变量连续取值和离散取值两种情况。
7.1解多阶决策问题的动态规划法1.多阶决策问题的例(1)最优路径问题—多阶决策问题的例为了直观，先从最优路径问题谈起，它可以看作一个多阶决策过程。
通过最优路径问题的解可以看到用动态规划法解多阶决策问题的基本思想。
考虑图7-1所示的最优路径问题。
一汽车由S 点出发到终点F ，P 和Q 是一些可以通过的点。
图中两点间标出的数字是汽车走这一段路所需的时间(单位为小时)。
最优路径问题是确定一个路径，使汽车沿这条路径由S 点出发达到F 点所用时间最短。
最优路径问题可以看作一个多阶决策问题，由S 到城市甲是第1个阶段，第1个结点P 1或第2个结点Q 1做为第1阶段可以通过的两个站点，由城市甲到城市乙是第2阶段，这个阶段是从P 1或Q 1到P 2或Q 2，由城市乙到城市丙是第3阶段，这个阶段是从P 2或Q 2到P 3或Q 3，由城市丙的P 3或Q 3到F 做为第四阶段。
（2）最优路径问题的解对最优路径问题，存在一个非常明显的原理，即最优路径的一部分还是最优路径。
换句话说，如果SQ P Q F 123是所求的最优路径，那么，汽车从这一路径上的任何一点，例如P 2，出发到F 的最优路径必为P Q F 23。
第07章 动态规划 《运筹学》PPT课件
动态规划
模型分类
离散确定型 离散随机型 连续确定型 连续随机型
§1 多阶 段决 策过 程的 最优
化
多阶段决策问题
(Multi-Stage decision process)
决策u1 决策u2
决策uk
32
维护费
8 8 9 9 10 6 6 8 8 10 5 6 8 9 5 5 6 4 54Βιβλιοθήκη 新设备购置费 5050
52 52 55 60
旧设备折价
20 15 10 5 2 30 25 20 15 10 31 26 21 15 33 28 20 35 30
40
§1 多阶 段决 策过 程的 最优
化
3)连续生产过程的控制 问题：一般化工生产过程中，
本章 内容
多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划模型的建立与求解 动态规划在经济管理中的应用 马氏决策规划简介
创始时间 创始人
上个世纪50年代
美国数学家贝尔曼 （Richard. Bellman)
是运筹学的一个主要分支 是解决多阶段决策过程的最优化的一
种方法多阶段决策过程： 多阶段决策过程的最优化的目标： 达到整个活动过程的总体效果最优 •主要用于解决：
不过，实际中尚有许多不包含时间 因素的一类“静态”决策问题，就其本 质而言是一次决策问题，是非动态决策 问题，但是也可以人为地引入阶段的概 念当作多阶段决策问题，应用动态规划 方法加以解决。
§1 多阶 段决 策过 程的 最优
化
4）资源分配问题：便属于这类静 态问题。如：某工业部门或公司，拟对 其所属企业进行稀缺资源分配，为此需 要制定出收益最大的资源分配方案。这 种问题原本要求一次确定出对各企业的 资源分配量，它与时间因素无关，不属 动态决策，但是，我们可以人为地规定 一个资源分配的阶段和顺序，从而使其 变成一个多阶段决策问题(后面我们将 详细讨论这个问题)。
运筹学 第05章 动态规划
动态规划模型
动态规划模型如下
u1 ,,u n
opt R rk xk , u k
n k 1
表示求和或加权求和 opt表示求最优(最大值 或最小值) Xk表示k阶段状态可能 的取值范围，称为状态 可能集合 Uk表示k阶段决策可能 的取值范围，称为决策 允许集合
x1
决 策 Z
x2 x1 表示决策所依赖的资源和环境
Z表示目标函数
x2 表示决策后的资源和环境状况
动态规划概念(2)
例如，前面讲过的生产计划问题就是一次决策
某工厂用三种原料生产三种产品，已知的条件如 下表所示，试制订总利润最大的日生产计划
产品所需原料数量 （公斤/ 件） 原料P1 原料P2 原料P3 产品的利润 （千元/ 件） 产品Q1
贝尔曼方程
对于无后效性的多阶段决策过程，根据最 优性原理和贝尔曼函数定义，可得
f k xk optrk xk , uk f k 1 xk 1 其中，xk 1 Tk xk , uk 称为动态规划基本方程，也称为 贝尔曼方程
uk
动态规划问题求解步骤(1)
k阶段决策uk是决定下一步走到哪里，有
u1∈{a,b,c} u2(a)∈{d,f}，u2(b)∈{d,e} ，u2(c)∈{d,e,f} u3∈{t}
示例(5.2-3)
状态转移方程
xk+1=uk
阶段效应rk(xk , uk ) 取为从xk 走到uk 的路线 长度，如r1(s , a) =9 贝尔曼函数 fk(xk ) 定义为从xk 走到 t 的最短 路线 贝尔曼方程
f k xk opt ri xi , ui
n u k ,,u n i k
为了将从初始状态xk 出发的k-后部子过程的 最优策略和最终的最优策略相区别，称前 者为条件最优策略
运筹学知识点总结
运筹学：应用分析、试验、量化的方法，对经济管理系统中人力、物力、财力等资源进行统筹安排，为决策者提供有依据的最优方案，以实现最有效的管理。
第一章、线性规划的图解法1.基本概念线性规划：是一种解决在线性约束条件下追求最大或最小的线性目标函数的方法。
线性规划的三要素：变量或决策变量、目标函数、约束条件。
目标函数：是变量的线性函数。
约束条件：变量的线性等式或不等式。
可行解：满足所有约束条件的解称为该线性规划的可行解。
可行域：可行解的集合称为可行域。
最优解：使得目标函数值最大的可行解称为该线性规划的最优解。
唯一最优解、无穷最优解、无界解（可行域无界）或无可行解（可行域为空域）。
凸集：要求集合中任意两点的连线段落在这个集合中。
等值线：目标函数z，对于z的某一取值所得的直线上的每一点都具有相同的目标函数值，故称之为等值线。
松弛变量：对于“≤”约束条件，可增加一些代表没使用的资源或能力的变量，称之为松弛变量。
剩余变量：对于“≥”约束条件，可增加一些代表最低限约束的超过量的变量，称之为剩余变量。
2.线性规划的标准形式约束条件为等式（=）约束条件的常数项非负（b j≥0）决策变量非负（x j≥0）3.灵敏度分析：是在建立数学模型和求得最优解之后，研究线性规划的一些系数的变化对最优解产生什么影响。
4.目标函数中的系数c i的灵敏度分析目标函数的斜率在形成最优解顶点的两条直线的斜率之间变化时，最优解不变。
5.约束条件中常数项b i的灵敏度分析对偶价格：约束条件常数项中增加一个单位而使最优目标函数值得到改进的数量。
当某约束条件中的松弛变量（或剩余变量）不为零时，这个约束条件的对偶价格为零。
第二章、线性规划问题在工商管理中的应用1.人力资源分配问题（P41）设x i为第i班次开始上班的人数。
2.生产计划问题（P44）3.套材下料问题（P48）下料方案表（P48）设x i为按各下料方式下料的原材料数量。
4.配料问题（P49）设x ij为第i种产品需要第j种原料的量。
运筹学第10章动态规划
管 理 运 精品资料 筹 学
17
动态(dòngtài)规划要求过程指标满足递推关系 ，即
Vk (sk , xk , xk1, , xn ) Vk [v(sk , xk ),Vk1(sk1, xk1, , xn )]
管 理 运 精品资料 筹 学
20
动态(dòngtài)规划方法的基本思想
• 结合解决最短路线问题来介绍动态规划方法(fāngfǎ) 的基本思想。生活中的常识告诉我们, 最短路线有一 个重要特性: 如果由起点A 经过P 点和H 点而到达终 点G 是一条最短路线, 则由点P 出发经过H 点到达终 点G 的这条子路线, 对于从点P 出发到达终点的所有 可能选择的不同路线来说, 必定也是最短路线。
连和形式 (xíngshì)：
VK VK (sk , xk , xk1, , xn ) vk (sk , xk）＋VK (sk＋1, xk1, , xn )
n1
v j (s j , x j）Vn jk
最优指标函数是
f k (sk ) Opt {vk (sk , xk } f k1 (sk1 )}, k 1,2,, n
xk Dk ( sk )
管 理 运 精品资料 筹 学
18
连乘形式(xíngshì)(VvjK≠0)V：K (sk , xk , xk1, , xn )
vk (sk , xk ) VK (sk＋1, xk1, , xn )
n1
j =k
vj
(s j
,
xj
) Vn
最优指标函数是
fk (sk ) Opt {vk (sk , xk } fk1(sk1)}, k 1, 2, , n
运筹学——动态规划
优子策略。该原理的具体解释是，若某一全过程
最优策略为：
p1
(s1 )
{u1
(s1 ),
u 2
(s2
),
,
u
k
(sk
),
u
n
(sn
)}
则对上述策略中所隐含的任一状态而言，
第k子过程上对应于该状态的最优策略必然包
含在上述全过程最优策略p1*中，即为
pk
(sk
)
{u
k
(sk
),
u
k 1
(sk
1
),
2．正确地定义状态变量sk，使它既能正确地描述过 程的状态，又能满足无后效性．动态规划中的状 态与一般控制系统中和通常所说的状态的概念是 有所不同的，动态规划中的状态变量必须具备以 下三个特征：
20
2021/7/26
(1)要能够正确地描述受控过程的变化特征。 (2)要满足无后效性。即如果在某个阶段状态已经给定，那么在
sk 1 Tk (sk ,uk (sk ))
上式称为多阶段决策过程的状态转移方程。有些问题的 状态转移方程不一定存在数学表达式，但是它们的状态 转移，还是有一定规律可循的。
12
2021/7/26
(六) 指标函数 用来衡量策略或子策略或决策的效果的某种数量
指标，就称为指标函数。它是定义在全过程或各 子过程或各阶段上的确定数量函数。对不同问题 ，指标函数可以是诸如费用、成本、产值、利润 、产量、耗量、距离、时间、效用，等等。
7
2021/7/26
（二）状态、状态变量和可能状态集 1.状态与状态变量。用以描述事物(或系统)在某特 定的时间与空间域中所处位置及运动特征的量，称 为状态。反映状态变化的量叫做状态变量。状态变 量必须包含在给定的阶段上确定全部允许决策所需 要的信息。按照过程进行的先后，每个阶段的状态 可分为初始状态和终止状态，或称输入状态和输出 状态，阶段k的初始状态记作sk，终止状态记为sk+1 。但为了清楚起见，通常定义阶段的状态即指其初 始状态。
运筹学教材课件(第四章动态规划)
最优解的存在性
对于多阶段决策问题，如果每个 阶段的决策空间是有限的，则存 在最优解。
最优解的唯一性
对于某些多阶段决策问题，可能 存在多个最优解。在这种情况下， 我们需要进一步分析问题的性质 和约束条件，以确定最优解的个 数和性质。
最优解的稳定性
在某些情况下，最优解可能受到 参数变化的影响。我们需要分析 最优解的稳定性，以确保最优解 在参数变化时仍然保持最优。
VS
详细描述
排序问题可以分为多种类型，如冒泡排序 、快速排序、归并排序等。动态规划可以 通过将问题分解为子问题，逐一求解最优 解，最终得到全局最优解。在排序问题中 ，动态规划可以应用于求解最小化总成本 、最大化总效益等问题。
04
动态规划的求解方法
逆推法
逆推法
从问题的目标状态出发，逆向推算出达到目标状态的 最优决策，直到达到初始状态为止。
案例二：投资组合优化问题
要点一
总结词
要点二
详细描述
投资组合优化问题是动态规划在金融领域的重要应用，通 过合理配置资产，降低投资风险并提高投资收益。
投资组合优化问题需要考虑市场走势、资产特性、风险偏 好等多种因素，通过动态规划的方法，可以确定最优的投 资组合，使得投资者在风险可控的前提下，实现收益最大 化。
详细描述
在背包问题中，给定一组物品，每个物品都有一定的重量和价值，要求在不超过背包容量的限制下， 选择总价值最大的物品组合。通过动态规划的方法，可以将背包问题分解为一系列子问题，逐一求解 最优解。
排序问题
总结词
排序问题是动态规划应用的另一个重要 领域，主要涉及到将一组元素按照一定 的顺序排列，以达到最优的目标。
本最小化和效率最大化。
感谢您的观看
运筹学动态规划
基本方程为：
fk ( sk ) max{qk yk pk xk fk1 ( sk1 )}
0 yk sk 0 xk H sk yk
f1(s1 )
max
0 x1 s1
{4
x1
2s22 }
max
0 x1 s1
{4
x1
2( s1
x1 )2 }
max{4s1 ,2s12} 200
第14页 共64页
上述最短路线的计算过程可用图直观表示(标 号法)，如图4-3所示，结点上方矩形内的数字表 示该点到终点的最短距离。
5
A 18
13
B1 3
7
B2
16
13
C1 6
10 3
C2
9
3
C3
4
C4
12
7
D1
2
6
D2 1
3
D3
8
图4-3
7
E1 3
该点到G点的最短距离
4
F1 4
E2 2
5
6
E3
9
例4-3 分配投资问题的逆序求解
基本方程为：
fk
( sk
)
max { g 0 xk sk
k
(
xk
)
fk 1 ( sk 1 )}
f4 (s4 ) 0
sk+1 = sk – xk
g1(x1)= 4x1
g2(x2)= 9x2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
引言——由一个问题引出的算法考虑以下问题[例1] 最短路径问题现有一张地图，各结点代表城市，两结点间连线代表道路，线上数字表示城市间的距离。
如图1所示，试找出从结点A到结点E的最短距离。
图 1我们可以用深度优先搜索法来解决此问题，该问题的递归式为其中是与v相邻的节点的集合，w(v,u表示从v到u的边的长度。
具体算法如下：开始时标记所有的顶点未访问过，MinDistance(A就是从A到E的最短距离。
这个程序的效率如何呢？我们可以看到，每次除了已经访问过的城市外，其他城市都要访问，所以时间复杂度为O(n!，这是一个“指数级”的算法，那么，还有没有更好的算法呢？首先，我们来观察一下这个算法。
在求从B1到E的最短距离的时候，先求出从C2到E的最短距离；而在求从B2到E的最短距离的时候，又求了一遍从C2到E的最短距离。
也就是说，从C2到E的最短距离我们求了两遍。
同样可以发现，在求从C1、C2到E的最短距离的过程中，从D1到E的最短距离也被求了两遍。
而在整个程序中，从D1到E的最短距离被求了四遍。
如果在求解的过程中，同时将求得的最短距离"记录在案"，随时调用，就可以避免这种情况。
于是，可以改进该算法，将每次求出的从v到E的最短距离记录下来，在算法中递归地求MinDistance(v时先检查以前是否已经求过了MinDistance(v，如果求过了则不用重新求一遍，只要查找以前的记录就可以了。
这样，由于所有的点有n个，因此不同的状态数目有n 个，该算法的数量级为O(n。
更进一步，可以将这种递归改为递推，这样可以减少递归调用的开销。
请看图1，可以发现，A只和Bi相邻，Bi只和Ci相邻,...，依此类推。
这样，我们可以将原问题的解决过程划分为4个阶段，设S1={A},S2={B1,B2},S3={C1,C2,C3,C4},S4={D1,D2,D3}，Fk(u表示从Sk中的点u到E的最短距离，则并且有边界条件显然可以递推地求出F1(A，也就是从A到E的最短距离。
这种算法的复杂度为O(n，因为所有的状态总数（节点总数）为n，对每个状态都只要遍历一次，而且程序很简洁。
动态规划的基本概念动态规划的发展及研究内容动态规划(dynamic programming是运筹学的一个分支，是求解决策过程(decision process最优化的数学方法。
20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(multistep decision process的优化问题时，提出了著名的最优化原理(principle of optimality，把多阶段过程转化为一系列单阶段问题，逐个求解，创立了解决这类过程优化问题的新方法——动态规划。
1957年出版了他的名著Dynamic Programming，这是该领域的第一本著作。
动态规划问世以来，在经济管理、生产调度、工程技术和最优控制等方面得到了广泛的应用。
例如最短路线、库存管理、资源分配、设备更新、排序、装载等问题，用动态规划方法比用其它方法求解更为方便。
虽然动态规划主要用于求解以时间划分阶段的动态过程的优化问题，但是一些与时间无关的静态规划(如线性规划、非线性规划，只要人为地引进时间因素，把它视为多阶段决策过程，也可以用动态规划方法方便地求解。
多阶段决策问题多阶段决策过程，是指这样的一类特殊的活动过程，问题可以按时间顺序分解成若干相互联系的阶段，在每一个阶段都要做出决策，全部过程的决策是一个决策序列。
要使整个活动的总体效果达到最优的问题，称为多阶段决策问题。
例1是一个多阶段决策问题的例子，下面是另一个多阶段决策问题的例子：[例2]生产计划问题工厂生产某种产品，每单位(千件的成本为1(千元，每次开工的固定成本为3(千元，工厂每季度的最大生产能力为6(千件。
经调查，市场对该产品的需求量第一、二、三、四季度分别为2，3，2，4(千件。
如果工厂在第一、二季度将全年的需求都生产出来，自然可以降低成本(少付固定成本费，但是对于第三、四季度才能上市的产品需付存储费，每季每千件的存储费为0.5(千元。
还规定年初和年末这种产品均无库存。
试制订一个生产计划，即安排每个季度的产量，使一年的总费用(生产成本和存储费最少。
决策过程的分类根据过程的时间变量是离散的还是连续的，分为离散时间决策过程(discrete-time decision process，即多阶段决策过程和连续时间决策过程(continuous-time decision process；根据过程的演变是确定的还是随机的，分为确定性决策过程(deterministic decision process和随机性决策过程(stochastic decision process，其中应用最广的是确定性多阶段决策过程。
动态规划模型的基本要素一个多阶段决策过程最优化问题的动态规划模型通常包含以下要素：1.阶段阶段(step是对整个过程的自然划分。
通常根据时间顺序或空间特征来划分阶段，以便按阶段的次序解优化问题。
阶段变量一般用k=1,2,..,n表示。
在例1中由A出发为k=1，由Bi(i=1,2出发为k=2，依此下去从Di(i=1,2,3出发为k=4，共n=4个阶段。
在例2中按照第一、二、三、四季度分为k=1,2,3,4，共4个阶段。
2.状态状态(state表示每个阶段开始时过程所处的自然状况。
它应该能够描述过程的特征并且具有无后向性，即当某阶段的状态给定时，这个阶段以后过程的演变与该阶段以前各阶段的状态无关，即每个状态都是过去历史的一个完整总结。
通常还要求状态是直接或间接可以观测的。
描述状态的变量称状态变量(state variable。
变量允许取值的范围称允许状态集合(set of admissible states。
用xk表示第k阶段的状态变量，它可以是一个数或一个向量。
用Xk表示第k阶段的允许状态集合。
在例1中x2可取B1，B2，X2={B1,B2}。
n个阶段的决策过程有n+1个状态变量，xn+1表示xn演变的结果，在例1中x5取E。
根据过程演变的具体情况，状态变量可以是离散的或连续的。
为了计算的方便有时将连续变量离散化；为了分析的方便有时又将离散变量视为连续的。
状态变量简称为状态。
3.决策当一个阶段的状态确定后，可以作出各种选择从而演变到下一阶段的某个状态，这种选择手段称为决策(decision，在最优控制问题中也称为控制(control。
描述决策的变量称决策变量(decision variable。
变量允许取值的范围称允许决策集合(set of admissible decisions。
用uk(xk表示第k阶段处于状态xk时的决策变量，它是xk的函数，用Uk(xk表示了xk的允许决策集合。
在例1中u2(B1可取C1,C2,C3。
决策变量简称决策。
4.策略决策组成的序列称为策略(policy。
由初始状态x1开始的全过程的策略记作p1n(x1，即p1n(x1={u1(x1,u2(x2,...，un(xn}。
由第k阶段的状态xk开始到终止状态的后部子过程的策略记作pkn(xk，即pkn(xk={uk(xk,uk+1(xk+1,...，un(xn}。
类似地，由第k到第j阶段的子过程的策略记作pkj(xk={uk(xk,uk+1(xk+1,...，uj(xj}。
对于每一个阶段k的某一给定的状态xk，可供选择的策略pkj(xk有一定的范围，称为允许策略集合(set of admissible policies，用P1n(x1,Pkn(xk,Pkj(xk表示。
5.状态转移方程在确定性过程中，一旦某阶段的状态和决策为已知，下阶段的状态便完全确定。
用状态转移方程(equation of state表示这种演变规律，写作在例1中状态转移方程为：xk+1=uk(xk6.指标函数和最优值函数指标函数(objective function是衡量过程优劣的数量指标，它是关于策略的数量函数，从阶段k 到阶段n的指标函数用Vkn(xk,pkn(xk表示，k=1,2,...,n。
能够用动态规划解决的问题的指标函数应具有可分离性，即Vkn可表为xk,uk,Vk+1 n 的函数，记为：其中函数是一个关于变量Vk+1 n单调递增的函数。
这一性质保证了最优化原理(principle of optimality的成立，是动态规划的适用前提。
过程在第j 阶段的阶段指标取决于状态xj和决策uj，用vj(xj,uj表示。
阶段k到阶段n的指标由vj(j=k,k+1,..n组成，常见的形式有：阶段指标之和，即阶段指标之积，即阶段指标之极大(或极小，即这些形式下第k到第j阶段子过程的指标函数为Vkj(xk,uk,xk+1,...,xj+1。
可以发现，上述(3-(5三个指标函数的形式都满足最优性原理。
在例1中指标函数为(3的形式，其中vj(xj,uj是边 j ,u j (x j > 的权（边的长度） ,u j (x j 表示从 x j 出发根据决策 u j (x j 下一步所到达的节点。
根据状态转移方程，指标函数Vkn还可以表示为状态xk和策略pkn的函数，即Vkn(xk,pkn。
在xk给定时指标函数Vkn对pkn的最优值称为最优值函数(optimal value function，记作fk(xk，即其中opt可根据具体情况取max或min。
上式的意义是，对于某个阶段k的某个状态xk，从该阶段k到最终目标阶段n的最优指标函数值等于从xk出发取遍所有能策略pkn所得到的最优指标值中最优的一个。
7.最优策略和最优轨线使指标函数Vkn达到最优值的策略是从k开始的后部子过程的最优策略，记作pkn*={uk*,..un*},p1n*又是全过程的最优策略，简称最优策略(optimal policy。
从初始状态x1(=x1*出发，过程按照p1n*和状态转移方程演变所经历的状态序列{x1*,x2*,..,xn+1*}称最优轨线(optimal trajectory。
动态规划的基本思想前文主要介绍了动态规划的一些理论依据，我们将前文所说的具有明显的阶段划分和状态转移方程的动态规划称为标准动态规划，这种标准动态规划是在研究多阶段决策问题时推导出来的，具有严格的数学形式，适合用于理论上的分析。
在实际应用中，许多问题的阶段划分并不明显，这时如果刻意地划分阶段法反而麻烦。
一般来说，只要该问题可以划分成规模更小的子问题，并且原问题的最优解中包含了子问题的最优解（即满足最优子化原理），则可以考虑用动态规划解决。
动态规划的实质是分治思想和解决冗余，因此，动态规划是一种将问题实例分解为更小的、相似的子问题，并存储子问题的解而避免计算重复的子问题，以解决最优化问题的算法策略。