运筹学额 第6章：动态规划
运筹学之动态规划
运筹学之动态规划摘要：动态规划是运筹学的一个分支, 是一种解决多阶段决策过程最优化的数学方法, 它把复杂的多阶段决策问题分解成一系列相互联系的较容易解决的单阶段决策问题,通过解决一系列单阶段决策问题来解决多阶段决策问题。
以寻求最优决策序列的方法。
动态规划研究多阶段决策过程的总体优化, 即从系统总体出发, 要求各阶段决策所构成的决策序列使目标函数值达到最优。
在经济管理方面, 动态规划可以用来解决最优路径问题、资源分配问题、生产调度问题、库存问题、装载问题、排序问题、设备更新问题、生产过程最优控制问题等等, 所以它是现代经济管理中的一种重要的决策方法。
关键字：运筹学、动态规划、最优化原理运筹学作为一门新兴科学, 其应用范围是十分广泛的。
对于不同类型问题, 运筹学都有着不同的解决方法,因而形成了许分支学科。
它们虽然各有特性, 但在运用系统观念分析问题,并对问题建立模型求解这两点上都是共同的。
以下主要介绍运筹学在经济管理和物流方面的应用。
一、运筹学在经济管理中的应用在经济管理中, 常用的运筹学方法有线性规划和动态规划。
1.动态规划：动态规划是解决多阶段决策过程最优化问题的一种方法，也是现代企业管理中的一种重要决策方法，可用于最优路径问题、资源分配问题、资源分配的问题、生产计划和库存问题、投资问题、装载问题、排序问题及生产过程的最优控制等，用动态规划方法比用其他方法求解更为方便。
应用动态规划方法可以很好的简化一些较复杂的最优化问题的求解，特别是在解决无法用解析数学表达的离散性问题时具有明显的优点。
虽然动态规划主要用于求解以时间划分阶段的动态过程的优化问题，但是一些与时间无关的静态规划(如线性规划、非线性规划)，只要人为地引进时间因素，把它视为多阶段决策过程，也可以用动态规划方法方便地求解。
二、动态规划的基本原理1．动态规划的最优化原理及其应用20世纪50年代初，美国数学家贝尔曼（R.Bellman）等人在研究一类多阶段决策过程（multistep decision process）的优化问题时，提出了解决动态规划问题的核心，著名的最优化原理（principle of optimality），把多阶段过程化为一系列单阶段问题，利用各阶段之间的关系，逐个求解，创立了解决这类过程优化问题的新方法，从而建立了数学规划的另一分支——动态规划（Dynamic Programming）。
第6章动态规划
第6章 动态规划动态规划（Dynamic Programming ）是解决多阶段决策过程最优化的一种有用的数学方法。
它是由美国学者Richard .Bellman 在1951年提出的，1957年他的专著《动态规划》一书问世，标志着运筹学的一个重要分支－动态规划的诞生.动态规划也是一种将多变量问题转化为单变量问题的一种方法。
在动态规划中，把困难的多阶段决策问题变换成一系列相互联系的比较容易的单阶段问题一个个地求解。
动态规划是考察解决问题的一种途径 ,而不是一种特殊的算法，不像线性规划那样有统一的数学模型和算法（如单纯形法）.事实上，在运用其解决问题的过程中还需要运用其它的优化算法。
因此，动态规划不像其它方法局限于解决某一类问题,它可以解决各类多阶段决策问题。
动态规划在工程技术、经济管理等社会各个领域都有着广泛的应用，并且获得了显著的效果。
在经济管理方面,动态规划可以用来解决最优路径问题、资源分配问题、生产调度问题、库存管理问题、排序问题、设备更新问题以及生产过程最优控制问题等，是经济管理中一种重要的决策技术。
许多规划问题用动态规划的方法来处理,常比线性规划或非线性规划更有效。
特别是对于离散的问题，由于解析数学无法发挥作用，动态规划便成为了一种非常有用的工具。
动态规划可以按照决策过程的演变是否确定分为确定性动态规划和随机性动态规划；也可以按照决策变量的取值是否连续分为连续性动态规划和离散性动态规划。
本教材主要介绍动态规划的基本概念、理论和方法,并通过典型的案例说明这些理论和方法的应用。
6.1动态规划的基本理论6.1.1多阶段决策过程的数学描述有这样一类活动过程,其整个过程可分为若干相互联系的阶段，每一阶段都要作出相应的决策,以使整个过程达到最佳的活动效果。
任何一个阶段(stage ，即决策点)都是由输入(input ）、决策（decision ）、状态转移律（transformation function )和输出(output )构成的，如图6-1（a ）所示.其中输入和输出也称为状态(state ）,输入称为输入状态，输出称为输出状态。
运筹学第三版课后习题答案 (2)
运筹学第三版课后习题答案第一章：引论1.1 课后习题习题1a)运筹学是一门应用数学的学科，旨在解决实际问题中的决策和优化问题。
它包括数学模型的建立、问题求解方法的设计等方面。
b)运筹学可以应用于各个领域，如物流管理、生产计划、流程优化等。
它可以帮助组织提高效率、降低成本、优化资源分配等。
c)运筹学主要包括线性规划、整数规划、指派问题等方法。
习题2运筹学的应用可以帮助组织提高效率、降低成本、优化资源分配等。
它可以帮助制定最佳的生产计划，优化供应链管理，提高运输效率等。
运筹学方法的应用还可以帮助解决紧急情况下的应急调度问题，优化医疗资源分配等。
1.2 课后习题习题1运筹学方法可以应用于各个领域，如物流管理、生产计划、供应链管理、流程优化等。
在物流管理中，可以使用运筹学方法优化仓储和运输的布局，提高货物的运输效率。
在生产计划中，可以使用运筹学方法优化产品的生产数量和生产周期，降低生产成本。
在供应链管理中，可以使用运筹学方法优化订单配送和库存管理，提高供应链的效率。
在流程优化中，可以使用运筹学方法优化业务流程，提高整体效率。
习题2在物流管理中，可以使用运筹学方法优化车辆的调度和路线规划，以提高运输效率和降低成本。
在生产计划中，可以使用运筹学方法优化生产线的安排和产品的生产量，以降低生产成本和提高产能利用率。
在供应链管理中，可以使用运筹学方法优化供应链各个环节的协调和调度，以提高整体效率和减少库存成本。
在流程优化中，可以使用运筹学方法优化业务流程的排布和资源的分配，以提高流程效率和客户满意度。
第二章：线性规划基础2.1 课后习题习题1线性规划是一种数学优化方法，用于解决包含线性约束和线性目标函数的优化问题。
其一般形式为：max c^T*xs.t. Ax <= bx >= 0其中，c是目标函数的系数向量，x是决策变量向量，A是约束矩阵，b是约束向量。
习题2使用线性规划方法可以解决许多实际问题，如生产计划、供应链管理、资源分配等。
第六章(上课) 运筹学动态规划04修改
最优目标函数值
V1*,n V1*,n (s1* , u1*子,从策略k,的到s最终n*优点, u目最n*标优)函策数略值
f s opt v s u s
, , ,
k
k
k,n
u u , ,
k
n
k
k
n1
28Biblioteka 三. 动态规划的基本思想2
A
5
B1 12 14
(
k ,n
,
k
k , ,
)
n 1
Vk,n (sk , uk , sk1, uk1, , sn1)
可递推
k [sk , uk ,Vk 1,n (sk 1, uk 1, , sn1 )]
27
解多阶段决策过程问题，求出 最优策略，即最优决策序列
{u1* , u2* , , un* }
15
（3）令决策变量sk为处于某阶段某状态 （位置）时，选择下一个状态（位置）。
D1(A) B1, B2, B3
D2 (B1) C1, C2 , C3
D2 (B2 ) C1, C2 , C3
2
D2 (B3 ) C1, C2 , C3 A 5
D3(C1) D1, D2
h=h(u2)
相应的机器年完好率b, 0< b<1。
假定开始生产时完好的机器数量为s1。要求制
定一个五年计划，在每年开始时，决定如何重新 分配完好的机器在两种不同的负荷下生产的量， 使在五年内产品的总产量达到最高。
6
3. 航天飞机飞行控制问题：由于航天飞机的运 动的环境是不断变化的，因此就要根据航天飞机飞 行在不同环境中的情况，不断地决定航天飞机的飞 行方向和速度（状态），使之能最省燃料和实现目 的（如软着落问题）。
运筹学06动态规划
此问题的解决可分为n个阶段，在这n个阶段上需分别确定用于生产第1， 2，…，n种产品的原料的数量.设在第 i个阶段时，原料的数量还有y， g i，剩下的数量为 ( xi ) x i (0 ≤ x i ≤ y ) 以数量 去生产第 i 种产品，获利
y − xi 的原料将用于生产其它产品.如此，得到多阶段决策问题.
最优化原理是动态规划的理论基础.
2011-3-10
7
运筹学
Operations Research
例1（续）解：令 u k ( S )：决策变量，即当前处 于状态S，还有k个阶段才能 到达E，下一个阶段所选择的点;
d ( S , uk ( S ))：状态S到下一个阶段所选择的 点u k ( S )的距离;
运筹学
Operations Research
§6 动态规划
Dynamic programming
2011-3-10
1
运筹学
Operations Research
动态规划(dynamic programming)是求解多阶段决策问题的一个运筹学分支. 多阶段决策问题（multistage decision problem）：在现实生活中,有一些活 动过程，因其特殊性,可分为若干个互相联系的阶段.在每一阶段都要做 出决策,而且前一个阶段的决策常会对后一个阶段的决策产生影响.应如 何在每一阶段做出一个决策，以使得整个决策过程（策略）最优，是为 多阶段决策问题. 在多阶段决策问题中,各个阶段所做出的决策一般来说是和时间有关的,它 既依赖于当前状态（status）,又随即引起状态的转移.于是，一个前后关联 的链状决策序列在这种“动态”的变化中产生, 故称解决此种问题的方法 为动态规划.
u 2 (C 3 ) = D2
运筹学第六章 动态规划
f
3
(C
2
)
min
((CC22,,DD21
) )
f f
4 4
( (
D1 D2
) )
6 5
11
min
5
2
min
7
7
最优决策C2 D2
15
f3(C1)=8
2
A5
1
B1 12 14
10
6
B2 10
4 13
B3
12 11
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f4(D1)=5
D1
5 f5(E)=0
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f3(C3)=12
f4(D1)=5
D1
5 f5(E)=0
E
D2 2
f4(D2)=2
状态 最优决策 状态 最优决策 状态 最优决策 状态 最优决策 状态 A （ A，B2） B2 （B2，C1） C1
22
f1(A)=19
A
f2(B1)=21
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9
运筹学第六章 动态规划
第六章 动态规划主要内容：1、动态规划的基本概念2、动态规划的最优性原理和基本方程3、动态规划的模型及其应用重点与难点：动态规划的状态转移方程、基本方程；动态规划的建模思路与方法；运用递推原理确定最优解的方法与技巧。
要 求：理解动态规划的基本概念，掌握动态规划的建模步骤和求解方法，能够创造性地建立数学模型，并能运用动态规划方法解决实际问题。
§1 动态规划的基本概念例1 最短线路问题。
给定一个运输网络（如图），两点之间的数字表示两点间的距离，试求一条从A 0到A 4的运输线路，使总距离为最短?1、阶段对于一给定的多阶段过程，恰当地分为若干个相互联系的阶段，以便能按一定的次序去求解。
描述阶段的变量称为阶段变量，常用K 表示。
1）阶段数固定的问题称为定期多阶段决策问题；如例1，可分为四个阶段。
2）阶段数不固定的问题称为不定期多阶段决策问题。
如2、状态状态表示某阶段的出发位置。
它既是某阶段过程演变的起点，又是前一阶段决策的结果。
例1中，第一阶段有一种状态即A 0点，第二阶段有三个状态，即点集合{A 1，B 1，C 1}，一般第K 阶段的状态就是第K 阶段所有始点的集合。
描述过程状态的变量称为状态变量。
第K 阶段的状态变量，记为k x 。
3、决策决策表示当过程处于某一阶段的某个状态时，可以作出不同的决定（或选择），从而确定下一阶段的状态，这种决A 0A 1B 1C 1A 2B 2C 2B 3A 3A 420 40 3070 5030 2040 40 1050 10 4060 3030 3030 40B ACDE4 724 2621 1定称为决策。
描述决策的变量称为决策变量，常用)(k k x u 表示处于状态k x 时的决策变量，它是状态变量的函数。
如： 21A B → ， 记为()212A B U =决策变量可取值的全体，称为允许决策集合。
常用()k k x D 表示状态k x 的允许决策集合。
运筹学动态规划
特别注意：动态规划是求解某类问题的一种 方法，是考察问题的一种途径，而不是一种算法 （如线性规划是一种算法）。
因而，动态规划没有标准的数学表达式和明 确定义的一组规则，而必须对具体问题进行具体 分析处理．
动态规划
8.1 多阶段决策过程及实例 8.2 动态规划的基本概念和
基本方程 8.3 动态规划的最优性定理 8.4 动态规划与静态规划关系
综述
动态规划是运筹学的一个分支，是解决多 阶段决策过程最优化问题的一种数学方法。
该方法是由美国数学家贝尔曼(R.Bellman)等 人在本世纪50年代初提出的。
他们针对多阶段决策问题的特点，把多阶段 决策问题变换为一系列互相联系单阶段问题，然 后逐个加以解决。
1
2
3
始点
5
B1
6 3
A
4 B2 4 6
2
5
B3 6
C1
1 2
2
C2 2
3
C3
3
4 终点
D1 2
D2 3
E
4
D3
2、状态
5
B1
6 3
A 4 B246
25
B3 6
C1
1 2
2
C2 2
C3 3 3
D1 2
D2 3 E 4
D3
各个阶段开始时所处的自然状况和客观条件称为
状态,描述了研究问题过程的状况(称不可控因素).
一些与时间没有关系的静态规划（如线性 规划，非线性规划）问题，只要人为地引进 “时间”因素，也可把它视为多阶段决策问题， 用动态规划方法去处理。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
当指标函数满足 Vk , n v j ( s j ,u j ) 时，有：
n
f k (sk ) opt
uk Dk ( sk )
vk (sk , uk ) f k 1 (sk 1 )
j k
动态规划的求解有两种基本方法：逆序解法和顺序解法。 若寻优方向与实际行进方向相反，即从最后一阶段开始计 算，逐段前推，求得全过程的最优解，则称为逆序解法。 若寻优方向与实际行进方向相同，计算时从第一阶段开始 向后递推，计算后一阶段要用到前一阶段的结果，最后一阶段 的结果就是全过程的最优结果，则称为顺序解法。
下面我们用例6-4来说明顺序解法。 将求s至t的最短路问题视为一个四阶段决策问题，设： sk ——第k阶段的初始状态。 sk+1 ——第k阶段的终止状态。
uk ——第k阶段选择的路线。状态转移方程：sk＝uk(sk+1)
vk(sk+1，uk)——第k阶段选择路线uk时增加的距离，即从初 始状态sk到sk+1的距离。
【例6-2】设备更新问题。企业在使用设备时都要考虑设备 的更新问题，因为设备越陈旧所需的维修费用越多，但购买新 设备则要一次性支出较大的费用。现某企业要决定一台设备未 来8年的更新计划，已预测了第j 年购买设备的价格为Ki，设Gj 为设备经过j年后的残值，Cj为设备连续使用j-1年后在第j年的 维修费(j=1，2，…，n)，问应在哪些年更新设备可使总费用 最小。 【例6-3】投资决策问题。某公司现有资金Q万元，在今后5 年内考虑给A、B、C、D四个项目投资，这些项目投资的回收期 限、回报率均不相同，问该公司应如何确定这些项目每年的投 资额，使到第5年年末拥有资金的本利总额最大。这是一个5阶 段决策问题。
j k
指标函数的最优值称为最优值函数，是指对某一确定状态 选取最优策略后得到的指标函数值。对应于从状态sk出发的最 优子策略的最优值函数，记为fk(sk)，则有：
f k ( s k ) opt Vk ,n ( s k , u k , s k 1 ,, u n )
其中opt表示最优化，可根据具体问题取max(求最大)或min(求 最小)。
第六，正确写出基本方程及边界条件
三、动态规划的基本方程
在n阶段决策过程中，当指标函数满足 Vk ,n v j ( s j , u j ) 时，根 j k 据最优值函数的定义有：
n
f k (sk ) opt
uk Dk ( sk )
vk (sk , uk ) f k 1 (sk 1 )
A1
8
3 7 6B1来自s3 8 min 4 6 10 6 4
6 4
4
A2
6
3 5 2
B2
B3
A3
6
即从s到B1的最短路线为：s→A2→B1或s→A3→B1。
6 8 d ( A1 , B2 ) f1 ( A1 ) f 2 ( B2 ) min d ( A2 , B2 ) f1 ( A2 ) min 3 6 6 2 4 d ( A , B ) f ( A ) 3 2 1 3
vk sk 1 , uk d sk , sk 1
fk(sk+1)——从起点s到第k阶段终止状态sk+1 的距离。
于是，可得下面的动态规划基本方程：
f k sk 1 min
u k Dk ( s k )
d ( sk , sk 1 ) f k 1 ( sk )
Vk , n ( sk , uk , sk 1 ,, un ) v j ( s j , u j ) vk ( s k , u k ) Vk 1,n ( s k 1 , u k 1 ,, u n )
n
②积的形式
j k
n
Vk , n ( sk , uk , sk 1 ,, un ) v j ( s j ,u j ) v k ( s k , u k ) Vk 1,n ( s k 1 , u k 1 ,, u n )
表示决策的变量称为决策变量，用uk(sk)表示第k阶段状态为 sk时的决策变量。在实际问题中，决策变量的取值往往限制在一 定范围内，我们称该范围为允许决策集合，用Dk(sk)表示第k阶 段状态为sk时的允许决策集合，显然uk(sk)∈Dk(sk)。 在例6-4中，从第二阶段的状态A1 出发，可选择下一阶段到 达 B1 、 B2 或 B3 ， 即 第 二 阶 段 状 态 为 A1 时 的 允 许 决 策 集 合 为 D2(A1)={B1，B2，B3}。如决定选B2，则可表示为u2(A1)=B2。 各阶段的决策确定后，整个问题的决策序列就构成一个策略。 含n个阶段的动态规划问题的策略可表示为{u1(s1)，u2(s2)，…， un(sn)}。自第k 阶段开始到最后第n阶段的决策序列称为k子策 略，记为{uk(sk)，uk+1(sk+1)，…，un(sn)}。
二、多阶段决策问题举例
【例6-1】生产与存贮问题。某工厂每月需供应市场一定数 量的产品，并将所余产品存入仓库。一般某月适当增加产量可 降低生产成本，但超产部分存入仓库会增加库存费用。要求确 定一个逐月的生产计划，在满足需求的条件下，使一年的生产 与存贮费用之和最小。 本例中，我们可以把每个月作为一个阶段，全年分为12个阶 段逐次决策。
第二节 动态规划的基本概念及基本方程
一、动态规划的基本概念
【例6-4】最短路问题。今有如图6-2所示交通网络，顶点连 接线段上的数字表示两地距离，求s至t距离最短的线路。
A1
8 6 4 4 3 6 7
B1
2 5 7
C1
4
s
A2 3 5
6 2
B2
4
4
5
t
A3
6
4
C2
B3
1、阶段 把一个问题的过程，恰当地分为若干个相互联系的阶段，以 便于按一定的次序去求解。
描述阶段的变量称为阶段变量，通常用k表示。阶段的划分， 一般是根据时间和空间的自然特征来进行的，但要便于问题转 化为多阶段决策。
例6-4中，从s到t可以分成四个阶段：s～A(A有三种选择， A1 或A2 或A3)，A～B(B1 或B2 或B3)，B～C(C1 或C2)，C～t，因此 k ＝1，2，3，4。 2、状态 表示每个阶段开始所处的自然状况或客观条件。 描述各阶段状态的变量称为状态变量，常用sk 表示第k阶段 的状态变量。 状态变量的取值有一定的允许集合或范围，此集合称为状态 允许集合，第k阶段的可能状态集用Sk表示。 在例6-4中，第一阶段有一个状态s，则S1={s}；第二阶段的 状态有A1、A2、A3三个，则S2={A1,A2,A3}；第三阶段的状态也有 B1、B2和B3三个，则S3={B1,B2,B3}；第四阶段的状态有两个，C1 和C2，记为则S4={C1,C2}。 3.决策和策略 当各阶段的状态确定以后，就可以做出不同的选择，从而确 定下一阶段的状态，这种选择称为决策。
4.状态转移方程 动态规划中本阶段的状态往往是上一阶段状态和上一阶段 的决策结果。如果给定了第 k 阶段的状态 sk ，本阶段决策为 uk(sk)，则第k+1阶段的状态sk+1也就完全确定，它们的关系可 表示为：
sk 1 Tk sk , uk
由于它表示了由k阶段到k+1阶段的状态转移规律，所以称 为状态转移方程。 5.指标函数 ⑴阶段指标函数 阶段指标函数是指第k阶段，从状态sk出发，采取决策uk(sk) 时的效益，用vk(sk，uk)表示。 ⑵过程指标函数 过程指标函数是指从第k阶段的状态sk(k＝1，2，…，n)出 发，采取某种策略到第n阶段的终止状态时的效益，它与所选 取的策略有关，因此常记作： Vk , n ( sk , uk , sk 1 ,, sn , un ) (k 1,2,, n) 常用的指标函数的形式有各阶段指标函数的和的形式和积 的形式两种。 ①和的形式
第六章 动态规划
(Dynamic programming)
多阶段决策问题及其举例 动态规划的基本概念及基本方程 资源分配问题 生产与存储问题
背包问题
其他动态规划问题 WinQSB软件应用
动态规划是解决多阶段决策问题最优化的一种数学方法， 大 约 产 生 于 50 年 代 ， 1951 年 美 国 数 学 家 数 学 家 贝 尔 曼 (R.Bellman)等人根据多阶段决策问题的特点，把多阶段决策问 题变换为一系列相互联系的单阶段问题，然后逐个加以解决。 与此同时他提出了解决这类问题的最优性原理，研究了许多实 际问题，从而创立了解决最优化问题的一种新方法—动态规划 （Dynmamic Programming），他的名著《动态规划》于1957 年出版。
决策 状态 1 状态 2 决策 状态 状态 n 决策 状态
多阶段决策过程最优化的目标，就是要在所有可采取的策 略中选取一个最优的策略，从而使整个过程在预定目标下达到 最好的活动效果。
一、动态决策问题的特点
1、系统所处的状态和时刻是进行决策的重要因素； 2、即在系统发展的不同时刻（或阶段）根据系统所处的状 态，不断地做出决策； 3、找到不同时刻的最优决策以及整个过程的最优策略。 即如果由A点经过P点和H点而到达G点是一条最短线路，则由P 点出发经过H点到达终点的这条子线路，相对于从P点出发到达终 点的所有可能选择的不同线路来说，一定是最短线路。
(k 1,2,3,4)
k=0时，f0(s1)= f0(s)=0，这是边界条件。 k=1时，S2={A1，A2，A3} f1 ( A1 ) 8
f1 ( A2 ) 6
f1 ( A3 ) 4
s
A1
8 6 4
A2 A3
k=2时，S3={B1，B2，B3}
d ( A1 , B1 ) f1 ( A1 ) f 2 ( B1 ) min d ( A2 , B1 ) f1 ( A2 ) d ( A , B ) f ( A ) 3 1 1 3