管理运筹学讲义 第6章动态规划
合集下载
第6章动态规划
第6章 动态规划动态规划（Dynamic Programming ）是解决多阶段决策过程最优化的一种有用的数学方法。
它是由美国学者Richard .Bellman 在1951年提出的，1957年他的专著《动态规划》一书问世，标志着运筹学的一个重要分支－动态规划的诞生.动态规划也是一种将多变量问题转化为单变量问题的一种方法。
在动态规划中，把困难的多阶段决策问题变换成一系列相互联系的比较容易的单阶段问题一个个地求解。
动态规划是考察解决问题的一种途径 ,而不是一种特殊的算法，不像线性规划那样有统一的数学模型和算法（如单纯形法）.事实上，在运用其解决问题的过程中还需要运用其它的优化算法。
因此，动态规划不像其它方法局限于解决某一类问题,它可以解决各类多阶段决策问题。
动态规划在工程技术、经济管理等社会各个领域都有着广泛的应用，并且获得了显著的效果。
在经济管理方面,动态规划可以用来解决最优路径问题、资源分配问题、生产调度问题、库存管理问题、排序问题、设备更新问题以及生产过程最优控制问题等，是经济管理中一种重要的决策技术。
许多规划问题用动态规划的方法来处理,常比线性规划或非线性规划更有效。
特别是对于离散的问题，由于解析数学无法发挥作用，动态规划便成为了一种非常有用的工具。
动态规划可以按照决策过程的演变是否确定分为确定性动态规划和随机性动态规划；也可以按照决策变量的取值是否连续分为连续性动态规划和离散性动态规划。
本教材主要介绍动态规划的基本概念、理论和方法,并通过典型的案例说明这些理论和方法的应用。
6.1动态规划的基本理论6.1.1多阶段决策过程的数学描述有这样一类活动过程,其整个过程可分为若干相互联系的阶段，每一阶段都要作出相应的决策,以使整个过程达到最佳的活动效果。
任何一个阶段(stage ，即决策点)都是由输入(input ）、决策（decision ）、状态转移律（transformation function )和输出(output )构成的，如图6-1（a ）所示.其中输入和输出也称为状态(state ）,输入称为输入状态，输出称为输出状态。
运筹学动态规划PPT
动态决策问题的特点： 系统所处的状态和时刻是进行决策的重要因素； 即在系统发展的不同时刻（或阶段）根据系统 所处的状态，不断地做出决策； 找到不同时刻的最优决策以及整个过程的最优策略。
多阶段决策问题： 是动态决策问题的一种特殊形式； 在多阶段决策过程中,系统的动态过程可以按照时间 进程分为状态相互联系而又相互区别的各个阶段； 每个阶段都要进行决策,目的是使整个过程的决策 达到最优效果。
3 2 A 4 B2 B1 2 3 1 3 1
C1 C2 4 3
1 D
C3
最短路线为
A→B1→C1 →D
3 1
解：整个计算过程分三个阶段，从最后一个阶段开始。
第一阶段（C →D）： C 有三条路线到终点D 。
显然有 f1 (C1 ) = 1 ； f1(C2 ) = 3 ； f1 (C3 ) = 4
3
2 A 4 B2 B1 2 1 3
C1
C2 4 C3 3
1 D
3 1
第二阶段（B →C）： B 到C 有六条路线。
4、确定状态转移方程
根据k 阶段状态变量和决策变量，写出k+1阶段状态变 量，状态转移方程应当具有递推关系。
5、确定阶段指标函数和最优指标函数，建立动态规 划基本方程
阶段指标函数是指第k 阶段的收益，最优指标函数是 指从第k 阶段状态出发到第n 阶段末所获得收益的最优 值，最后写出动态规划基本方程。 以上五步是建立动态规划数学模型的一般步骤。由于动 态规划模型与线性规划模型不同，动态规划模型没有统一 的模式，建模时必须根据具体问题具体分析，只有通过不 断实践总结，才能较好掌握建模方法与技巧。
2、在多阶段决策过程中，动态规划方法是既把当前 一段和未来一段分开，又把当前效益和未来效益结合 起来考虑的一种最优化方法。因此，每段决策的选取 是从全局来考虑的，与该段的最优选择答案一般是不 同的. 3、在求整个问题的最优策略时，由于初始状态是 已知的，而每段的决策都是该段状态的函数，故最优 策略所经过的各段状态便可逐段变换得到，从而确定 了最优路线。 最优化原理：作为整个过程的最优策略具有这样的 性质：无论过去的状态和决策如何，相对于前面的决 策所形成的状态而言，余下的决策序列必然构成最优 子策略。”也就是说，一个最优策略的子策略也是最 优的。
管理运筹学 第6章 目标规划
目标规划问题及模型
∵正负偏差不可能同时出现，故总有：
x1－x2+d--d+ =0
若希望甲的产量不低于乙的产量，即不希望d->0,用目标约束可
表为:
min{d }
x1
x2
d
d
0
若希望甲的产量低于乙的产量，即不希望d＋>0,用目标约束可
表为:
min{d }
x1
x2
d
d
0
若希望甲的产量恰好等于乙的产量，即不希望d＋>0,也不希望
2x1 2x2 12
s.t
4
x1 x1
2x2
8 16
4x2 12
x1 , x2 0
其最优解为x1＝4，x2＝2，z＊＝14元
目标规划问题及模型
但企业的经营目标不仅仅是利润，而且要考虑多个方面，如： (1) 力求使利润指标不低于12元； (2) 考虑到市场需求，甲、乙两种产品的生产量需保持1:1的比
标决策的需要而由线性规划逐步发展起来的一个分支。 由于现代化企业内专业分工越来越细，组织机构日益复
杂，为了统一协调企业各部门围绕一个整体的目标工作，产 生了目标管理这种先进的管理技术。目标规划是实行目标管 理的有效工具，它根据企业制定的经营目标以及这些目标的 轻重缓急次序，考虑现有资源情况，分析如何达到规定目标 或从总体上离规定目标的差距为最小。
min Z = f（ d ++ d - ）
（2） 要求不超过目标值，但允许达不到目标值，即只有使 正偏差量要尽可能地小（实现最少或为零）
min Z = f（ d +）
目标规划问题及模型
例1. 某企业计划生产甲，乙两种产品，这些产品分别要在 A,B,C,D四种不同设备上加工。按工艺文件规定，如表所示。
运筹学课件 第六章 动态规划
求解规划问题可从最终阶段逐步推至最初阶段或从 最初阶段逐步推至最终阶段，我们称前者为逆序解 法，称后者为顺序解法。
动态规划的基本方程（逆序法）：
fk (sk) = opt { wk(sk,uk )⊙ f k+1(sk+1) }
fn+1(sn+1) = φ(sn+1) f k ( sk) — 从第k阶段状态sk到终点的最优效益值
fk (sk+1)=max { vk(xk ) + f k-1(sk) }
f0(x1)=0
0
0
0
0
0
17 14
1
0
3
14
4
01
5
15
01
8
12
7
11
4
8
5
0 10 2 0
20
29
4
4
7
13
7
5
11
8
6
16 3 0
4
30
5
3
0 18
40
40
4
连续型动态规划问题的求解
例:某公司有资金10万元，若投资于项目i的投资额 为xi（i = 1 , 2 , 3)时，其收益分别为 g 1(x1)=2 x12, g 2 ( x 2 ) = 9 x2 , g 3 ( x 3 ) = 4 x3, 问应如何分配投资
第六章 动态规划
6.1 引言 6.2 最优化原理及基本概念 6.3 应用举例
例 6.1
多阶段决策过程最优化
多阶段决策过程，是指一类特殊的过程，它们可以按 时间顺序分解成若干个相互联系的阶段，称为“时段”， 在每个时段都要做决策，全部过程的决策是一个决策序列。 多阶段决策问题也称为序贯决策问题。
运筹学第六章 动态规划
f
3
(C
2
)
min
((CC22,,DD21
) )
f f
4 4
( (
D1 D2
) )
6 5
11
min
5
2
min
7
7
最优决策C2 D2
15
f3(C1)=8
2
A5
1
B1 12 14
10
6
B2 10
4 13
B3
12 11
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f4(D1)=5
D1
5 f5(E)=0
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f3(C3)=12
f4(D1)=5
D1
5 f5(E)=0
E
D2 2
f4(D2)=2
状态 最优决策 状态 最优决策 状态 最优决策 状态 最优决策 状态 A （ A，B2） B2 （B2，C1） C1
22
f1(A)=19
A
f2(B1)=21
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9
管理运筹学ppt课件
最小生成树问题
要点一
总结词
最小生成树问题是网络优化中的另一类重要问题，旨在寻 找一个子图，该子图包含图中所有节点且边的总权重最小 。
要点二
详细描述
最小生成树问题是网络优化中的另一类重要问题。在一个 加权图中，我们希望找到一个子图，该子图包含图中所有 节点且边的总权重最小。这个子图被称为最小生成树。 Kruskal算法和Prim算法是最著名的最小生成树问题的求 解方法。这些算法可以帮助我们在加权图中找到一个最小 生成树，从而在实际应用中实现最小成本的网络设计或路 由选择。
决策变量
整数规划的决策变量是整数类型的变量，用于表 示决策结果。
ABCD
约束条件
整数规划的约束条件可以是等式或不等式，例如 资源限制、时间限制等。
整数约束
整数规划的约束条件要求决策变量取整数值，以 确保问题的可行解是整数解。
整数规划的求解方法
枚举法
枚举法是一种暴力求解方法，通 过列举所有可能的决策变量组合 来找到最优解。
约束条件
非线性规划的约束条件可以是等式或不等式， 限制决策变量的取值范围。
决策变量
非线性规划的决策变量可以是连续的或离散的，根据问题的具体情况而定。
非线性规划的求解方法
梯度法
通过计算目标函数的梯度，逐步逼近最优解。
牛顿法
利用目标函数的二阶导数信息，迭代逼近最优解。
拟牛顿法
通过构造一个近似于目标函数的二次函数，迭代 逼近最优解。
07 决策分析
决策分析的基本概念
决策分析
指在面临多种可能的选择时，基于一 定的目标，通过分析、比较和评估，
选择最优方案的过程。
决策要素
包括决策者、决策对象、决策信息、 决策目标、决策方案和决策评价。
管理运筹学07动态规划
生产计划、库存管理、路径规划 等。
连续时间动态规划
定义
连续时间动态规划是指时间连续变化，状态 和决策也连续变化，状态转移和决策可以发 生在任意时刻。
解决思路
通过将时间连续化，将连续的时间动态问题转化为 离散的时间动态问题，然后应用动态规划的方法进 行求解。
应用场景
控制系统优化、金融衍生品定价、物流优化 等。
状态转移
指从一个状态转移到另一个状态的过程，是动态规划的基本要素 之一。
状态转移方程
描述了状态转移的数学表达式，是动态规划算法的核心。
最优化原理
最优化原理
在多阶段决策问题中，如果每个阶段 都按照最优策略进行选择，则整个问 题的最优解一定是最优的。
最优子结构
如果一个问题的最优解可以由其子问 题的最优解推导出来，则称该问题具 有最优子结构。
解决方案
采用启发式搜索策略， 如模拟退火、遗传算法 等，来引导算法跳出局 部最优解。
案例
在旅行商问题中，采用 模拟退火算法结合动态 规划，在局部搜索和全 局搜索之间取得平衡， 得到全局最优解。
06 动态规划案例研究
案例一：生产与存储问题的动态规划解决方案
总结词
该案例研究探讨了如何利用动态规划解决生 产与存储问题，通过合理安排生产和存储策 略，降低总成本。
管理运筹学07动态规划
contents
目录
• 动态规划概述 • 动态规划的基本概念 • 动态规划的应用 • 动态规划的扩展 • 动态规划的挑战与解决方案 • 动态规划案例研究
01 动态规划概述
定义与特点
定义
动态规划是一种通过将原问题分解为 相互重叠的子问题，并存储子问题的 解以避免重复计算的方法，从而有效 地解决最优化问题的方法。
连续时间动态规划
定义
连续时间动态规划是指时间连续变化，状态 和决策也连续变化，状态转移和决策可以发 生在任意时刻。
解决思路
通过将时间连续化，将连续的时间动态问题转化为 离散的时间动态问题，然后应用动态规划的方法进 行求解。
应用场景
控制系统优化、金融衍生品定价、物流优化 等。
状态转移
指从一个状态转移到另一个状态的过程，是动态规划的基本要素 之一。
状态转移方程
描述了状态转移的数学表达式，是动态规划算法的核心。
最优化原理
最优化原理
在多阶段决策问题中，如果每个阶段 都按照最优策略进行选择，则整个问 题的最优解一定是最优的。
最优子结构
如果一个问题的最优解可以由其子问 题的最优解推导出来，则称该问题具 有最优子结构。
解决方案
采用启发式搜索策略， 如模拟退火、遗传算法 等，来引导算法跳出局 部最优解。
案例
在旅行商问题中，采用 模拟退火算法结合动态 规划，在局部搜索和全 局搜索之间取得平衡， 得到全局最优解。
06 动态规划案例研究
案例一：生产与存储问题的动态规划解决方案
总结词
该案例研究探讨了如何利用动态规划解决生 产与存储问题，通过合理安排生产和存储策 略，降低总成本。
管理运筹学07动态规划
contents
目录
• 动态规划概述 • 动态规划的基本概念 • 动态规划的应用 • 动态规划的扩展 • 动态规划的挑战与解决方案 • 动态规划案例研究
01 动态规划概述
定义与特点
定义
动态规划是一种通过将原问题分解为 相互重叠的子问题，并存储子问题的 解以避免重复计算的方法，从而有效 地解决最优化问题的方法。
运筹学第六章 动态规划
第六章 动态规划主要内容：1、动态规划的基本概念2、动态规划的最优性原理和基本方程3、动态规划的模型及其应用重点与难点：动态规划的状态转移方程、基本方程；动态规划的建模思路与方法；运用递推原理确定最优解的方法与技巧。
要 求：理解动态规划的基本概念，掌握动态规划的建模步骤和求解方法，能够创造性地建立数学模型，并能运用动态规划方法解决实际问题。
§1 动态规划的基本概念例1 最短线路问题。
给定一个运输网络（如图），两点之间的数字表示两点间的距离，试求一条从A 0到A 4的运输线路，使总距离为最短?1、阶段对于一给定的多阶段过程，恰当地分为若干个相互联系的阶段，以便能按一定的次序去求解。
描述阶段的变量称为阶段变量，常用K 表示。
1）阶段数固定的问题称为定期多阶段决策问题；如例1，可分为四个阶段。
2）阶段数不固定的问题称为不定期多阶段决策问题。
如2、状态状态表示某阶段的出发位置。
它既是某阶段过程演变的起点，又是前一阶段决策的结果。
例1中，第一阶段有一种状态即A 0点，第二阶段有三个状态，即点集合{A 1，B 1，C 1}，一般第K 阶段的状态就是第K 阶段所有始点的集合。
描述过程状态的变量称为状态变量。
第K 阶段的状态变量，记为k x 。
3、决策决策表示当过程处于某一阶段的某个状态时，可以作出不同的决定（或选择），从而确定下一阶段的状态，这种决A 0A 1B 1C 1A 2B 2C 2B 3A 3A 420 40 3070 5030 2040 40 1050 10 4060 3030 3030 40B ACDE4 724 2621 1定称为决策。
描述决策的变量称为决策变量，常用)(k k x u 表示处于状态k x 时的决策变量，它是状态变量的函数。
如： 21A B → ， 记为()212A B U =决策变量可取值的全体，称为允许决策集合。
常用()k k x D 表示状态k x 的允许决策集合。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
效益
f (s ) optV (s , x ,, s
k k k ,n k k
n 1
)
可递推
Vk ,n (sk , xk , sk 1 , xk 1 ,, sn1 )
Vk ( sk , xk ) *Vk 1, n (sk 1 , xk 1 , , sn1 )
指标函数形式: 和、
3
பைடு நூலகம்石家庄经济学院
管理科学与工程学院
第一节 多阶段决策
二、多阶段决策问题举例
例1 工厂生产过程：由于市场需求是一随着时间而变化的
因素，因此，为了取得全年最佳经济效益，就要在全年的
生产过程中，逐月或者逐季度地根据库存和需求情况决定 生产计划安排。
4
石家庄经济学院
管理科学与工程学院
第一节 多阶段决策
例2 设备更新问题：一般企业用于生产活动的设备， 刚买来时故障少，经济效益高，即使进行转让，处 理价值也高，随着使用年限的增加，就会逐渐变为 故障多，维修费用增加，可正常使用的工时减少， 加工质量下降，经济效益差，并且，使用的年限越 长、处理价值也越低，自然，如果卖去旧的买新的， 还需要付出更新费。因此就需要综合权衡决定设备 的使用年限，使总的经济效益最好。
• 指标函数
阶段指标函数：vk • 衡量每一阶段决策效果的优劣的数量指标 • 是状态变量和相应决策变量的函数，即vk = vk(sk , xk ) 过程指标函数：Vk,n • 从第k阶段的状态sk出发到最后阶段结束的综合绩效度量 • 取决于阶段k到阶段n所采取的策略，即Vk,n (sk,xk,xk+1 ,…,sn) • 指标函数Vk,n可以是各阶段指标的和或积 最优指标函数值：fk(sk) • 从状态sk出发，选取最优策略所得的指标函数值 • fk(sk)=opt{Vk,n }
决 策 x1 状态S1 决 策 x2 状态S2 决 策 xk 状态S3 决 策 xk+1 状态Sk+1 决 策 xn
阶段1
阶段2
… 阶段k
阶段k+1
… 阶段n
v1
石家庄经济学院
v2
vk
vk+1
管理科学与工程学院
vn
寻求最优解的方向
13
第二节 动态规划原理
二、动态规划的基本思路
• 递推方程：
加法合成
10
石家庄经济学院
管理科学与工程学院
第二节 动态规划原理
一、动态规划的基本概念
• 决策变量：xk(sk)
变量xk(sk)表示阶段k状态sk的决策，称为决策变量，简记xk 决策变量取值被限制在某一范围内，称允许决策集合Dk(sk) 决策变量组成的序列，称为策略 • 全过程策略 p1,n(s1)= {x1, x2,…, xn} • k子过程策略 pk,n(sk)= {xk, xk+1,…, xn}
5
石家庄经济学院
管理科学与工程学院
第一节 多阶段决策
状态 决策 状态 1 决策 状态 状态 2 决策 n
以上所举问题的发展过程都与时间因素有关，因此在这类多
阶段决策问题中，阶段的划分常取时间区段来表示，并且各 个阶段上的决策往往也与时间因素有关，这就使它具有了 “动态”的含义，所以把处理这类动态问题的方法称为动态 规划方法。不过，实际中尚有许多不包含时间因素的一类
8 石家庄经济学院 管理科学与工程学院
第一节 多阶段决策
特别注意：
动态规划求解的多阶段决策问题的特点： 适合于用动态规划方法求解的只是一类特殊的多 阶段决策问题，即具有“无后效性”的多阶段决 策过程。所谓无后效性，又称马尔柯夫性，是指 系统从某个阶段往后的发展，仅由本阶段所处的 状态及其往后的决策所决定，与系统以前经历的 状态和决策(历史)无关。比如国家政策的制定。
2 1 1 6 3 v3 ( S3 , S 4 ) f 4 ( S 4 ) f3 ( S ) min min 7 2 2 2 3 4 v3 ( S3 , S4 ) f 4 ( S4 ) 2 3
* 2 x3 (S32 ) S4
* 2 x4 ( S4 ) ST
当k=3时， f (S ) Opt{v [S , x (S )] f
3 3 x3 D3 3 3 3 3
4
( S4 )}
，所以
* 1 1 x3 (S3 ) S4
1 1 1 2 3 v3 ( S3 , S 4 ) f 4 ( S 4 ) f3 ( S ) min min 5 1 2 2 6 4 v ( S , S ) f ( S ) 4 4 3 3 4 1 3
动态规划（Dynamic Programming）是运筹学的 一个重要分支，它是解决多阶段决策过程最优化 的一种方法。美国数学家贝尔曼（R. E. Bellman）等人在上世纪50年代初提出了解决多 阶段决策问题的“最优性原理”（Principle of Optimality）。1957年贝尔曼出版了专著“动态 规划”，该书是动态规划的第一本著作。目前动 态规划已经用于解决最优路径问题、资源分配问 题、生产调度问题、设备更新问题、复合系统可 靠性问题及生产过程最优控制等，并且取得了显 著的效果。
15 石家庄经济学院
积
管理科学与工程学院
解多阶段决策过程问题，求出
最优策略，即最优决策序列
{x , x ,, x }
最优轨线，即执行最优策略时的状态序列
* 1
* 2
* n
{ s , s ,, s }
最优目标函数值
* 1
* 2
* n
f 1 ( s1 )
* * * * * * 从 k 到终点最优策略 V V ( s , x , , s , x 1,n 1,n 1 1 n n)
第6章 动态规划
学习要点 Sub title
理解多阶段决策问题的基本特征和阶段划分
区分阶段变量、状态变量、决策变量的含义 理解过程决策、状态方程、指标函数的表述 理解动态规划的最优性原理和状态无后效性 了解动态规划逆序求解思路和递推求解方法
1
石家庄经济学院
管理科学与工程学院
第6章 动态规划
3 S33
1 (S4 , 6)
4
4
S32
3
(ST , 4)
( S32 ,8)
供 应 商
18
阶段1
出 口 港
阶段2
进 口 港
阶段3
城 市
阶段4
某 公 司
石家庄经济学院
管理科学与工程学院
第三节 逆序求解过程
二、递推算法
{v4 [ S 4 , x4 ( S 4 )] f 5 ( S5 )} ，即有 当k=4时，f 4 (S4 ) xOpt D
阶段2
S13 6 S2
2 S14 3 ST S2 4
4
4
4
S22
6
3
3 3
S32
S33
3
阶段3
供 应 商
阶段1
出 口 港
进 口 港
城 市
阶段4
某 公 司
经过枚举计算： 从始点 S1到终点ST共有3×3×2×1=18条不同路线。 1 1 此问题的最短路：( S1 → S 2 → S33 → S 4 → ST )，该最短路的长度为11。
14 石家庄经济学院 管理科学与工程学院
小结: 无后效性 动态规划本质上是多阶段决策过程;
概念 : 阶段变量k﹑状态变量sk﹑决策变量xk; 方程 :状态转移方程 sk 1 Tk ( sk , xk ) 指标: Vk ,n Vk ,n (sk , xk , sk1 , xk1,, sn1 )
3 1 1 3 3 v3 ( S3 , S 4 ) f 4 ( S 4 ) f3 ( S ) min min 6 3 2 2 3 4 v ( S , S ) f ( S ) 3 3 4 4 4 3 3
石家庄经济学院 管理科学与工程学院
9
第二节 动态规划原理
一、动态规划的基本概念
• 阶段变量：k
将决策全过程按时空顺序划为若干阶段 用k表示阶段变量，阶段编号为顺序编号
• 状态变量：sk(i)
状态表示过程发展中某阶段的起始状况 描述各阶段状态演进的变量，称为状态变量，用Sk表示 • 第 k 阶段可能有若干状态，用Sk 表示阶段k的状态集合 • sk(i)表示第k阶段的第 i 个状态 选取的状态变量必须满足无后效性
Vk ,n vi ( si , xi )，过程指标等于各阶段指标之和
i k n
基本方程：f k ( sk ) opt vk ( sk , xk ) f k 1 ( sk 1 ) xk X k ( Sk ) 边界条件：f n 1 ( sn 1 ) 0
“静态”决策问题，就其本质而言是一次决策问题，是非动
态决策问题，但是也可以人为地引入阶段的概念当作多阶段 决策问题，应用动态规划方法加以解决。
6 石家庄经济学院 管理科学与工程学院
第一节 多阶段决策
例3 资源分配问题：便属于这类静态问题。如：
某工业部门或公司，拟对其所属企业进行稀缺资
源分配，为此需要制定出收益最大的资源分配方
• 状态转移方程：sk+1 =T(sk, xk(sk))
下一阶段状态sk+1 是本阶段状态sk 和决策xk的函数
sk+1 =T(sk, xk(sk)) =T(sk, xk)
状态sk演进到下一阶段状态sk+1的转移规律称状态转移方程
11
石家庄经济学院
管理科学与工程学院
第二节 动态规划原理
一、动态规划的基本概念
f (s ) optV (s , x ,, s
k k k ,n k k
n 1
)
可递推
Vk ,n (sk , xk , sk 1 , xk 1 ,, sn1 )
Vk ( sk , xk ) *Vk 1, n (sk 1 , xk 1 , , sn1 )
指标函数形式: 和、
3
பைடு நூலகம்石家庄经济学院
管理科学与工程学院
第一节 多阶段决策
二、多阶段决策问题举例
例1 工厂生产过程：由于市场需求是一随着时间而变化的
因素，因此，为了取得全年最佳经济效益，就要在全年的
生产过程中，逐月或者逐季度地根据库存和需求情况决定 生产计划安排。
4
石家庄经济学院
管理科学与工程学院
第一节 多阶段决策
例2 设备更新问题：一般企业用于生产活动的设备， 刚买来时故障少，经济效益高，即使进行转让，处 理价值也高，随着使用年限的增加，就会逐渐变为 故障多，维修费用增加，可正常使用的工时减少， 加工质量下降，经济效益差，并且，使用的年限越 长、处理价值也越低，自然，如果卖去旧的买新的， 还需要付出更新费。因此就需要综合权衡决定设备 的使用年限，使总的经济效益最好。
• 指标函数
阶段指标函数：vk • 衡量每一阶段决策效果的优劣的数量指标 • 是状态变量和相应决策变量的函数，即vk = vk(sk , xk ) 过程指标函数：Vk,n • 从第k阶段的状态sk出发到最后阶段结束的综合绩效度量 • 取决于阶段k到阶段n所采取的策略，即Vk,n (sk,xk,xk+1 ,…,sn) • 指标函数Vk,n可以是各阶段指标的和或积 最优指标函数值：fk(sk) • 从状态sk出发，选取最优策略所得的指标函数值 • fk(sk)=opt{Vk,n }
决 策 x1 状态S1 决 策 x2 状态S2 决 策 xk 状态S3 决 策 xk+1 状态Sk+1 决 策 xn
阶段1
阶段2
… 阶段k
阶段k+1
… 阶段n
v1
石家庄经济学院
v2
vk
vk+1
管理科学与工程学院
vn
寻求最优解的方向
13
第二节 动态规划原理
二、动态规划的基本思路
• 递推方程：
加法合成
10
石家庄经济学院
管理科学与工程学院
第二节 动态规划原理
一、动态规划的基本概念
• 决策变量：xk(sk)
变量xk(sk)表示阶段k状态sk的决策，称为决策变量，简记xk 决策变量取值被限制在某一范围内，称允许决策集合Dk(sk) 决策变量组成的序列，称为策略 • 全过程策略 p1,n(s1)= {x1, x2,…, xn} • k子过程策略 pk,n(sk)= {xk, xk+1,…, xn}
5
石家庄经济学院
管理科学与工程学院
第一节 多阶段决策
状态 决策 状态 1 决策 状态 状态 2 决策 n
以上所举问题的发展过程都与时间因素有关，因此在这类多
阶段决策问题中，阶段的划分常取时间区段来表示，并且各 个阶段上的决策往往也与时间因素有关，这就使它具有了 “动态”的含义，所以把处理这类动态问题的方法称为动态 规划方法。不过，实际中尚有许多不包含时间因素的一类
8 石家庄经济学院 管理科学与工程学院
第一节 多阶段决策
特别注意：
动态规划求解的多阶段决策问题的特点： 适合于用动态规划方法求解的只是一类特殊的多 阶段决策问题，即具有“无后效性”的多阶段决 策过程。所谓无后效性，又称马尔柯夫性，是指 系统从某个阶段往后的发展，仅由本阶段所处的 状态及其往后的决策所决定，与系统以前经历的 状态和决策(历史)无关。比如国家政策的制定。
2 1 1 6 3 v3 ( S3 , S 4 ) f 4 ( S 4 ) f3 ( S ) min min 7 2 2 2 3 4 v3 ( S3 , S4 ) f 4 ( S4 ) 2 3
* 2 x3 (S32 ) S4
* 2 x4 ( S4 ) ST
当k=3时， f (S ) Opt{v [S , x (S )] f
3 3 x3 D3 3 3 3 3
4
( S4 )}
，所以
* 1 1 x3 (S3 ) S4
1 1 1 2 3 v3 ( S3 , S 4 ) f 4 ( S 4 ) f3 ( S ) min min 5 1 2 2 6 4 v ( S , S ) f ( S ) 4 4 3 3 4 1 3
动态规划（Dynamic Programming）是运筹学的 一个重要分支，它是解决多阶段决策过程最优化 的一种方法。美国数学家贝尔曼（R. E. Bellman）等人在上世纪50年代初提出了解决多 阶段决策问题的“最优性原理”（Principle of Optimality）。1957年贝尔曼出版了专著“动态 规划”，该书是动态规划的第一本著作。目前动 态规划已经用于解决最优路径问题、资源分配问 题、生产调度问题、设备更新问题、复合系统可 靠性问题及生产过程最优控制等，并且取得了显 著的效果。
15 石家庄经济学院
积
管理科学与工程学院
解多阶段决策过程问题，求出
最优策略，即最优决策序列
{x , x ,, x }
最优轨线，即执行最优策略时的状态序列
* 1
* 2
* n
{ s , s ,, s }
最优目标函数值
* 1
* 2
* n
f 1 ( s1 )
* * * * * * 从 k 到终点最优策略 V V ( s , x , , s , x 1,n 1,n 1 1 n n)
第6章 动态规划
学习要点 Sub title
理解多阶段决策问题的基本特征和阶段划分
区分阶段变量、状态变量、决策变量的含义 理解过程决策、状态方程、指标函数的表述 理解动态规划的最优性原理和状态无后效性 了解动态规划逆序求解思路和递推求解方法
1
石家庄经济学院
管理科学与工程学院
第6章 动态规划
3 S33
1 (S4 , 6)
4
4
S32
3
(ST , 4)
( S32 ,8)
供 应 商
18
阶段1
出 口 港
阶段2
进 口 港
阶段3
城 市
阶段4
某 公 司
石家庄经济学院
管理科学与工程学院
第三节 逆序求解过程
二、递推算法
{v4 [ S 4 , x4 ( S 4 )] f 5 ( S5 )} ，即有 当k=4时，f 4 (S4 ) xOpt D
阶段2
S13 6 S2
2 S14 3 ST S2 4
4
4
4
S22
6
3
3 3
S32
S33
3
阶段3
供 应 商
阶段1
出 口 港
进 口 港
城 市
阶段4
某 公 司
经过枚举计算： 从始点 S1到终点ST共有3×3×2×1=18条不同路线。 1 1 此问题的最短路：( S1 → S 2 → S33 → S 4 → ST )，该最短路的长度为11。
14 石家庄经济学院 管理科学与工程学院
小结: 无后效性 动态规划本质上是多阶段决策过程;
概念 : 阶段变量k﹑状态变量sk﹑决策变量xk; 方程 :状态转移方程 sk 1 Tk ( sk , xk ) 指标: Vk ,n Vk ,n (sk , xk , sk1 , xk1,, sn1 )
3 1 1 3 3 v3 ( S3 , S 4 ) f 4 ( S 4 ) f3 ( S ) min min 6 3 2 2 3 4 v ( S , S ) f ( S ) 3 3 4 4 4 3 3
石家庄经济学院 管理科学与工程学院
9
第二节 动态规划原理
一、动态规划的基本概念
• 阶段变量：k
将决策全过程按时空顺序划为若干阶段 用k表示阶段变量，阶段编号为顺序编号
• 状态变量：sk(i)
状态表示过程发展中某阶段的起始状况 描述各阶段状态演进的变量，称为状态变量，用Sk表示 • 第 k 阶段可能有若干状态，用Sk 表示阶段k的状态集合 • sk(i)表示第k阶段的第 i 个状态 选取的状态变量必须满足无后效性
Vk ,n vi ( si , xi )，过程指标等于各阶段指标之和
i k n
基本方程：f k ( sk ) opt vk ( sk , xk ) f k 1 ( sk 1 ) xk X k ( Sk ) 边界条件：f n 1 ( sn 1 ) 0
“静态”决策问题，就其本质而言是一次决策问题，是非动
态决策问题，但是也可以人为地引入阶段的概念当作多阶段 决策问题，应用动态规划方法加以解决。
6 石家庄经济学院 管理科学与工程学院
第一节 多阶段决策
例3 资源分配问题：便属于这类静态问题。如：
某工业部门或公司，拟对其所属企业进行稀缺资
源分配，为此需要制定出收益最大的资源分配方
• 状态转移方程：sk+1 =T(sk, xk(sk))
下一阶段状态sk+1 是本阶段状态sk 和决策xk的函数
sk+1 =T(sk, xk(sk)) =T(sk, xk)
状态sk演进到下一阶段状态sk+1的转移规律称状态转移方程
11
石家庄经济学院
管理科学与工程学院
第二节 动态规划原理
一、动态规划的基本概念