(优选)管理运筹学讲义动态规划
合集下载
管理运筹学：第10章 动态规划
5－
r3(s3, x3)
1
2
3
4
5 f3(s3) x*3
－－ －－－ 0 0
4 － －－－ 4 1
－ 6－ －－ 6 2
－ － 11 － － 11 3
－ － － 12 － 12 4
－ － － － 12 12 5
管理运筹学
15
§3 动态规划的应用(1)
其中
x
* 3
表示取3子过程上最优指标值f3(s3)时的 x3
区别，也可知这时 x2的最优决策为1或2。
管理运筹学
18
§3 动态规划的应用(1)
第一阶段：
把 s1(s1 5) 台设备分配给第1，第2，第3厂时，最大
盈数利值为计算f1(见5) 表m1xa10x－[r1(85, x1) f1(5 x1)],其中 x1可取值0,1,2,3,4,5.
s1 x1 0
管理运筹学
5
§1 多阶段决策过程最优化问题举例
第二阶段：有4个始点B1,B2,B3,B4，终点有C1,C2,C3。对始点和终点进行分 析和讨论分别求B1,B2,B3,B4到C1,C2,C3 的最短路径问题：
表10-3
本阶段始点 （状态）
B1 B2 B3 B4
阶段2 本阶段各终点（决策）
C1 2+12=14 4+12=16 4+12=16 7+12=19
为最大，即
max x3
r3
(s3
,
x3
)
r3
(s3
,
s3
)
由于第3阶段是最后的阶段，故有
f3
(s3
)
max x3
r3
(s3
运筹学课件--动态规划
J 表示留在左岸的仆人人数
初始状态s1是T(3,3)
结束状态sn是 T(0,0)
可达状态有哪些?(3,J) (2,2) (1,1) (0,J) J 3 2 1 0
2013-6-9
A
1
运筹学课件
2
3
I
阶段指标——每阶段选定决策xk后所产生的效益，记
vk= vk(Sk， xk)。
指标函数——各阶段的总效益，记相应于Pkn的指标函数
2013-6-9 运筹学课件
动态规划模型的分类： 以“时间”角度可分成：
离散型和连续型。
从信息确定与否可分成：
确定型和随机型。
从目标函数的个数可分成： 单目标型和多目标型。
2013-6-9 运筹学课件
8.2基本概念与方程
1.基本概念
阶段（Stage）——分步求解的过程，用阶段变量k表示，k=1，，n 状态（State）——每阶段初可能的情形或位置，用状态变 量Sk表示。 按状态的取值是离散或连续，将动态规划问题分为
当 k 3，f Max f v
3 0
3 3
3
4
Max 3x 5s 13.6(0.9s 0.2x )
0
3 3
3
3
3
3
Max 0.28x 17.24s
0
3 3
3
3
x s , f 17.52s ,即第3年初将全部完好机器都 投入高负荷。
指标函数vkn=
v
5
表示第k至5年的总产量；
1
递推公式：f Max f v
6
f 0, k 5, ,1
2013-6-9
运筹学课件
初始状态s1是T(3,3)
结束状态sn是 T(0,0)
可达状态有哪些?(3,J) (2,2) (1,1) (0,J) J 3 2 1 0
2013-6-9
A
1
运筹学课件
2
3
I
阶段指标——每阶段选定决策xk后所产生的效益，记
vk= vk(Sk， xk)。
指标函数——各阶段的总效益，记相应于Pkn的指标函数
2013-6-9 运筹学课件
动态规划模型的分类： 以“时间”角度可分成：
离散型和连续型。
从信息确定与否可分成：
确定型和随机型。
从目标函数的个数可分成： 单目标型和多目标型。
2013-6-9 运筹学课件
8.2基本概念与方程
1.基本概念
阶段（Stage）——分步求解的过程，用阶段变量k表示，k=1，，n 状态（State）——每阶段初可能的情形或位置，用状态变 量Sk表示。 按状态的取值是离散或连续，将动态规划问题分为
当 k 3，f Max f v
3 0
3 3
3
4
Max 3x 5s 13.6(0.9s 0.2x )
0
3 3
3
3
3
3
Max 0.28x 17.24s
0
3 3
3
3
x s , f 17.52s ,即第3年初将全部完好机器都 投入高负荷。
指标函数vkn=
v
5
表示第k至5年的总产量；
1
递推公式：f Max f v
6
f 0, k 5, ,1
2013-6-9
运筹学课件
管理运筹学第5章动态规划
递推关系的建立
根据阶段划分、状态转移方程和最优解的性质，建立递推关系。
递推关系的求解
通过递推关系求解各阶段的最优解，最终得到整个问题的最优解。
03
动态规划的求解方法
逆推法
总结词
逆推法是从目标状态出发，逆向推算出达到目标状态的最优决策，逐步推算出初始状态的最优决策。
详细描述
逆推法的基本思想是将问题分解为若干个相互联系的阶段，从最后阶段开始，依次向前推算出每个阶 段的最优决策，直到达到初始状态。这种方法适用于具有重叠子问题和最优子结构的问题，可以避免 重复计算，提高求解效率。
详细描述
资源分配问题通常需要考虑资源的约束条件、 各部门或个体的需求和优先级，以及如何平 衡各方利益。动态规划通过将问题分解为一 系列子问题，逐一求解最优解，最终得到整 体最优解。
生产与存储问题
总结词
生产与存储问题主要研究在生产过程 中如何平衡生产与库存的关系，以最 小化生产成本和库存成本。
详细描述
特点
动态规划适用于具有重叠子问题和最优子结构特性的问题，通过将原问题分解 为子问题，逐个求解并存储子问题的解，避免了重复计算，提高了求解效率。
动态规划的重要性
解决复杂问题
动态规划能够解决一些复杂的问题，如资源分配、生产计 划、物流调度等，这些问题通常难以通过传统方法求解。
提高计算效率
通过避免重复计算，动态规划能够显著提高计算效率，尤 其在处理大规模问题时，能够大大减少计算时间和资源消 耗。
05
动态规划的优化策略
多阶段决策优化
01
02
03
阶段划分
将问题划分为若干个相互 关联的阶段，每个阶段都 有自己的决策变量和状态 转移方程。
状态转移
根据阶段划分、状态转移方程和最优解的性质，建立递推关系。
递推关系的求解
通过递推关系求解各阶段的最优解，最终得到整个问题的最优解。
03
动态规划的求解方法
逆推法
总结词
逆推法是从目标状态出发，逆向推算出达到目标状态的最优决策，逐步推算出初始状态的最优决策。
详细描述
逆推法的基本思想是将问题分解为若干个相互联系的阶段，从最后阶段开始，依次向前推算出每个阶 段的最优决策，直到达到初始状态。这种方法适用于具有重叠子问题和最优子结构的问题，可以避免 重复计算，提高求解效率。
详细描述
资源分配问题通常需要考虑资源的约束条件、 各部门或个体的需求和优先级，以及如何平 衡各方利益。动态规划通过将问题分解为一 系列子问题，逐一求解最优解，最终得到整 体最优解。
生产与存储问题
总结词
生产与存储问题主要研究在生产过程 中如何平衡生产与库存的关系，以最 小化生产成本和库存成本。
详细描述
特点
动态规划适用于具有重叠子问题和最优子结构特性的问题，通过将原问题分解 为子问题，逐个求解并存储子问题的解，避免了重复计算，提高了求解效率。
动态规划的重要性
解决复杂问题
动态规划能够解决一些复杂的问题，如资源分配、生产计 划、物流调度等，这些问题通常难以通过传统方法求解。
提高计算效率
通过避免重复计算，动态规划能够显著提高计算效率，尤 其在处理大规模问题时，能够大大减少计算时间和资源消 耗。
05
动态规划的优化策略
多阶段决策优化
01
02
03
阶段划分
将问题划分为若干个相互 关联的阶段，每个阶段都 有自己的决策变量和状态 转移方程。
状态转移
运筹学教材课件(第四章动态规划)
最优解的存在性
对于多阶段决策问题，如果每个 阶段的决策空间是有限的，则存 在最优解。
最优解的唯一性
对于某些多阶段决策问题，可能 存在多个最优解。在这种情况下， 我们需要进一步分析问题的性质 和约束条件，以确定最优解的个 数和性质。
最优解的稳定性
在某些情况下，最优解可能受到 参数变化的影响。我们需要分析 最优解的稳定性，以确保最优解 在参数变化时仍然保持最优。
VS
详细描述
排序问题可以分为多种类型，如冒泡排序 、快速排序、归并排序等。动态规划可以 通过将问题分解为子问题，逐一求解最优 解，最终得到全局最优解。在排序问题中 ，动态规划可以应用于求解最小化总成本 、最大化总效益等问题。
04
动态规划的求解方法
逆推法
逆推法
从问题的目标状态出发，逆向推算出达到目标状态的 最优决策，直到达到初始状态为止。
案例二：投资组合优化问题
要点一
总结词
要点二
详细描述
投资组合优化问题是动态规划在金融领域的重要应用，通 过合理配置资产，降低投资风险并提高投资收益。
投资组合优化问题需要考虑市场走势、资产特性、风险偏 好等多种因素，通过动态规划的方法，可以确定最优的投 资组合，使得投资者在风险可控的前提下，实现收益最大 化。
详细描述
在背包问题中，给定一组物品，每个物品都有一定的重量和价值，要求在不超过背包容量的限制下， 选择总价值最大的物品组合。通过动态规划的方法，可以将背包问题分解为一系列子问题，逐一求解 最优解。
排序问题
总结词
排序问题是动态规划应用的另一个重要 领域，主要涉及到将一组元素按照一定 的顺序排列，以达到最优的目标。
本最小化和效率最大化。
感谢您的观看
管理运筹学07动态规划
生产计划、库存管理、路径规划 等。
连续时间动态规划
定义
连续时间动态规划是指时间连续变化，状态 和决策也连续变化，状态转移和决策可以发 生在任意时刻。
解决思路
通过将时间连续化，将连续的时间动态问题转化为 离散的时间动态问题，然后应用动态规划的方法进 行求解。
应用场景
控制系统优化、金融衍生品定价、物流优化 等。
状态转移
指从一个状态转移到另一个状态的过程，是动态规划的基本要素 之一。
状态转移方程
描述了状态转移的数学表达式，是动态规划算法的核心。
最优化原理
最优化原理
在多阶段决策问题中，如果每个阶段 都按照最优策略进行选择，则整个问 题的最优解一定是最优的。
最优子结构
如果一个问题的最优解可以由其子问 题的最优解推导出来，则称该问题具 有最优子结构。
解决方案
采用启发式搜索策略， 如模拟退火、遗传算法 等，来引导算法跳出局 部最优解。
案例
在旅行商问题中，采用 模拟退火算法结合动态 规划，在局部搜索和全 局搜索之间取得平衡， 得到全局最优解。
06 动态规划案例研究
案例一：生产与存储问题的动态规划解决方案
总结词
该案例研究探讨了如何利用动态规划解决生 产与存储问题，通过合理安排生产和存储策 略，降低总成本。
管理运筹学07动态规划
contents
目录
• 动态规划概述 • 动态规划的基本概念 • 动态规划的应用 • 动态规划的扩展 • 动态规划的挑战与解决方案 • 动态规划案例研究
01 动态规划概述
定义与特点
定义
动态规划是一种通过将原问题分解为 相互重叠的子问题，并存储子问题的 解以避免重复计算的方法，从而有效 地解决最优化问题的方法。
连续时间动态规划
定义
连续时间动态规划是指时间连续变化，状态 和决策也连续变化，状态转移和决策可以发 生在任意时刻。
解决思路
通过将时间连续化，将连续的时间动态问题转化为 离散的时间动态问题，然后应用动态规划的方法进 行求解。
应用场景
控制系统优化、金融衍生品定价、物流优化 等。
状态转移
指从一个状态转移到另一个状态的过程，是动态规划的基本要素 之一。
状态转移方程
描述了状态转移的数学表达式，是动态规划算法的核心。
最优化原理
最优化原理
在多阶段决策问题中，如果每个阶段 都按照最优策略进行选择，则整个问 题的最优解一定是最优的。
最优子结构
如果一个问题的最优解可以由其子问 题的最优解推导出来，则称该问题具 有最优子结构。
解决方案
采用启发式搜索策略， 如模拟退火、遗传算法 等，来引导算法跳出局 部最优解。
案例
在旅行商问题中，采用 模拟退火算法结合动态 规划，在局部搜索和全 局搜索之间取得平衡， 得到全局最优解。
06 动态规划案例研究
案例一：生产与存储问题的动态规划解决方案
总结词
该案例研究探讨了如何利用动态规划解决生 产与存储问题，通过合理安排生产和存储策 略，降低总成本。
管理运筹学07动态规划
contents
目录
• 动态规划概述 • 动态规划的基本概念 • 动态规划的应用 • 动态规划的扩展 • 动态规划的挑战与解决方案 • 动态规划案例研究
01 动态规划概述
定义与特点
定义
动态规划是一种通过将原问题分解为 相互重叠的子问题，并存储子问题的 解以避免重复计算的方法，从而有效 地解决最优化问题的方法。
《运筹学07动态规划》课件
组合动态规划：解决组合问题， 如旅行商问题、背包问题等
动态规划的应用场景
资源分配 问题：如 背包问题、 车辆路径 问题等
优化问题： 如最短路 径问题、 最大子数 组问题等
决策问题： 如股票买 卖问题、 投资组合 问题等
游戏问题： 如国际象 棋、围棋 等
生物信息 学：如基 因序列比 对、蛋白 质结构预 测等
优化策略的改进
动态规划的扩展：从线性规划到非 线性规划，从单阶段决策到多阶段 决策
优化策略的改进：引入并行计算， 提高计算效率
添加标题
添加标题
添加标题
添加标题
优化策略的改进：引入启发式算法， 如遗传算法、模拟退火算法等
优化策略的改进：引入智能优化算 法，如神经网络、深度学习等
动态规划与其他 算法的比较
感谢您的观看
汇报人：
动态规划的基本 思想：将问题分 解为更小的子问 题，并利用子问 题的解来求解原
问题
动态规划的步 骤：确定状态、 状态转移方程、 初始状态和边
界条件
动态规划的算 法实现：递归、 迭代、记忆化
搜索等
动态规划的应 用：背包问题、 最短路径问题、 资源分配问题
等
动态规划的经典 案例
最短路径问题
问题描述：在图中找到从起点到终点的最短路径 应用场景：交通网络、物流配送、电路设计等 解决方案：使用动态规划算法，通过状态转移方程求解 经典案例：旅行商问题、最短路径问题等
排班问题
问题描述：如何合理安排员工工作时间，使得员工满意度最高，同时满足 公司业务需求
动态规划方法：使用动态规划算法，通过状态转移方程和递归函数求解
状态转移方程：定义状态变量，表示员工在不同时间段的工作状态
递归函数：根据状态转移方程，递归求解最优解
动态规划的应用场景
资源分配 问题：如 背包问题、 车辆路径 问题等
优化问题： 如最短路 径问题、 最大子数 组问题等
决策问题： 如股票买 卖问题、 投资组合 问题等
游戏问题： 如国际象 棋、围棋 等
生物信息 学：如基 因序列比 对、蛋白 质结构预 测等
优化策略的改进
动态规划的扩展：从线性规划到非 线性规划，从单阶段决策到多阶段 决策
优化策略的改进：引入并行计算， 提高计算效率
添加标题
添加标题
添加标题
添加标题
优化策略的改进：引入启发式算法， 如遗传算法、模拟退火算法等
优化策略的改进：引入智能优化算 法，如神经网络、深度学习等
动态规划与其他 算法的比较
感谢您的观看
汇报人：
动态规划的基本 思想：将问题分 解为更小的子问 题，并利用子问 题的解来求解原
问题
动态规划的步 骤：确定状态、 状态转移方程、 初始状态和边
界条件
动态规划的算 法实现：递归、 迭代、记忆化
搜索等
动态规划的应 用：背包问题、 最短路径问题、 资源分配问题
等
动态规划的经典 案例
最短路径问题
问题描述：在图中找到从起点到终点的最短路径 应用场景：交通网络、物流配送、电路设计等 解决方案：使用动态规划算法，通过状态转移方程求解 经典案例：旅行商问题、最短路径问题等
排班问题
问题描述：如何合理安排员工工作时间，使得员工满意度最高，同时满足 公司业务需求
动态规划方法：使用动态规划算法，通过状态转移方程和递归函数求解
状态转移方程：定义状态变量，表示员工在不同时间段的工作状态
递归函数：根据状态转移方程，递归求解最优解
运筹学：第4章 动态规划 动态规划第1节
?阶段指标k阶段状态下决定决策后所产生的效益记为?指标函数各阶段的总效益相应于由阶段k状态出发到终点的后部子策略pkn的指标函数记为?由阶段k状态sk出发到终点的所有可能的后部子策略产生的指标函数中最优者称最优指标函数记为??kkkxsts1????kkkkxsvv?knkknknpsvv?????knkknkkpsoptvsf?kksf?说明状态转移策略阶段指标指标函数?问题
opt {v k(sk
x k D k (sk )
1) 0，k
,x k ) n,n
fk 1(sk 1
1, ,2,1
)}
n
指标函数为阶段指标之 和，即 V kn v i(si ,xi )
或
i k
fk(sk )
fn 1(sn
opt {v k(sk
x k D k (sk )
1) 1，k
,x k ) n,n
P* 14
AB2C 1D1E
f1 19
最短路 最短距离
• 总结以上求解过程，可用如下递推方程表示
fk(s k
)
x
k
min
D k (sk
{v
)
k(s
k
,x
k
)
fk 1(sk 1 )}
f5(s5 ) 0，k 4,3,2,1
一般动态规划基本（逆序递推）方程表示为：
fk(sk )
fn 1(sn
表示两点间距离。现需选一条由A到E的旅行路线， 使总距离最短。
• 以上两个例子代表了这样一种特殊的决策 过程，该过程可分为互相联系的若干阶段， 每一阶段都需做出决策，从而形成全过程 的决策。这种把一个问题看作一个前后关 联具有链状结构的多阶段过程称为多阶段 决策过程，也称序贯决策过程，相应的问 题称为多阶段决策问题。
opt {v k(sk
x k D k (sk )
1) 0，k
,x k ) n,n
fk 1(sk 1
1, ,2,1
)}
n
指标函数为阶段指标之 和，即 V kn v i(si ,xi )
或
i k
fk(sk )
fn 1(sn
opt {v k(sk
x k D k (sk )
1) 1，k
,x k ) n,n
P* 14
AB2C 1D1E
f1 19
最短路 最短距离
• 总结以上求解过程，可用如下递推方程表示
fk(s k
)
x
k
min
D k (sk
{v
)
k(s
k
,x
k
)
fk 1(sk 1 )}
f5(s5 ) 0，k 4,3,2,1
一般动态规划基本（逆序递推）方程表示为：
fk(sk )
fn 1(sn
表示两点间距离。现需选一条由A到E的旅行路线， 使总距离最短。
• 以上两个例子代表了这样一种特殊的决策 过程，该过程可分为互相联系的若干阶段， 每一阶段都需做出决策，从而形成全过程 的决策。这种把一个问题看作一个前后关 联具有链状结构的多阶段过程称为多阶段 决策过程，也称序贯决策过程，相应的问 题称为多阶段决策问题。
管理运筹学讲义：动态规划
管理运筹学
谢家平 博士 副教授
研究领域：系统建模与优化、生产与运作管理、物流与供应链管理
讲授课程：管理运筹学、管理系统工程、生产运作管理、
供应链管理、国际物流管理、企业资源计划
单
位：上海财经大学国际工商管理学院供应链管理研究中心
E-mail：jiaping_xie@ 电 话：55036936(H)
若 V k ,n
v ( s , x )，过程指标等于各阶 边界条件：
n
f k (sk )
opt v
xk X k ( S k )
k
( s k , x k ) f k 1 ( s k 1 )
f n 1 ( s n 1 ) 0
SHUFE
第二节 动态规划原理
二、动态规划方法的基本思路
• 逆序算法：逆着阶段顺序的方向，由后向前推算。
把寻求最优策略看作连续递推过程，从最终阶段开始，逆着实 际过程的进展方向逐段求解； 在每一阶段求解过程中都是其后部子过程最优策略的基础上， 再考虑本阶段的指标函数，求出本阶段的最优策略； 直到第一阶段为止。
A1 11,A3 Q 2 4 3
8,B1 6 4 A2 2 4 8,B1 4 2 A3 5
阶段1 阶段2
C1 3
0 T
6
3 4,T C2 4
6,C1 3 B3 3
阶段3
阶段4
• 最短路径：Q→ A3→ B1→ C1→T
6
上海财经大学国际工商管理学院
SHUFE
第一节
多阶段决策问题
三、 多阶段决策的基本特征
上海财经大学国际工商管理学院
SHUFE
第二节 动态规划原理
• 指标函数
谢家平 博士 副教授
研究领域：系统建模与优化、生产与运作管理、物流与供应链管理
讲授课程：管理运筹学、管理系统工程、生产运作管理、
供应链管理、国际物流管理、企业资源计划
单
位：上海财经大学国际工商管理学院供应链管理研究中心
E-mail：jiaping_xie@ 电 话：55036936(H)
若 V k ,n
v ( s , x )，过程指标等于各阶 边界条件：
n
f k (sk )
opt v
xk X k ( S k )
k
( s k , x k ) f k 1 ( s k 1 )
f n 1 ( s n 1 ) 0
SHUFE
第二节 动态规划原理
二、动态规划方法的基本思路
• 逆序算法：逆着阶段顺序的方向，由后向前推算。
把寻求最优策略看作连续递推过程，从最终阶段开始，逆着实 际过程的进展方向逐段求解； 在每一阶段求解过程中都是其后部子过程最优策略的基础上， 再考虑本阶段的指标函数，求出本阶段的最优策略； 直到第一阶段为止。
A1 11,A3 Q 2 4 3
8,B1 6 4 A2 2 4 8,B1 4 2 A3 5
阶段1 阶段2
C1 3
0 T
6
3 4,T C2 4
6,C1 3 B3 3
阶段3
阶段4
• 最短路径：Q→ A3→ B1→ C1→T
6
上海财经大学国际工商管理学院
SHUFE
第一节
多阶段决策问题
三、 多阶段决策的基本特征
上海财经大学国际工商管理学院
SHUFE
第二节 动态规划原理
• 指标函数
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1+4
= min 6 = 3 (最短路线为B2→C1 →D) 5
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
第三阶段（ A → B ）： A 到B 有二条路线。
f3(A)1 = d(A, B1 )＋ f2 ( B1 ) ＝2＋4＝6 f3 (A)2 = d(A, B2 )＋ f2 ( B2 ) ＝4＋3＝7
= min 6 = 4
5
(最短路线为B1→C1 →D)
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
d( B2,C1 ) + f1 (C1 ) f2 ( B2 ) = min d( B2,C2 ) + f1 (C2 )
d( B2,C3 ) + f1 (C3 ) 3
2+1 = min 3+3
• 最短路的基本特征
▪ 从始点Q到终点T 的最短路径：Q→ A3→ B1→ C1→T，则 从中点A3 到终点T 的最短路径必为： A3→ B1→ C1→T， 从中点B1 到终点T 的最短路径必为：B1→ C1→T，…。
▪ 推广：从始点Q到终点T 的最短路径： Q → S1→ S2→ … → Sk→ Sk+1→ … → Sn→T，则 从中点Sk 到终点T 的最短路径必为： Sk→ Sk+1→ … → Sn→T。
• 每个阶段选取的路线不同，对应从Q到T就有一系列不同 的运输路线:
▪ 从始点Q到终点T共有3×3×2×1=18条不同路线 ▪ 现在的问题是如何选择一条费用最小的路线？
二、最短路径问题
例一、从A 地到D 地要铺设一条煤气管道,其中需经过 两级中间站，两点之间的连线上的数字表示距离，如 图所示。问应该选择什么路线，使总距离最短？
11,B1 ,B2
4,C1
A1 7
B1 1
3,T
11,A3 2 Q4
4
8,B1
6 4
A2 2
4 7,C2
6 B2
C1 3
0
T
3
4
3
8,B1 4 2
6,C1 3
4,T 4
C2
A3 5
B3 3
阶段1
阶段2
阶段3
阶段4
• 最短路径：Q→ A3→ B1→ C1→T
第一节 多阶段决策问题
三、 多阶段决策的基本特征
▪ 决策变量的取值被限制在某一范围内，此范围称为允许决 策集合Xk(sk)
第二节 动态规划原理
• 策略(policy)
▪ 多阶段决策过程中，每一阶段均有一个决策，依序组合成 一个全过程的决策序列，称为全过程策略。
p1,n(s1)={x1(s1),x2(s2) ,…, xn(sn)} ，简记p1,n ={x1, x2,…, xn} ▪ 从过程的某个阶段开始到最终阶段结束称为后部子过程。
SHUFE
（优选）管理运筹学讲义动态规划
上海电力学院管文
第一节 多阶段决策问题
一、 问题的提出
• 多阶段决策：
▪ 经济管理决策中，有些管理决策问题可以按时序或空间演 变划分成多个阶段 ，呈现出明显的阶段性；
▪ 于是可把这类决策问题分解成几个相互联系的阶段，每个 阶段即为一个子问题；
▪ 原有问题的求解就化为逐个求解几个简单的阶段子问题； ▪ 每个阶段的决策一旦确定，整个决策过程也随之确定，此
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
第二阶段（B →C）： B 到C 有六条路线。
d( B1,C1 ) + f1 (C1 ) f2 ( B1 ) = min d( B1,C2 ) + f1 (C2 )
d( B1,C3 ) + f1 (C3 ) 4
3+1 = min 3+3
1+4
4 C1
城 市
某 公 司
阶段1
阶段2
阶段3
Hale Waihona Puke 阶段4• 从生产厂Q到某公司T选择那条路线,使总运费最低(路程最短)？
第一节 多阶段决策问题
• 这是一个多阶段决策问题，它可分为四个阶段：
▪ 第一阶段：从Q(制造厂)到A(出口港)； ▪ 第二阶段：从A(出口港)到B(进口港)； ▪ 第三阶段：从B(进口港)到C(城市)； ▪ 第四阶段：从C(城市)到T(某公司)。
从第k阶段开始的后部子策略称为第k子过程策略。 pk,n(sk)={xk(sk), xk+1(sk+1) ,…, xn(sn)} ，简记pk,n ={xk, xk+1,…, xn}
第二节 动态规划原理
一、动态规划的基本概念
• 阶段(stage)
▪ 处理多阶段决策，需将全过程划为若干阶段，每个阶段进 行一次抉择。
▪ 各阶段按一定顺序联接在一起组成统一的整体。 ▪ 用k表示阶段变量。 ▪ 阶段编号
• 顺序编号 • 逆序编号
第二节 动态规划原理
• 状态(state)
▪ 状态表示过程发展中某阶段的起始状况。 ▪ 过程的发展可以通过各阶段状态的演变来描述。 ▪ 状态可用一个变量来描述，称为状态变量，用Sk表示。 ▪ 选取的状态变量必须满足无后效性。
• 某阶段的状态给定后，则过程未来发展不受该阶段以前 各阶段状态的影响。
▪ 第 k 阶段可能有若干状态，用Sk 表示阶段k的状态集合，
▪ sk(i)表示第k阶段的第 i 个状态。
第二节 动态规划原理
• 决策(decision)
▪ 从上一阶段某状态演变到下一阶段某状态要作一次选择， 称为决策。
▪ 用变量xk(sk)表示第k阶段状态为sk时的决策，称为决策变 量，简记xk
∴ f3 (A) = min
d(A, B1 )＋ f2 ( B1 ) d(A, B2 )＋ f2 ( B2 )
= min｛6,7｝=6
(最短路线为A→B1→C1 →D)
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
最短路线为 A→B1→C1 →D 路长为 6
第一节 多阶段决策问题
二、动态规划的标号法
类问题称为多阶段决策问题。
• 例如：
▪ 企业生产物流：可分为物料供应、生产制造、分销零售等 阶段。
▪ 最短路问题：可以按空间顺序划分阶段。
第一节 多阶段决策问题
• 最短路问题
2 Q4
3
生 产 商
A1 7 4
6 4 A2 2 4
4 2
A3 5
出 口 港
B1 1 4
6 B2
3
3 B3 3 进 口 港
C1 3 T
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
解：整个计算过程分三个阶段，从最后一个阶段开始。 第一阶段（C →D）： C 有三条路线到终点D 。
显然有 f1 (C1 ) = 1 ； f1(C2 ) = 3 ； f1 (C3 ) = 4
= min 6 = 3 (最短路线为B2→C1 →D) 5
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
第三阶段（ A → B ）： A 到B 有二条路线。
f3(A)1 = d(A, B1 )＋ f2 ( B1 ) ＝2＋4＝6 f3 (A)2 = d(A, B2 )＋ f2 ( B2 ) ＝4＋3＝7
= min 6 = 4
5
(最短路线为B1→C1 →D)
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
d( B2,C1 ) + f1 (C1 ) f2 ( B2 ) = min d( B2,C2 ) + f1 (C2 )
d( B2,C3 ) + f1 (C3 ) 3
2+1 = min 3+3
• 最短路的基本特征
▪ 从始点Q到终点T 的最短路径：Q→ A3→ B1→ C1→T，则 从中点A3 到终点T 的最短路径必为： A3→ B1→ C1→T， 从中点B1 到终点T 的最短路径必为：B1→ C1→T，…。
▪ 推广：从始点Q到终点T 的最短路径： Q → S1→ S2→ … → Sk→ Sk+1→ … → Sn→T，则 从中点Sk 到终点T 的最短路径必为： Sk→ Sk+1→ … → Sn→T。
• 每个阶段选取的路线不同，对应从Q到T就有一系列不同 的运输路线:
▪ 从始点Q到终点T共有3×3×2×1=18条不同路线 ▪ 现在的问题是如何选择一条费用最小的路线？
二、最短路径问题
例一、从A 地到D 地要铺设一条煤气管道,其中需经过 两级中间站，两点之间的连线上的数字表示距离，如 图所示。问应该选择什么路线，使总距离最短？
11,B1 ,B2
4,C1
A1 7
B1 1
3,T
11,A3 2 Q4
4
8,B1
6 4
A2 2
4 7,C2
6 B2
C1 3
0
T
3
4
3
8,B1 4 2
6,C1 3
4,T 4
C2
A3 5
B3 3
阶段1
阶段2
阶段3
阶段4
• 最短路径：Q→ A3→ B1→ C1→T
第一节 多阶段决策问题
三、 多阶段决策的基本特征
▪ 决策变量的取值被限制在某一范围内，此范围称为允许决 策集合Xk(sk)
第二节 动态规划原理
• 策略(policy)
▪ 多阶段决策过程中，每一阶段均有一个决策，依序组合成 一个全过程的决策序列，称为全过程策略。
p1,n(s1)={x1(s1),x2(s2) ,…, xn(sn)} ，简记p1,n ={x1, x2,…, xn} ▪ 从过程的某个阶段开始到最终阶段结束称为后部子过程。
SHUFE
（优选）管理运筹学讲义动态规划
上海电力学院管文
第一节 多阶段决策问题
一、 问题的提出
• 多阶段决策：
▪ 经济管理决策中，有些管理决策问题可以按时序或空间演 变划分成多个阶段 ，呈现出明显的阶段性；
▪ 于是可把这类决策问题分解成几个相互联系的阶段，每个 阶段即为一个子问题；
▪ 原有问题的求解就化为逐个求解几个简单的阶段子问题； ▪ 每个阶段的决策一旦确定，整个决策过程也随之确定，此
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
第二阶段（B →C）： B 到C 有六条路线。
d( B1,C1 ) + f1 (C1 ) f2 ( B1 ) = min d( B1,C2 ) + f1 (C2 )
d( B1,C3 ) + f1 (C3 ) 4
3+1 = min 3+3
1+4
4 C1
城 市
某 公 司
阶段1
阶段2
阶段3
Hale Waihona Puke 阶段4• 从生产厂Q到某公司T选择那条路线,使总运费最低(路程最短)？
第一节 多阶段决策问题
• 这是一个多阶段决策问题，它可分为四个阶段：
▪ 第一阶段：从Q(制造厂)到A(出口港)； ▪ 第二阶段：从A(出口港)到B(进口港)； ▪ 第三阶段：从B(进口港)到C(城市)； ▪ 第四阶段：从C(城市)到T(某公司)。
从第k阶段开始的后部子策略称为第k子过程策略。 pk,n(sk)={xk(sk), xk+1(sk+1) ,…, xn(sn)} ，简记pk,n ={xk, xk+1,…, xn}
第二节 动态规划原理
一、动态规划的基本概念
• 阶段(stage)
▪ 处理多阶段决策，需将全过程划为若干阶段，每个阶段进 行一次抉择。
▪ 各阶段按一定顺序联接在一起组成统一的整体。 ▪ 用k表示阶段变量。 ▪ 阶段编号
• 顺序编号 • 逆序编号
第二节 动态规划原理
• 状态(state)
▪ 状态表示过程发展中某阶段的起始状况。 ▪ 过程的发展可以通过各阶段状态的演变来描述。 ▪ 状态可用一个变量来描述，称为状态变量，用Sk表示。 ▪ 选取的状态变量必须满足无后效性。
• 某阶段的状态给定后，则过程未来发展不受该阶段以前 各阶段状态的影响。
▪ 第 k 阶段可能有若干状态，用Sk 表示阶段k的状态集合，
▪ sk(i)表示第k阶段的第 i 个状态。
第二节 动态规划原理
• 决策(decision)
▪ 从上一阶段某状态演变到下一阶段某状态要作一次选择， 称为决策。
▪ 用变量xk(sk)表示第k阶段状态为sk时的决策，称为决策变 量，简记xk
∴ f3 (A) = min
d(A, B1 )＋ f2 ( B1 ) d(A, B2 )＋ f2 ( B2 )
= min｛6,7｝=6
(最短路线为A→B1→C1 →D)
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
最短路线为 A→B1→C1 →D 路长为 6
第一节 多阶段决策问题
二、动态规划的标号法
类问题称为多阶段决策问题。
• 例如：
▪ 企业生产物流：可分为物料供应、生产制造、分销零售等 阶段。
▪ 最短路问题：可以按空间顺序划分阶段。
第一节 多阶段决策问题
• 最短路问题
2 Q4
3
生 产 商
A1 7 4
6 4 A2 2 4
4 2
A3 5
出 口 港
B1 1 4
6 B2
3
3 B3 3 进 口 港
C1 3 T
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
3
C1
2 B1 3
1
A
1 2
3
C2
3
D
4 B2 1
4
C3
解：整个计算过程分三个阶段，从最后一个阶段开始。 第一阶段（C →D）： C 有三条路线到终点D 。
显然有 f1 (C1 ) = 1 ； f1(C2 ) = 3 ； f1 (C3 ) = 4