管理运筹学动态规划
合集下载
第07章 动态规划 《运筹学》PPT课件
最优路径问题 资源分配问题 排序问题 投资问题 装载问题 生产计划与库存问题 生产过程的最优控制等
动态规划
模型分类
离散确定型 离散随机型 连续确定型 连续随机型
§1 多阶 段决 策过 程的 最优
化
多阶段决策问题
(Multi-Stage decision process)
决策u1 决策u2
决策uk
32
维护费
8 8 9 9 10 6 6 8 8 10 5 6 8 9 5 5 6 4 54Βιβλιοθήκη 新设备购置费 5050
52 52 55 60
旧设备折价
20 15 10 5 2 30 25 20 15 10 31 26 21 15 33 28 20 35 30
40
§1 多阶 段决 策过 程的 最优
化
3)连续生产过程的控制 问题：一般化工生产过程中，
本章 内容
多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划模型的建立与求解 动态规划在经济管理中的应用 马氏决策规划简介
创始时间 创始人
上个世纪50年代
美国数学家贝尔曼 （Richard. Bellman)
是运筹学的一个主要分支 是解决多阶段决策过程的最优化的一
种方法多阶段决策过程： 多阶段决策过程的最优化的目标： 达到整个活动过程的总体效果最优 •主要用于解决：
不过，实际中尚有许多不包含时间 因素的一类“静态”决策问题，就其本 质而言是一次决策问题，是非动态决策 问题，但是也可以人为地引入阶段的概 念当作多阶段决策问题，应用动态规划 方法加以解决。
§1 多阶 段决 策过 程的 最优
化
4）资源分配问题：便属于这类静 态问题。如：某工业部门或公司，拟对 其所属企业进行稀缺资源分配，为此需 要制定出收益最大的资源分配方案。这 种问题原本要求一次确定出对各企业的 资源分配量，它与时间因素无关，不属 动态决策，但是，我们可以人为地规定 一个资源分配的阶段和顺序，从而使其 变成一个多阶段决策问题(后面我们将 详细讨论这个问题)。
动态规划
模型分类
离散确定型 离散随机型 连续确定型 连续随机型
§1 多阶 段决 策过 程的 最优
化
多阶段决策问题
(Multi-Stage decision process)
决策u1 决策u2
决策uk
32
维护费
8 8 9 9 10 6 6 8 8 10 5 6 8 9 5 5 6 4 54Βιβλιοθήκη 新设备购置费 5050
52 52 55 60
旧设备折价
20 15 10 5 2 30 25 20 15 10 31 26 21 15 33 28 20 35 30
40
§1 多阶 段决 策过 程的 最优
化
3)连续生产过程的控制 问题：一般化工生产过程中，
本章 内容
多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划模型的建立与求解 动态规划在经济管理中的应用 马氏决策规划简介
创始时间 创始人
上个世纪50年代
美国数学家贝尔曼 （Richard. Bellman)
是运筹学的一个主要分支 是解决多阶段决策过程的最优化的一
种方法多阶段决策过程： 多阶段决策过程的最优化的目标： 达到整个活动过程的总体效果最优 •主要用于解决：
不过，实际中尚有许多不包含时间 因素的一类“静态”决策问题，就其本 质而言是一次决策问题，是非动态决策 问题，但是也可以人为地引入阶段的概 念当作多阶段决策问题，应用动态规划 方法加以解决。
§1 多阶 段决 策过 程的 最优
化
4）资源分配问题：便属于这类静 态问题。如：某工业部门或公司，拟对 其所属企业进行稀缺资源分配，为此需 要制定出收益最大的资源分配方案。这 种问题原本要求一次确定出对各企业的 资源分配量，它与时间因素无关，不属 动态决策，但是，我们可以人为地规定 一个资源分配的阶段和顺序，从而使其 变成一个多阶段决策问题(后面我们将 详细讨论这个问题)。
运筹学教案动态规划
运筹学教案动态规划一、引言1.1 课程背景本课程旨在帮助学生掌握运筹学中的动态规划方法，培养学生解决实际问题的能力。
1.2 课程目标通过本课程的学习，学生将能够：（1）理解动态规划的基本概念和原理；（2）掌握动态规划解决问题的方法和步骤；（3）能够应用动态规划解决实际问题。
二、动态规划基本概念2.1 定义动态规划（Dynamic Programming，DP）是一种求解最优化问题的方法，它将复杂问题分解为简单子问题，并通过求解子问题的最优解来得到原问题的最优解。
2.2 特点（1）最优子结构：问题的最优解包含其子问题的最优解；（2）重叠子问题：问题中含有重复子问题；（3）无后效性：一旦某个给定子问题的解确定了，就不会再改变；（4）子问题划分：问题可以分解为若干个子问题，且子问题之间是相互独立的。
三、动态规划解决问题步骤3.1 定义状态状态是指某一阶段问题的一个描述，可以用一组变量来表示。
3.2 建立状态转移方程状态转移方程是描述从一个状态到另一个状态的转换关系。
3.3 确定边界条件边界条件是指初始状态和最终状态的取值。
3.4 求解最优解根据状态转移方程和边界条件，求解最优解。
四、动态规划应用实例4.1 0-1背包问题问题描述：给定n个物品，每个物品有一个重量和一个价值，背包的最大容量为W，如何选择装入背包的物品，使得背包内物品的总价值最大。
4.2 最长公共子序列问题描述：给定两个序列，求它们的最长公共子序列。
4.3 最短路径问题问题描述：给定一个加权无向图，求从源点到其他各顶点的最短路径。
5.1 动态规划的基本概念和原理5.2 动态规划解决问题的步骤5.3 动态规划在实际问题中的应用教学方法：本课程采用讲授、案例分析、上机实践相结合的教学方法，帮助学生深入理解和掌握动态规划方法。
教学评估：课程结束后，通过课堂讨论、上机考试等方式对学生的学习情况进行评估。
六、动态规划算法设计6.1 动态规划算法框架介绍动态规划算法的基本框架，包括状态定义、状态转移方程、边界条件、计算顺序等。
第8章 动态规划《管理运筹学》PPT课件
Vk,n (sk , uk , , sn1) fk [sk , uk ,Vk 1,n (sk 1, uk 1, , 1)] ③函数 fk (sk , uk ,Vk 1,n ) 对于变量 Vk1,n 要严格单调。
8.2 动态规划模型建立
下面以投资问题为例介绍动态规划的建模条件。
【例8-2】 某公司现有资金20万元，若投资于三个
8.1 动态规划基础知识
（5）状态转移方程：状态转移方程是确定过程由一
个状态转移到另一个状态的演变过程。动态规划中某一状
态以及该状态下的决策，与下一状态之间具有一定的函数
关系，称这种函数关系的表达式为状态转移方程。如果第
k段的状态为 sk ，该阶段的决策为
的状态就可以用下式来表示：
uk
sk
，则第k+1段
阶段的指标函数，是该阶段最优的指标函数。
8.2 动态规划模型建立
建立动态规划模型，就是在分析实际问题的基础上建 立该问题的动态规划基本方程。成功地应用动态规划方法 的关键，在于识别问题的多阶段特征，将问题分解成为可 用递推关系式联系起来的若干子问题，或者说正确地建立 具体问题的基本方程，这需要经验与技巧。而正确建立基 本递推关系方程的关键又在于正确选择状态变量，保证各 阶段的状态变量具有递推的状态转移关系。
第8章 动态规划
动态规划(DYnamic Programming，缩写为DP)方法 ，是本世纪50年代初期由美国数学家贝尔曼(Richard E ，Bellman)等人提出，后来逐渐发展起来的数学分支， 它是一种解决多阶段决策过程最优化问题的数学规划法 。动态规划的数学模型和求解方法比较灵活，对于连续 的或离散的，线性的或非线性的，确定性的或随机性的 模型，只要能构成多阶段决策过程，便可用动态规划方 法求其最优解。因而在自然科学、社会科学、工程技术 等许多领域具有广泛的用途，甚至一定程度上比线性规 划（LP）、非线性规划（NLP）有成效，特别是对于某 些离散型问题，解析数学无法适用，动态规划方法就成 为非常有用的求解工具。
8.2 动态规划模型建立
下面以投资问题为例介绍动态规划的建模条件。
【例8-2】 某公司现有资金20万元，若投资于三个
8.1 动态规划基础知识
（5）状态转移方程：状态转移方程是确定过程由一
个状态转移到另一个状态的演变过程。动态规划中某一状
态以及该状态下的决策，与下一状态之间具有一定的函数
关系，称这种函数关系的表达式为状态转移方程。如果第
k段的状态为 sk ，该阶段的决策为
的状态就可以用下式来表示：
uk
sk
，则第k+1段
阶段的指标函数，是该阶段最优的指标函数。
8.2 动态规划模型建立
建立动态规划模型，就是在分析实际问题的基础上建 立该问题的动态规划基本方程。成功地应用动态规划方法 的关键，在于识别问题的多阶段特征，将问题分解成为可 用递推关系式联系起来的若干子问题，或者说正确地建立 具体问题的基本方程，这需要经验与技巧。而正确建立基 本递推关系方程的关键又在于正确选择状态变量，保证各 阶段的状态变量具有递推的状态转移关系。
第8章 动态规划
动态规划(DYnamic Programming，缩写为DP)方法 ，是本世纪50年代初期由美国数学家贝尔曼(Richard E ，Bellman)等人提出，后来逐渐发展起来的数学分支， 它是一种解决多阶段决策过程最优化问题的数学规划法 。动态规划的数学模型和求解方法比较灵活，对于连续 的或离散的，线性的或非线性的，确定性的或随机性的 模型，只要能构成多阶段决策过程，便可用动态规划方 法求其最优解。因而在自然科学、社会科学、工程技术 等许多领域具有广泛的用途，甚至一定程度上比线性规 划（LP）、非线性规划（NLP）有成效，特别是对于某 些离散型问题，解析数学无法适用，动态规划方法就成 为非常有用的求解工具。
《管理运筹学》案例演示(动态规划)
x1
[
]
第一季度生产量加库存量要满足本季度需求量， 又不能超过第一到第四季度的总需求： 最高生产量为6个单位：
2 ≤ x1 + s1 ≤11 0 ≤ x1 ≤ 6
f1 ( s1 )
x1
0 1 2
21
Байду номын сангаас
3
21.5
4
22
5
6
f1 ( s1 )
∗ x1
s1
0
20.5 21.5 20.5
5
第四步：最佳生产决策:第一季度生产5单位产品，期末库存量为 3单位；第二季度不生产，期末库存量为零；第三季度生产6单位 产品，期末库存量为4单位；第四季度不安排生产。
8 100 75 53
A B C
问如何确定三个项目计划的投资额，才能使8千万元的资金投 资后的利润最大。 解： 阶段变量k ( k =1,2, 3 )：每投资一个项目作为一个阶段； 状态变量sk ：可以对第k个项目投资的资金数（即投资 第k个项目前的资金数）； 决策变量xk：第k 个项目的投资， 0≤xk≤sk；
11 10.5 8 8 8 8 5
6 5 0 0 0 0 0
第三步：第二到第四季度的最佳生产决策； 第二到第四季度的最低生产成本：
f2 (s2 ) = m c2( x2 , s2 ) + f3 (s3 ) in
x2
[
]
约束条件： 由于第一季度期初库存s1= 0，而最高生产量x1= 6 ,市场需求量d1=2，所以，第二季度期初的库存量应为： 第二季度生产量加库存量要满足本季度需求量， 又不能超过第二到第四季度的总需求： 最高生产量为6个单位：
该季度生产量不能超过6个单位：
运筹学第六章 动态规划
f
3
(C
2
)
min
((CC22,,DD21
) )
f f
4 4
( (
D1 D2
) )
6 5
11
min
5
2
min
7
7
最优决策C2 D2
15
f3(C1)=8
2
A5
1
B1 12 14
10
6
B2 10
4 13
B3
12 11
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f4(D1)=5
D1
5 f5(E)=0
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f3(C3)=12
f4(D1)=5
D1
5 f5(E)=0
E
D2 2
f4(D2)=2
状态 最优决策 状态 最优决策 状态 最优决策 状态 最优决策 状态 A （ A，B2） B2 （B2，C1） C1
22
f1(A)=19
A
f2(B1)=21
B1 12 14
2 f2(B2)=110 4
6
5
B2 10
4
1
13
B3
12 11
f2(B3)=19
f3(C1)=8
C1
3
9
管理运筹学07动态规划
生产计划、库存管理、路径规划 等。
连续时间动态规划
定义
连续时间动态规划是指时间连续变化，状态 和决策也连续变化，状态转移和决策可以发 生在任意时刻。
解决思路
通过将时间连续化，将连续的时间动态问题转化为 离散的时间动态问题，然后应用动态规划的方法进 行求解。
应用场景
控制系统优化、金融衍生品定价、物流优化 等。
状态转移
指从一个状态转移到另一个状态的过程，是动态规划的基本要素 之一。
状态转移方程
描述了状态转移的数学表达式，是动态规划算法的核心。
最优化原理
最优化原理
在多阶段决策问题中，如果每个阶段 都按照最优策略进行选择，则整个问 题的最优解一定是最优的。
最优子结构
如果一个问题的最优解可以由其子问 题的最优解推导出来，则称该问题具 有最优子结构。
解决方案
采用启发式搜索策略， 如模拟退火、遗传算法 等，来引导算法跳出局 部最优解。
案例
在旅行商问题中，采用 模拟退火算法结合动态 规划，在局部搜索和全 局搜索之间取得平衡， 得到全局最优解。
06 动态规划案例研究
案例一：生产与存储问题的动态规划解决方案
总结词
该案例研究探讨了如何利用动态规划解决生 产与存储问题，通过合理安排生产和存储策 略，降低总成本。
管理运筹学07动态规划
contents
目录
• 动态规划概述 • 动态规划的基本概念 • 动态规划的应用 • 动态规划的扩展 • 动态规划的挑战与解决方案 • 动态规划案例研究
01 动态规划概述
定义与特点
定义
动态规划是一种通过将原问题分解为 相互重叠的子问题，并存储子问题的 解以避免重复计算的方法，从而有效 地解决最优化问题的方法。
连续时间动态规划
定义
连续时间动态规划是指时间连续变化，状态 和决策也连续变化，状态转移和决策可以发 生在任意时刻。
解决思路
通过将时间连续化，将连续的时间动态问题转化为 离散的时间动态问题，然后应用动态规划的方法进 行求解。
应用场景
控制系统优化、金融衍生品定价、物流优化 等。
状态转移
指从一个状态转移到另一个状态的过程，是动态规划的基本要素 之一。
状态转移方程
描述了状态转移的数学表达式，是动态规划算法的核心。
最优化原理
最优化原理
在多阶段决策问题中，如果每个阶段 都按照最优策略进行选择，则整个问 题的最优解一定是最优的。
最优子结构
如果一个问题的最优解可以由其子问 题的最优解推导出来，则称该问题具 有最优子结构。
解决方案
采用启发式搜索策略， 如模拟退火、遗传算法 等，来引导算法跳出局 部最优解。
案例
在旅行商问题中，采用 模拟退火算法结合动态 规划，在局部搜索和全 局搜索之间取得平衡， 得到全局最优解。
06 动态规划案例研究
案例一：生产与存储问题的动态规划解决方案
总结词
该案例研究探讨了如何利用动态规划解决生 产与存储问题，通过合理安排生产和存储策 略，降低总成本。
管理运筹学07动态规划
contents
目录
• 动态规划概述 • 动态规划的基本概念 • 动态规划的应用 • 动态规划的扩展 • 动态规划的挑战与解决方案 • 动态规划案例研究
01 动态规划概述
定义与特点
定义
动态规划是一种通过将原问题分解为 相互重叠的子问题，并存储子问题的 解以避免重复计算的方法，从而有效 地解决最优化问题的方法。
北交大交通运输学院《管理运筹学》知识点总结与例题讲解第7章 动态规划
即 f4 (7) = 4, f4 (8) = 3 。 第二步 k=3，状态变量 s3 可取三个值④、⑤、⑥，这是经过一个中途点到达终点 E 的
两级决策问题，从城市④到 E 有两条路线，需加以比较，取其中最短的，即
f3 (4)
=
min
⎧d ⎩⎨d
(4, 7) + (4,8) +
f
4
(7)⎫ ⎬
f4 (8) ⎭
表 7-1
i月
1
2
3
4
yi （需求）
2
3
2
4
这也是一个 4 阶段决策问题。 例 3 投资决策问题
某公司现有资金 Q 万元，在今后 5 年内考虑给 A、B、C、D 四个项目投资，这些项目 的投资期限、回报率均不相同，问应如何确定这些项目每年的投资额，使到第五年末拥有资
金的本利总额最大。 这是一个 5 阶段决策问题。
c(
j)
=
⎧ ⎨⎩a
0 + bj
( j = 0) ( j = 1, 2,3,L , m)
（千元）
其中 a 为生产的固定费用， b 为可变生产费率， m 为生产能力。供应需求所剩余产品应存 入仓库，每月库存 j 单位产品的费用为
E( j) = c * j （千元）
计划开始和计划期末库存量都是 0。试制定 4 个月的生产计划，在满足用户需求的条件下使 总费用最小。
现在我们利用动态规划最优性原理，由最后一段路线开始，向最初阶段递推求解，逐
步求出各段各点到终点 E 的最短路线，最后求得 A 点到 E 点的最短路线。 上面我们已经规定了本例的阶段数、状态变量、决策变量，给出了转移方程、指标函数
等。再用 d (sk , uk ) 表示由状态 s k 点出发，采用决策 uk 到达下一阶段 sk+1 点时的两点间距离。 第一步从 k=4 开始，状态变量 s4 可取两种状态⑦、⑧，它们到 E 点的路长分别为 4，3。
两级决策问题，从城市④到 E 有两条路线，需加以比较，取其中最短的，即
f3 (4)
=
min
⎧d ⎩⎨d
(4, 7) + (4,8) +
f
4
(7)⎫ ⎬
f4 (8) ⎭
表 7-1
i月
1
2
3
4
yi （需求）
2
3
2
4
这也是一个 4 阶段决策问题。 例 3 投资决策问题
某公司现有资金 Q 万元，在今后 5 年内考虑给 A、B、C、D 四个项目投资，这些项目 的投资期限、回报率均不相同，问应如何确定这些项目每年的投资额，使到第五年末拥有资
金的本利总额最大。 这是一个 5 阶段决策问题。
c(
j)
=
⎧ ⎨⎩a
0 + bj
( j = 0) ( j = 1, 2,3,L , m)
（千元）
其中 a 为生产的固定费用， b 为可变生产费率， m 为生产能力。供应需求所剩余产品应存 入仓库，每月库存 j 单位产品的费用为
E( j) = c * j （千元）
计划开始和计划期末库存量都是 0。试制定 4 个月的生产计划，在满足用户需求的条件下使 总费用最小。
现在我们利用动态规划最优性原理，由最后一段路线开始，向最初阶段递推求解，逐
步求出各段各点到终点 E 的最短路线，最后求得 A 点到 E 点的最短路线。 上面我们已经规定了本例的阶段数、状态变量、决策变量，给出了转移方程、指标函数
等。再用 d (sk , uk ) 表示由状态 s k 点出发，采用决策 uk 到达下一阶段 sk+1 点时的两点间距离。 第一步从 k=4 开始，状态变量 s4 可取两种状态⑦、⑧，它们到 E 点的路长分别为 4，3。
运筹学 动态规划
max
3x1 4 x2 5 x3
max 3 x1 max 4 x2 5 x3 5 x2 6 x3 10 4 x1 10 0 x1 max 3 x1 f 2 10 4 x1
10 0 x1 4 4
，则有：
N 1 J x0 max L xk , u k u 0 ,u 1,,u N 1 k 0
* N N 1 max L x0 , u 0 L xk , u k u 0 ,u 1,,u N 1 k 1
（5）
（5）式表明，多阶段决策的最优策略只依赖于系统的初始状态 x 0 。
Байду номын сангаас
多阶段决策问题的最优性原理 多阶段决策问题的最优性原理可表述为： 如果 u * 0, u * 1,, u * N 1 是最优 策略序列，那么它的一部分 u * 1, u * 2,, u * N 1 也是一个最优策略序列。其反 证法的证明是无须赘述的[8,9]。 简单说， “最优策略的子策略必为最优子策略”
4 x2 5 x3
max 4 x2 max 5 x3 6 x3 2 5 x2 2 0 x2 max 4 x2 f 3 2 5 x2
2 0 x2 5 5
max 4 x2 max 5 x3 6 x3 105 x2 10 0 x2 max 4 x2 f 3 10 5 x2
k 1:
f1 10
4 x1 5 x2 6 x3 10
max
3 x1 4 x2 5 x3
Max z 3 x1 4 x2 5 x3 s.t. 3 x1 4 x2 5 x3 10 var iable positive, I
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
E3 6
=d5(s5,u5)+ V6, 6
1
2
3
4
5
6
• 过程和它的任意子过程的指标是它所包含的各阶 段的指标的乘积。即
可改写成 Vk, n(sk ,uk ,…, sn+1) = vk(sk ,uk) Vk+1, n(sk+1, uk+1, …, sn+1)
最优值函数： 指标函数的最优值，记为 fk (sk)。表示从第 k 阶段
用动态规划解决多阶段决策问题; 重点掌握动态规划模型结构、逆序算法原理、资源 分
配问题、生产与存储问题. 难点为动态规划中状态变量、基本方程等的确定.
动态规划产生于20世纪50年代, 美国数学 家贝尔曼(R. Bellman)等人提出.
动态规划是求解某类问题的一种方法,是考 察问题的一种途径,而不是一种算法.必须对 具体问题进行具体分析,运用动态规划的原理 和方法,划分阶段,建立相应的模型,然后再去 求解.
动态规划是用来解决多阶段决策过程最优化 的一种数量方法.其特点在于,它可以把一个多 阶段决策问题变换为几个相互联系的同类型单 阶段最优化问题,从而一个一个地去解决.
1. 多阶段决策过程及实例
多阶段决策过程（序贯决策过程）
决策
决策
决策
状态
状态
状态 状态
状态
1
2
…
n
收益
收益
收益
2 多阶段决策问题——举例
55 F1 4
E2 2
G
6 F2 3
D3
3 3
E3 6
4
5
6
4、多阶段决策过程
在每个阶段进行决策 控制过程的发展；
其发展是通过一系列的状态转移来实现的；
系统当前的 状态和决策
系统过去的历 史状态和决策
状态转移方程的一般形式 1
5 B1 3
s2=T1(s1, u1)
s3=sT12=(sAs1,2,u=u11?,=sB2,1u,2)
多阶段决策问题的典型例子
1、 生产决策问题
企业在生产过程中，由于需求是随时间变化的 ，因此企业为了获得全年的最佳生产效益，就要在 整个生产过程中逐月或逐季度地根据库存和需求决 定生产计划。
2、机器负荷分配问题
产品的年产量
某种机器
高负荷 g=g(u1)
投入生产的机 器数量
机器的年完好率为a ，0<a<1
A3
6 8
B2 7
6
C1 6
8 C2 3
5
C3 3 3 8
sk+1=Tk(s1, u1, s2, u2 ,, sk, uk) C4 4
2
D1 E1 3
2
D2
1 2
55 F1 4
E2 2
G
6 F2 3
D3
3 3
E3 6
1
2
3
4
5
6
图示如下：
u1
s1
s2
1
u2 s3
2
sk
uk sk+1 k
能用动态规划方法求解的多阶段决策过程是一类 特殊的多阶段决策过程，即具有无后效性的多阶段 决策过程。
1
5 B1 3
A3
6
8
B2 7
6
C1 6
8
C2 3 5
C3 3 3 8
C4 4
2 D1
2
D2 1 2 3
D3 3
E1 3
5 F1 4
5 E2 2
G
6 E3 6
F2
3
1
2
3
4
5
6
（穷举法48条路线
13 1
5 B1 3
A3
6
18
8 B2 7
16 6
1
2
13
C1 6 10 8
C2 3 95 C3 3
3 8 C4 4
E2 2
G
6 F2 3
D3
3 3
E3 6
1
2
3
4
5
6
多阶段决策过程的数学模型: (具有无后效性, 以和式为例 )
opt
{u1, u2,…,un}
sk+1=Tk(sk, uk)
s.t. skSk
ukDk
k=1,2, …,n
小结:
无后效性
动态规划本质上是多阶段决策过程;
概念:阶段变量 k﹑状态变量 sk﹑决策变量 uk ;
不包含时间因素的静态决策问题（一次决策问题 ）也可以适当地引入阶段的概念，作为多阶段的决 策问题用动态规划方法来解决。
4、最短路问题（引例）：给定一个交通网络图如
前，其中两点之间的数字表示距离（或花费），试求 从A点到G点的最短距离（总费用最小）。
动态规划的基本概念
1. 阶段 2. 状态 3. 决策 4. 策略 5. 状态转移方程 6. 指标函数和最优值函数
量，常用 k 表示。
2、状态、状态变量
每个阶段开始所处的自然状态或客观条件,描述过程的
状况,通常一个阶段有若干个状态.
描述过程状态的变 量称为状态变量， 它可用一个数、一 组数或一向量来描 述, 常用 sk 表示第 k 阶段的状态.
1 C1 6
5 B1 3
A3
6 8
B2 7
8 C2 3
5
C3 3 3
6
8
C4 4
uk,Vk+1, n 的函数。
2
D1 E1 3
2
D2
1 2
55 F1 4
E2 2
G
6 F2 3
D3
3 3
E3 6
1
234Fra bibliotek56
常见的指标函数的形式是：
• 过程和它的任一子过程的指标是它所包含的各阶
段的指标和。即
无后效性 的结果
其中V(sj, uj ) 表示第 j 阶段的阶段指标。这时上
式可写成
1 2
55 F1 4
E2 2
G
6 F2 3
D3
3 3
E3 6
1
2
3
4
5
6
§1 动态规划的研究对象和引例
动态系统：
包含随时间变化的因素和变量的系统。 动态决策问题：
系统所处的状态和时刻是进行决策的重要因素. 找到不同时刻的最优决策以及整个过程的最优策略.
状态
决策 状态
1
决策
状态 状态
2
决策 n
阶段
全过程的最优
12 3
7
2 D1
2 6 D2 1
2 3 D3 3 8
7
E1 3
5 5
F1 4
5 E2 2
G
6 E3 6
F2 3 3
9
4
5
6
51
5 B1 3
A3
6
8
B2 7
36
1
2
6
C1 6 88 C2 3 10 5 C3 3
3 8 C4 4
9 3
11 2
D1
13 2 D2 1
2 3 D3 3
13
13
E1 3 17
55 F1 E2 2
4
G
F1 G，f6(F1)=4 F2 G，f6(F2)=3
6 F2 3
D3
3 3
E3
6
k=5，出发点有 E1, E2, E3
C4 4
u5(E1)=F1
E1F1G
u5(E2)=F2
E2F2G
u5(E3)=F2 E3F2G
1 C1 6
Vk, n(sk ,uk ,…, sn+1) = vk(sk ,uk)+ Vk+1, n
5 B1 3
A3
6 8
B2 7
8 C2 3
5
C3 3 3
V5, 6= V5, 6 (s5, u5, V6, 6 )
6
8
C4 4
2
D1 E1 3
2
D2
1 2
55 F1 4
E2 2
G
6 F2 3
D3
3 3
的状态 sk 到第 n 阶段的终止状态的采取最优策略所得 到的指标函数值。即
全过程的最优值函数记为 f1 (s1)
f6 (s6)=？
f6 (F1)=4 f6 (F2)=3
f5 (E1)=？
1 C1 6
5 B1 3
A3
6 8
B2 7
8 C2 3
5
C3 3 3
6
8
C4 4
2
D1 E1 3
2
D2
1 2
55 F1 4
sk+1=Tk(sk, uk)
6、策略
按顺序排列的决策组成的集合。 由过程的第k 终止状态为止的过程，称为问题的 后部子过程（k 子过程）。
由每段的决策按顺序排列组成的决策函数序列称为
k 子过程策略。简称
1 C1 6
子策略，记为pk,n(sk)，5 B1 3
即，
A3
6 8
Pk,n(sk)={uk(sk),uk+1(sk+1), ,un(sn)}
5、无后效性或马尔可夫性
如果某阶段状态给定后，则在这个阶段以后过程的 发展不受这个阶段以前各阶段状态的影响；过程的过 去历史只能通过当前的状态去影响它未来的发展。
构造动态规划模型时，要充分注意状态变量是否满 足无后效性的要求；
状态转移方程？
状态具有无后效性的多阶段决策过程的状态转移 方程如下：
s2=T1(s1, u1) s3=T2(s2, u2)