第四章 动态规划

♦ 分阶段的最短路径问题
如图4.1.1，给定一个线路网络，两点之间连线上的权 例4.1.1.如图 如图 ，给定一个线路网络， 数代表两点之间的距离（或费用），试求一条从 到 的铺管 ），试求一条 数代表两点之间的距离（或费用），试求一条从A到E的铺管 线路，使总距离最短（或总费用最小） 线路，使总距离最短（或总费用最小） 。 B1
第四步：正确写出状态转移方程s 第四步：正确写出状态转移方程 k+1=T(sk,uk(sk))。 状态转移方程 。
状态转移方程描述了从某个客观条件s 出发，如何通过本阶段决策u 状态转移方程描述了从某个客观条件 k出发，如何通过本阶段决策 k来改 变初始状态，从而到达一个新状态s 的过程。 无后效性。 变初始状态，从而到达一个新状态 k+1的过程。它也体现了 无后效性。 本题状态转移方程s 本题状态转移方程 k+1=uk(sk) ,如s3=C1=T2(B1,u2(B1)), u2(B1)=C1 。 如
教学说明
【参考资料】 参考资料】 1 .《管理科学－－应用 －－应用 建模和求解》 《管理科学－－应用spreadsheet建模和求解》·清华大学出 建模和求解 清华大学出 版社·丁以中主编 丁以中主编·176-181页（分阶段的生产计划优化问题） 版社 丁以中主编 页 分阶段的生产计划优化问题） 2.《运筹学》·清华大学出版社 张莹 清华大学出版社·张莹 《运筹学》 清华大学出版社 张莹·136-150页（生产与存贮问 页 资源分配问题） 题、资源分配问题） 3.《运筹学试题精选与答题技巧》 ·哈尔滨工业大学出版社 徐 哈尔滨工业大学出版社·徐 《运筹学试题精选与答题技巧》 哈尔滨工业大学出版社 永仁主编·126-131页（离散确定性动态规划模型的求解） 永仁主编 页 离散确定性动态规划模型的求解） 4.《运筹学应用案例》 ·机械工业出版社 陶谦坎 机械工业出版社·陶谦坎 《运筹学应用案例》 机械工业出版社 陶谦坎·78-86页（案 页 例13） ）
第二步：正确选择状态变量S 描述过程演变） 第二步：正确选择状态变量 k（描述过程演变）。 状态变量
状态是指每个阶段开始时所处的自然状况或客观条件，又称不 可控因素。 状态是指每个阶段开始时所处的自然状况或客观条件，又称不 可控因素。 客观条件 它既是前一个阶段决策的结果 结果， 策的出发点 出发点。 它既是前一个阶段决策的结果，又是下一个阶段决 策的出发点。 Sk包含第 阶段之前决策过程的全部信息，使该 阶段后做出的决策同以 包含第k阶段之前决策过程的全部信息 阶段之前决策过程的全部信息， 前的状态和决策相互独立（无后效性） 前的状态和决策相互独立（无后效性） 本题状态是某阶段的出发点， 本题状态是某阶段的出发点，即：S1＝{A}, S2={B1,B2,B3}, S3={C1,C2,C3}, S4={D1,D2}。 。
♦ 分阶段的最短路径问题
f2(B1)=21 f3(C1)=8
12 14 6
B1
f1(A)=19
2 5 10 f2(B2)=14
C1
f3(C2)=7
9 6
3
f4(D1)=5
D1
5
f5(E)=0
A
B2
4 13
10
C2
5 8
E D2
f4(D2)=2
2
1
B3
f2(B3)=19
12 11
C3
f3(C3)=12
教学说明
【重点】 重点】
1.动态规划的基本概念、基本定理；2.分阶段最短路问题的模型及求解； 动态规划的基本概念、基本定理； 分阶段最短路问题的模型及求解； 分阶段最短路问题的模型及求解 动态规划的基本概念 3.一维资源平行分配的模型及求解。 一维资源平行分配的模型及求解 一维资源平行分配的模型及求解。 【难点】 难点】 1.动态规划各个基本概念、基本定理的内涵； 动态规划各个基本概念 动态规划各个基本概念、基本定理的内涵； 2.生产与存贮问题的求解。 生产与存贮问题的求解。 生产与存贮问题的求解
♦ 分阶段的最短路径问题
逆序解法的状态转移图： 逆序解法的状态转移图：
u1 s1 k=1 s2= T1(s1,u1) f1(s1) s2 u2 k=2 s3= T2(s2,u2) f2(s2) s3 … sn un k=n Tn(sn,un) fn(sn) sn+1 …
顺序解法的状态转移图： 顺序解法的状态转移图：
【本章计划学时】 本章计划学时】
共7，其中：讲授：5；案例分析：2 ，其中：讲授： ；案例分析：
【实验内容】 实验内容】
利用Excel描述、求解生产与存贮问题（课堂演示） 描述、求解生产与存贮问题（课堂演示） 利用 描述
【本章习题】 本章习题】
课本第 页第1题 页第2题 课本第203页第 题，204页第 题 页第 页第
【教学目的与要求】 教学目的与要求】
1. 理解动态规划的基本概念、基本思想。掌握动态规划建模 理解动态规划的基本概念 基本思想。掌握动态规划建模 动态规划的基本概念、 的程序。 的程序。 掌握分阶段的最短路问题的建模及求解 含标号法求解） 分阶段的最短路问题的建模及求解（ 2. 掌握分阶段的最短路问题的建模及求解（含标号法求解） 3. 能够熟练地建立一维资源平行分配的数学模型并会求解， 能够熟练地建立一维资源平行分配的数学模型并会求解， 熟练地建立一维资源平行分配的数学模型并 了解一维资源连续分配问题的建模和求解 一维资源连续分配问题的建模和求解。 了解一维资源连续分配问题的建模和求解。 4.了解背包问题、生产和存贮问题、不确定性采购问题、复 了解背包问题 了解背包问题、生产和存贮问题、不确定性采购问题、 的动态规划模型。 合系统工作可靠性问题 的动态规划模型。
♦ 分阶段的最短路径问题
第五步：正确写出指标函数：过程指标函数 第五步：正确写出指标函数：过程指标函数Vk,n(sk,uk,..., un)、阶段指标函数 k(sk,uk)、最优指标函数 k(sk)。 、阶段指标函数d 、最优指标函数f 。
阶段指标函数表示在某一阶段某一状态下， 阶段指标函数表示在某一阶段某一状态下，采取某一决策后到下一阶段初时的 表示在某一阶段某一状态下 表示在某一阶段k的某一状态下 直接效果值。过程指标函数表示在某一阶段 的某一状态下， 直接效果值。过程指标函数表示在某一阶段 的某一状态下，采取一系列决策 后到阶段最末的效果值。最优指标函数表示过程指标函数v 的最优值， 后到阶段最末的效果值。最优指标函数表示过程指标函数 k,n的最优值，即 f k(sk)=opt {Vk,n(sk,uk,...,un)} 本题中，过程指标函数 表示在第k阶段由点 至终点E的距离 阶段由点s 的距离， 本题中，过程指标函数Vk,n表示在第 阶段由点 k至终点 的距离，阶段指标函 表示在第k阶段由点 至点s 的距离， 阶段由点s 表示从第k阶段 数dk表示在第 阶段由点 k至点 k+1的距离，如d3(C1,D1)=3; f k(sk)表示从第 阶段 表示从第 sk到终点 的最短距离。 到终点E的最短距离 的最短距离。
例4.2.2（平行分配）各工厂分配某种设备若干台后，预测可创造的利润 （平行分配）各工厂分配某种设备若干台后， 单位：万元）如表4.2.1所示。问：这5台设备应如何分配给这 个工厂， 所示。 台设备应如何分配给这3个工厂 （单位：万元）如表 所示 台设备应如何分配给这 个工厂， 使得所创造的总利润为最大 总利润为最大？ 使得所创造的总利润为最大？
2 10 6 6 10 12 14
C1
9
3
D1
5
A
5
B2
4 13
C2
5 8
E D2
2
1
B3
12 11
C3
10
图4.1.1
♦ 分阶段的最短路径问题
解：
第一步：将问题的过程划分为恰当的阶段， 第一步：将问题的过程划分为恰当的阶段，每一阶段 阶段 用变量k表示 表示。 用变量 表示。
按节点到始点A间隔弧的个数，本题可以划分为 个阶段 个阶段， 按节点到始点 间隔弧的个数，本题可以划分为4个阶段，即:A→B(B1 、 B2、 间隔弧的个数 B3),B (B1、 B2、 B3) →C (C1、 C2、 C3), C(C1、 C2、 C3) →D (D1、 D2), D (D1、 D2) → E。 。
管 理
运 筹
学
（本科版） 本科版）
教师： 教师：郭丰恺
成都理工大学信息管理学院电子商务系
E-Business Department, College of Information management, Chengdu university of technology
注：本课件需要在office2003系统下才能播放 本课件需要在 系统下才能播放
u1 s1 k=1 s2= T1(s1,u1) f1(s2) s2 u2 k=2 s3= T2(s2,u2) f2(s3) s3 … sn un sn+1 k=n … Tn(sn,un) fn(sn+1)
♦ 分阶段的最短路径问题
f2(B1)=20 f3(C1)=8
12 14 6
B1
2 10
C1
9
3 6
♦ 分阶段的最短路径问题
第三步：确定决策变量 及每阶段允许决策集合D 第三步：确定决策变量uk及每阶段允许决策集合 k(Sk)
决策是从某阶段的某个状态 出发，在若干个不同的方案中做出的选择， 决策是从某阶段的某个状态sk出发，在若干个不同的方案中做出的选择， 是从某阶段的某个状态 所以记作u 阶段决策变量u 所以记作 k(sk)。我们把第 阶段决策变量 k允许取值的范围记作 k(Sk)。决策 。我们把第k阶段决策变量 允许取值的范围记作D 。 具有可控性。 具有可控性。 全过程策略是由第 至第 阶段决策组成的一个序列， 全过程策略是由第1至第 阶段决策组成的一个序列，即p1,n(s1)={u1(s1), 是由第 至第n阶段决策组成的一个序列 u2(s2), …, un(sn)},第k子过程策略是 k,n(sk)={uk(sk), uk+1(sk+1), …, un(sn)}。 子过程策略是p 第 子过程策略是 。 本题中决策变量u 表示从出发点s 本题中决策变量 k(sk)表示从出发点 k开始决定下一个阶段的出发点。如： 表示从出发点 开始决定下一个阶段的出发点。 u2(B1)=C1, D2(B1)={C1, C2,C3}