第四章动态规划及其应用
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6
广东轻工职业技术学院
• 动态规划解决问题的基本思路：把整体比较复杂的大问 题划分成一系列较易于解决的小问题，通过逐个求解， 最终取得整体最优解。 • 这种“分而治之，逐步调整”的方法，在一些比较难以 解决的复杂问题中已经显示出优越性。 • 在经济管理决策中，有些管理决策问题可以按时序或空 间演变划分成多个阶段 ，呈现出明显的阶段性； • 于是可把这类决策问题分解成几个相互联系的阶段，每 个阶段即为一个子问题； • 原有问题的求解就化为逐个求解几个简单的阶段子问题； • 每个阶段的决策一旦确定，整个决策过程也随之确定， 此类问题称为多阶段决策问题。
9
广东轻工职业技术学院
SHUFE
[例4.1] 线性规划问题
• max f (X1,X2)＝8 X1 ＋9 X2
s.t
4X1＋2X2 ≤12 X1≥0，X2≥0
3.1
3.2
这个问题的求解很简单，直观处理便可以找出最这个
问题的求解很简单，直观处理便可以找出最优解，因为目 标函数为X1， X2的线性函数，且系数均为正值， X2的系 数比X1的系数大，所以最优解中的X2 的取值要尽量大， X1 取值要相对较小，再分析约束条件，得：
SHUFE
二、动态规划的基本概念
• 动态规划数学模型由阶段、状态、决策与策略、 状态转移方程及指标函数等5个要素组成。 • 为了理解动态规划的解题思路，
8
广东轻工职业技术学院
SHUFE
1.动态规划决策过程划分
根据多阶段决策过程的时间参量是离散的还是连 续的，动态规划过程可分为：离散决策过程与连 续决策过程； 根据决策过程的演变是确定性的还是随机性的， 可分为：确定性、随机性的决策过程。 这样组合起来就有离散确定性、离散随机性、连 续确定性、连续随机性 四种决策过程模型。 有些决策过程的阶段数是固定的，称为定期的决 策过程， 有些决策过程的阶段数是不固定的或可以有无限 多阶段数，分别称为不定期或无期的决策过程。
10
X1＝0， X2 ＝6 F＝max f(X1， X2) ＝ 54。
广东轻工职业技术学院
目标函数最优值为：
SHUFE
运用动态规划的方法来处理这个问题
从形式上我们把问题分解为两个子问题，每次只考虑一 个变量。 第一阶段，从形式上考虑X1，由约束条件（3.2）知,第一 阶段的X1的取值范围应为：0≤4X1≤12， 其对目标函数的贡献为R1＝8X1。 当第一阶段 X1形式取值确定后，在下一阶段X2的变化范 围是： 0≤2 X2 ≤12－4X1 在此基础上，在形式上考虑X2 ，它对目标函数的贡献为 R2＝9X2。
4
广东轻工职业技术学院
SHUFE
任务一：动态规划问题概述
动态规划是把多阶段决策问题作为研究对象。 所谓多阶段决策是指可将问题求解的全过程划分 为若干个互相联系的阶段 (即将问题划分为许多个 互相联系的子问题)，在它的每一阶段都需要作出 决策，并且在一个阶段的决策确定以后再转移到 下一个阶段。 在决策过程中，往往前一个阶段的决策要影响到 后一阶段的决策，从而影响整个过程。 这类把一个问题划分成若干个相互联系的阶段并 选取其最优策略的问题就是多阶段决策问题。
SHUFE
第四章 动态规划及其应用
• 【学习目标】 • 知识目标 1.了解动态规划的作用与意义以及在实际中的应用 2.掌握动态规划的基本方法以及动态规划的建模 3.掌握动态规划是规划论的一个重要分支，理解它与 传统的解题不同方法； 4.掌握动态规划的顺序及逆序解法。
1
广东轻工职业技术学院
SHUFE
• • •
3
广东轻工职业技术学院
SHUFE
• 动态规划是解决多阶段决策过程最优化问题的一种方法。 • 该方法在工程技术、企业管理、物流规划与管理以及军事等部门都 有广泛的应用，并取得了显著的效果。 • 在物流管理中，动态规划可以解决最优路径问题、生产计划与库存、 资源分配问题、装载排序、投资及生产过程的最优控制等问题。 • 它的独特解题思路，在处理某些优化问题时，比线性规划或非线性 规划方法更有效。 • 动态规划的优点是可把一个N维Fra Baidu bibliotek化问题化成N个一维优化问题求 解；求得最优解以后，可得所有子问题的最优解。 • 动态规划的缺点是没有统一的处理方法，不同的问题具有不同的模 型，采用不同的求解方法，而且求解技巧要求比较高；状态变量维 数不能太高，一般情况下变量维数小于10。
• 能力目标 • 1. 能够结合实际情况建立动态规划模型 ，把一个复杂的 问题，划分为一系列小问题，以便通过解这些小问题来 求得全部问题的解决 • 2. 能够应用顺序及逆序解法求解简单的投资分配问题、 货物配装问题、最短路径问题以及生产与存储问题
2
广东轻工职业技术学院
SHUFE
【项目导入】
• • • • 机械挖掘金矿问题 两个金矿A,B分别有存储量x，y，现有一部开矿机器。 如果开采金矿A，则以概率P1得储量x的r1倍（0< r1<1），并且 机器没有损坏，可以继续再去开采金矿A或B。同时又以概率1- P1 宣告失败，机器报废，也得不到金子； 如果把这部开矿机器用以开采金矿B，则以概率P2得到储量y的 r2倍（0<r2<1），并且机器没有损坏，可以继续再去开采金矿 A或 B，同时又以概率1- P2宣告失败，机器报废，也得不到金子。 把机器用于开采金矿A或者B，如果机器没有损坏，将继续把机 器用于开采金矿A或者B，直到机器损坏，问应该如何选择开矿的 序列使获得金子的期望值最大。 讨论题： 1. 运筹学的产生是不是属于偶然现象？ 2. 运筹学与物流的结合应用中间有什么必然联系？
5
广东轻工职业技术学院
SHUFE
一、动态规划问题提出
• 1951年，美国数学家贝尔曼（R· Bellman，1920—1984） 研究了一类多阶段决策问题的特征，提出了解决这类问 题的基本原理。在研究、解决了某些实际问题的基础上， 他于1957年出版了《动态规划》这一名著。本章将简要 介绍动态规划的思想方法及其应用。 • 由于动态规划与“时间”关系很密切，随着时间过程的 发展而决定各阶段的决策，产生一个决策序列，这就是 “动态”的意思。 • 然而它也可以处理与时间无关的静态问题，只要在问题 中人为地引入“时间”因素，将问题看成多阶段的决策 过程即可。
广东轻工职业技术学院
• 动态规划解决问题的基本思路：把整体比较复杂的大问 题划分成一系列较易于解决的小问题，通过逐个求解， 最终取得整体最优解。 • 这种“分而治之，逐步调整”的方法，在一些比较难以 解决的复杂问题中已经显示出优越性。 • 在经济管理决策中，有些管理决策问题可以按时序或空 间演变划分成多个阶段 ，呈现出明显的阶段性； • 于是可把这类决策问题分解成几个相互联系的阶段，每 个阶段即为一个子问题； • 原有问题的求解就化为逐个求解几个简单的阶段子问题； • 每个阶段的决策一旦确定，整个决策过程也随之确定， 此类问题称为多阶段决策问题。
9
广东轻工职业技术学院
SHUFE
[例4.1] 线性规划问题
• max f (X1,X2)＝8 X1 ＋9 X2
s.t
4X1＋2X2 ≤12 X1≥0，X2≥0
3.1
3.2
这个问题的求解很简单，直观处理便可以找出最这个
问题的求解很简单，直观处理便可以找出最优解，因为目 标函数为X1， X2的线性函数，且系数均为正值， X2的系 数比X1的系数大，所以最优解中的X2 的取值要尽量大， X1 取值要相对较小，再分析约束条件，得：
SHUFE
二、动态规划的基本概念
• 动态规划数学模型由阶段、状态、决策与策略、 状态转移方程及指标函数等5个要素组成。 • 为了理解动态规划的解题思路，
8
广东轻工职业技术学院
SHUFE
1.动态规划决策过程划分
根据多阶段决策过程的时间参量是离散的还是连 续的，动态规划过程可分为：离散决策过程与连 续决策过程； 根据决策过程的演变是确定性的还是随机性的， 可分为：确定性、随机性的决策过程。 这样组合起来就有离散确定性、离散随机性、连 续确定性、连续随机性 四种决策过程模型。 有些决策过程的阶段数是固定的，称为定期的决 策过程， 有些决策过程的阶段数是不固定的或可以有无限 多阶段数，分别称为不定期或无期的决策过程。
10
X1＝0， X2 ＝6 F＝max f(X1， X2) ＝ 54。
广东轻工职业技术学院
目标函数最优值为：
SHUFE
运用动态规划的方法来处理这个问题
从形式上我们把问题分解为两个子问题，每次只考虑一 个变量。 第一阶段，从形式上考虑X1，由约束条件（3.2）知,第一 阶段的X1的取值范围应为：0≤4X1≤12， 其对目标函数的贡献为R1＝8X1。 当第一阶段 X1形式取值确定后，在下一阶段X2的变化范 围是： 0≤2 X2 ≤12－4X1 在此基础上，在形式上考虑X2 ，它对目标函数的贡献为 R2＝9X2。
4
广东轻工职业技术学院
SHUFE
任务一：动态规划问题概述
动态规划是把多阶段决策问题作为研究对象。 所谓多阶段决策是指可将问题求解的全过程划分 为若干个互相联系的阶段 (即将问题划分为许多个 互相联系的子问题)，在它的每一阶段都需要作出 决策，并且在一个阶段的决策确定以后再转移到 下一个阶段。 在决策过程中，往往前一个阶段的决策要影响到 后一阶段的决策，从而影响整个过程。 这类把一个问题划分成若干个相互联系的阶段并 选取其最优策略的问题就是多阶段决策问题。
SHUFE
第四章 动态规划及其应用
• 【学习目标】 • 知识目标 1.了解动态规划的作用与意义以及在实际中的应用 2.掌握动态规划的基本方法以及动态规划的建模 3.掌握动态规划是规划论的一个重要分支，理解它与 传统的解题不同方法； 4.掌握动态规划的顺序及逆序解法。
1
广东轻工职业技术学院
SHUFE
• • •
3
广东轻工职业技术学院
SHUFE
• 动态规划是解决多阶段决策过程最优化问题的一种方法。 • 该方法在工程技术、企业管理、物流规划与管理以及军事等部门都 有广泛的应用，并取得了显著的效果。 • 在物流管理中，动态规划可以解决最优路径问题、生产计划与库存、 资源分配问题、装载排序、投资及生产过程的最优控制等问题。 • 它的独特解题思路，在处理某些优化问题时，比线性规划或非线性 规划方法更有效。 • 动态规划的优点是可把一个N维Fra Baidu bibliotek化问题化成N个一维优化问题求 解；求得最优解以后，可得所有子问题的最优解。 • 动态规划的缺点是没有统一的处理方法，不同的问题具有不同的模 型，采用不同的求解方法，而且求解技巧要求比较高；状态变量维 数不能太高，一般情况下变量维数小于10。
• 能力目标 • 1. 能够结合实际情况建立动态规划模型 ，把一个复杂的 问题，划分为一系列小问题，以便通过解这些小问题来 求得全部问题的解决 • 2. 能够应用顺序及逆序解法求解简单的投资分配问题、 货物配装问题、最短路径问题以及生产与存储问题
2
广东轻工职业技术学院
SHUFE
【项目导入】
• • • • 机械挖掘金矿问题 两个金矿A,B分别有存储量x，y，现有一部开矿机器。 如果开采金矿A，则以概率P1得储量x的r1倍（0< r1<1），并且 机器没有损坏，可以继续再去开采金矿A或B。同时又以概率1- P1 宣告失败，机器报废，也得不到金子； 如果把这部开矿机器用以开采金矿B，则以概率P2得到储量y的 r2倍（0<r2<1），并且机器没有损坏，可以继续再去开采金矿 A或 B，同时又以概率1- P2宣告失败，机器报废，也得不到金子。 把机器用于开采金矿A或者B，如果机器没有损坏，将继续把机 器用于开采金矿A或者B，直到机器损坏，问应该如何选择开矿的 序列使获得金子的期望值最大。 讨论题： 1. 运筹学的产生是不是属于偶然现象？ 2. 运筹学与物流的结合应用中间有什么必然联系？
5
广东轻工职业技术学院
SHUFE
一、动态规划问题提出
• 1951年，美国数学家贝尔曼（R· Bellman，1920—1984） 研究了一类多阶段决策问题的特征，提出了解决这类问 题的基本原理。在研究、解决了某些实际问题的基础上， 他于1957年出版了《动态规划》这一名著。本章将简要 介绍动态规划的思想方法及其应用。 • 由于动态规划与“时间”关系很密切，随着时间过程的 发展而决定各阶段的决策，产生一个决策序列，这就是 “动态”的意思。 • 然而它也可以处理与时间无关的静态问题，只要在问题 中人为地引入“时间”因素，将问题看成多阶段的决策 过程即可。