第9章多阶段动态规划决策
合集下载
动态规划
f1(A)=MIN r(A,B1)+ f2(B1) r(A,B2)+ f2(B2)
=MIN（3+12，4+10）=14
最短路线： A—— B2 ——C2——D2——E2——F 最优解： d1*(A)= B2，最短用时14
1
B2
C3
4 2
D3
5
E2
4
A
2
C2
3 3 3
D2
2
F
3
B1
5 4
C1
4
2
E1
最优解： d2*(B1)= C1
1
B2
C3
4 2
D3
5
E2
4
A
2
C2
3 3 3
D2
2
F
3
B1
5 4
C1
4
2
E1
4
3
D1
A
B
C
D
E
F
如果S2=B2，则下一步能取C2或C3，故
f2(B2)=MIN r(B2,C2)+ f3(C2)
r(B2,C3)+ f3(C3) =MIN（2+8，1+11）=10
最短路线： B2 ——C2——D2——E2——F
1
B2
C3
4 2
D3
5
E2
4
A
2
C2
3 3 3
D2
2
F
3
B1
5 4
C1
4
2
E1
4
3
D1
A
B
C
D
E
F
如果S4=D3，则下一步只能取E2，故
=MIN（3+12，4+10）=14
最短路线： A—— B2 ——C2——D2——E2——F 最优解： d1*(A)= B2，最短用时14
1
B2
C3
4 2
D3
5
E2
4
A
2
C2
3 3 3
D2
2
F
3
B1
5 4
C1
4
2
E1
最优解： d2*(B1)= C1
1
B2
C3
4 2
D3
5
E2
4
A
2
C2
3 3 3
D2
2
F
3
B1
5 4
C1
4
2
E1
4
3
D1
A
B
C
D
E
F
如果S2=B2，则下一步能取C2或C3，故
f2(B2)=MIN r(B2,C2)+ f3(C2)
r(B2,C3)+ f3(C3) =MIN（2+8，1+11）=10
最短路线： B2 ——C2——D2——E2——F
1
B2
C3
4 2
D3
5
E2
4
A
2
C2
3 3 3
D2
2
F
3
B1
5 4
C1
4
2
E1
4
3
D1
A
B
C
D
E
F
如果S4=D3，则下一步只能取E2，故
多阶段决策问题与动态规划
s1=1000, x1*=0 s2=900, x2*=0 s3=810, s4=576, x4*=576 s5=397, x5*=397 x3*=810
4.4 动态规划的应用(一)
1 求解静态规划问题
某些静态规划问题可用动态规划法来求解。
例 用动态规划法求解 max z=x12.x22.x3 x1+x2+x3=c xi≥0 i=1,2,3
值函数； (6) 写出递推方程和边界条件，建立基本方程； (7) 按照基本方程递推求解。
以上步骤是动态规划法处理问题的基本步骤，其中 的前六步是建立动态规划模型的步骤。
例：机器负荷问题 某种机器可以在高低两种 不同的负荷下进行生产．在高负荷下进行生产 时，产品的年产量g和投入生产的机器数量u的 关系为 g＝8u, 这时机器的年完好率为a=0.7 ．在低负荷下生产时，产品的年产量h和投入 生产的机器数量v的关系为h＝5v, 这时机器的 年完好率为b=0.9．假定开始生产时完好的机 器数量为s1，要求制定一个五年计划,在每年 开始时决定机器在两种不同负荷下生产的数量 ,使五年内产品的总产量最高。
解: (1)按年数划分为5个阶段，k=1,2,3,4,5
(2)取第k年初完好的机器数sk为状态变量, s(31)=取10第00k年投入高负荷的机器数xk为决策变量, 0≤xk≤sk (4)状态转移方程为 sk+1=0.7xk+0.9(sk-xk)=0.9sk-0.2xk
(5)指标函数为Vk,5=∑[8xj+5(sj-xj)]=∑(5sj+3xj)
(6)基本方程为
fk(sk)＝ max {5sj+3xj +fk+1(sk+1)}
k=5,4,3,2,1
最优化多目标规划动态规划
最优化多目标规划动态规划多目标规划是指在决策问题中同时考虑多个目标的优化问题，其目标可能相互矛盾或者相互关联。
动态规划是一种通过将问题划分为子问题并利用子问题的最优解来求解整体最优解的方法。
将多目标规划与动态规划结合起来，可以解决一些具有多个相互关联目标的决策问题。
下面将介绍最优化多目标规划动态规划的原理和应用举例。
1.定义决策变量：确定需要作出的决策，并定义决策变量。
2.建立状态转移方程：将问题划分为多个子问题，并建立它们之间的状态转移方程。
状态转移方程描述了子问题之间的关系，通过子问题之间的转移可以得到整体问题的最优解。
3.确定初始状态和边界条件：确定初始状态和边界条件，即子问题的初始状态和边界条件，用于递归地求解子问题。
4.递推求解：使用动态规划的递推求解方法，从初始状态开始，逐步求解子问题，直到求解出整体的最优解。
5.分析最优解：根据求解结果分析得到的最优解，并根据需要进行调整和优化。
假设有一家公司要进行产品的生产安排，公司有多个产品需要安排生产，每个产品有不同的生产时间和利润，同时公司还要考虑生产能力的限制和产品订单的要求。
问题可以建立如下的数学模型：决策变量：对于每个产品，决定其生产数量。
目标函数：最大化总利润。
约束条件：生产时间不能超过生产能力限制，同时生产数量要满足订单要求。
利用动态规划方法可以将问题分解为多个子问题，以子问题的最优解作为动态规划的递推依据。
具体步骤如下：1.将产品的生产时间和利润作为状态，根据时间顺序划分为多个子问题。
2.定义状态转移方程，将子问题的最优解与前面子问题的最优解关联起来。
3.初始状态为生产时间为0的情况，边界条件为订单要求。
4.递推求解，根据状态转移方程求解每个子问题的最优解。
5.分析最优解，确定每个产品的生产数量，以及总利润。
通过最优化多目标规划动态规划的方法，可以在满足多个目标和约束条件的情况下，求解出最优的决策方案。
这种方法可以应用于生产调度、资源分配、物流配送等领域，帮助企业做出合理的决策，达到优化目标。
运筹学及其应用9.1 多阶段决策过程最优化问题举例
6
t
使 S = ∑ ∑ f ( x i ) + 16 u j =
i =1
j =1
Байду номын сангаас
6
∑ f ( xi ) + 16(5x1 + 4 x2 + 3x3 + 2 x4 + x5 − 185)
i =1
为最小，其中
f
(xi )
=
110200xxii
,0 −
≤ xi ≤ 15 300,15 < xi
≤
30
6
例1
因此，我们的问题就变成：求y,y1,y2,…,yn-1，以使 g(y)+h(x-y)+g(y1)+h(x1-y1)+…+g(yn-1)+h(xn-1-yn-1) 达到最大，且满足条件
x1=ay+b(x-y) x2=ay1+b(x1-y1)
……… xn-1=ayn-2+b(xn-2-yn-2) yi与xi均非负,i=1,2, …,n-1
5
例1
若以y与x-y分别投入生产方式A与B，在第一 阶段生产后回收的总资源为x1=ay+b(x-y)，再将x1 投入生产方式A和B，则可得到收入g(y1)+h(x1-y1)， 继续回收资源x2=ay1+b(x1-y1)，……
若上面的过程进行n个阶段，我们希望选择n 个变量y,y1,y2,…,yn-1，使这n个阶段的总收入最大。
第二种方法即所谓“局部最优路径”法，是 说某人从k出发，他并不顾及全线是否最短，只是选 择当前最短途径，“逢近便走”，错误地以为局部 最优会致整体最优，在这种想法指导下，所取决策
必是v1→v2→v5→ v9→ v10 ，全程长度是30；显
第九章多阶段决策和序贯决策
第一步，画出决策树图。
-700
2
建大厂
4
销路好0.7
销路差0.3
5
销路好0.9 销路差0.1
1
-400
建小厂
8
扩建
-300
6
销路好0.7
3
不扩建
9
销路差0.3
7
210
-40
-40
销路好0.9
210
销路差0.1
-40
销路好0.9
90
销路差0.1
60
60
3年内
7年内
第二步，从右向左计算各点的期望收益值。
第二阶段决策：产量不变，还是 增加产量。
30 5
82 买专利 决
策 自行研制
65
失败 0.2
95 产量不变 6
82
3
1 成功0.8
95 7
增加产量
60
63 成功0.6
85 产量不变 4
8
2
85
量 增加产
失败0.4
9
30
11
低0.1 中0.5 高0.4 低0.1
中0.5 高0.4
低0.1 中0.5 高0.4 低0.1
方案 收益 状态
按原工 艺方案 生产
(万元)
买专利(0.8)
产量 不变
增产
自研(0.6)
产量 不变
增产
价低 0.1 -100 -200 -300 -200 -300
中 0.5 0 50 50 0 -250
价高 0.4 100 150 250 200 600
第一阶段决策问题：购买专利， 还是自行研制
200
销路不好(0.2)
运筹学动态规划
许多问题用动态规划的方法去处理，常比 线性规划或非线性规划方法更有效。特别对于 离散性的问题。
特别注意：动态规划是求解某类问题的一种 方法，是考察问题的一种途径，而不是一种算法 （如线性规划是一种算法）。
因而，动态规划没有标准的数学表达式和明 确定义的一组规则，而必须对具体问题进行具体 分析处理．
动态规划
8.1 多阶段决策过程及实例 8.2 动态规划的基本概念和
基本方程 8.3 动态规划的最优性定理 8.4 动态规划与静态规划关系
综述
动态规划是运筹学的一个分支，是解决多 阶段决策过程最优化问题的一种数学方法。
该方法是由美国数学家贝尔曼(R.Bellman)等 人在本世纪50年代初提出的。
他们针对多阶段决策问题的特点，把多阶段 决策问题变换为一系列互相联系单阶段问题，然 后逐个加以解决。
1
2
3
始点
5
B1
6 3
A
4 B2 4 6
2
5
B3 6
C1
1 2
2
C2 2
3
C3
3
4 终点
D1 2
D2 3
E
4
D3
2、状态
5
B1
6 3
A 4 B246
25
B3 6
C1
1 2
2
C2 2
C3 3 3
D1 2
D2 3 E 4
D3
各个阶段开始时所处的自然状况和客观条件称为
状态,描述了研究问题过程的状况(称不可控因素).
一些与时间没有关系的静态规划（如线性 规划，非线性规划）问题，只要人为地引进 “时间”因素，也可把它视为多阶段决策问题， 用动态规划方法去处理。
特别注意：动态规划是求解某类问题的一种 方法，是考察问题的一种途径，而不是一种算法 （如线性规划是一种算法）。
因而，动态规划没有标准的数学表达式和明 确定义的一组规则，而必须对具体问题进行具体 分析处理．
动态规划
8.1 多阶段决策过程及实例 8.2 动态规划的基本概念和
基本方程 8.3 动态规划的最优性定理 8.4 动态规划与静态规划关系
综述
动态规划是运筹学的一个分支，是解决多 阶段决策过程最优化问题的一种数学方法。
该方法是由美国数学家贝尔曼(R.Bellman)等 人在本世纪50年代初提出的。
他们针对多阶段决策问题的特点，把多阶段 决策问题变换为一系列互相联系单阶段问题，然 后逐个加以解决。
1
2
3
始点
5
B1
6 3
A
4 B2 4 6
2
5
B3 6
C1
1 2
2
C2 2
3
C3
3
4 终点
D1 2
D2 3
E
4
D3
2、状态
5
B1
6 3
A 4 B246
25
B3 6
C1
1 2
2
C2 2
C3 3 3
D1 2
D2 3 E 4
D3
各个阶段开始时所处的自然状况和客观条件称为
状态,描述了研究问题过程的状况(称不可控因素).
一些与时间没有关系的静态规划（如线性 规划，非线性规划）问题，只要人为地引进 “时间”因素，也可把它视为多阶段决策问题， 用动态规划方法去处理。
动态规划
5 . 最短路问题：给定一个交通网络图如下，其 中两点之间的数字表示距离（或花费），试求从A点 到G点的最短距离（总费用最小）。
1 C1 3 6 8 3 D1 1 2 2 2 5 E2 2 D2 E1 3
5
A 3
B1
6
8 B2 7 6
C2
5
3
5
F1
3
4
G
C3 8 C4
3
4 D3
3
3 4 E3
6
6
F2
3.航天飞机飞行控制问题：由于航天飞机的运 动的环境是不断变化的，因此就要根据航天飞机飞 行在不同环境中的情况，不断地决定航天飞机的飞 行方向和速度（状态），使之能最省燃料和实现目 的（如软着落问题）。
不包含时间因素的静态决策问题（本质上是一 次决策问题）也可以适当地引入阶段的概念，作为 多阶段的决策问题用动态规划方法来解决。 4.线性规划、非线性规划等静态的规划问题也可 以通过适当地引入阶段的概念，应用动态规划方法 加以解决。
f k sk min d k sk , uk sk f k 1 uk sk u k Dk s k f 6 s6 0或 写 成 5 s5 d 5 s5 , F f
k 5,4,3,2,1
动态规划的基本方程（二）
D4(D1)={E1,E2},D4(D2)= {E1,E2}
D5(E1)={F}, D5(E2)={F}
4 A 5
2 B1 3 5 B2 8 7 7
⑷状态转移方程 上例中的状态转移方程sk+1=uk(sk)
C1 5 8 C2 45 3 C3 4 84 C4
D1 3 5 E1 4 6 D2 2 3 E2 1 3 D3
动态规划
… P(A)为P[3][3]，
11
分阶段递推求解过程 P[0][0] = 0;
对于阶段1: P[0][1] = P[0][0]+h[0][0] = 0+3 = 3; P[1][0] = P[0][0]+v[0][0] = 0+2 = 3; 对于阶段2
P[1][1] = min{ P[0][1]+v[0][1],P[1][0]+h[1][0]} = min{3+1, 2+2} = 4 P[0][2] = P[0][1]+h[1][0] = 3+2 = 5 P[2][0] = P[1][0]+v[1][0] = 2+4 = 6
23
递归算法
• Function Max(I,J : integer) : longint; {从当前位置开始的可得的最优值} • Var s1,s2 : Longint; {记录从左右斜线向下走的可达的最优值} • Begin • If (I>n) Or (J>I) Then Max:=0 {当前位置不存在，最优值为0} • Else • Begin • S1:=Max(I+1,j)+triangle[I,j]; {沿左斜线向下走} • S2:=Max(I+1,j+1)+triangle[I,j]; {沿右斜线向下走} • If s1>s2 then Max:=s1 Else max:=s2; {选取最优走法} • End; 24 • End;
让我们来换一个思路思考本题，因为本题是要求总和除以 ４余数最小的一条路径，我们先撇开最小余数不去管它，而 是将本题改为从点1到点４的所有路径中，求出每条路上权值 和除以４的不同余数的状态。 我们设一个数组can[I,j]表示从点1至点Ｉ可不可以求 出一条路径是该路径的权值总和除以４的余数为Ｊ，那么又 可以得出一个方程：
11
分阶段递推求解过程 P[0][0] = 0;
对于阶段1: P[0][1] = P[0][0]+h[0][0] = 0+3 = 3; P[1][0] = P[0][0]+v[0][0] = 0+2 = 3; 对于阶段2
P[1][1] = min{ P[0][1]+v[0][1],P[1][0]+h[1][0]} = min{3+1, 2+2} = 4 P[0][2] = P[0][1]+h[1][0] = 3+2 = 5 P[2][0] = P[1][0]+v[1][0] = 2+4 = 6
23
递归算法
• Function Max(I,J : integer) : longint; {从当前位置开始的可得的最优值} • Var s1,s2 : Longint; {记录从左右斜线向下走的可达的最优值} • Begin • If (I>n) Or (J>I) Then Max:=0 {当前位置不存在，最优值为0} • Else • Begin • S1:=Max(I+1,j)+triangle[I,j]; {沿左斜线向下走} • S2:=Max(I+1,j+1)+triangle[I,j]; {沿右斜线向下走} • If s1>s2 then Max:=s1 Else max:=s2; {选取最优走法} • End; 24 • End;
让我们来换一个思路思考本题，因为本题是要求总和除以 ４余数最小的一条路径，我们先撇开最小余数不去管它，而 是将本题改为从点1到点４的所有路径中，求出每条路上权值 和除以４的不同余数的状态。 我们设一个数组can[I,j]表示从点1至点Ｉ可不可以求 出一条路径是该路径的权值总和除以４的余数为Ｊ，那么又 可以得出一个方程：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
•15
0
•E
•16 0
第9章多阶段动态规划决策
•9.1 • 多阶段决策与动态规划
o 多阶段决策：决策过程分为若干个互相联系 的阶段，在每一个阶段都需要作出决策，从 而使整个过程达到最好的效果。
•状 态
•决策
•状 态
1
•决策
•状 态
2
•状 •…… 态
•决策 n
o 多阶段决策过程的分类：
离散确定性，连续确定性；离散随机性，连续随机性.
第9章多阶段动态规划决策
最短路线问题—基本概念
•17 0
•15
•A 0
•11 0
•B
•30
1
0
•25 0
•C
•20
1
0
•20
•30
0
0
•D 1
•40 0
•B
•18
2
0
•28 0
•C
•30
2
0
•20
•28
0
0
•D 2
•20 0
•B
•30
3
0
•C
•17
•D
3
0
3
•10 0
•15
0
•E
•16 0
•k=1
第9章多阶段动态规划决策
登山线路问题
•17 0
•15
•A 0
•11 0
•B
•30
1
0
•25 0
•C
•20
1
0
•20
•30
0
0
•D 1
•40 0
•B
•18
2
0
•28 0
•C
•30
2
0
•20
•28
0
0
•D 2
•20 0
•B
•30
3
0
•C
•17
•D
3
0
3
•10 0
•15
0
•E
•16 0
第9章多阶段动态规划决策
•7
元
•1 4
•8
元
•1 6
•k=1
•1 4
•1 5
•k=2
•1 6
•1 5
•k=3
•1
•1
8
8
•1 4
•k=4
第9章多阶段动态规划决策
•1 4
•k= 5
•最优策略：如果第1年定价8元，第2年定价8元，第3年定价 •7元，第4年定价6元，第5年定价5元。总利润92万元。
•5 元
•1 0
•1 2
•25
•最优策略：如果第1、2、3天价格为30则购进，否则等待； •第4天价格为30或34则购进，否则第5天购买。
第9章多阶段动态规划决策
3rew
演讲完毕，谢谢听讲!
再见，see you again
2020/11/27
第9章多阶段动态规划决策
k = n, n-1, ……, 1 f n+1(Sn+1 )=0
第9章多阶段动态规划决策
•最短路线问题的求解：“标号法”
•20
•8
•5
•B
•12
•C
•3
•D
1
1
1
•19 •2
•14
•14 •6
•9
•7 •6
•5
•A
•B
•10
2
•C 2
•4 •5
•1
•19
•12
•13
•12 •8
•2
•B
•11
3
•C
•9.2 • 动态规划的基本概念和方程
o 阶段：根据问题的时间和空间的自然特征进 行划分，用 k 表示。
o 状态：每个阶段开始所处的自然状况或客观 条件，用 Sk 表示。
o 决策：当过程处于某一阶段的某个状态时， 可以作出的决定，用 dk (Sk )表示。
o 指标函数：当过程处于某一阶段某个状态的 即时所得，用 Rk (Sk ,dk )表示。
第9章多阶段动态规划决策
•9.1 • 多阶段决策与动态规划
o 动态规划： 运筹学的一个分支，它是解决多阶段决策过程最优 化的一种数学方法。1951年美国数学家贝尔曼 （R.Bellman）等将多阶段决策问题变换为一系列 互相联系的单阶段问题，然后逐个加以解决产生。
o 基本思想： 从最后一段开始，用由后向前逐步递推的方法，从 终点逐段向始点方向寻找最优路经的方法.
f k(Sk )= min{Rk(Sk, dk )+ f k+1(Sk+1 )} k = n, n-1, ……, 1
f n+1(Sn+1 )=0
第9章多阶段动态规划决策
•9.4 • 随机性多阶段决策
•某厂为安排生产需要在月初五日内采购一批染料， •根据市场调查，每天染料价格波动及概率如下表。 •试求每月在哪一天采购为宜？
第9章多阶段动态规划决策
•某厂为安排生产需要在月初五日内采购一批染料， •根据市场调查，每天染料价格波动及概率如下表。 •试求每月在哪一天采购为宜？
单价 （万元/千克）
概率
30 0.22
34 0.40
40 0.38
采购日期
5
Байду номын сангаас
4
3
2
1
期望价格
（万元/ 千克）
35.4
33.65 32.85 32.22 31.73
•10
•D
3
2
•5
•E
•2
•最短路线:A→B2 →C1 →D1 →E
第9章多阶段动态规划决策
最短路线问题的性质：从最短路上的任一点到终点 的部分道路也一定是从该点到终点的最短子路。
•17 0
•15
•A 0
•11 0
•B
•30
1
0
•25 0
•C
•20
1
0
•20
•30
0
0
•D 1
•40 0
•B
•18
2
•1
•2
•2
5
0
5
•6元
•1 2
•1 3
•45
•1
•2
•2
6
0
4
•7
元
•1 4
•92
•8
元
•1 6
•k=1
•1 4
•76
•1 5
•k=2
•61
•1 6
•1 5
•k=3
•1
•1
8
8
•1 4
•k=4
第9章多阶段动态规划决策
•1 4
•k= 5
•9.4 • 随机性多阶段决策
o 最优指标函数方程： •最优指标期望值
第9章多阶段动态规划决 策
2020/11/27
第9章多阶段动态规划决策
最短路线问题
•17 0
•15
•A 0
•11 0
•B
•30
1
0
•25 0
•C
•20
1
0
•20
•30
0
0
•D 1
•40 0
•B
•18
2
0
•28 0
•C
•30
2
0
•20
•28
0
0
•D 2
•20 0
•B
•30
3
0
•C
•17
•D
3
0
3
•10 0
0
•28 0
•C
•30
2
0
•20
•28
0
0
•D 2
•20 0
•B
•30
3
0
•C
•17
•D
3
0
3
•10 0
•15
0
•E
•16 0
第9章多阶段动态规划决策
•9.3 • 确定性多阶段决策
•5 元
•1 0
•1•“新产品定价•1问题－Page2•214”
•2
2
5
0
5
•6元
•1 2
•1 3
•1
•2
6
0
•2 4
•k=2
•k=3
•k=4
第9章多阶段动态规划决策
•9.2 • 动态规划的基本概念和方程
贝尔曼（R.Bellman）的最优性原理：“任 何前一阶段决策结果所得的状态，应能使其 同其余阶段的决策共同构成最优决策。”
o 最优指标函数递推方程： f k(Sk )= min/max{Rk(Sk, dk )+ f k+1(Sk+1 )}
单价:X （万元/千克）
概率
30 0.22
34 0.40
40 0.38
•“原材料采购 •价格问题 •Page216”
采购期望价格(最优指标)函数方程： f k(xk )= min{ Dk·xk+ Dk+1·f k+1(xk+1 )} k = n, n-1, ……, 1 f n+1(xn+1 )=0