精心整理的运筹学重点7.动态规划

( u k ,u k +1 ,...un )
(u k , uk +1 ,... un )
∑V ( S , u )
j =k j j j
n
Opt Vk , n ( s k ,uk , sk +1 , uk +1 ) ， 其 中
Opt
( u k ,u k +1 ,...un )
可以表示为
Max 或
( u k ,u k +1 ,...un )
Sk S S ], xk 为整数} 其中[ k ] 表示不超过 k 的最大整 ak ak ak
数。 阶段指标函数Vk (s k ,uk ) = Ck ( xk ) 表示第 ｋ 阶段装入第 Ｋ 种商品 xk 件时的最大价值，基 本方程如下：
f k ( sk ) = MaxS {Ck ( xk ) + f k +1( S k +1 )} xk =0,1,...,[ k ] ak f (s ) = 0 k +1 k +1
2 令 h2 ( S2 , x2 ) = x2 ⋅ ( S2 − x2 )
∂h2 ( S2 , x2 ) 2 2 = 2 x2 S 2 − 3 x2 = 0 得 x2 = S 2 , x2 = 0(舍) ∂x2 3
由于
∂h22 ( S2 , x2 ) 2 | 2 = 2 S2 − 6 x2 | 2 =-2 S2 < 0 ，所以 x2 = S 2 是极大值点。 2 x2 = S 2 x2 = S2 ∂x2 3 3 3 2 2 4 3 * 2 f 2 ( s2 ) = S22 ( S 2 − S2 ) = S 2 , x2 = S2 3 3 27 3
f 1( s1) = Max { V1 ( x1 ) ⋅ f 2 ( s2 )} = Max {x1 ⋅
( x1 ∈D 1 ( S1 )) ( 0 ≤ x1 ≤S1 ))
３）当 Ｋ＝１ 时，
4 3 4 S2 } = Max {x1 ⋅ ( S1 − x1) 3} ( 0 ≤ x1 ≤ S1 )) 27 27
Min ，最优指标函数表示到第 ｎ 阶段的终止状态时最优指标函数。
２．动态规划基本方程 设第 ｋ 阶段处于状态 Sk ，决策是 uk ( S k ) ，状态转移方程为 Sk +1 = Tk ( Sk , u k ) ，Ｋ 阶段和 Ｋ＋１ 阶段的递推关系式可以写成：
f ( s ) = Opt Vk , n ( s k , uk , sk +1 , uk +1 ) ⊗ f k +1( s k +1) k k ( uk , u k+1 ,...un ) f ( s ) = 0 或 1( 边界条件 ) n+1 n+1
4 ( S1 − x1 )3 27 1 * 同理可以解得 x1 = S1 4 由于 S1 未知，所以为 S1 再求极值： 1 1 max f1 ( s1 ) = max{ S1} ，显然 S1 = C 时 f 1( s1) 取得最大值 C 4 。 0 ≤ S1 ≤C 0 ≤ S1 ≤C 64 64 h1( S1 , x1 ) = x1 ⋅
{g k ( xk ) + f k +1 ( Sk +1 )} f k ( sk ) = 0Max ≤ xk ≤ Sk f k +1 ( sk +1 ) = 0
由后往前推， f 1( a) 即为所求问题最大收益。
例 ３ 背包问题 旅行者可带物品重量限度为 ａ 千克，现有 ｎ 种物品可供选择，设第 ｉ 种物品的单件重量 为 ai 千克，在旅行过程中的价值是携带数量 xi 的函数 Ci ( xi ) ，问应该如何安排携带各种 物品的数量，使得总价值最大？
MaxZ = C1 ( x1 ) + C2 ( x2 ) + ... + Cn ( xn )
数学模型如下： a1x1 + a2 x2 + ... + an xn ≤ a
xi ≥ 0且为整数，i = 1,2,..., n
解： 按装入物品的种类划分阶段 Ｋ＝１，２，…ｎ 状态变量 Sk 表示装入第 ｋ 种物品至第 ｎ 种物品的总重量。 决策变量 uk 表示装入第 ｋ 种物品的件数。 状态转移方程 Sk +1 = Sk − ak xk 允许决策集合 Dk ( Sk ) = { xk | 0 ≤ xk ≤ [
＝max 0 + f 2 ( 5), 12 + f 2 ( 0) ( x 3 = 1) ( x3 =0 )
＝max 0 + f 1 ( 5), Байду номын сангаас + f 1 ( 3), 10 + f 1 (1) ( x 2 =1 ) ( x2 = 2 ) ( x2 = 0 )
5 f 2 ( 0) = max0 { 5 x 2 + f 1 (0 − 2 x 2 )} f1 ( 5) = c1 x1 = 8 × = 8 0≤ x 2 ≤ a2 3 x2 整 数 3 f1 ( 3 ) = c1 x1 = 8 × = 8 ＝max0{ 5 x 2 + f 1 ( 0 − 2 x2 )} 3 0≤ x 2 ≤ 2 x 2整 数 1 f1 (1) = c1 x1 = 8 × = 0 { } ＝max 5 x2 + f 1 (0 − 2 x 2 ) 3 x 2＝ 0 0 f1 ( 0) = c1 x1 = 8 × = 0 ＝max 0 + f 1 ( 0) = f 1 ( 0) 3 ( x2 = 0) ∴ f (5 ) = max 0 + f 1 ( 5), 5 + f 1 ( 3), 10 + f 1 (1) 2 ( x2 = 1) ( x2 = 2) ( x2 = 0) = max {8, 5 + 8, 10} = 13 ( x1 = 1, x 2 = 1) f 2 ( 0) ＝max 0 + f1 ( 0) = f 1 (0) = 0 ( x1 = 0, x 2 = 0) ( x2 =0 ) ∴ f 3 (5 ) ＝max 0 + f 2 (5 ), 12 + f 2 ( 0) ( x 3 =1 ) ( x3 = 0) = max { 0 + 13, 12 + 0 } = 13 ( x1 = 1, x2 = 1, x3 = 0) 所以，最优解为 Ｘ ＝（１ ． １ ． ０），最优值为 Ｚ ＝ １３。
2 各阶段指标函数：V1 ( x1 ) = x1 ,V2 ( x2 ) = x2 , V3 ( x3 ) = x3 ；
最优指标函数：
Vk ( xk ) ⋅ f k +1( sk +1) f k ( sk ) = ( uk Max ,u k+ 1 ,...un ) f4 ( s4 ) = 1
第七章 动态规划 １．基本概念 １）阶段 k 。 ２）状态 Sk 各阶段开始，起点，表示第 ｋ 阶段的状态变量。 ３） 决 策 uk ( S k ) 表 示 第 ｋ 阶 段 当 状 态 为 Sk 时 的 决 策 变 量 ， 取 值 在 某 一 范 围 内
uk ( Sk ) ∈ Dk (S k ) ４）策略 pk ,n ( Sk ) = { uk ( sk ), u k+1( s k +1),...un (s n )}
( x3 ∈D3 ( S 3 ))
逆序求解过程： * １）当 Ｋ＝３ 时， f 3 ( s3 ) = Max { V 3 ( x3 ) ⋅ f 4 ( s4 )} = Max x3 = S3 , x3 = S3
( x3 ∈D3 ( S3 ))
２）当 Ｋ＝２ 时，
2 2 f 2 ( s2 ) = Max { V 2 ( x2 ) ⋅ f3 ( s3 )} = Max {x2 ⋅ S3} = Max {x2 ⋅ ( S2 − x2 )} ( x2 ∈D2 ( S 2 )) (0 ≤ x2 ≤ S 2 )) (0 ≤ x2 ≤ S2 ))
５）状态转移方程：第 Ｋ 阶段状态 Sk ，做出的决策 uk ( S k ) ，则第 ｋ＋１ 阶段的状态 Sk +1 可 以确定为 Sk +1 = Tk ( Sk , u k ) ６）指标函数 Vk , n = Vk , n ( s k ,uk , s k +1 , uk +1 ) = ７） 最 优 指 标 函 数 f k ( s k ) =
一般模型为： x1 + x2 + ... +xn = a
xi ≥ 0, i = 1,2,..., n
求解： 按变量个数划分阶段 Ｋ＝１，２，…，ｎ 设决策变量 uk = x k ，表示分配给第 Ｋ 个使用者的资源数量； 状态变量 Sk 表示分配给第 Ｋ 个至第 ｋ＋１ 个使用者的总资源数量； 状态转移方程 Sk +1 = S k − xk ，其中 S1 = a 允许决策集合 Dk ( Sk ) = { xk | 0 ≤ xk ≤ Sk } 阶段指标函数Vk (s k , uk ) = g k ( xk ) 表示分配给第 Ｋ 个使用者的数量为 x k 时的收益。 最优指标函数 f k ( Sk ) 表示以数量为 Sk 的资源分配给第 Ｋ 个至第 Ｎ 个使用者所得到的的 最大收益。 动态规划的基本方程为：
反向追踪各阶段最优决策及最优值． 例 ２ 资源分配问题（投资分配） 有一种资源数量为 ａ，分配给 ｎ 个使用者，分配给第 ｉ 个使用者数量为 xi 时，相应的收 益为 g i ( xi ) ，问如何分配使得总收入最大。
MaxZ = g1 ( x1 ) + g 2 ( x2 ) + ... + g n ( xn )