动态规划2

• 当阶段k=n-1时
fn−1(sn−1) =
xn−1∈Dn (sn−1)
max[v
n−1 sn−1, xn−1
(
) ⊕ fn (sn )]
其中状态转移方程
sn = Tn−1(sn−1, xn−1).
得到最优决策xn-1=xn-1(sn-1)和最优值fn-1(sn-1)。 • 当阶段k=k时
f k ( sk ) =
因此最后可得：
* x1
* s 2 = s1 − x1
1 1 4 = c, f 1 ( s1 ) = c 4 64 2 1 1 3 * x2 = s2 = c, f2 (s 2 ) = c 3 2 16 1 1 * x3 = c , f 3 ( s3 ) = c 4 4
s3=s2-x*2=s1- x*1- x*2
5.5≤ x1 ≤10 * 1
f1(10) = max{4x1 + 2(s1 − x1)2}
0≤x1 ≤5.5
是凹函数，故比较[0,5.5]的端点
9 x = 5.5, s2 = s1 − x1 = 2 f1 (10) = 62.5
x1 = 0 x1 = 5.5
f1(10) = 200 f1(10) = 62.5
V1,n = v1(s1, x1) ⊕v2 (s2, x2 ) ⊕⋯⊕vn (sn , xn )
其中s表示状态，x表示决策（控制） 具体方法如下： • 当阶段k=n时
f n (s n ) =
x n ∈Dn ( sn )
max
v n (s n , x n )
可得最优决策xn=xn(sn)和最优值fn(sn)。要注意的是,若D(sn)只有一个决 策,则可写成 xn=xn(sn)。
fk (sk ) = max{vk (sk , xk ) × fk+1(sk+1)}
0≤xk ≤sk
k = 3,2,1
f4 (s4 ) =1
当阶段k=3时，有
f 3 ( s 3 ) = max ( x 3 ) = s 3
x3 = s3
最优决策
* x3 = s3
当阶段k=2时，有
2 2 f 2 ( s2 ) = max [ x2 f 3 ( s3 )] = max [ x2 ( s2 − x2 )] 0 ≤ x2 ≤ s 2 * 0 ≤ x2 ≤ s 2
此时 此时
* x2 = 0 * x2 = s2
f1 ( s1 ) = max {4 x1 + f 2 ( s 2 )}
S2<=9/2
当
0 ≤ x1 ≤ s1
S2>=9/2
f2 (s2 ) = 9s2
5.5≤ x1 ≤10
时
当
2 f2 (s2 ) = 2s2 时
f1 (10) = max {4 x1 + 9s1 − 9 x1} = max {9s1 − 5x1} = 9s1 − 27.5
例2 某公司有资金10万元，若投资于项目i（i=1，2，3）的投资 2 额为xi时，其效益分别为 g1 ( x1 ) = 4x1, g2 ( x2 ) = 9x2 , g3 ( x3 ) = 2x3 ， 问如何分配投资数额才能使总效益最大 解：可列出静态规划问题的模型如下
2 max Z = 4 x 1 + 9 x 2 + 2 x 3
max Z = x1 × x 2 × x 3 2 x1 + x 2 + x 3 = c ( c 〉 0 ) s .t . x i ≥ 0 , i = 1, 2 ,3
解： • 分阶段：（考虑效益函数的形式）分三个阶段，即k=1，2，3。 • 确定决策变量：通常可以取静态规划中的变量为决策变量。 • 确定状态变量：状态变量与决策变量有密切关系，状态变量一般为 累计量或随递推过程变化的量。 此问题中可设（因此可得状态转移方程）：
优点 • 最优解是全局最优解。 • 能得到一系列（包括子过程）的最优解。 • 不需要对系统状态转移方程、阶段效应函数等的解析性质作任何假设。 缺点： • 没有统一的标准模型和标准的算法可供使用。 • 应用的局限性，要求满足“无后效性”。 • “维数灾难”问题。
第五节： 第五节：动态规划与静态规划之间的关系
线性规划 静态规划 非线性规划 动态规划 区别 静态规划 逆序法 动态规划解法 顺序法 联系 静态规划 动态规划
5.1 逆序（递推）法 逆序（递推）
设已知初始状态s1，最优值函数fk(sk)表示从k阶段到n阶段所得到的 最大效益。以求最大化为例来说明。 即
max [v1 (s1 , x1 ) ⊕ f 2 (s2 )]
= T1(s1, x1 ).
得最优决策x1=x1(s1)和最优值f1(s1)。 由于初始状态s1已知,故x1=x1(s1)和f1(s1)是确定的,根据状态转移方程 按照上述递推过程相反顺序推算下去，就可逐步确定出每阶段的决策 及效益。 例1 用动态规划的逆序法求解下面问题
x 1 + x 2 + x 3 = 10 s .t . x i ≥ 0 , ( i = 1, 2 , 3 )
• 分阶段：（考虑效益函数的形式）分三个阶段，即k=1，2，3。 • 确定决策变量：通常可以取静态规划中的变量为决策变量。 • 确定状态变量：状态变量于决策变量有密切关系，状态变量一般为 累计量或随递推过程变化的量。 此问题中可设（因此可得状态转移方程）：
2 f 2 (0) = 2 s 2 ;
f 2 (s2 ) = 9 s2
当阶段k=1时，有
9 当 s2 = 时， f 2 ( 0 ) = f 2 ( s 2 ) 2 9 s 2 > 时， f 2 ( 0 ) > f 2 ( s 2 ), 当 2 9 当 s2 < 时， f 2 ( 0 ) < f 2 ( s 2 ) 2
∑
g i ( xi )
fk (sk ) = max{gk (xk ) + fk+1(sk+1)}
0≤xk ≤sk
k = 3,2,1
f4 (s4 ) = 0
当阶段k=3时，有
2 f 3 ( s 3 ) = max {2 x 3 } 0 ≤ x3 ≤ s3
最优决策为
* 2 x3 = s 3 , 最优目标函数 f 3 ( s 3 ) =பைடு நூலகம்2 s 3
当阶段k=2时，有
f 2 (s2 ) = max {9x2 + f3 (s3 )}
0≤x2 ≤s2 2 = max {9x2 + 2s3 } = max {9x2 + 2(s2 − x2 )2} 0≤x2 ≤s2 0≤x2 ≤s2
是凹函数，最大值点只能在[0，s2]端点上取得，即 2阶导数 大于0
每一阶段可使用的资金数为状态变量sk 状态转移方程 决策 • 指标函数
s1 = 10 ,
3
s 2 = s1 − x1 , s3 = s 2 − x 2
0 ≤ x1 ≤ s1 , 0 ≤ x 2 ≤ s 2 , 0 ≤ x3 ≤ s3
V k ,3 =
• 最优指标函数fk(sk) • 基本方程
i= k
得最优决策
2 x 2 = s2 , 3
最优目标函数
4 3 f 2 ( s2 ) = s2 27
有两个解，其中x2=0舍去。 因2阶导数在x*2处小于0，故有极大值。
当阶段k=1时，有
4 f1 ( s1 ) = max [ x1 f 2 ( s2 )] = max [ x1 ( s1 − x1 ) 3 ] 0 ≤ x1 ≤ s1 0≤ x1 ≤ s1 27 1 1 4 与前面一样 * 得最优决策 x1 = s1 , 最优目标函数 f1 ( s1 ) = s1 4 64 用微分法。
sk ∈Dk ( sk )
max [vk (sk , xk ) ⊕ f k +1 (sk +1 )]
其中状态转移方程 sk+1 = Tk sk , xk
(
).
得最优决策xk=xk(sk)和最优值fk(sk)。 如此类推，直到第一阶段。
• 当阶段k=1时
f1 (s1 ) =
其中状态转移方程 s2
s1∈D1 ( s1 )
s3 = x3;
则有 • 指标函数
s3 + x2 = s2; 0 ≤ x2 ≤ s2 ;
s2 + x1 = s1 = c 0 ≤ x1 ≤ s1 = c
2 x1 x 2 x 3
x3 = s3;
V1, 3 =
∏ vi ( si , xi ) =
i =1
3
可以想象成投资问题
• 最优指标函数fk(sk)
• 基本方程
* x1 = 0（最优决策）
因为 所以
* s 2 = s1 − x1 = 10 >
9 2
2阶导数>0
* * x 2 = 0 , s 3 = s 2 − x 2 = 10 * x 3 = s 3 = 10
最优投资方案是全部资金投于第3个项目，可得最大收益200万元。
5.2 顺序解法
自学内容
5.3 动态规划的优缺点