动态规划与最优控制模

第四章 最优控制模型

（管理、决策方面应用，因此可说管理决策模型）

§1 最优控制的问题提法：

§1.1最优控制问题举例

一、例，详见最优控制课听课笔记第一节；

§1.2最优控制数学模型

最优控制模型问题的数学描述――最优控制模型。

寻找U )t (*u ∈

（开，闭）[]f f 0t ,t ,t 可以固定或自由，使得：

[][])t ( u J m i n

)t (*u J U

u

∈= ()

{

()()0

),( 0 ),( ,)( )( )( )( ),( ),( dt

(t)

x d

:.210

0≤=∈=∈===f f f f f f f f t t x g t t x g R t x t x M x t x x t x t t u t x f t s

其中： n R )t (x ∈ ，且1C )t (x ∈ （一阶连续可微）， R U )t (u m ≤∈

，

[] t ,u (t), x f ：

向量值函数，且)( f ⋅ 对t ),t ( u ),t ( x 连续，对t ),t ( x

连续可微。 []()()()[]。

都可微 t (t), x 对 t (t), u (t), x L ,t ),t ( x

,dt t ),t ( u ),t ( x L t ),t ( x )t ( u J f f t t f f f

ϕ+

ϕ=⎰

上述最优控制的离散模型：

求 {})

(,)(*

*

i x i u ， 使得

目标泛函: ()∑-==1

N 0

i i ),i ( u ),i ( x L J 达到最小。

而且满足：

状态方程: ()⎪⎩

⎪

⎨⎧∈==+M

x x k k u k x f k x )(k x )0( ),( ),( )1( f 0

最优控制问题的求解方法：

1． 古典变分法：U 开集；

2． 极大值原理：U 闭集；现代变分法，把古典变分法看作特例 3． 动态规划：便于数值计算，并有通用算法； 发展了变分法，结果是充分条件。

§2最优控制模型的动态规划解法

§2.1动态规划方法概述

§2.2生产——库存——销售管理系统的动态规划解法

§2.1动态规划方法概述

某一类管理问题的数学模型（状态方程）是一个差分方程：

状态方程: ()⎪⎩

⎪

⎨⎧∈==+M

x x k k u k x f k x )(k x )0( ),( ),( )1( f 0

目标泛函: ()∑-==

1

N 0

i i ),i ( u ),i ( x L J 达到最小。

即:

此为一个N 阶决策问题：

动态规划法是求这一决策问题的有效办法，具有明显优点：

（ⅰ）将一个N 阶决策问题转化为多次一步决策问题，即数学上的嵌入原理——将求一条极值曲线问题，嵌入到求一族极值曲线的更广泛的类似问题中；

（ⅱ）大大简化了计算量；

（ⅲ）具有局部优，就是整体优的最优性原理：

可广泛应用于运输系统、生产库存管理系统、生产计划制定及最优投资分配问题、最优价格制定问题。

下面以最短路问题举例说明这种方法 ：

一、最短路问题（最小时间问题）

1．问题：若有一辆汽车以S 城出发经过若干城市到达F 城，如图：3 ,2 ,1i ,Q ,P i i =，是一些可以通过的城镇。

·P 1 6 ·P 2 1 ·P 3

4 4 1 2 4

S · ·F 5 6 3 ·Q 1 7 · Q 2 2 ·Q 3

图中两点间的数字：可以表示两城镇之间的距离（单位10公里），也可以表示行驶两城镇所用时间（应综合考虑：距离远近，路面好坏，是否拥挤等情况）。

于是：汽车从S 到F 可经多种途径选择到达F 。

问题是：从多种途径选择方案中，决定一种使S 到F 所走路线最短。或者若图中数字表示时间，则决定一种路径使从S 到F 所用时间最短。

2．方法：

Ⅰ.决策树法（穷举法）：

决策树法是最容易想到的一种方法，但运算量很大——即把所有可能选择的路途所用的时间都求出来，然后取最小值，即有最优策略（最优决策）。

即： {}3 ,2 ,1i F Q SP min F *Q *SP i i i i == 因此有：

1 P 3 4 F 15

P 2

6 1 Q 3 3 F 14 P 1 6

2 P

3

4 F 16

4 Q 2

2 Q

3 3 F 15

S

1 P 3 4 F 14

5 P 2

4 1 Q 3 3 F 13

Q 1 7 2 P 3 4 F 18

Q 2

2 Q

3 3 F 17

因此，最终得出：{}3 ,2 ,1i F Q SP min F P P SQ i i 321== 困难：这样共有8条线路可选择，每条线路要作3次运算。

第1次：22211Q Q /P Q /P S →→→；第2次：3322Q /P Q /P →； 第3次：F Q P 33→或

因此，共需24次运算：2438＝⨯次，若阶段更多，则计算量更大。 II ．“走一步瞧一步”（瞎子爬山？近视眼？）法：

第一步：从S 到1P 或1Q ：显然 5SQ 4SP 11=<=，因此取决策1SP ；

第二步：从1P 到2P 或2Q ：显然 2121Q P 6P P ==，因此取2121Q Q ,P P 均可，但从2P 到

3P 或3Q 距离为1，而2Q 到32P P 距离为2，因此，第2步决策为2P ，因此取21P P ；

第三步：2P 到3P 或2P 到3Q ，均有1Q P P P 3232==，但3Q 到F 的距离为3，因此第3步取路线32Q P 。