极值原理

∂L x* , λ * = 0, g( x ) = 0 ∂x
(
)
最优控制中的极值原理
在利用经典变分法求解最优控制问题中， 泛函求极值的必要条件都是在等式约束（如系 统状态）下，并且控制向量u(t)没有约束及状 态方程对u(t)可微的情况下取得的。它对于不 等式约束的问题，也是先将不等式约束化成等 式约束，然后再用同样的方法去求解最优控制 问题。但是对于多变量系统来说，这种处理不 等式约束的方法，使求解过程相当复杂。
minJ = Φ x(t f ),t f + ∫ L[x(t ),u(t ),t ]dt
tf t0
[
]
(5)
这种最优控制问题与应用变分法求解 最优控制问题，除了控制向量u(t)受到式(4) 的约束条件外，其余条件完全相同。 定理 设n维系统的状态方程为 . x(t ) = f [x(t ),u (t ),t ] 控制向量u(t)是分段连续函数，属于r为 空间中的有界闭集，应满足 g [x(t ),u(t ),t ] ≥ 0 则为把状态x(t)的初态
H x* (t ),u * (t ), λ* (t ),t = min H x* (t ),u (t ),λ* (t ),t
u (t )∈Ru
[
]
[
]
(3)始端边界条件与终端横截条件： x(t 0 ) = x0
N 1 x(t f ),t f = 0
∂Φ ∂N 1T λ (t f ) = + ∂x ∂x v
另外，如果根据物理意义已经判定所 讨论最优控制问题的解存在，而由极小值 原理求出的控制又只有一个，那么显然可 知，此控制是最优控制。实际遇到的问题 往往属于这种情况。 (2)这个例子比较简单，可以直接解出来。 稍复杂一点的情况是，u的取值要决定x和λ， 而x和λ的取值反过来又决定于u，这时要用 试探法求解。在复杂一点的问题往往就不能 用解析法求解了。
t =t f
[
]
(4) 终端时刻tf可变时，用来确定tf的 终端横截条件：
∂Φ T ∂N 1 H + ∂t + v ∂t
t =t f
= 0; t f 可变时使用
以上便是著名的庞特里雅金极小值原理， 也就是本节的极大值原理。 极大值原理表明，是性能指标泛函J为极 小值的控制必定使哈密顿函数H为极小值。即 最优控制u*(t)使哈密顿函数H极小值，“极小 值原理”一词正源于此。
.
式中：x(t)为n维状态向量；u(t)为r维控制向 量；f(.)为n维向量函数。
始端时间和始端状态
x(t 0 ) = x0
N 1 x(t f ),t f = 0
(2)
始端时间和始端状态满足约束方程
[
]
(3)
控制向量取值于
g [x(t ),u (t ),t ] ≥ 0
(4)
满足式(1)-(3)的状态曲线x(t)称为容许曲线。 满足式(4)，并使x(t)成为容许曲线的分段连 续函数u(t)称为容许控制，所有的容许控制 函数构成容许控制集，记为Ru。 极大值原理讨论的问题就是在容许控制 集合中找一个容许控制u(t)，让它与其对应 的容许曲线x(t)一起是下列性能指标泛函J （以下称性能指数）为极小值，即
极大值原理或极小值原理，是由在解最 优控制问题中哈密顿函数是求极大值还是极 小值而异。极大值原理或极小值原理是求出 当控制向量受到约束时的最优控制必要条件， 这是经典变分法求泛函极值的扩充，因为用 经典变分法不能处理这类控制向量受约束的 最优控制问题，所以这种方法又称为现代变 分法。
引言
在实际工程问题中，控制向量u(t)往往 受到一定的限制，如控制元件会饱和、驱动 电机的力矩不可能无穷大、流量的最大值受 到输送管道和阀门的限制等。一般，可用下 面的不等式来表示，即
（定理证明略）
例题 1 设系统方程及初始条件为
x1 (t ) = − x1 (t ) + u (t ), x1 (0 ) = 1
.
x 2 (t ) = x1 (t ), x 2 (0 ) = 0
.
u 其中，(t ) ≤ 1 。若系统终态x(tf)自由，试求 u*(t)使性能指标 J=x2(1)=min
∂H x(t ) = = f [x(t ),u(t ),t ] ∂λ . ∂H λ=− ∂x
式中，哈密顿函数为
H [x(t ),u (t ),λ(t ),t ] = L[x(t ),u (t ),t ] + λT f [x(t ),u (t ),t ]
(2)在最优曲线x*(t)上与最优控制u*(t) 对应的哈密顿函数为极小值的条件，即
连续系统的极大值原理
在实际的控制系统中，有很多问题要 求控制变量或状态变量在某一范围内，不 允许它们超出规定的范围，这就对控制变 量或状态变量构成不等式约束。例如α ≤ u(t ) ≤ β 在这种情况下，连续系统最优控制问题可 描述如下。 设n维系统状态方程 x(t ) = f [x(t ),u (t ),t ] (1)
df ( x ) dx
=0
x = x*
2、等式约束条件极值问题 、 min f(x) 问题描述为： s.t g(x)=0 式中g(x)为p维向量变量x的向量函数，并假定 其连续可微。
Lagrange乘子法解决等式约束条件的函 数极值问题的有效方法，基本方法如下： 先引入Lagrange乘子λ=(λ1 ,λ 2, …,λp)T 定义Lagrange函数L(x, λ)=f(x)+ λTg(x)
tf t0
∂H =0 ∂u
从而使L(x,u,t)关于u不可微，哈密顿函数H关 于u的偏导数不存在，这使得像消耗燃料最 少这类最优控制问题无法用经典变分法解决。 为了克服经典变分法在求解最优控制问 题中所暴露出来的上述问题，苏联数学家庞 特里亚金提出并证明了极大值原理，其结论 与经典变分法的结论有许多类似之处，它能 够应用于控制变量受边界限制的情况，并且 不要求哈密顿函数对控制向量连续可微，因 此获得了广泛应用。
在证明过程中，λ和H的符号恰好与这里的 __ −H 定义相反，即 H = 。因此，有
H x (t ),u (t ), λ (t ),t = min H x* (t ),u (t ),λ* (t ),t
* * * u (t )∈Ru __
[
]
__
[
]
所以在苏联的有关文献中均称“极大值 原理”。本书中沿用“极大值原理”的习惯 叫法，但实质采用的是“极小值转移到满足终端边界条件
N 1 x(t f ),t f = 0
[
]
的终端，其中tf可变或固定，并实性能指标
J = Φ x(t f ),t f + ∫ L[x(t ),u(t ),t ]dt
tf t0
[
]
达到极小值，以实现最优控制的必要条件如 下。
(1)设u*(t)是最优控制，x*(t)为由此产生 的最优曲线，则存在一与u*(t)和x*(t)对应的 最优伴随向量λ*(t)，使u*(t)和x*(t)满足正则 方程： .
H
u O u
*
H
(a)
u
u*
O u0
H
(b)
u
u*
O
(c)
哈密顿函数H与控制向量u的关系
对于(a)图， 仍对应最优解u*；对于 ∂H (b)图， = 0 所对应的解u0不是最优解，最优 ∂u ∂H 解u*在边界上；对于图(c), ∂u = 常数，这个方 程解不出u*来，最优解u*在边界上。 另外，在应用经典变分法求解最优控 制问题时，要求函数f(x,u,t)和L(x,u,t)关于 所有自变量二次连续可微，要求哈密顿函 数H关于控制变量u的偏导数存在。于是， 类似J = ∫ u(t ) dt 这样的性能泛函就被排除在外。 这是因为它的目标函数中出现了 ， u
例题 2 设一阶系统方程
x(t ) = x(t ) − u (t ), x(0 ) = 5
.
其中，控制约束：0.5≤u(t)≤1。试求使性 能指标
J = ∫ [x(t ) + u (t )]dt
1 0
为极小的最优控制u*(t)及最优曲线x*(t)。
该例题说明以下两个问题 (1) 极大值原理给出的条件是最优控制函 数应满足的必要条件，而不是充分条件。因 此，上述得到的结果是否能真正使性能指标 函数取极小值，还需要进一步判定。就这个 例题来说，容易做到这点。因为u(t)=-1是u所 能取值的最小值，而u越小，从状态方程可看 出，x1从初始值x1(0)=1下降的越快，指标函 数J的值就越小。因此选定的u*(t)=-1就是最 优控制函数。
u i (t ) ≤ M i ,i = 1,2 ,L , m
式中：u(t ) = [u (t ),u (t ),L ,u (t )] , 属于一个有界闭集。
T 1 2 m
更一般的情况可用下面的不等式约束 来表示，即
g [x(t ),u (t ),t ] ≥ 0
若u(t)属于有界闭集，当u(t)在边界上取 值时，δu就不是任意的了，因为无法向边界 外取值。由于u(t)受到约束，在其容许取值 ∂H ∂H =0 范围内可能不存在 ∂u 的解。也可能 ∂u = 0 的解并不使哈密顿函数H取最小值，如下图 所示
1、无约束条件极值问题 多元函数极值问题 2、等式约束条件极值问题
3、不等式约束条件极值问题
假定多元函数f(x1,x2,…,xn,)对其所有自变量 都连续，且具有连续的一阶和二阶偏导数。 将所有自变量x1,x2,…,xn记为向量x的形式， 则问题为求x，使x=x*时f(x)达到极值。 1、无约束条件极值问题 、