最优控制 第四章 极小值原理及其应用2
合集下载
最优控制理论第四章.ppt
same as in Example 2.2, namely,
Since (t)-1 on [0,1] and x(0)=1>0, the original
optimal control given by (4.11) is u*(t)=-1. Substituting this into (4.8) we get x(t)=1-t, which is positive for t<1. Thus
In case of first order constraints, h1(x,u,t) is as follows:
With respect to the ith constraint hi(x,t)0, a sub
Interval (1,2) [0,T] with 1< 2 is called an interior
i.e., xi(t) 0, i=1,2,…,n. Constraints exhibiting (4.1) are called pure state variable inequality constraints. The general form is
With (4.1): at any point where a component xi(t)>0, the corresponding constraint xi(t) 0 is not binding and can be ignored.
Clearly, the optimal control u* will be the one that keeps x as small as possible, subject to the state constraint (4.1) and the boundary condition x(0)=x(3)=1. Thus,
Since (t)-1 on [0,1] and x(0)=1>0, the original
optimal control given by (4.11) is u*(t)=-1. Substituting this into (4.8) we get x(t)=1-t, which is positive for t<1. Thus
In case of first order constraints, h1(x,u,t) is as follows:
With respect to the ith constraint hi(x,t)0, a sub
Interval (1,2) [0,T] with 1< 2 is called an interior
i.e., xi(t) 0, i=1,2,…,n. Constraints exhibiting (4.1) are called pure state variable inequality constraints. The general form is
With (4.1): at any point where a component xi(t)>0, the corresponding constraint xi(t) 0 is not binding and can be ignored.
Clearly, the optimal control u* will be the one that keeps x as small as possible, subject to the state constraint (4.1) and the boundary condition x(0)=x(3)=1. Thus,
现代控制理论极小值原理
x*
0
x0，*
N
x* N ，N x N
同理，对不同的边界情况，只需选取相应的边界条件及横截条件，条件1、2不变。 当控制变量不受限制时，则条件2与控制方程
等效。
H
x* k ，u* k ，** k uk
1，k
0
第24页/共62页
第三节 极小值原理解最短时间控制问题
一般情况下，非线性受控系统的最短时间控制问题的解析解是很困难的，本节 只讨论线性定常受控系统的最短时间控制问题导弹舵面的打开时间。
比较上述极小值原理与变分法所得的结果，可以发现两者的差别仅在⑵。 极小值原理的严格证明很复杂，下面的证明将重于物理概念的阐述，尽量避免烦琐 的数学推导。 设系统动态方程为：
xt f xt，ut，t
(8-7)
边控界制条变x件量为t f ：受有x界t闭0，集为约简x束0单，起即见，假设u终t端时刻 及终端状态 utU
t0
我们应用极小值原理来求解。这时哈密尔顿函数为
H x，u，t 1 T tAxt T tBut
故得正则方程为
x* t Ax* t Bu* t * t AT* t
第27页/共62页
根据极小值原理可得
1 *T t Ax* t *T tBu* t 1 *T t Ax* t *T tBut
即
本章介绍的极小值原理是控制变量 受限制的u情t况下求解最优控制问题的有力工
具。它是由苏联学者庞特里亚金于1956年提出的。极小值原理从变分法引伸而来， 它的结论与古典变分法的结论极为相似，但由于它能应用于控制变量 受边界限 制的情况，并不要求哈密尔顿函数H对u连续可微，因此其适用范围扩大了。
ut
L.S.Pontryagin
11讲 最优控制-极小值-总结及习题讲解
能源与动力学院系统控制与仿真研究室
16
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
能源与动力学院系统控制与仿真研究室
17
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
极小值原理与变分法求最优控制的比较
能源与动力学院系统控制与仿真研究室
18
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
33
最优控制——极小值原理 3.4 极小值原理的典型应用
月面软着陆问题
h
v g
月球
能源与动力学院系统控制与仿真研究室
34
最优控制——极小值原理 3.4 极小值原理的典型应用
能源与动力学院系统控制与仿真研究室
35
最优控制——极小值原理 3.4 极小值原理的典型应用
时间-燃料最优控制
能源与动力学院系统控制与仿真研究室
能源与动力学院系统控制与仿真研究室
7
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
能源与动力学院系统控制与仿真研究室
8
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
能源与动力学院系统控制与仿真研究室
9
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
能源与动力学院系统控制与仿真研究室
27
最优控制——极小值原理 3.4 极小值原理的典型应用
能源与动力学院系统控制与仿真研究室
28
最优控制——极小值原理 3.4 极小值原理的典型应用
能源与动力学院系统控制与仿真研究室
29
第4章 最优控制与变分法
1
第4章 最优控制与变分法
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
4.1 最优控制问题的数学描述 4.2 无约束条件的动态最优化问题 4.3 带等式约束的动态最优化问题 4.4 用哈密顿函数求解最优控制问题
第4章 最优控制与变分法 3、约束条件的数学描述 、
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
一般约束条件可用如下的等式约束方程或 不等式约束方程来描述： 不等式约束方程来描述：
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
的质心距离地面的高度， 解 ： 设 x(t)为 M的质心距离地面的高度 ， 由牛顿第 为 的质心距离地面的高度
（4-1） ）
J = θ ( x, t ) t
（4-9） ）
性能指标如式(4-9)所示的问题称为迈耶问题 。 所示的问题称为迈耶问题。 性能指标如式 所示的问题称为迈耶问题 该类问题只关注始端和终端时刻的系统状态， 该类问题只关注始端和终端时刻的系统状态 ， 而 不关心系统的运动过程， 因此性能指标只是始端、 不关心系统的运动过程 ， 因此性能指标只是始端 、 终端时刻和状态的一个函数。 终端时刻和状态的一个函数。
第4章 最优控制与变分法
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
第4章 最优控制与变分法
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
4.1 最优控制问题的数学描述 4.2 无约束条件的动态最优化问题 4.3 带等式约束的动态最优化问题 4.4 用哈密顿函数求解最优控制问题
第4章 最优控制与变分法 3、约束条件的数学描述 、
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
一般约束条件可用如下的等式约束方程或 不等式约束方程来描述： 不等式约束方程来描述：
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
的质心距离地面的高度， 解 ： 设 x(t)为 M的质心距离地面的高度 ， 由牛顿第 为 的质心距离地面的高度
（4-1） ）
J = θ ( x, t ) t
（4-9） ）
性能指标如式(4-9)所示的问题称为迈耶问题 。 所示的问题称为迈耶问题。 性能指标如式 所示的问题称为迈耶问题 该类问题只关注始端和终端时刻的系统状态， 该类问题只关注始端和终端时刻的系统状态 ， 而 不关心系统的运动过程， 因此性能指标只是始端、 不关心系统的运动过程 ， 因此性能指标只是始端 、 终端时刻和状态的一个函数。 终端时刻和状态的一个函数。
第4章 最优控制与变分法
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
14 最优控制4
min
u j ( t ) 1
J
t
f
dt t
t0
f
t0
j 1, 2 , , m .
s .t .
( t ) f [ x ( t ), t ] B [ x ( t ), t ]u ( t ) x x (t 0 ) x 0 [ x ( t f ), t f ] 0
使有
0
,t f ]
内，存在时间可数
j 1, 2 , , m .
t j {t1 j , t 2 j , } [t 0 , t f ]
0 t t j g i (t ) b i ( x , t ) (t ) j 1, 2 , , m 非零 t t j
T
*
T
*
b2 ( x, t)
bm ( x, t )
g i (t ) b i ( x , t ) (t )
1 , g i ( t ) 0 u i ( t ) sgn{ g i ( t )} 1, g i ( t ) 0
*
在最优轨线末端，哈密顿函数应满足
H
*
T
则时间最优控制问题是奇异的，区间 [ t 1 , t 2 ] 称为奇异区间。
Bang-Bang控制原理
u (t )
*
设 是问题1的时间最优控制， 是相 应的状态向量和协态向量，若问题是正常的， 则最优控制为
x (t )和 (t )
*
u ( t ) sgn{ B [ x ( t ), t ] ( t )}
问题l属于时变系统、积分型性能指标、 t f 自由、末端受约束的最优控制问题 根据极小值原理，令哈密顿函数
u j ( t ) 1
J
t
f
dt t
t0
f
t0
j 1, 2 , , m .
s .t .
( t ) f [ x ( t ), t ] B [ x ( t ), t ]u ( t ) x x (t 0 ) x 0 [ x ( t f ), t f ] 0
使有
0
,t f ]
内，存在时间可数
j 1, 2 , , m .
t j {t1 j , t 2 j , } [t 0 , t f ]
0 t t j g i (t ) b i ( x , t ) (t ) j 1, 2 , , m 非零 t t j
T
*
T
*
b2 ( x, t)
bm ( x, t )
g i (t ) b i ( x , t ) (t )
1 , g i ( t ) 0 u i ( t ) sgn{ g i ( t )} 1, g i ( t ) 0
*
在最优轨线末端，哈密顿函数应满足
H
*
T
则时间最优控制问题是奇异的，区间 [ t 1 , t 2 ] 称为奇异区间。
Bang-Bang控制原理
u (t )
*
设 是问题1的时间最优控制， 是相 应的状态向量和协态向量，若问题是正常的， 则最优控制为
x (t )和 (t )
*
u ( t ) sgn{ B [ x ( t ), t ] ( t )}
问题l属于时变系统、积分型性能指标、 t f 自由、末端受约束的最优控制问题 根据极小值原理，令哈密顿函数
5 最优控制-极小值原理
* j
正常（或平凡）情况、奇异（或非平凡） 正常（或平凡）情况、奇异（或非平凡）情况
Bang-Bang控制原理 控制原理 是问题3 的时间最优控制, 设 u * ( t ) 是问题3-1的时间最优控制,
λ x* ( t )， ( t )
是相应的状态向量和协态向量,若问题是正常的, 是相应的状态向量和协态向量,若问题是正常的,则几乎所有 ),有下式成立 t ∈ t0 , t f (除去有限个开关时间),有下式成立 除去有限个开关时间),
在最优轨线末端哈密尔顿函数应满足的条件 (5)极值条件 极值条件
1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x * ( t ) , t u * ( t ) =
{1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x* ( t ) , t u * ( t )} min
u∈U
（50） ） （51） ） （52） ）
或者
H ( x * , u* , λ* , t ) ≤ H [ x * , u, λ* , t ]
哈密顿函数沿最优轨线随时间的变化规律： 哈密顿函数沿最优轨线随时间的变化规律：
* * 在末值时刻 t f 是固定的情况 H (t ) = H (t f ) = const * *
3 极小值原理及其在快速控制中的应用
1 问题的提出 用变分法求解最优控制时， 用变分法求解最优控制时，认 不受限制。 为控制向量 u(t )不受限制。但是 实际的系统， 实际的系统，控制信号都是受到
u(t ) ∈ U ⊂ R r 某种限制的。 某种限制的。
因此， 因此，应用控制方程 ∂H = 0
正常（或平凡）情况、奇异（或非平凡） 正常（或平凡）情况、奇异（或非平凡）情况
Bang-Bang控制原理 控制原理 是问题3 的时间最优控制, 设 u * ( t ) 是问题3-1的时间最优控制,
λ x* ( t )， ( t )
是相应的状态向量和协态向量,若问题是正常的, 是相应的状态向量和协态向量,若问题是正常的,则几乎所有 ),有下式成立 t ∈ t0 , t f (除去有限个开关时间),有下式成立 除去有限个开关时间),
在最优轨线末端哈密尔顿函数应满足的条件 (5)极值条件 极值条件
1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x * ( t ) , t u * ( t ) =
{1 + λ T ( t ) f x* ( t ) , t + λ T ( t ) B x* ( t ) , t u * ( t )} min
u∈U
（50） ） （51） ） （52） ）
或者
H ( x * , u* , λ* , t ) ≤ H [ x * , u, λ* , t ]
哈密顿函数沿最优轨线随时间的变化规律： 哈密顿函数沿最优轨线随时间的变化规律：
* * 在末值时刻 t f 是固定的情况 H (t ) = H (t f ) = const * *
3 极小值原理及其在快速控制中的应用
1 问题的提出 用变分法求解最优控制时， 用变分法求解最优控制时，认 不受限制。 为控制向量 u(t )不受限制。但是 实际的系统， 实际的系统，控制信号都是受到
u(t ) ∈ U ⊂ R r 某种限制的。 某种限制的。
因此， 因此，应用控制方程 ∂H = 0
最优控制理论及应用讲解
多级决策过程所谓多级决策过程是指将一个过程按时间或空间顺序分为若干级步然后给每一级步作出决策在控制过程中令每走一步所要决定的控制步骤称之为决策以使整个过程取得最优的效果即多次的决策最终要构成一个总的最优控制策略最优控制方案
第4章 动态规划
求解动态最优化问题的两种基本方法：极小值原理和动态规划。
动态规划：是一种分级最优化方法，其连续形式与极小值原理相 辅相成，深化了最优控制的研究。
Optimal Control Theory & its Application
主要内容
1
多级决策过程和最优性原理
2
离散控制系统的动态规划
3
连续控制系统的动态规划
4 动态规划与变分法、极小值原理的关系
5
本章小结
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.7
Optimal Control Theory & its Application
Optimal Control Theory
Dong Jie 2012. All rights reserved.
特点：1）将一个多阶段决策问题化为多个单阶段决策问题，易于分析 2）每阶段评估只与前一阶段结果有关，计算量减小
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.5
Optimal Control Theory & its Application
第4章 动态规划
求解动态最优化问题的两种基本方法：极小值原理和动态规划。
动态规划：是一种分级最优化方法，其连续形式与极小值原理相 辅相成，深化了最优控制的研究。
Optimal Control Theory & its Application
主要内容
1
多级决策过程和最优性原理
2
离散控制系统的动态规划
3
连续控制系统的动态规划
4 动态规划与变分法、极小值原理的关系
5
本章小结
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.7
Optimal Control Theory & its Application
Optimal Control Theory
Dong Jie 2012. All rights reserved.
特点：1）将一个多阶段决策问题化为多个单阶段决策问题，易于分析 2）每阶段评估只与前一阶段结果有关，计算量减小
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.5
Optimal Control Theory & its Application
北京交通大学(最优控制理论与算法研究生课程)第四章 极大值原理
自由末端的极大值原理(7/8)
H ( x * (t ), λ(t ), u* (t )) min H ( x* (t ), λ(t ), u(t )) (96)
u ( t )U
3) 由极值求解条件(96)可知,极大值原理得到的是全局最 小值,而非局部极值,而古典变分法中由极值条件 H/u=0得到的是局部极小值。
自由末端的极大值原理(3/8)
满足 2) 边界条件
λ(t f ) S ( x (t f )) x (t f )
的解, 其中哈密顿函数为
H ( x(t ), λ(t ), u(t )) λ (t ) f ( x(t ), u(t ))
3)则有
H ( x * (t ), λ(t ), u* (t )) min H ( x* (t ), λ(t ), u(t ))
再则,如果把条件(96)仍称为极值条件,则极大值原 理得到的是强极值。
而古典变分法在欧拉方程推导时,对极值曲线x*(t)和 其导数都引入变分,得到的是弱极值。 不难理解,当满足古典变分法的应用条件时,极值条 件 H/u=0 只是极大值原理的极值求解条件 (96) 的 一个特例。
自由末端的极大值原理(8/8)
x(t)的表达式(1/3)
(2) x(t)的表达式 根据 f(x,u) 对 x 的可微性 , 由状态方程 (92) 可得如下由控制量 的变分u(t)引起的状态方程(92)的变分
f ( x* x , u* u) f ( x * , u* ) x f ( x * , u* u) * * f ( x , u u) x o ( x ) f ( x , u ) x f ( x* , u* ) * * * * x f ( x , u u ) f ( x , u ) x f ( x* , u* u) f ( x* , u* ) x o( x ) x x
最优控制08王丹
4：线性跟踪器 若要求状态X(t)跟踪或尽可能接近目标轨迹Xd(t),则这种系统称为状态跟踪器，其相 应的性能指标为：
J =∫
tf
t0
1 [ X (t ) − X d (t )]T Q[ X (t ) − X d (t )] + u T (t ) Ru (t )]dt 2
Q≥0，R>0，均为对称加权矩阵。 若要求系统输出y(t)跟踪或尽可能接近目标轨迹yd(t),则这种系统称为输出跟踪器， 其相应的性能指标为：
3：容许控制 在实际控制问题中，大多数控制量受客观条件的限制，只能在一定范围内取 值，这种限制通常可以用如下不等式约束来表示：
0 ≤ u (t ) ≤ u max
或 ui ≤ α
iቤተ መጻሕፍቲ ባይዱ= 1,2⋯ p
上述由控制约束所规定的点集称为控制域U，凡在t0-tf上有定义，且在控制域U 内取值的每一个控制函数u(t)均称为容许控制。 4：性能指标 通常情况下，最优控制问题的性能指标形如：
ɺ h(t ) = v(t ) u (t ) ɺ v(t ) = − g + m(t ) m(t ) = −ku (t ) ɺ
初始条件
h(0) = h0 v(0) = v0 m(0) = M + F
终端条件
h (t f ) = 0 v(t f ) = 0
约束条件 0 ≤ u (t ) ≤ α
极大值原理是庞特里雅金等人在1956至 1958年间逐步创立的，先是推测出极大 值原理的结论，随后又提供了一种证明 方法。
动态规划是贝尔曼在1953年至1958 年间逐步创立的，他依据最优性原 理发展了变分学中的哈密顿-雅可比 理论，构成了动态规划。
求解最优控制问题，可以采用解析法或数值计算法
(完整word版)最优控制讲义
第一章 绪论§1。
1最优控制问题静态最优化问题：输入—输出—代数方程 动态最优化问题：输入—输出-微分方程 确定性最优控制：系统参数确定,无随机输入 随机性最优控制：系统参数确定，有随机输入⎩⎨⎧=+=)()()()()(t Cx t Y t Bu t Ax t x⎩⎨⎧+=++=)()()()()()()(t v t Cx t Y t w t Bu t Ax t x例:飞船的月球软着陆问题推力 dtdmkf -= 运动方程 mg dt dmk mg f dtx d m --=-=22 )()(][00f t t t m t m dt dtdmJ f-=-=⎰ 初始条件 ⎩⎨⎧======0)(,)(,00f f t x x t t ht x x t t约束条件为 0≤≤-dtdmα求min J§1.2最优控制的数学模型一 控制系统的数学模型(集中参数系统）直接法建立：动力学、运动学的基本定律,即解析法.间接法建立：通过“辩识"的途径确定系统的结构与参数.)),(),(()(t t u t x f t x= 其中 T n t x t x t x t x )](,)(),([)(21 =，T r t u t u t u t u )](,)(),([)(21 =,],,[21n f f f f = )(t x 为n 维状态向量，)(t u 为r 维控制向量,f 为n 维函数向量。
二 目标集通过)(t u 使)(t x 由)(0t x 到)(f t x ，其中)(0t x 为初始状态，并且通常为已知；)(f t x 为终端状态，即控制所要求达到的目标。
一般来说对终端状态的要求可用如下的约束条件表示：0)),((,0)),((21≤=f f f f t t x g t t x g 。
三 容许控制i u 具有不同的物理属性，一般有r 1,2i u i ,,=≤α，即在控制域U 内。