第七章极小值原理与典型最优控
合集下载
第七章极小值原理与典型最优控_...
31
在某些情况下，S矩阵的某些元素大到足 以引起计算上的困难，在此情况下，用 逆Riccati方程求解。 令
P(t ) P (t ) I
P(t ) P 1 (t ) P(t ) P 1 (t ) 0
1
（11）
（12）
32
则逆Riccati方程为
P 1 (t ) A(t ) P 1 (t ) P 1 (t ) AT (t ) B(t ) R 1 (t ) BT (t ) P 1 (t )Q(t ) P 1 (t ) 1 P (t f ) S 1
H x
11
也可以写成
H[ x(t ), u(t ), (t ), t ] min H[ x(t ), v(t ), (t ), t ],
H x f ( x, u , t )
H x
v
12
满足边界条件
x(t 0 ) x 0
33
•最优反馈控制结构
R (t ) B(t )
1
x(t ) A(t ) x(t ) B(t )u(t )
P(t)
34
•P(t)的计算
由
将Riccati方程写成差分格式
P (t t ) P (t ) t[ P (t ) A(t ) AT (t ) P (t ) P (t ) B (t ) R 1 (t ) B T (t ) P (t ) Q (t )
J min
J min 0, 且t0为任意
P(t ) 0
37
•无限时间调节器问题
1 T J [ x (t )Q (t ) x(t ) u T (t ) R (t )u (t )]dt Min 2 t0 u (t ) x(t ) A(t ) x(t ) B (t )u (t ) s.t. x(t0 ) x0
Lecture 07 最小值原理
H (xf , λf ,u f ) = 0
若能知道λ (0)的值，就能根据协态方程解得最优控制
λ (t ) = exp(− AT t )λ0 , u * = − sgn( BT exp(− AT t )λ0 )
如果λ T b j ≠ 0, 可以确定最优控制 u * = − sgn(λ T b j ); j 如果λ T b j = 0, 则不能确定u *。 j 如果λ T b j = 0只在t的离散点上成立，则在这些点上u *作边界 j 值的切换； 如果λ T b j = 0在某一段时间间隔成立，这时无法确定u *j的值
5.1 最小值原理
系统运动方程 & x = f ( x, u, t ) 式中：x ∈ Rn − 状态变量；u ∈ Rm − 控制变量；t ∈[t0 , t f ] − 时间变量。 给定系统的初始时刻和初始状态 x(t0 ) = x0 系统的终端时刻和状态满足r个约束方程 n( x(t f ), t f ) = 0 控制变量满足若干不等式约束 g (u, t ) ≤ 0 最优控制问题的性能指标为 J = θ ( x(t f ), t f ) + ∫ φ ( x, u, t )dt
关于判别线性定常系统最优控制问题的正规性和奇异性， 有以下定理。 & 定理7-1 对于线性定常系统x=Ax+Bu 快速最优控制奇异的充要条件是，m个矩阵 Uj = [b j Ab j A2b j K An −1b j ], j = 1, 2,K , m 中，至少有一个是奇异的。 定理7-2 定理7-3ห้องสมุดไป่ตู้对于线性定常系统，快速最优控制正规的充要条件是： 对于正规快速最优控制问题，其最优控制律u*的每一个 m个矩阵Uj全部是非奇异的。
（1）快速最优控制的正规与奇异问题 定义7-1 若所有函数λ T b j 在时间间隔[0,tf ]上只存在有限个零点，则 对应的快速最优控制问题成为正规的。 定义7-2 如果对所有j=1,2, ,m，至少存在一个λ T b j函数在某一段时间 K 间隔[t1 ,t2 ]∈[0,tf ]上的取值为零，则对应的快速最优控制问题是奇异 的，并称时间间隔[t1 ,t2 ]为奇异段。 对于正规快速最优控制问题，完全能确定最优控制律u* ,即每个控制分量 u*均在边界值之间切换，且切换点就是λ T b j =0的时刻。这种控制方式成为 j “乒乒控制”。 对于奇异快速最优控制问题，在奇异段[t1 ,t2 ]上不能确定最优控制律，但 不表明最优控制u*不存在。因为在奇异段u*上，H函数与对应的u*无关，u* j j 可以取任意容许值，仍能满足最小值原理。此时快速最优控制不再具有 “乒乒控制”形式
最优控制特点
切换一次，设切换
2t
时间为ts，则令
0
为了求出ts，必须
首先找出状态在
1
平面上的转移轨线。
0
1
ts
tf
t
t
由 则：
设u=1，则
其中
如图(a)所示，为一组抛物线， 当K=0时经过原点[pos]
X2 s
0
t
p
若u=-1，则
X2 N
o
X1
T u=-1
为一组抛物线，如图(b)，当K1=0时过原点[NOT]
j =1，2…r
u 最优控制 *(t)是使
为极小，则：
＋１ －１ 不定
u*(t) +1
-1
奇异
t
可见：当 当
时， 时，
有确定值，正常情况 不定， 奇异情况
我们仅研究正常情况
u*(t)写成符号函数sgn{ }形式
则
j =1，2…r
向量形式：u*(t)=-sgn{q*(t)}
=-sgn{
}
⑶根据规范方程：
在证明过程中：
与H得符号与这里所定义的相反。
∴所以有的文献中也称为“极大值原理”。 3、H对u没有可微要求，因此应用拓宽。 4、 极小值原来是求取最优控制的必要条件，非充分条件。 即：满足极小值原理不一定J取极小值,需进一步判断。
一般:对于实际系统
有最优解
有唯一解
最优解
三、几种边界条件得讨论：
上面所讨论的是
控制向量约束条件: 末端状态：
g：p ×1维函数向量
目标函数：
: 自由
问题：寻求最优控制u*(t)，使系统由初态到终态， 目标函数J 为最小
❖ 步骤：应用最小值原理进行问题的求解
第七章 最优控制：最大值原理
H u 2u 0 u 1 2
（7.39)
H
2
u
2
2 0
u (t )
的解是最大化 H
例1 最大化
满足 y y u 和 y (0 ) 1
V
1 0
u dt
2
y (1) 0
汉密尔顿函数： H u 2 ( y u )
0
H t , y
(T ) y T ( 0 ) y 0
的第一项对 求导，得：
T ( ) 0
(7.28)
H H q ( t ) dt H y q (t ) p (t ) u y
f (t , y , u ) H
以上两个方程右边相同，因此左边相等：
y
推导得到最大值 原理的条件之一
以上推导得到：
H ( t , y , u , ) y ( t ) dt ( T ) y
T 0
T
(0) y0
步骤3 推导新目标泛函 的另一种形式
推导得到最大值原 理的一般横截条件
第二节 其他终结条件
一般横截条件：
H t T T
(T ) y T 0
（7.30）
y
y Z
• 固定终结点的横截条件：
y (T ) y T
（T 和
y T 给定）
水平终结线的横截条件：
[ H ]t T 0
t
0
T
T2
T
（7.39)
H
2
u
2
2 0
u (t )
的解是最大化 H
例1 最大化
满足 y y u 和 y (0 ) 1
V
1 0
u dt
2
y (1) 0
汉密尔顿函数： H u 2 ( y u )
0
H t , y
(T ) y T ( 0 ) y 0
的第一项对 求导，得：
T ( ) 0
(7.28)
H H q ( t ) dt H y q (t ) p (t ) u y
f (t , y , u ) H
以上两个方程右边相同，因此左边相等：
y
推导得到最大值 原理的条件之一
以上推导得到：
H ( t , y , u , ) y ( t ) dt ( T ) y
T 0
T
(0) y0
步骤3 推导新目标泛函 的另一种形式
推导得到最大值原 理的一般横截条件
第二节 其他终结条件
一般横截条件：
H t T T
(T ) y T 0
（7.30）
y
y Z
• 固定终结点的横截条件：
y (T ) y T
（T 和
y T 给定）
水平终结线的横截条件：
[ H ]t T 0
t
0
T
T2
T
极小值原理最优控制 现代控制理论 教学PPT课件
极小值原理
2021年4月30日
第7章第1页
例 7.3.1 给定 1 阶系统
x x u ， x(0) 1
求 u ，要求 u 1，并使
1
J 0 x(t)dt
取最小值。 解 使用变分法求解，取哈密顿函数
H x (x u)
则有
H x 1， (1) 0
2021年4月30日
第7章第2页
u(t)
1, 0,
t 0,1
t 1
2021年4月30日
第7章第18页
7.3.2 离散系统的极小值原理
1 离散欧拉方程与离散极小值原理的证明
当控制序列不受约束时，可以采用离散变分法求解离散系统的最优控制问题，得到离 散极值的必要条件，即离散欧拉方程。
设描述离散系统的状态差分方程为
x(k 1) f [x(k), u(k), k], k 0,1, , N 1
第7章第7页
故有
J (u) J (u)
t1[H ( x, u, )
t0
H(x, u, )]dt
T
(x
x)
t1 t0
1
这里 1 (t1 t0 ) 。
已知 t0
与
x(t0 ) 是固定的，即 ( x
x) t t0
0 ；如果 t1 与 x(t1) 也是不变的，则
(x
x) t t1
0 ；若
根据则方程 因而
式中 c1 和 c2 为待定常数。
1
H x1
1
2
2
H x2
0
1(t) c1et c2 2 (t) c2
2021年4月30日
第7章第17页
根据横截条件，得
1(1)
x1(1)
2021年4月30日
第7章第1页
例 7.3.1 给定 1 阶系统
x x u ， x(0) 1
求 u ，要求 u 1，并使
1
J 0 x(t)dt
取最小值。 解 使用变分法求解，取哈密顿函数
H x (x u)
则有
H x 1， (1) 0
2021年4月30日
第7章第2页
u(t)
1, 0,
t 0,1
t 1
2021年4月30日
第7章第18页
7.3.2 离散系统的极小值原理
1 离散欧拉方程与离散极小值原理的证明
当控制序列不受约束时，可以采用离散变分法求解离散系统的最优控制问题，得到离 散极值的必要条件，即离散欧拉方程。
设描述离散系统的状态差分方程为
x(k 1) f [x(k), u(k), k], k 0,1, , N 1
第7章第7页
故有
J (u) J (u)
t1[H ( x, u, )
t0
H(x, u, )]dt
T
(x
x)
t1 t0
1
这里 1 (t1 t0 ) 。
已知 t0
与
x(t0 ) 是固定的，即 ( x
x) t t0
0 ；如果 t1 与 x(t1) 也是不变的，则
(x
x) t t1
0 ；若
根据则方程 因而
式中 c1 和 c2 为待定常数。
1
H x1
1
2
2
H x2
0
1(t) c1et c2 2 (t) c2
2021年4月30日
第7章第17页
根据横截条件，得
1(1)
x1(1)
武汉大学自动化专业 《现代控制理论》第七章 最优控制
第七章 最优控制
1
最优控制研究的主要问题是： 根据已建立的被控对象的数学模型，选择一个容许的 控制规律，使得被控对象按预定要求运行，并使给 定的某一性能指标达到极小值（或极大值）； 从数学观点看，最优控制研究的是求解一类带有约束 条件的泛函极值问题，属于变分学的范畴。 古典变分理论只能解决控制无约束（即容许控制属于 开集）的一类最优控制问题，为满足工程实际的需 要，在20世纪50年代中期出现了现代变分理论， 常用的数学工具是Bellman(美国)的“动态规划”， 和Pontryagin(苏联)的‘极大值原理“。，又进一步推动了现代控制论的发展
T t0 T tf t0
∴ ..J = {θ [ X (t ), t ] λ (t ) X (t )}
+ ∫ {H [ X (t ), u (t ), t ] + λT (t ) X (t )}dt
t0
tf
9
极大值曲线的充分条件为 δ2 J＜0
五 无约束条件的泛函极值
& 求 J ( X ) = ∫t Φ( X , X , t )dt 的极值，就是确定X(t)，使 J = min .
0
tf
& 几何意义：寻找一条曲线X(t)，使给定的可微函数 Φ ( X , X , t ) 沿X(t) 的积分达到极值，此时X(t)=X*(t)
横截条件： ①两端固定 ②两端状态自由
δX 0 = 0,.....δX f = 0
Φ & X Φ & X
tf
= 0,.....
③始端自由，终端固定 ④始端固定，终端自由 ⑤终端 t f 自由，但状态 X (tf )=c (tf ) 受约束——拦截 问题
Φ & X
1
最优控制研究的主要问题是： 根据已建立的被控对象的数学模型，选择一个容许的 控制规律，使得被控对象按预定要求运行，并使给 定的某一性能指标达到极小值（或极大值）； 从数学观点看，最优控制研究的是求解一类带有约束 条件的泛函极值问题，属于变分学的范畴。 古典变分理论只能解决控制无约束（即容许控制属于 开集）的一类最优控制问题，为满足工程实际的需 要，在20世纪50年代中期出现了现代变分理论， 常用的数学工具是Bellman(美国)的“动态规划”， 和Pontryagin(苏联)的‘极大值原理“。，又进一步推动了现代控制论的发展
T t0 T tf t0
∴ ..J = {θ [ X (t ), t ] λ (t ) X (t )}
+ ∫ {H [ X (t ), u (t ), t ] + λT (t ) X (t )}dt
t0
tf
9
极大值曲线的充分条件为 δ2 J＜0
五 无约束条件的泛函极值
& 求 J ( X ) = ∫t Φ( X , X , t )dt 的极值，就是确定X(t)，使 J = min .
0
tf
& 几何意义：寻找一条曲线X(t)，使给定的可微函数 Φ ( X , X , t ) 沿X(t) 的积分达到极值，此时X(t)=X*(t)
横截条件： ①两端固定 ②两端状态自由
δX 0 = 0,.....δX f = 0
Φ & X Φ & X
tf
= 0,.....
③始端自由，终端固定 ④始端固定，终端自由 ⑤终端 t f 自由，但状态 X (tf )=c (tf ) 受约束——拦截 问题
Φ & X
基于古典变分法和极小值原理推导最优控制的解析求解条件
基于古典变分法和极小值原理推导最优控制的解析求解条件基于古典变分法和极小值原理推导最优控制的解析求解条件引言：最优控制理论是数学和工程学交叉的一个重要领域，在各个工程领域都有广泛的应用。
它的目标是通过优化方法寻找使系统指标达到极值的控制策略。
在这个领域中，变分法和极小值原理是两个重要的数学工具。
本文将介绍古典变分法和极小值原理，以及如何利用它们推导最优控制的解析求解条件。
一、古典变分法的基本原理古典变分法是研究极值问题的一种有效数学方法。
它的核心思想是将待求函数看作一族函数的极限形式，然后通过对这族函数进行泛函求导来获得包含待求函数的微分方程。
在最优控制问题中，我们希望找到一个控制策略，使系统的目标函数达到最小值或最大值。
通过应用古典变分法，我们可以将这个极值问题转化为一个泛函极值问题，并通过求解泛函极值问题来得到最优控制。
在使用古典变分法进行最优控制问题的分析时，我们需要定义一个泛函，即系统的目标函数。
泛函通常形式如下：\[ J[y,u] = \int_{t_0}^{t_f} L(t, y(t), u(t)) dt \]其中，\[y(t)\] 是状态变量，\[u(t)\] 是控制变量，\[L(t, y(t), u(t))\] 是泛函的被积表达式，它描述了系统的动力学以及待求函数的影响因素。
二、极小值原理极小值原理是古典变分法中的一个基本概念，用于推导变分问题的最优性条件。
对于一个给定的泛函\[J[y,u]\]，如果它的极小值存在且为唯一解，那么这个极小值必须满足极小值原理的条件。
极小值原理的一般形式可以表示为：\[ \frac{d}{dt} \left(\frac{\partial L}{\partial \dot{y}}\right) -\frac{\partial L}{\partial y} = 0 \]\[ \frac{\partial L}{\partial u} = 0 \]这两个条件是极小值原理的必要条件。
07讲 最优控制-极小值-连续系统
连续时变系统的极小值原理
能源与动力学院系统控制与仿真研究室
31
最优控制——极小值原理 最 控制 值原 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
32
最优控制——极小值原理 最 控制 值原 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
33
最优控制——极小值原理 最 控制 值原 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
21
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
能源与动力学院系统控制与仿真研究室
22
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
能源与动力学院系统控制与仿真研究室
23
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
肖玲斐 lf i @ lfxiao@ d
最优控制——极小值原理 最 控制 值原 内容提要
连续系统的极小值原理 离散系统的极小值原理 几类典型最优控制
•时间最短 •燃料最少 •能量最小 •时间-燃料最优控制
能源与动力学院系统控制与仿真研究室 2
最优控制——极小值原理 最 控制 值原 内容提要
例
能源与动力学院系统控制与仿真研究室
37
最优控制——极小值原理 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
38
最优控制——极小值原理 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
39
最优控制——极小值原理 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
对于线性系统
(t ) A(t ) x(t ) B(t )u(t ) x x(t 0 ) x 0
LQR问题为
1 J x(t f ) 2
2 S
Min
u (t )
1 2
tf
t0
[ x(t )
2 Q (t )
u(t )
2 R (t )
]dt
S , Q 0, R 0
24
* (t ) K1 x(t ) K 2u * (t ) u u * (t0 ) u (t0 ) K1 S P21 , K 2 S P22
41
1
1
P A AT P PT S 1 P Q P 11 11 11 21 21 11 (T ) 0 P P A BT P PT S 1 P P 21 21 11 22 21 P21 (T ) 0
u * (t ) R B P x(t )
T
1
39
为下列代数Riccati方程的解 P A AT P P BR1BT P Q 0
P
或是Riccati微分方程的稳态解
(t ) P(t ) A(t ) AT (t ) P(t ) P P(t ) B(t ) R 1 (t ) B T (t ) Q(t ) P(T ) 0
tf
t0
(t )]}dt (t )[ f [ x(t ), u(t ), t ] x
T
6
定义标量函数
Hamilton 函数为
H [ x(t ), u(t ), (t ), t ] [ x(t ), u(t ), t ]
(t ) f [ x(t ), u(t ), t ]
P(t t ) P(t ) (t ) P lim t 0
取步长为负值，反向积分，即
P(t f ) P(t 0 )
34
P(t)的对称性，即
PT (t ) P(t )
所以P待求的元素个数为n(n+1)/2
35
•P(t)的半正定性
可以证明
但 故
1 T x (t0 ) P (t0 ) x(t0 ) 2
P lim P(t ,0, T )
T
40
PI调节器
1 T T T (t )]dt J [ x (t )Qx(t ) u (t ) Ru(t ) u (t ) Su Min 2 t0 u (t ) (t ) Ax(t ) Bu(t ) x s.t. x(t0 ) x0
tf
t0
T {H[ x(t ),u(t ), (t ),t ] (t ) x(t )}dt
9
如果 u 是最优控制律
对应于边界条件有
H [ x(t ), u(t ), (t ), t ] H [ x(t ), v(t ), (t ), t ], v
H x f ( x, u , t )
上述问题有解的条件：系统完全可控
u * (t ) R (t ) B (t ) P (t ) x(t )
T
37
1
P (t ) P(t ,0, ) lim P(t ,0, T )
T
T P(t ) P(t ) A(t ) A (t ) P(t )
P(t ) B(t ) R 1 (t ) B T (t ) Q(t ) P(T ) 0
为使H相对于所选择的u(t)尽可能小，必 T 须有： u (t ) B (t )
B T (t )
即u(t)取单位向量，
16
H (t ) x Ax(t ) Bu(t ) H T (t ) A (t ) x x(t0 ) x0 , x(t f ) 0 H [ x(t f ), (t f ), u (t f )] 1
H x
10
也可以写成
H [ x(t ), u (t ), (t ), t ] min H [ x(t ), v(t ), (t ), t ],
H x f ( x, u , t )
H x
v
11
满足边界条件
x(t 0 ) x 0
T
7
Hale Waihona Puke 特性指标为J [ x(t ), t ] t t
tf
t t f
0
(t )}dt {H[ x(t ),u(t ), (t ),t ] (t ) x
T t0
8
积分可得
J { [ x(t ), t ] (t ) x(t )
T
t t f t t0
J min
J min 0, 且t0为任意
P(t ) 0
36
•无限时间调节器问题
1 T T J [ x ( t ) Q ( t ) x ( t ) u (t ) R(t )u (t )]dt Min 2 t0 u (t ) (t ) A(t ) x(t ) B(t )u (t ) x s.t. x(t0 ) x0
2 2 2 2
1 u (t ) sign[ x1 (t ) x2 (t ) x2 (t ) ] 2
21
22
6.2 典型最优控制
主要内容
LQR问题 线性伺服机构 Bang-Bang 控制 奇异控制
离散系统最优控制
23
6.2.1 LQR（Linear Quadratic Regulator）问题
H 0 u(t ) R 1 (t ) BT (t ) (t ) u
A(t ) x B(t )u x
x(t 0 ) x 0
(t f ) Sx(t f )
26
确定闭环控制
假设 则得
(t ) P(t ) x(t )
T P(t ) P(t ) A(t ) A (t ) P(t )
17
如
MinJ t f s.t. 1 (t ) x2 (t ) x 2 (t ) u (t ) x
式中： u (t ) 1
18
H[ x(t ),u(t ), (t )] 1 1 (t ) x2 (t ) 2 (t )u(t )
(t ) 0 1 (t ) (t ) 2 1 1 (t ) c1 , 2 (t ) c2 c1t u sign(2 ) sign(c2 c1t ) x(t f ) 0
则逆Riccati方程为
1 (t ) A(t ) P 1 (t ) P 1 (t ) AT (t ) B(t ) R 1 (t ) BT (t ) P 1 1 P ( t ) Q ( t ) P (t ) P 1 (t ) S 1 f
32
•最优反馈控制结构
LQR问题的普遍性
LQR问题的提法具有普遍意义，不限于 哪种物理系统，而且人们证明这样的提 法易于获得解析解，最为可贵的是能获 得线性反馈解。 线性系统最优控制所的结果也适用于小 信号下运行的非线性系统，可以作为一 次近似 提供了一种统一的框架。
25
应用极小值原理
实现最优控制要求满足
H Q(t ) x(t ) AT (t ) (t ) x
N[ x(t f ), t f ] 0
N T H (t f ) ( )v, t t f t f t f
N T (t f ) ( )v, t t f x x
12
极小值原理与变分学
区别在于极值条件不同 极小值原理的极值条件是 Hamilton 函数
MinJ t f s.t. (t ) Ax(t ) Bu(t ) x x(t0 ) x0
式中：u (t ) U ,即 u (t ) 1
15
解：Hamiliton 函数为
T
H[ x(t ),u(t ), (t ),t ] (t )[ Ax(t ) Bu(t )]
u – m 维控制向量函数
容许控制
u Rm
- 是一给定的有界集合
假定终端时间 t f 满足 N[ x(t f ), t f ] 0
3
假设 f 对于 x , u 具有连续的偏导数
这种光滑性假定，对于任何分段连续的函数 u 保证了存在唯一的属于式（1）的容许轨线 x 可定义容许控制函数集合是这类分段连续的函数 并假定对于一个容许的 u 和给定的初始条件 ， x(t 0 ) 在所考虑的控制区域内，式（ 1）确定了一个唯一 的容许解
P(t ) B(t ) R 1 (t ) BT (t ) P(t ) Q(t ) P(t f ) S
27
dy 2 ( x ) y ( x ) y ( x) 在数学中，dx
称为
Riccati方程，所以（7）式也称为Riccati 方程
28
最优控制律为
令
K (t ) R 1 (t ) BT (t ) P(t )
主要内容
极小值原理
典型最优控制
1
6.1 极小值原理
极小值原理
研究最优控制问题的现代理论 对古典变分学的发展 一些文献中也被称为极大值原理 以 Bolza 问题为对象描述极小值原理