最优控制课件第三章
合集下载
最优控制_西安交通大学课件第三章
tf t0
F
x
x
F x
x
o
(
x)2, (
x)
2
dt
上式中 o[( x)2 , ( x)2 ]是高阶项。
根据定义，泛函的变分 J 是 J 的线性
主部，即
J
tf t0
F x
x
F x
x dt
对上式第二项作分部积分，按公式
现在，将上面对 x(t) 是标量函数时所得到的公式推 广到X (t)是n维向量函数的情况。这时，性能泛函为
式中
J tf F(X , X ,t)dt t0
x1 (t)
X
x
2
(t
)
x
n
(t
)
x1 (t)
X
x
2
(t
)
x
称 J (X ) 在 X X *处有极值。
定理：J (X ) 在 X X * 处有极值的必要条件是对 于所有容许的增量函数 X（自变量的变分）， 泛函 J (X )在 X *处的变分为零
J(X*, X ) 0
为了判别是极大还是极小，要计算二阶变 分 2J。但在实际问题中根据问题的性质容易
J
1
(
x
2
x 2
)dt
0
取极值的轨迹 x* (t)。
解 这是固定端点问题，相应的欧拉——拉格朗日方
程为 即
2x d (2x) 0 dt
x x 0
它的通解形式为
最优控制理论课件
8
最优控制问题
1.1 两个例子
例1.1 飞船软着陆问题
软着陆 过程开 始时刻 t 为零
h& v
v& u g m
m& K u
m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 K 为常数
初始状态 h(0) h0 v(0) v0 m(0)MF
f(x(t),u(t),t) 为n维向量函数
22.03.2020
现代控制理论
24
最优控制问题
1.2 问题描述
(1) 状态方程 一般形式为
x&(t) f (x(t),u(t),t)
x(t) Rn
x(t)|tt0 x0
为n维状态向量
u(t) Rr
为r 维控制向量
f(x(t),u(t),t) 为n维向量函数
求解最优控制的变分方法
泛函与函数的几何解释
22.03.2020
现代控制理论
50
求解最优控制的变分方法
泛函与函数的几何解释
宗量的变分
x(t)x(t)x(t)
22.03.2020
现代控制理论
51
求解最优控制的变分方法
泛函与函数的几何解释
宗量的变分
x(t)x(t)x(t)
泛函的增量 J ( x ( g ) ) J ( x ( g ) x ) J ( x ( g ) ) L ( x , x ) r ( x , x )
J x ( T ) ,y ( T ) ,x & ( T ) ,y & ( T ) x & ( T )
控制
(t)
22.03.2020
现代控制理论
最优控制课件第3章
第三章 极小值原理及应用
经典变分法局限性： 1、应用前提： a ）控制量 u(t)的取值无约束。 b ） f、L、Φ等函数对其自变量二次连续可微，要求哈密 尔顿函数关于控制变量的偏导数存在 。 2、实际控制要求：
a ）控制量u受不等式约束，如：M i (u ) 0 ，i=1,2,3……
b ）性能指标有时关于u并不可微，要求哈密尔顿函数 关于控制变量的偏导数不存在 。
一般:对于实际系统根据物理意义有最优解 极小值原理 有唯一解－－ 最优解
－－－－－－－－
－－－－－－－－
但是，对于线性系统可以证明极小值原理既是泛函取最小 值的必要条件，也是充分条件。
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Date: File:
05.04.2015 OC_CH3.6
Optimal Control Theory & its Application
②在最优轨线上，与最优控制u*相对应的H函数取绝对极小 值，即 或 沿最优轨线
③H函数在最优轨线终点满足
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Optimal Control Theory & its Application
取哈密尔顿函数为
则实现最优控制的必要条件是，最优控制u*、最优轨线x* 和最优协态矢量λ*满足下列关系式： ①沿最优轨线满足正则方程
当g中不含x时
Optimal Control Theory
Dong Jie 2014. All rights reserved.
经典变分法局限性： 1、应用前提： a ）控制量 u(t)的取值无约束。 b ） f、L、Φ等函数对其自变量二次连续可微，要求哈密 尔顿函数关于控制变量的偏导数存在 。 2、实际控制要求：
a ）控制量u受不等式约束，如：M i (u ) 0 ，i=1,2,3……
b ）性能指标有时关于u并不可微，要求哈密尔顿函数 关于控制变量的偏导数不存在 。
一般:对于实际系统根据物理意义有最优解 极小值原理 有唯一解－－ 最优解
－－－－－－－－
－－－－－－－－
但是，对于线性系统可以证明极小值原理既是泛函取最小 值的必要条件，也是充分条件。
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Date: File:
05.04.2015 OC_CH3.6
Optimal Control Theory & its Application
②在最优轨线上，与最优控制u*相对应的H函数取绝对极小 值，即 或 沿最优轨线
③H函数在最优轨线终点满足
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Optimal Control Theory & its Application
取哈密尔顿函数为
则实现最优控制的必要条件是，最优控制u*、最优轨线x* 和最优协态矢量λ*满足下列关系式： ①沿最优轨线满足正则方程
当g中不含x时
Optimal Control Theory
Dong Jie 2014. All rights reserved.
最优控制 第三章 静态最优化问题的最优控制
第三章 静态最优化问题的最优控制
5
它在定义域上可以不止一个， 它在定义域上可以不止一个，如果将整个定义 上所有的极小值进行比较， 域[a,b]上所有的极小值进行比较，找出最小的极小 上所有的极小值进行比较 称为最小值 它具有全局性质， 最小值。 值，称为最小值。它具有全局性质，而且是唯一 的。一般地记为
三、具有等式约束条件的极值
上面讲的是无约束条件极值问题的求解方法。 上面讲的是无约束条件极值问题的求解方法。 对于具有等式约束条件的极值问题，则要通过等效 对于具有等式约束条件的极值问题， 变换，化为无约束条件的极值问题来求解。 变换，化为无约束条件的极值问题来求解。
第三章 静态最优化问题的最优控制
第三章 静态最优化问题的最优控制
18
嵌入法只适用于简单情况， 嵌入法只适用于简单情况，而拉格朗日乘子 法具有普遍意义。现把式(3-15)写成更为一般的形 法具有普遍意义。现把式 写成更为一般的形 式。 目标函数为 设连续可微的目标函数 设连续可微的目标函数为 J = f(x,u) 等式约束条件为 等式约束条件为 g(x,u) = 0 式中x——n维列矢量； 维列矢量； 式中 维列矢量 u——r维列矢量； 维列矢量； 维列矢量 g——n维矢量函数。 维矢量函数。 维矢量函数
第三章 静态最优化问题的最优控制 19
(3-18)
(3-19)
在拉格朗日乘子法中，用乘子矢量 乘等式 在拉格朗日乘子法中，用乘子矢量λ乘等式 约束条件并与目标函数相加，构造拉格朗日函数 约束条件并与目标函数相加，构造拉格朗日函数
H = J + λ g = f ( x, u) + λ g( x, u)
第三章 静态最优化问题的最优控制
13
显然， 显然，式(3-11)取极值的条件为 取极值的条件为
5
它在定义域上可以不止一个， 它在定义域上可以不止一个，如果将整个定义 上所有的极小值进行比较， 域[a,b]上所有的极小值进行比较，找出最小的极小 上所有的极小值进行比较 称为最小值 它具有全局性质， 最小值。 值，称为最小值。它具有全局性质，而且是唯一 的。一般地记为
三、具有等式约束条件的极值
上面讲的是无约束条件极值问题的求解方法。 上面讲的是无约束条件极值问题的求解方法。 对于具有等式约束条件的极值问题，则要通过等效 对于具有等式约束条件的极值问题， 变换，化为无约束条件的极值问题来求解。 变换，化为无约束条件的极值问题来求解。
第三章 静态最优化问题的最优控制
第三章 静态最优化问题的最优控制
18
嵌入法只适用于简单情况， 嵌入法只适用于简单情况，而拉格朗日乘子 法具有普遍意义。现把式(3-15)写成更为一般的形 法具有普遍意义。现把式 写成更为一般的形 式。 目标函数为 设连续可微的目标函数 设连续可微的目标函数为 J = f(x,u) 等式约束条件为 等式约束条件为 g(x,u) = 0 式中x——n维列矢量； 维列矢量； 式中 维列矢量 u——r维列矢量； 维列矢量； 维列矢量 g——n维矢量函数。 维矢量函数。 维矢量函数
第三章 静态最优化问题的最优控制 19
(3-18)
(3-19)
在拉格朗日乘子法中，用乘子矢量 乘等式 在拉格朗日乘子法中，用乘子矢量λ乘等式 约束条件并与目标函数相加，构造拉格朗日函数 约束条件并与目标函数相加，构造拉格朗日函数
H = J + λ g = f ( x, u) + λ g( x, u)
第三章 静态最优化问题的最优控制
13
显然， 显然，式(3-11)取极值的条件为 取极值的条件为
最优控制应用基础-第三章
= L[x, t ] + ∑ λi f i [x, t ] + min ∑ [ g i (x, t ) + λ T (t )b j (x, t )]u j u
i =1 j =1
n
m
3
砰－砰控 制
H [x* (t ), u* (t ),λ * (t ), t ] = min H [x* (t ), u(t ),λ * (t ), t ]
1
砰－砰控制
Bang一、Bang-Bang 控制和最短时间控制
1．Bang-Bang 控制 Bang非线性系统 或写为
ɺ x = f [x(t ), t ] + B[x(t ), t ]u(t ), x(t0 ) = x 0
m
ɺ xi = f i [x(t ), t ] + ∑ bij [x(t ), t ]u j (t ), xi (t0 ) = xi 0 , i = 1,2,⋯, n
7
最短时间问题
2．最短时间问题 线性定常系统的最速控制问题 给定完全能控的线性时不变系统 ɺ x(t ) = Ax(t ) + Bu(t ), x(t0 ) = x 0 控制变量不等式约束 性能指标
tf 0
− 1 ≤ u j (t ) ≤ 1, j = 1,2,⋯ , m
J = ∫ dt
根据极小值原理可得到求解最短时间问题砰－ 根据极小值原理可得到求解最短时间问题砰－砰控制的 必要条件 ɺ x* (t ) = Ax* (t ) + Bu* (t ) 规范方程） （规范方程） ∂H ɺ λ * (t ) = − = − ATλ * (t ) ∂x x(0)=x0， x(tf)=0 x(t 边界条件
tf
最优控制(3)
(22) 最优控制问题为：当系统受扰动偏离原零平衡状态时， 要求产生一控制向量，使得系统状态恢复到原平衡 状态附近，并使上面的性能指标极小，称为状态调 节器问题。 (2) 输出调节器问题 如果z(t)=0，则e(t)=-y(t)， 并且性能指标为
(23)
最优控制问题为：当系统受扰动偏离原输出平衡状态时， 要求产生一控制向量，使得系统输出保持在原平衡状态 附近，并使上面的性能指标极小，称为状态调节器问题。 (3) 输出跟踪系统问题 若C(t)≠I, z(t) ≠ 0，则 最优控制问题为：当理想输入作用于系统时，要求产生一 控制向量，使得系统实际输出向量始终跟踪理想输入 的变化 ，并使性能指标(21) 极小，称为输出跟踪系统 问题。
解：本题属于N=3级最优决策问题。根据递推方程(37) 令k=2
根据代价函数的末值项及系统方程，有
所以
因为u(k)无约束，令
可得
令k=1
可得 令k=0
可得
代入已知的x(0)，按正向顺序求出
因此最优控制、最优轨线及最优代价为
4.4.2 离散动态规划
采用离散动态规划方法，可以方便地求出控制与状态变量 均有约束时离散系统的最优控制问题。 (1) 离散最优控制问题的动态规划解 设非线性离散系统的状态差分方程为
在二次型性能指标中，其各项都有明确的物理含义，即
1) 末值项 ，若取
末值项的物理含义表示在控制结束后，对系统末态跟踪 误差的要求。
2) 积分项 ，若取
该项表示系统在控制过程中的动态误差跟踪的大小。
3) 积分项 ，若
则
该项表示在控制过程中所消耗的能量。
线性二次型最优控制问题的类型：
(1) 状态调节器问题 如果C(t)=I, z(t)=0，则e(t)=-y(t)=-x(t), 并且性能指标为
《最优控制》第3章庞德里雅金极大值原理
19
第3章——庞德里雅金极大值原理
性能指标
J
tf 0
| u(t ) | dt
寻求最优控制u* f
T
H | u | 1x2 2u
(2) 协态方程:
H X
0 1 10 1 , 2 10t 20 1 2
目标泛函：
J dt , | f (t ) | 1 0
8
tf
第3章——庞德里雅金极大值原理
1 x2 x 问题：设系统的状态方程 其中控制变量u (t ) 满足约束 x u 2
， 条件 | u(t) | 1 设系统的初始状态 x1 (0) x10 , x2 (0) x20 ;
(3)寻求H最小的 u (t )
由 | u(t) | 1可知，当| u(t) | 1,且u(t) 的符号与2相反 时，H最小
10
第3章——庞德里雅金极大值原理
1 u (t ) sgn[ 2 ] 1 不定
2 0 2 0 2 0
（4） 对u * (t ), x * (t )而言，有H 1 1x2 2u 0 （5）分析 ①2 0
4
第3章——庞德里雅金极大值原理
(3)边界条件
x ( t ) x(t0 ) x0 , (t f ) ①当 f 不受限制， x(t f )
②当存在终端约束条件
[ x(t f ), t f ] 0时，x(t0 ) x0
(tf ) V x(tf ) x(tf )
快速控制系统的这个特性称为有限切换原理，相应的 控制方式称为Bang-bang控制。 （6）求最优轨线
①u 1 2 u dx2 dt x2 t c1 x2 (0) x20 x2 (t ) t x20 x 1 2 1 x2 x1 (t ) t x20t x10 x 2
第3章——庞德里雅金极大值原理
性能指标
J
tf 0
| u(t ) | dt
寻求最优控制u* f
T
H | u | 1x2 2u
(2) 协态方程:
H X
0 1 10 1 , 2 10t 20 1 2
目标泛函：
J dt , | f (t ) | 1 0
8
tf
第3章——庞德里雅金极大值原理
1 x2 x 问题：设系统的状态方程 其中控制变量u (t ) 满足约束 x u 2
， 条件 | u(t) | 1 设系统的初始状态 x1 (0) x10 , x2 (0) x20 ;
(3)寻求H最小的 u (t )
由 | u(t) | 1可知，当| u(t) | 1,且u(t) 的符号与2相反 时，H最小
10
第3章——庞德里雅金极大值原理
1 u (t ) sgn[ 2 ] 1 不定
2 0 2 0 2 0
（4） 对u * (t ), x * (t )而言，有H 1 1x2 2u 0 （5）分析 ①2 0
4
第3章——庞德里雅金极大值原理
(3)边界条件
x ( t ) x(t0 ) x0 , (t f ) ①当 f 不受限制， x(t f )
②当存在终端约束条件
[ x(t f ), t f ] 0时，x(t0 ) x0
(tf ) V x(tf ) x(tf )
快速控制系统的这个特性称为有限切换原理，相应的 控制方式称为Bang-bang控制。 （6）求最优轨线
①u 1 2 u dx2 dt x2 t c1 x2 (0) x20 x2 (t ) t x20 x 1 2 1 x2 x1 (t ) t x20t x10 x 2
最优控制理论课件
m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 K 为常数
初始状态 终点条件
h(0) h0 h(T ) 0
v(0) v0 v(T ) 0
m(0) M F
控制目标
J m(T )
推力方案
0 u(t) umax
2019年11月25日星期一
指标
J x(T), y(T), x(T), y(T) x(T)
2019年11月25日星期一
现代控制理论
18
最优控制问题
例1.2
导弹发射问题
x F (t) cos (t)
m
y F (t) sin (t)
m
初始条件 x(0) 0 y(0) 0 x(0) 0
2019年11月25日星期一
现代控制理论
1
最优控制理论
东北大学信息科学与工程学院 井元伟教授
二○○九年十一月
2019年11月25日星期一
2
第1章 题第2章 法第3章 第理4章 划第5章 制 第6章 统
最优控制问 求解最优控制的变分方 最大值原 动态规 线性二次型性能指标的最优控 快速控制系
2019年11月25日星期一
现代控制理论
12
最优控制问题
例1.2 导弹发射问题
2019年11月25日星期一
现代控制理论
13
最优控制问题
例1.2 导弹发射问题
最优控制问题
例1.2
导弹发射问题
x F (t) cos (t)
m
y F (t) sin (t)
m
2019年11月25日星期一
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
将（4-7）式两边分别对t求导，并将（4-4）式代入得
(t)K (t)X (t)K (t)X (t)
Q (t)X (t) A T (t)K (t)X (t)
（4-9）
9
把式（4-8）代入上式并整理得 [ K ( t ) K ( t ) A ( t ) K ( t ) B ( t ) R 1 ( t ) B T ( t ) K ( t ) A T ( t ) K ( t ) Q ( t ) X ( t ) ] 0
x(t)A (t)x(t)B (t)u(t) y(t)C (t)x(t)
e(t)z(t)y(t)
1 )C ( t ) Iz ( t ) 0 y ( t ) x ( t ) e ( t ) 状态调节器
2 ) z ( t ) 0y ( t ) e ( t ) 3 ) z ( t) 0e ( t) z ( t) y ( t)
输出调节器 跟踪问题
6
§4-2 状态调节器问题
系统状态方程和性能指标
X (t)A (t)X (t) B (t)u (t)
（4-2）
J 1 2 X T ( tf) P ( tf) X 1 2 t t 0 f[ X T ( t) Q ( t) X ( t) u T ( t) R ( t) u ( t)d ] （t 4-3）
（线性最优反馈控制规律的确定可归结为Riccati方程的求解）
2
§4-1 二次型问题提法
设线性系统的动态方程为： X (t)A (t)X (t) B (t)u (t) y(t)C(t)X(t)
X (t)为n维状态向量，u (t ) 为m维控制向量，y (t ) 为输出向量。 设 u (t ) 不受限制求解黎卡提矩阵微分方程时，利用K (t f ) ，从 t f 时刻开始逆
时间求解。在获得 K (t) 之后，可计算最优反馈控制规律：
u * (t) R 1 (t)B T(t)K (t)X (t)
由上式可见，协态(t) 和状态 X (t)，在终端时刻成线性关系。
假定：
(t)K(t)X(t)
（4-7）
然后再求 K (t) ，这种方法称为扫描法。
由（4-2）、（4-5）、（4-7）式得
X ( t ) A ( t ) X ( t ) B ( t ) R 1 ( t ) B T ( t ) K ( t ) X ( t )（4-8）
线性二次型指标的最优控制
§4-1 线性二次型问题提法 §4-2 状态调节器问题 §4-3 线性定常系统的状态调节器问题 §4-4 输出调节器问题 §4-5 跟踪问题
1
如果系统是线性的，性能指标为二次型函数，则最优 控制问题为线性二次型问题。
代表了大量工程实际问题中提出的性能指标要求 易于工程实现
保持在零值附近。 7
取哈密顿函数为
H 1 [ X T ( t ) Q ( t ) X ( t ) u T ( t ) R ( t ) u ( t ) ] T ( t )A ( t [ ) X ( t ) B ( t ) u ( t ) 2
则协态方程为
H [Q (t)X (t)A T(t)(t)]
其中，P为半正定对称阵，Q (t)为半正定对称阵，R (t )为正定对 称阵。一般将P，Q (t) ，R (t ) 取为对角阵。
性能指标函数中的每一项：
1eT 2
(tf
)Pe(tf
)
表示对终端误差(例如导弹的脱靶量等)的惩罚
1
tf
eT(t)Q(t)e(t)dt
表示对系统误差的惩罚，定量地刻画了整个控制 过程中实际状态偏离期望状态的状况。
2 t0
1
2
tf t0
uT(t)R(t)u(t)dt
定量地刻画了整个过程中所消耗的能量，反映 了控制的代价，表示对消耗控制能量的惩罚。 4
线性二次型问题的本质：
用不大的控制，来保持较小的误差，以达到能量和误差综合最优的目的。
根据不同的出发点，二次型最优控制问题具有各种不同的分类：
（1）根据终点时刻 t f
e(t)z(t)y(t) 其中，z (t ) 为期望输出向量。
寻求最优控制 u * ( t ) ，使下列性能指标最小：
3
e(t)z(t)y(t)
J 1 2 e T ( tf) P ( tf) e 1 2 t t 0 f[ e T ( t) Q ( t) e ( t) u T ( t) R ( t) u ( t) （d 4] -1）t
上式对任意 X (t) 均成立，因而有
（4-10）
K ( t ) K ( t ) A ( t ) A T ( t ) K ( t ) K ( t ) B ( t ) R 1 ( t ) B T ( t ) K ( t ) Q ( t ) （4-11）
式（4-11）称为黎卡提（Riccati）矩阵微分方程，K (t)即为该 矩阵微分方程的解。一般来说得不出 K (t) 的解析表达式，但可 利用数值计算得到其数值解。比较（4-6）和（4-7）式可得 K (t) 的边界条件为：
有限终点时间的二次型最优控制问题 无限终点时间的二次型最优控制问题
（2）根据终端状态 x t f
自由终端二次型最优控制问题 非自由终端二次型最优控制问题
（3）根据期望输出 z (t )
二次型最优调节器问题（ z(t) zd 定点） 二次型最优跟踪器问题 ( z ( t ) 动点）
5
线性二次型问题的三种重要情形：
J 1 2 e T ( tf) P ( tf) e 1 2 t t 0 f[ e T ( t) Q ( t) e ( t) u T ( t) R ( t) u ( t)d ]t
和前一节比较: C(t) I ,z(t) 0，则
y(t)X (t) e(t)
该性能指标的物理含义为：以较小的控制能量为代价，使 X (t)
X
（4-4）
控制方程为
HR(t)u(t)BT(t)(t)0
u
u(t)R 1(t)B T(t)(t)
（4-5）
思路：确定x (t )与 (t) 的关系，带入（4-5）形成状态反馈
横截条件 (tf) X (tf) X (tf)[1 2 X T (tf)P(tX f) ]P(tX f)（4-6）8