最优控制 (4)1 ppt课件
合集下载
现代控制理论最优控制课件
04 离散时间系统的最优控制
CHAPTER
离散时间系统的最优控制问题的描述
定义系统
离散时间系统通常由差分方程描述，包括状 态转移方程和输出方程。
确定初始状态
最优控制问题通常从一个给定的初始状态开 始，我们需要确定这个初始状态。
确定控制输入
在离散时间系统中，控制输入是离散的，我 们需要确定哪些控制输入是可行的。
工业生产领域
02 现代控制理论在工业生产领域中也得到了广泛的应用
，如过程控制、柔性制造等。
社会经济领域
03
现代控制理论在社会经济领域中也得到了广泛的应用
，如金融风险管理、能源调度等。
02 最优控制基本概念
CHAPTER
最优控制问题的描述
确定受控系统的状态和输入，以便在 给定条件下使系统的性能指标达到最 优。
LQR方法
利用LQR（线性二次调节器）设计最优控制 器。
线性二次最优控制的应用实例
经济巡航控制
在航空航天领域，通过线性二次最优控制实现燃料消 耗最小化。
电力系统控制
在电力系统中，利用线性二次最优控制实现稳定运行 和最小化损耗。
机器人控制
在机器人领域，通过线性二次最优控制实现轨迹跟踪 和避障等任务。
03
02
时变控制系统
04
非线性控制系统
如果系统的输出与输入之间存在 非线性关系，那么该系统就被称 为非线性控制系统。
这类系统的特点是系统的参数随 时间而变化。
静态控制系统
这类系统的特点是系统的输出与 输入之间没有时间上的依赖关系 。
发展历程
古典控制理论
这是最优控制理论的初级阶段，其研究的主 要对象是单输入单输出系统，主要方法是频 率分析法和根轨迹法。
第4章 最优控制与变分法
1
第4章 最优控制与变分法
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
4.1 最优控制问题的数学描述 4.2 无约束条件的动态最优化问题 4.3 带等式约束的动态最优化问题 4.4 用哈密顿函数求解最优控制问题
第4章 最优控制与变分法 3、约束条件的数学描述 、
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
一般约束条件可用如下的等式约束方程或 不等式约束方程来描述： 不等式约束方程来描述：
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
的质心距离地面的高度， 解 ： 设 x(t)为 M的质心距离地面的高度 ， 由牛顿第 为 的质心距离地面的高度
（4-1） ）
J = θ ( x, t ) t
（4-9） ）
性能指标如式(4-9)所示的问题称为迈耶问题 。 所示的问题称为迈耶问题。 性能指标如式 所示的问题称为迈耶问题 该类问题只关注始端和终端时刻的系统状态， 该类问题只关注始端和终端时刻的系统状态 ， 而 不关心系统的运动过程， 因此性能指标只是始端、 不关心系统的运动过程 ， 因此性能指标只是始端 、 终端时刻和状态的一个函数。 终端时刻和状态的一个函数。
第4章 最优控制与变分法
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
第4章 最优控制与变分法
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
4.1 最优控制问题的数学描述 4.2 无约束条件的动态最优化问题 4.3 带等式约束的动态最优化问题 4.4 用哈密顿函数求解最优控制问题
第4章 最优控制与变分法 3、约束条件的数学描述 、
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
一般约束条件可用如下的等式约束方程或 不等式约束方程来描述： 不等式约束方程来描述：
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
的质心距离地面的高度， 解 ： 设 x(t)为 M的质心距离地面的高度 ， 由牛顿第 为 的质心距离地面的高度
（4-1） ）
J = θ ( x, t ) t
（4-9） ）
性能指标如式(4-9)所示的问题称为迈耶问题 。 所示的问题称为迈耶问题。 性能指标如式 所示的问题称为迈耶问题 该类问题只关注始端和终端时刻的系统状态， 该类问题只关注始端和终端时刻的系统状态 ， 而 不关心系统的运动过程， 因此性能指标只是始端、 不关心系统的运动过程 ， 因此性能指标只是始端 、 终端时刻和状态的一个函数。 终端时刻和状态的一个函数。
第4章 最优控制与变分法
无法显示图像。计算机可能没有足够的内存以打开该图像，也可 能是该图像已损坏。请重新启动计算机，然后重新打开该文件。 如果仍然显示红色“x” ，则可能需要删除该图像，然后重新将其插 入。
最优控制
J =
能观,
1 1 x ( t f ) T C T Q 0 Cx ( t f ) + 2 2
tf
[ x T C T Q 1 Cx + u T Q 2 u ] dt ∫
t0
二次型指标最优控制问题
线性系统
二次型性能指标
x = Ax + Bu y = Cx
tf
J =
1 T x (t f )Q 0 x (t f ) + 2
1 二次型性能泛函
1 1 T J = x (t f ) Q 0 x (t f ) + 2 2
半正定
tf
[ x T Q 1 x + u T Q 2 u ] dt ∫
t0
半正定
正定
误差大小的代价函数, qij大表示对应误差要求小 对控制的约束或要求. 表示在区间内消耗的能量, qij大表示对应付出的能量小. 最优控制目标是使性能指标J取得极小值, 其实质是用不大的控制来 保持比较小的误差,从而达到所用能量和误差综合最优的目的.
0 x = 1
1 x a + 2
1
y=x1
1 w( s ) = C ( sI A) B = 2 s + s a + 2 +1
281
6.4 线性二次型最优控制问题
6.4 线性二次型最优控制问题
输出调节问题
x (t ) = A (t ) x (t ) + B (t )u (t ) y ( t ) = C ( t ) x ( t ), x ( t 0 ) = x 0
q1 , q 2 > 0 , q 0 ≥ 0
u * ( t ) = Q 2 1 ( t ) B T ( t ) P ( t ) x ( t ) = q 2 1 p ( t ) x ( t )
最优控制理论及应用讲解
多级决策过程所谓多级决策过程是指将一个过程按时间或空间顺序分为若干级步然后给每一级步作出决策在控制过程中令每走一步所要决定的控制步骤称之为决策以使整个过程取得最优的效果即多次的决策最终要构成一个总的最优控制策略最优控制方案
第4章 动态规划
求解动态最优化问题的两种基本方法：极小值原理和动态规划。
动态规划：是一种分级最优化方法，其连续形式与极小值原理相 辅相成，深化了最优控制的研究。
Optimal Control Theory & its Application
主要内容
1
多级决策过程和最优性原理
2
离散控制系统的动态规划
3
连续控制系统的动态规划
4 动态规划与变分法、极小值原理的关系
5
本章小结
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.7
Optimal Control Theory & its Application
Optimal Control Theory
Dong Jie 2012. All rights reserved.
特点：1）将一个多阶段决策问题化为多个单阶段决策问题，易于分析 2）每阶段评估只与前一阶段结果有关，计算量减小
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.5
Optimal Control Theory & its Application
第4章 动态规划
求解动态最优化问题的两种基本方法：极小值原理和动态规划。
动态规划：是一种分级最优化方法，其连续形式与极小值原理相 辅相成，深化了最优控制的研究。
Optimal Control Theory & its Application
主要内容
1
多级决策过程和最优性原理
2
离散控制系统的动态规划
3
连续控制系统的动态规划
4 动态规划与变分法、极小值原理的关系
5
本章小结
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.7
Optimal Control Theory & its Application
Optimal Control Theory
Dong Jie 2012. All rights reserved.
特点：1）将一个多阶段决策问题化为多个单阶段决策问题，易于分析 2）每阶段评估只与前一阶段结果有关，计算量减小
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.5
Optimal Control Theory & its Application
最优化与最优控制
0
)
2 f (X0)
2
f
(
X
0
)
x2x1
2 f (X0
)
xnx1
2 f (X0) x1x2
2 f (X0 x1xn)源自2 f (X0) x2 2
2 f (X0)
xn x2
2 f (X0)
x2xn
2 f (X0
)
xn 2
是f在点X 0处的Hesse矩阵
npjiangb@
npjiangb@
• 2.2 多元函数无约束的极小化 一、Hesse矩阵
设f
: Rn
R1 ,
X
0
Rn
, 如果f在点X
处对于自变量
0
X的各分量的二阶偏导数 2 f ( X 0 ) (i, j 1,2,, n) xix j
都存在，
则
称
函数f在
点X
处
0
二阶
可
导，
并且称矩阵
2
f (X x12
其中 N x * x x x * , 0 。 同样有：严格局部最优解。若 f x * f x
npjiangb@
定义 范数： 在 n 维实向量空间 R n 中，
定义实函数 x , 使其满足以下三个条件：
（１）对任意 x R n 有 x 0 , 当且仅当
dt
t0
• 五 终端控制问题
J Q[x(t f ), t f ]
• 六 非线性系统的最优控制
npjiangb@
• 1.5 最优化问题的解法
• 解析法：利用函数的解析性质去构造迭代公式使之收敛 到最优解
• 直接法：它对函数的解析性质没有要求，而是根据一定 的数学原理来确定
最优控制ppt课件
称 J (X ) 在 XX*处有极值(极大值或极小值)。
精品课件
定理(变分预备定理)：设 ( t )
是时间区间
[t0, t1]上连续的n维向量( t函) 数，
的连续n维向量函数(t，0)且(t1)0
有
t1
T
(t)(t)dt
，若
0
t0
是任意
则必有
(t)0,t[t0,t1]
精品课件
4.1.2 欧拉方程
LX,XrX,X
这里，LX,X 是X 的线性泛函，rX,X 是关于 X
的 高阶无穷小，则
JLX,X
称为泛函J[x]的变分。 可知泛函变分就是泛函增量 的线性主部。
精品课件
当一个泛函具有变分时，也称该泛函可微。和函 数的微分一样，泛函的变分可以利用求导的方 法来确定。
定理 设J[x]是线性赋范空间Rn上的连续泛函
返回主目录
精品课件
在动态系统最优控制问题中，性能指标是 一个泛函，性能指标最优即泛函达到极值。解决泛 函极值问题的有力工具是变分法。所以下面就来列 出变分法中的一些主要结果，大部分不加证明，但 读者可对照微分学中的结果来理解。
精品课件
4.1.1 泛函与变分
先来给出下面的一些定义。
1、泛函： 如果对某一类函数X(t)中的每一个函
(1) (L1 L2 ) L1 L2
(2) ( L1L2 ) L2 L1 L1 L2
b
b
(3) a L[ x, x, t]dt a L[ x, x, t]dt
(4) dx d x
dt dt 精品课件
举例：
可见，计算泛函的变分如同计算函数的微分一样。
精品课件
6、泛函的极值：若存在 0 ，对满足的 X X* 一切X，J(X)J(X*)具有同一符号，则
精品课件
定理(变分预备定理)：设 ( t )
是时间区间
[t0, t1]上连续的n维向量( t函) 数，
的连续n维向量函数(t，0)且(t1)0
有
t1
T
(t)(t)dt
，若
0
t0
是任意
则必有
(t)0,t[t0,t1]
精品课件
4.1.2 欧拉方程
LX,XrX,X
这里，LX,X 是X 的线性泛函，rX,X 是关于 X
的 高阶无穷小，则
JLX,X
称为泛函J[x]的变分。 可知泛函变分就是泛函增量 的线性主部。
精品课件
当一个泛函具有变分时，也称该泛函可微。和函 数的微分一样，泛函的变分可以利用求导的方 法来确定。
定理 设J[x]是线性赋范空间Rn上的连续泛函
返回主目录
精品课件
在动态系统最优控制问题中，性能指标是 一个泛函，性能指标最优即泛函达到极值。解决泛 函极值问题的有力工具是变分法。所以下面就来列 出变分法中的一些主要结果，大部分不加证明，但 读者可对照微分学中的结果来理解。
精品课件
4.1.1 泛函与变分
先来给出下面的一些定义。
1、泛函： 如果对某一类函数X(t)中的每一个函
(1) (L1 L2 ) L1 L2
(2) ( L1L2 ) L2 L1 L1 L2
b
b
(3) a L[ x, x, t]dt a L[ x, x, t]dt
(4) dx d x
dt dt 精品课件
举例：
可见，计算泛函的变分如同计算函数的微分一样。
精品课件
6、泛函的极值：若存在 0 ，对满足的 X X* 一切X，J(X)J(X*)具有同一符号，则
最优控制与最优理论课件1
x
—可以详细的做线性搜索，但是这将非常耗时。 该过程通常需要快速，精确并且简单。 ◊ 尤其是你对所选择的
pk 值不确定
1-11
线性搜索
• 考虑一个简单的问题： F ( x1, x2 ) x1
2 2 x1x2 x2
1 x0 1
0 1 p0 x1 x0 p0 2 1 2
则称点 x* 是函数 F ( x* )的强最小点。 —弱：目标函数在一些方向上保持相同，并且只在其他方向上局部增加。 如果 x 不是一个强最小点，且标量 0 ，存在类似 F ( x* ) F ( x* x) ，对所有的 x * 有 0 x ，则称点 x 是函数 F ( x) 的弱最小点。
̶ 从 x [1.9 2] 处开始，已知全局最小值是 x [1 1] • 拟牛顿法做得很好-在迭代了26次后得到了最优解（调用35次），但是梯度搜索（最速下 降）却做得不好（尽管很接近），调用函数2000次，迭代了550次
1-22
图1.5 算法是如何工作的
1-23
1-24
1-25
Rosenblock with BFGS
* *
，这样才能
充分确保 F ( x* x) F ( x* ) 。 —对于任意的 x
0 ，充分条件是 G( x* ) 0 （PD）。
• 对于强最小值的二阶必要条件是 G( x* ) 0 （PSD），因为在这种情况下展开式中的更高 阶项很重要。例如：
xT G( x* )x 0
在合理的时间内能否保证可以找到一个好的答案--答案是可以，但不是一直能 保证的。
1-27
图1.7：初始环境下函数的一个点的收敛性是如何变化的
最优控制理论课件
m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 K 为常数
初始状态 终点条件
h(0) h0 h(T ) 0
v(0) v0 v(T ) 0
m(0) M F
控制目标
J m(T )
推力方案
0 u(t) umax
2019年11月25日星期一
指标
J x(T), y(T), x(T), y(T) x(T)
2019年11月25日星期一
现代控制理论
18
最优控制问题
例1.2
导弹发射问题
x F (t) cos (t)
m
y F (t) sin (t)
m
初始条件 x(0) 0 y(0) 0 x(0) 0
2019年11月25日星期一
现代控制理论
1
最优控制理论
东北大学信息科学与工程学院 井元伟教授
二○○九年十一月
2019年11月25日星期一
2
第1章 题第2章 法第3章 第理4章 划第5章 制 第6章 统
最优控制问 求解最优控制的变分方 最大值原 动态规 线性二次型性能指标的最优控 快速控制系
2019年11月25日星期一
现代控制理论
12
最优控制问题
例1.2 导弹发射问题
2019年11月25日星期一
现代控制理论
13
最优控制问题
例1.2 导弹发射问题
最优控制问题
例1.2
导弹发射问题
x F (t) cos (t)
m
y F (t) sin (t)
m
2019年11月25日星期一