动态最优化第7讲 最优控制理论极大值原理
第七章--最优控制
Optimal Control Theory
同济大学汽车学院：赵治国 教授 Prof. Zhiguo Zhao School of Automotive Studies, Tongji University Tel：69589117(O) E-mail: Zhiguozhao@
*
x(t ) x* (t )上的变分等于零，即 J [ x* (t )] 0
§7－3 泛函与变分的基本概念
证明：对于任意给定的
x(t ) 来说，J [ x* (t ) x(t )]是实变量 的 * * J [ x ( t )] 函数。泛函 在 x (t ) 达到极值，即函数 J [ x (t ) x(t )] 在 0 时达到极值，所以它的导数在 0 时应为零，即
二. 最优控制问题的一般提法 用数学语言描述最优控制问题，应包括以下几个方面的内容： 1. 受控系统的数学模型 用状态方程描述：x (t ) f [ x(t ), u (t ), t ] 2. 受控系统的始端和终端条件，即状态方程的边界条件 对最优控制问题始端条件通常是已知的：x(t0 ) x0 终端条件可以用一个目标集表示：
J J [ x()] J [ x(t ) x(t )] 中的 x(t ) 应理解为某一特定函数的整体，而不是对应于 的
dx(t ) J ( x (t ) t )dt 0 dt 1 5 2 J (t t )dt 0 6 2 1 e J (e 2t tet )dt 1 0 2
1 2
若 x (t ) t 有
t x ( t ) e 若 有
§7－3 泛函与变分的基本概念
2.泛函自变量的变分 泛函 J [ x (t )] 的自变量函数 x (t ) 与标称函数 x* (t )之间的差值函数
第7章 最优控制
第7章 最优控制内容提要最优控制是现代控制理论的重要组成部分。
它所研究的对象是控制系统，中心问题是给定一个控制系统，选择控制规律，使系统在某种意义上是最优的。
这一章介绍了最优控制问题及一些基本的求解方法，如变分法、最大值原理和动态规划等。
为最优控制系统的设计，特别是线性二次型性能指标和快速控制提供方法和理论基础。
关于求解最优控制的变分方法，介绍了泛函与变分法基础，欧拉方程，横截条件，含有多个未知函数泛函的极值，条件极值等；关于最大值原理，介绍了古典变分法的局限性，最大值原理基本叙述，变分法与极大值原理的异同等；关于动态规划，介绍了多级决策过程与最优性原理，离散系统动态规划，连续系统动态规划，动态规划与最大值原理的关系等；还介绍了线性二次型性能指标的最优控制问题，包括状态调节器、输出调节器、跟踪问题，以及快速控制问题和综合问题。
这章研究的内容是最优控制中最基本的，也是必需掌握的。
无论将来从事研究还是从事实际工作都是必不可少的。
习题与解答7.1设有一阶系统x x u =-+，3)0(=x 。
试确定最优控制函数()u t ，在2t =时，将 系统控制到零态，并使泛函220(1)d J u t =+⎰，取极小值。
解 作泛函2200[1()]d J u x x u t λ=+++-⎰写出泛函0J 的欧拉方程0 0u u x x F F uF F t ∂⎧-=⎪⎪∂⎨∂⎪-=⎪∂⎩推出20u λλλ-=⎧⎨-=⎩ 与状态方程x x u =-+联立求得111222ttt tc e c u e c x c e e λ-===+代入边界条件()()03, 20x x ==得122212322c c cc e e -+=+=解之得2212222263, e e c c e e e e----==--故212232t tc e u e e e e---==- □7.2 一质点沿曲线()y f x =从点(0,8)运动到(4,0)，设质点的运动速度为x ，问曲线取什么形状，质点运动时间最短？解 因为d , d d sx s x t== 所以t x =⎰由欧拉方程d0d d 0d y y F F tt -=⎛⎫= 得0c =做变量代换，令tg ,y θ'= 代入上式，得1sin ,x c θ== 101c c ⎛⎫= ⎪⎝⎭令 ⑴因为1d tg , d cos d d yy x c xθθθ'=== 得11d tg d tg cos d sin d y x c c θθθθθθ===可推出12cos y c c θ=-+ ⑵从（1）和（2）式中消去变量θ，得()22221x y c c +-=代入边界条件，得()2222221218, 4c c c c -=+=推出125, 3c c =±=所以曲线方程为()22325x y +-= □7.3 给定二阶系统010001x x u ⎡⎤⎡⎤=+⎢⎥⎢⎥⎣⎦⎣⎦，2(0)1x ⎡⎤=⎢⎥⎣⎦。
最优控制——最大值原理
最优控制——最大值原理最优控制问题是数学中的一个重要问题，研究如何在给定约束条件下使一个系统达到最优状态。
在数学的最优控制理论中，最大值原理是一种重要的工具和方法，被广泛应用于很多最优控制问题的求解中。
本文将详细介绍最优控制中的最大值原理及其应用。
最大值原理也称为哈密顿-雅可比-贝尔曼方程(hamilton-jacobi-bellman equation)，它是最优控制问题的一个基本性质。
最大值原理给出了在给定约束条件下系统状态的最优演化方程。
最大值原理的基本形式是哈密顿－雅可比－贝尔曼方程。
对于一个给定的最优控制问题，假设系统的演化满足一个偏微分方程，此方程将由状态变量、控制变量、时间变量以及一个哈密顿函数构成，具体形式如下：∂V/∂t + min(u) {H(x,u,t)+ ∇V⋅f(x,u,t)} = 0其中，V(x,t)是值函数(value function)，表示从状态x在时间t开始时，系统必须选择的最佳控制来最大化性能指标的期望值。
f(x,u,t)是状态方程(state equation)，描述系统状态的演化。
H(x,u,t)是哈密顿函数(Hamiltonian)，是一个将值函数、控制变量和状态方程综合起来的函数，它的作用是描述系统的动力学性质。
最大值原理的关键在于通过逐步迭代的方式求解值函数V(x,t)，找到使系统达到最优状态的最佳控制变量。
这一过程通常称为最优控制问题的动态规划(dynamic programming)。
最大值原理的主要应用涉及很多不同领域，例如经济学、工程学、生物学等。
在经济学中，最大值原理被广泛应用于决策理论、资产定价、宏观经济模型等领域。
在工程学中，最大值原理常用于控制系统设计、路径规划、优化问题等。
在生物学中，最大值原理被用于神经科学、生态学、生物系统动力学建模等。
最大值原理的应用还包括优化问题、最短路径问题、最优控制问题、反问题等。
它不仅可以用于求解连续问题，也可以用于离散问题。
最优控制-极大值原理
近似算法
针对极大值原理的求解过程，开 发了一系列近似算法，如梯度法、 牛顿法等，提高了求解效率。
鲁棒性分析
将极大值原理应用于鲁棒性分析， 研究系统在不确定性因素下的最 优控制策略，增强了系统的抗干 扰能力。
极大值原理在工程领域的应用
航空航天控制
在航空航天领域，利用极大值原理进行最优 控制设计，实现无人机、卫星等的高精度姿 态调整和轨道优化。
03
极大值原理还可以应用于经济 学、生物学等领域，为这些领 域的研究提供新的思路和方法 。
02
最优控制理论概述
最优控制问题定义
01
确定一个控制输入，使得某个给定的性能指标达到 最优。
02
性能指标通常由系统状态和控制输入的函数来描述。
03
目标是在满足系统约束的条件下，找到最优的控制 策略。
最优控制问题的分类
1 2
确定型
已知系统的动态模型和控制约束，求最优控制输 入。
随机型
考虑系统的不确定性，如随机干扰、参数不确定 性等。
3
鲁棒型
考虑系统模型的不确定性，设计鲁棒控制策略。
最优控制问题通过求解优化问题得到最优解的解析表达式。
数值法
02
通过迭代或搜索方法找到最优解。
极大值原理
03
基于动态规划的方法，通过求解一系列的子问题来找到最优解。
03
极大值原理
极大值原理的概述
极大值原理是现代控制理论中的基本原理之一，它为解决最 优控制问题提供了一种有效的方法。该原理基于动态系统的 状态和性能之间的关系，通过寻求系统状态的最大或最小变 化，来达到最优的控制效果。
在最优控制问题中，极大值原理关注的是在给定的初始和终 端状态约束下，如何选择控制输入使得某个性能指标达到最 优。它适用于连续和离散时间系统，以及线性或非线性系统 。
第七章 最优控制：最大值原理
以上推导得到：u
1 2
t
（7.39)
1 4 ke
t
( t ) ke （7.40)
（7.41)
t
y ce
步骤4
根据边界条件
t
y (0) 1
1 4
2
和
2
y (1) 0
代入 y ( t ) ce
ke
t
，得：
4e 1 e
2
c
1 1 e
k
第四章 最优控制
第一节 最大值原理 第二节 其他终结条件 第三节 变分法与最优控制的比较 第四节 政治商业周期
导入例子
• 最大化
T
U ( E )e
t
dt
0
满足 和
dS dt
E (t )
S (0) S 0
S (T ) 自由
E (t ) 表示时间 t 时这种资源的抽取速度
S 表示资源的储量
所以
V
T 0
F ( t , y , u ) ( t ) f ( t , y , u ) y dt
( t ) f ( t , y , u ) y dt
0
T
T
( t ) f ( t , y , u ) y dt 0
0
*
综合情况一和二： (T ) 0
( y T y min ) (T ) 0
*
一般横截条件：
(T ) y T 0
H t T T
（7.30）
截断水平终结线： 情况一
最优控制理论课件
第一章绪论1.1 引言近50年来，科学技术的迅速发展，对许多被控对象如宇宙飞船、导弹、卫星和现代工业设备与生产过程的性能提出了更高的要求，在许多情况下要求系统的某种性能指标为最优。
这就要求人们对控制问题都必须从最优控制的角度进行研究分析和设计。
最优控制理论是现代控制理论的重要组成部分。
其形成与发展奠定了整个现代控制理论的基础。
早在20世纪50年代初九开始了对最短时间控制问题的研究。
随后，由于空间技术的发展，越来越多的学者和工程技术人员投身于这一领域的研究和开发，逐步形成了较为完整的最优控制理论体系。
最优化问题就是根据各种不同的研究对象以及人们预期要达到的目标，寻找一个最优控制规律，或设计出一个最优控制方案或最优控制系统。
最优控制理论研究的主要问题是：根据已建立的被控对象的时域数学模型或频域数学模型，选择一个容许的控制律，使得被控对象按预定要求运行，并使给定的某性能指标达到最优值。
从数学的观点来看，最优控制理论研究的问题是求解一类带有约束条件的泛函取值问题，属于变分学的理论范畴。
然而，经典变分学理论只能解决容许控制属于开机的一类，为适应工程实践的需要，20世纪50年代中期出现了现代变分理论。
在现代变分理论中最常用的两种分法是动态规划和极小值原理。
动态规划时美国学者R.E贝尔曼于1953-1957年为了解决多级决策问题的算法而逐步创立的。
最小值原理时前苏联科学院院士π.C.庞特里亚金与1956年-1958年间逐步创立的。
近年来，由于数字计算机的飞速发展和完善，逐步形成了最优控制理论中的数值计算法，参数优化方法。
当性能指标比较复杂或者不能用变量或函数表示时，可以采用直接搜索法，经过若干次迭代，都所到最优点。
常用的方法有邻近极值法、梯度法、共轭梯度法及单纯形法等。
同时由于可以把计算机作为控制系统的一个组成部分，以实现在线控制，从而使最优控制理论的工程实现成为现实。
因此，最优控制理论提出的求解方法，既是一种数学方法，又是一种计算机算法。
最优控制——最大值原理
(2)在应用古典变分法来求解最优控制问题时，要求函数 [X ( tf ) ,tf ], L[X(t),U(t),t] , f [X(t), U(t) ,t] 对它们的自变量 具有“充分”的可微性，特别要求H/U(t)有定义，于是， 类似
J u(t ) dt
t0 tf
这样的性能泛函数就被排除在外了。但是在燃料最优 控制问题中，这类性能泛函却是无法避免的。
U ( t )
说明：由于定理2.1.2的中心内容是，使性能泛函达到极小值 的最优控制的必要条件是哈密顿函数H达到最大值，所以， 该定理称为最大值原理。
2014-12-29
15
例 2.1.1 给定一阶线性系统和初始条件 （2.1.11） x x u, x(0) 1 其中控制作用u(t)的约束条件为 （2.1.12） u (t ) 1 要求确定控制函数u(t) ，使性能泛函 1 u J ( x )dt （2.1.13） 0 2 达到极小值 。 解：这是一个积分型最优控制问题，其终端时刻tf=1固定， 终端状态X(tf)是自由的。控制函数受到闭集性的约束条件。 可以利用上面介绍过的最大值原理（定理2.1.2）或最小值 原理（定理2.1.1）来求解。在这里，为了进行比较，将分 别利用这两个定理来求解。 (1)应用最大值原理求解，为此构造哈密顿函数 u 1 H ( x ) ( x u ) (1 ) x ( )u （2.1.14） 2 2
2014-12-29 16
按照最大值原理，为使泛函（2.1.13）达到极小值必须选择控 制函数u(t) ，使哈密顿函数（2.1.14）达到最大值。 由式(2.1.14)可见，当u(t)与((t)+1/2)同号，且取其约束条件 的边界值，即| u(t) |=1时，使哈密顿函数H达到最大值。所以， 控制函数应选择为
07讲 最优控制-极小值-连续系统
连续时变系统的极小值原理
能源与动力学院系统控制与仿真研究室
31
最优控制——极小值原理 最 控制 值原 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
32
最优控制——极小值原理 最 控制 值原 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
33
最优控制——极小值原理 最 控制 值原 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
21
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
能源与动力学院系统控制与仿真研究室
22
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
能源与动力学院系统控制与仿真研究室
23
最优控制——极小值原理 最 控制 值原 3.2 连续定常系统极小值原理
肖玲斐 lf i @ lfxiao@ d
最优控制——极小值原理 最 控制 值原 内容提要
连续系统的极小值原理 离散系统的极小值原理 几类典型最优控制
•时间最短 •燃料最少 •能量最小 •时间-燃料最优控制
能源与动力学院系统控制与仿真研究室 2
最优控制——极小值原理 最 控制 值原 内容提要
例
能源与动力学院系统控制与仿真研究室
37
最优控制——极小值原理 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
38
最优控制——极小值原理 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
39
最优控制——极小值原理 3.2 连续时变系统极小值原理
能源与动力学院系统控制与仿真研究室
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
终点值：* 2 2 2 0 3
令：* t 2e2t 2 3 2 - ln2.5 1.084
u 2
曲线2
H t , y, u ,
a
曲线3
H 0, 2 u 则确定最优控制为边界解：u * a或u * c 如果算得
曲线4
0
b
c
u
然后比较u * a和u * c时H的大小，取最大的边界值
第七讲 最优控制理论最大值原理
（三）最大值原理
（2）最大值原理的条件
H
步骤1：求 Max H t , y, u, u 汉密尔顿函数： 2 1/ 2 H 1 u u
H是可微和非线性的，可用一阶条件
H 1 2 1 / 2 2u 0 u 2 1 u 2 1 u u 2 1 / 2 1 1 2 1 2 u * t 1 2 u
第七讲 最优控制理论最大值原理
（三）最大值原理
（3）例子——算例1
汉密尔顿函数：H 1 u
2 1/ 2
u
步骤2：求共态变量的运动方程 d H dt y d H 0 * t C （常数） 1
dt y
dy H 步骤3：求状态变量的运动方程 dt
T 0
第七讲 最优控制理论最大值原理
（三）最大值原理
（2）最大值原理的条件 注意条件：
Max
u
H t , y, u,
对于所有的t 0, T
是一般性的描述
指： H t , y, u * , H t , y, u,
对于所有t 0,T
u *是最优控制，u是其它控制
第七讲 最优控制理论最大值原理
（三）最大值原理
假设：u a, c
（2）最大值原理的条件 H t , y, u, 对于条件： Max u
对于所有的t 0, T
（ 1）如果H是上凹函数（曲线1），H关于u可微， H 且最优控制是内点解，则可用条件： 0 u 求解条件： Max
dy H u dt
第七讲 最优控制理论最大值原理
（三）最大值原理
步骤4：利用边界条件和横截条件确定定解
H * 2 0 u t 1 u H d * t C1 y dt dy H dy u dt dt
一个例子：
资源使用的效用函数：U E t 或U S t
第七讲 最优控制理论最大值原理
（一）最优控制引论
假设企业的目标：在给定时间[0,T]上最大化使用这 种资源的总效用。 （1）变分法模型：
Max S .T .
T
0
U S t e t dt S 0 S 0 S T 自由
曲线1
H （3）如果算得 : 常数 （曲线 0 3） , u H关于u是线性函数的，斜率为负， H的最大值取控制变量的左边界：u a H （4）如果算得 : 常数 （曲线 0 4） , u H关于u是线性函数，斜率为正，
*
曲线2
曲线3
曲线4
H的最大值取控制变量的右边界：u c
*
a
0
b
c
u
第七讲 最优控制理论最大值原理
（三）最大值原理
（3）例子——算例1
Max S .T .
V 1 u
0
T
2 1/ 2
dt
dy u dt y 0 A y T 自由 （A, T给定）
第七讲 最优控制理论最大值原理
（三）最大值原理
（3）例子——算例1
主体的任务是：选择最优容许控制路径U * t ，与 相应的最优容许状态路径 y * t 一起在给定时期 [0,T]上最优化目标泛函。
第七讲 最优控制理论最大值原理
（二）最优控制的基本问题
（2）特殊性质
1）控制路径不必要求是连续的，仅需要它是分片 连续的（允许包含跳跃间断）； 状态路径在整个时期中必须是连续的，允许具有有 限个尖点（分片可微）。 dy
dy 控制变量为 u t ，运动方程（或状态方程）： f t , y, u dt 控制变量通过运动方程影响状态变量 y t
第七讲 最优控制理论最大值原理
（二）最优控制的基本问题
（4）一个特例
Max S .T .
T 0
V F t , y, u dt dy u dt y 0 A
u
H
曲线1
曲线2
H t , y, u, H 0 u
曲线3
首先使用一阶条件 :
曲线4
2H 再用二阶条件： 2 0验证H是凹函数 u
a
0
b
c
u
第七讲 最优控制理论最大值原理
（三）最大值原理
（2）最大值原理的条件
H
曲线1
（2）如果H是下凸函数（曲线2），尽管 H H关于u可微, 但 0得出的是最小值， u 最优控制取决于边界解 : u * a或u * c 求解条件： Max
（三）最大值原理
（4）例子——算例2
Max
u
H 2 y 3u
ut 0,2
曲线1 3 曲线2 3
H / u 3
H
分类讨论：
1）如果 3 则H / u 0, u * 2 2）如果 3
则H / u 0，u* 0
第七讲 最优控制理论最大值原理
（三）最大值原理
（4）例子——算例2
Max S .T .
V 2 y 3u dt
2 0
dy yu dt y 0 4 u t 0,2 y 2 自由
第七讲 最优控制理论最大值原理
（三）最大值原理
（4）例子——算例2
dy （运动方程为： u ） dt
y T 自由 （A, T给定）
消去u，得：
Max S .T . V F t , y, ydt
T 0
y 0 A
y T 自由 （A, T给定）
化为垂直终结线的变分法问题
第七讲 最优控制理论最大值原理
（三）最大值原理
最优控制理论的一阶必要条件称为最大值原理。
2 1
0
控制路径
u * t 1, u * t 2,
t1
t2
T
t
第七讲 最优控制理论最大值原理
（二）最优控制的基本问题
（2）特殊性质
3）最简单问题是垂直终结线问题，而不是固定终 结点问题
y
yT
A 0 T t
y
t=T
A
0
yT 给定，uT 不自由
yT自由，uT 自由
T t
动态最优化方法
——第7讲 最优控制理论极大值原理
第七讲 最优控制理论最大值原理
（一）最优控制引论
变分法：寻找目标泛函的状态路径y的最优时间路径
最优控制理论：寻找控制变量u的最优时间路径。发 现了最优控制路径，就可以找到相应的最优状态路 径。注意力集中在控制变量上，这些控制变量充当 最优化的工具手段。
dy H 步骤3：求状态变量的运动方程 dt dy H yu dt
第七讲 最优控制理论最大值原理
（三）最大值原理
（4）例子——算例2
步骤4：利用边界条件和横截条件求最优路径
H t , y, u , u * 2, 如果 3; u * 0, 如果 3 Max u H d t C 1e t 2 y dt dy H dy yu dt dt
（1）共态变量和汉密尔顿函数 T Max V F t , y, u dt 0
S .T . dy f t , y, u dt y 0 A u t , y T 自由 （A, T给定） 对于所有t 0, T
汉密尔顿函数： H F t , y, u t f t , y, u
1 / 2
由横截条件 T 0 ，得： * T C1 0, 从而：* t 0 * 2 1/ 2 最优控制路径： u t 1 0
由 dy dy u和u * t 0 0 y * t C2 dt dt 把初始条件：y 0 A代入，得：y * t A
第七讲 最优控制理论最大值原理
（二）最优控制的基本问题
（3）最简单问题的形式（垂直终结线）
Max S .T . V F t , y, u dt
T 0
dy f t , y, u dt y 0 A u t , y T 自由 （A, T给定） 对于所有t 0, T
步骤1：求 Max H t , y, u, u 汉密尔顿函数： H 2 y 3u y u 2 y 3u
得：H / u 3
汉密尔顿H关于u是线性的， 不能用条件 H / u 0，确定最优控制u*
第七讲 最优控制理论最大值原理
a
b
0
2
u
u
第七讲 最优控制理论最大值原理
（三）最大值原理