最优控制汉密尔顿函数课件
合集下载
最优控制课件第3章
第三章 极小值原理及应用
经典变分法局限性： 1、应用前提： a ）控制量 u(t)的取值无约束。 b ） f、L、Φ等函数对其自变量二次连续可微，要求哈密 尔顿函数关于控制变量的偏导数存在 。 2、实际控制要求：
a ）控制量u受不等式约束，如：M i (u ) 0 ，i=1,2,3……
b ）性能指标有时关于u并不可微，要求哈密尔顿函数 关于控制变量的偏导数不存在 。
一般:对于实际系统根据物理意义有最优解 极小值原理 有唯一解－－ 最优解
－－－－－－－－
－－－－－－－－
但是，对于线性系统可以证明极小值原理既是泛函取最小 值的必要条件，也是充分条件。
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Date: File:
05.04.2015 OC_CH3.6
Optimal Control Theory & its Application
②在最优轨线上，与最优控制u*相对应的H函数取绝对极小 值，即 或 沿最优轨线
③H函数在最优轨线终点满足
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Optimal Control Theory & its Application
取哈密尔顿函数为
则实现最优控制的必要条件是，最优控制u*、最优轨线x* 和最优协态矢量λ*满足下列关系式： ①沿最优轨线满足正则方程
当g中不含x时
Optimal Control Theory
Dong Jie 2014. All rights reserved.
经典变分法局限性： 1、应用前提： a ）控制量 u(t)的取值无约束。 b ） f、L、Φ等函数对其自变量二次连续可微，要求哈密 尔顿函数关于控制变量的偏导数存在 。 2、实际控制要求：
a ）控制量u受不等式约束，如：M i (u ) 0 ，i=1,2,3……
b ）性能指标有时关于u并不可微，要求哈密尔顿函数 关于控制变量的偏导数不存在 。
一般:对于实际系统根据物理意义有最优解 极小值原理 有唯一解－－ 最优解
－－－－－－－－
－－－－－－－－
但是，对于线性系统可以证明极小值原理既是泛函取最小 值的必要条件，也是充分条件。
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Date: File:
05.04.2015 OC_CH3.6
Optimal Control Theory & its Application
②在最优轨线上，与最优控制u*相对应的H函数取绝对极小 值，即 或 沿最优轨线
③H函数在最优轨线终点满足
Optimal Control Theory
Dong Jie 2014. All rights reserved.
Optimal Control Theory & its Application
取哈密尔顿函数为
则实现最优控制的必要条件是，最优控制u*、最优轨线x* 和最优协态矢量λ*满足下列关系式： ①沿最优轨线满足正则方程
当g中不含x时
Optimal Control Theory
Dong Jie 2014. All rights reserved.
最优控制全部PPT课件
J
（x(t f ),t f）
tf t0
F（x(t),u(t),t)dt
为最小。
这就是最优控制问题。
如果问题有解，记为u*(t), t∈ [t0,tf],则u*(t)叫做最优控制（极值控制），相应的轨 线X*(t)称为最优轨线（极值轨线），而性能指标J*=J（u*(·)）则称为最优性能指标。
第11页/共184页
目标质心的位置矢量和速度矢量为： xM xM
F(t)为拦截器的推力
x xL xM v xL xM
则拦截器与目标的相对运动方程为：
x v v a(t) F (t)
m(t)
m F (t) c
其中a(t)是除控制加速度外的固有相对加速度，是已知的。
初始条件为： x(t0 ) x0 v(t0 ) v0 m(t0 ) m0 终端条件为： x(t f ) 0 v(t f )任意 m(t f ) me
至于末态时刻，可以事先规定，也可以是未知的。 有时初态也没有完全给定，这时，初态集合可以类似地用初态约束来表示。
第9页/共184页
3：容许控制 在实际控制问题中，大多数控制量受客观条件的限制，只能在一定范围内取 值，这种限制通常可以用如下不等式约束来表示：
0 u(t) umax 或ui i 1,2p
给定一个线性系统，其平衡状态X(0)=0，设计的目的是保持系统处于平衡状态，即 这个系统应能从任何初始状态返回平衡状态。这种系统称为线性调节器。
线性调节器的性能指标为：
J
tf t0
n
xi 2 (t)dt
i 1
加权后的性能指标为：
J
tf t0
n
qi xi 2 (t)dt
i1
对u(t)有约束的性能指标为： J t f 1 [ X T (t)QX (t) uT (t)Ru(t)]dt
最优控制课程课件II-5.HJB方程
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
4 / 67
回顾：Bellman 方程 回顾：Bellman 方程
离散时间最优控制问题
问题 1 (离散时间最优控制问题)
13 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
4/4 HJB 方程必要性-取极限
两边同除 ∆t，取 ∆t → 0，即可得对于 t ∈ [t0, tf ] 都有 HJB 方程
∂V −
(x(t),
t)
=
min{g(x(t),
u(t),
t)
+
∂V [
(x(t),
t)]T f (x(t),
u(t),
t)}
∂t
u(t)
∂x
令 t = tf ，得到边界条件
V (x(tf ), tf ) = h(x(tf ), tf ).
(11)
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
10 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
1/4 HJB 方程必要性-最优性原理
将性能指标分成 [t, t + ∆t] 和 [t + ∆t, tf ] 两段
4_1 Hamilton方程
g (u ) 也可以做 Legendre 变换，由于 x = dg du ，因此 g (u ) 的 Legendre 变换
为 xu − g (u ) ，它就是原来的函数 举个例子。考虑函数 变量 u
f ( x) 。
f ( x) = x 2 ，它满足我们前面的条件 f ′′ = 2 > 0 ，新
变换后新的函数为 正是
y
y = f ( x)
y
y = f ( x)
y = f ′( x0 ) x − g
(0, − g )
x0
x
唯一的截距，这相当于要求
f ′′( x) 总是大于零（或者总是小于零）的，因为这
种情况下曲线切线的斜率就是单调增加 （或减小） 的。 实 际上，由于我考虑的是那些光滑的函数
[
v
v = g (u )
= f ′( x) = 2 x ，其反变换为 x = u 2 ； Legendre
g (u ) = xu − f ( x) = u 2 2 − u 2 4 = u 2 4 。 而 x = ∂g ∂u = u 2
相应的 − g (u ) 作 如果你有兴趣， 不妨以每一个 u 作为斜率， u = 2 x 的反变换。 为截距做出一系列的直线，你会发现这些直线的包络线正是曲线 稍微推广一下，考虑这样一个具有两个自变量的函数 只想把其中一个变量（譬如 y ，假设 ∂ 一个变量保持不变
i H ( q, p, t ) = q
∂L i pi − L −L=q i ∂q
(9)
我们将这个函数称为 Hamilton 函数或者 Hamiltonian （Hamilton 量） 。 实际上这个 式子中间的那一项大家是熟悉的了， 它就是我们以前定义的 Jacobi 积分。 但是需
第十章_具有约束的最优控制问题
G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题： 最大化 0 F ( t , y , u ) dt
T
例2 解以下最优控制问题：
最大化 0 1 dt y yu 满足
y (0) 5 y ( T ) 11 T 自由
T
和
u ( t ) [ 1,1]
它具有一个受约束的控制变量，该控制集合可视为 两个不等式约束：
1 u (t ) 和 u (t ) 1
汉密尔顿函数： H 拉格朗日函数：
u
对于所有 t [ 0 , T ]
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
(t ) 常数
( T ) 0 [ 横截条件 ]
四、不等式积分约束 T 最优控制问题： 最大化 0 F ( t , y , u ) dt y f (t, y , u ) 满足
y H H
u
F (t, y , u ) f (t, y , u ) G (t, y , u )
[ y 的运动方程
[ 的运动方程
]
[ 的运动方程
]
[ 的运动方程
]
( T ) 0 [ 横截条件 ]
上页的最大值原理可简化为：
Max H
]
]
( T ) 0 , ( T ) k 0 , ( T )[ ( T ) k ] 0 [ 的横截条件
最优控制课程课件II-5.HJB方程
第九讲：Hamilton-Jacobi-Bellman 方程
最优控制的数学理论之五
张杰
人工智能学院 中国科学院大学 复杂系统管理与控制国家重点实验室 中国科学院自动化研究所
2017 年 10 月 17 日
Jie,l
. . . .... .... .... . . . . .... .... .... . .
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
9 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程
Hamilton-Jacobi-Bellman 方程
定理 3 (Hamilton-Jacobi-Bellman 方程)
最优控制的数学理论
. .. . . ..
14 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的充分条件
1/3 HJB 方程必要性-命题表述
定理 4 (HJB 方程的充分条件)
若存在函数 V (x, t) : Rn × [t0, tf ] → R 满足 HJB 方程：
(4)
. .. . . ..
5 / 67
回顾：Bellman 方程 回顾：Bellman 方程
动态规划的最优性原理
定理 1 (最优性原理,
Bellman1954)
过程的最优
有如
下性质：不论初始状态和初始
如 ，其 的 对于由初始
所形成的状态来 ，必定也
是一 最优
北京
天津 J [南京, 天津,北京]
J [南京, 北京]
V (x(t), t) = min{g(x(t), u(t), t)∆t + V (x(t), t) u(t)
最优控制的数学理论之五
张杰
人工智能学院 中国科学院大学 复杂系统管理与控制国家重点实验室 中国科学院自动化研究所
2017 年 10 月 17 日
Jie,l
. . . .... .... .... . . . . .... .... .... . .
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
9 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程
Hamilton-Jacobi-Bellman 方程
定理 3 (Hamilton-Jacobi-Bellman 方程)
最优控制的数学理论
. .. . . ..
14 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的充分条件
1/3 HJB 方程必要性-命题表述
定理 4 (HJB 方程的充分条件)
若存在函数 V (x, t) : Rn × [t0, tf ] → R 满足 HJB 方程：
(4)
. .. . . ..
5 / 67
回顾：Bellman 方程 回顾：Bellman 方程
动态规划的最优性原理
定理 1 (最优性原理,
Bellman1954)
过程的最优
有如
下性质：不论初始状态和初始
如 ，其 的 对于由初始
所形成的状态来 ，必定也
是一 最优
北京
天津 J [南京, 天津,北京]
J [南京, 北京]
V (x(t), t) = min{g(x(t), u(t), t)∆t + V (x(t), t) u(t)
第十章_具有约束的最优控制问题
对于给定的 ，或者 关于( y , u ) 对所有t [ 0 , T ] 是凹 的，或者 H 0 关于 y 对于所有t [ 0 , T ] 是凹的。
如果是无限水平问题，充分性定理仍然适用，但是要 加上一个补充性条件：
T
lim ( t )[ y ( t ) y ( t )] 0
G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题： 最大化 0 F ( t , y , u ) dt
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
( T ) 0 [ y 的横截条件
( t ) 常数 0
和
]
k
G ( t , y , u ) dt
0
T
0
k
G ( t , y , u ) dt 0 0
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为： 最优控制问题： 最大化 F ( t , y , u ) dt 0 y f (t, y , u ) 满足
(10 . 43 ) (10 . 44 ) (10 . 45 ) (10 . 47 )
第八章_对最优控制的进一步讨论
T
0
* [ f ( t , y , u ) f ( t , y * , u * ) f y ( t , y * , u * )( y y * ) f u ( t , y * , u * )( u u * )] dt 0
*
V V 0
b)若 f 关于 y 和 u 线性，那么 (t ) 无须不等式约束。
0
f u ( t , y , u )( u u )] dt
* * *
( 8 .3 1)
以上推导得到：
[ f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) (8 .3 1) 0 * * * f u ( t , y , u )( u u )] dt * * * * * * * * f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) f u ( t , y , u )( u u ) (8 .3 0)
f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) f u ( t , y , u )( u u ) 0 (8 .3 0)
* * * * * * * *
V V 0
*
曼加萨林充分性定理不但适用于垂直终结线问题， 也适用于固定端点或截断垂直终结线问题。
*
(8.29)
以上推导得到： Fu ( t , y , u ) f u ( t , y , u ) * * * * f ( t , y * , u * ) Fy (t , y , u ) y
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
H 0 u
(5-11)
tf 0 t0
(5-12)
学习交流PPT
9
式(5-9)称为动态系统的伴随方程或协态方程， λ又称为伴随矢量或协态矢量。
式(5-10)即系统的状态方程。
式(5-9)与式(5-10)联立称为哈密尔顿正则方程。
式(5-11)称为控制方程，
学习交流PPT
10
这个方程是在假设δu为任意，控制u(t)取值
不受约束条件下得到的。如果u(t)为容许控制，
受到 utU的约束，δu变分不能任意取值，
那么，关系式 H 0 不成立，这种情况留待极 u
小值原理中讨论。
学习交流PPT
11
式(5-12)称为横截条件。常用于补充边界条件。
例如，若始端固定，终态自由时，由于δx(t0)=0， δx(tf)任意，则有
xt0x0
2
一、拉格朗日问题
考虑系统
x t fx t,u t,t
(5-1)
式中 xtRn；utRr；
fxt,ut,t——n维连续可微的矢量函数。
学习交流PPT
3
设给定 tt0,tf ，初始状态为x(t0)=x0，
终端状态x(tf)自由。性能泛函为
J tf t0
Lxt,ut,tdt
(5-2)
寻求最优控制u(t)，将系统从初始状态x(t0)=x0 转移到终端状态x(tf)，并使性能泛函J取极值。
学习交流PPT
4
将状态方程式(5-1)写成约束方程形式
fx t,u t,t x t 0
(5-3)
应用拉格朗日乘子法，构造增广泛函
J t t 0 f L x t ,u t ,t T t fx t ,u t ,t x t d t
式中λ(t)——待定的n维拉格朗日乘子矢量。
学习交流PPT
5
解得 C13,C27 2,C31,C41
学习交流PPT
21
因此，最优解为
u * t 3t 7
2
x
* 1
t
1 2
t3
7 4
t2
t
1
x
* 2
t
3 2
t2
7 2
t
1
学习交流PPT
22
最优控制u*(t)及最优轨线x*(t)如图2所示。
x(t) u(t) 2 1
x1*(t)
(2,2,5)
0
t
0.5
1 7/6 1.5
(5-13)
tf 0
(5-14)
学习交流PPT
12
若始端和终端都固定时，δx(t0)=0，δx(tf)=0则以
xt0x0
(5-15)
xtf xf
(5-16)
作为两个边界条件。
学习交流PPT
13
实际上，上述泛函极值的必要条件，亦可
由式(5-6)写出欧拉方程直接导出。
即 H d H
x H
H
u
学习交流PPT
(5-7)
6
对式(5-5)右边第二项作分部积分，得
tf Tx dttf TxdtTxtf
t0
t0
t0
将上式代入式(5-5)，得
J tf H x ,u ,,tT xd tT xtf (5-8)
t0
t0
学习交流PPT
7
设u(t)和x(t)相对于最优控制u*(t)及最优轨线
x 1 2 0 ,22 0，代入例1的通解中可确定积分
常数：
C 18 9,C218,8 C31,C41
3) 再将x*、λ*代入得 u*u ~x*, *为所求。
学习交流PPT
15
例1：有系统如图1所示。欲使系统在2s内从状态
0 0
1 1
转移到
2 2
0 0
，使性能泛函
J1 2u2tdt
20
mi，n试求u(t)。
u(t)
ω(t)
θ(t)
1s
1s
x1
x2
学习交流PPT
16
解：系统状态方程及边界条件为
u*(t)的变分为δu和δx，计算由δu和δx引起的
J´的变分为：
J tt0 f x T H x u T H u d t x T
tf t0
使J´取极小的必要条件是，对任意的δu和δx，
都有δJ´=0成立。
学习交流PPT
8
因此得
H 0
(5-9)
x
H x
(5-10)
2
-1
-2
x2*(t)
u*(t)
-3
学习交流PPT
23
例2：设问题同例1。但将终端状态改为θ(2)=0， ω(2)自由，即终端条件改成部分约束、部分自 由。重求u*(t)、x*(t)。
学习交流PPT
24
解 正则方程及控制方程与例1完全相同，只是
边界条件改成 t 0时 x10 1 ,x20 1，t 2 时
第五章 用变分法求解连续 最优控制问题
—有约束条件的泛函极值
学习交流PPT
1
上节讨论没有约束条件的泛函极值问题。但在 最优控制问题中，泛函J所依赖的函数总要受到受控 系统状态方程的约束。解决这类问题的思路是应用 拉格朗日乘子法，将这种有约束条件的泛函极值问 题转化为无约束条件的泛函极值问题。
学习交流PPT
x00
1 0 0x1u
x011,x200
学习交流PPT
17
由式(5-7)，得
H L T f x 1 2 u 2 T 0 01 0 x 1 0 u x
学习交流PPT
18
由欧拉方程，得
H xd dt H x 1 0 0 0 1 2 1 20
2101
学习交流PPT
定义纯量函数
H x , u ,, t L x , u , t T f x , u , t (5-4)
称H[x,u,λ,t]为哈密尔顿函数。则
Jtf H x,u,,tTx dt t0
(5-5)
或 Jtf Hx,x ,u,,tdt t0
(5-6)
式中
H x , x , u , , t L x t , u t , t T t f x t , u t , t x t
19
5个未知数x1, x2, λ1, λ2, u，由5个方程联立求得通解
1 C1
2 C1t C 2
u C1t C 2
x1
1 6
C1t 3
1 2
C2t 2
C 3t
C4
x2
1 2
C
1t
2
C2t
C3
学习交流PPT
20
4个积分常数C1, C2, C3, C4由4个边界条件
x 1 0 1 , x 2 0 1 , x 1 2 0 , x 2 2 0
dt
d dt
d dt
H tf
x t0
x
H
H u
0
0
0
0
H x
HHu来自f t00 x 0 0
(5-17)
学习交流PPT
14
应用上述条件求解最优控制的步骤如下：
1) 由控制方程
H 0 u
解出 u*u~x,
2) 将u*代入正则方程解两边边值问题，求x*、λ*。