最优控制--汉密尔顿函数 ppt课件
合集下载
最优控制课程课件II-5.HJB方程
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
4 / 67
回顾：Bellman 方程 回顾：Bellman 方程
离散时间最优控制问题
问题 1 (离散时间最优控制问题)
13 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
4/4 HJB 方程必要性-取极限
两边同除 ∆t，取 ∆t → 0，即可得对于 t ∈ [t0, tf ] 都有 HJB 方程
∂V −
(x(t),
t)
=
min{g(x(t),
u(t),
t)
+
∂V [
(x(t),
t)]T f (x(t),
u(t),
t)}
∂t
u(t)
∂x
令 t = tf ，得到边界条件
V (x(tf ), tf ) = h(x(tf ), tf ).
(11)
Jie, Zhang (CASIA)
Optimal Control
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
10 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的必要条件
1/4 HJB 方程必要性-最优性原理
将性能指标分成 [t, t + ∆t] 和 [t + ∆t, tf ] 两段
第十章_具有约束的最优控制问题
G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题： 最大化 0 F ( t , y , u ) dt
T
例2 解以下最优控制问题：
最大化 0 1 dt y yu 满足
y (0) 5 y ( T ) 11 T 自由
T
和
u ( t ) [ 1,1]
它具有一个受约束的控制变量，该控制集合可视为 两个不等式约束：
1 u (t ) 和 u (t ) 1
汉密尔顿函数： H 拉格朗日函数：
u
对于所有 t [ 0 , T ]
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
(t ) 常数
( T ) 0 [ 横截条件 ]
四、不等式积分约束 T 最优控制问题： 最大化 0 F ( t , y , u ) dt y f (t, y , u ) 满足
y H H
u
F (t, y , u ) f (t, y , u ) G (t, y , u )
[ y 的运动方程
[ 的运动方程
]
[ 的运动方程
]
[ 的运动方程
]
( T ) 0 [ 横截条件 ]
上页的最大值原理可简化为：
Max H
]
]
( T ) 0 , ( T ) k 0 , ( T )[ ( T ) k ] 0 [ 的横截条件
最优控制课程课件II-5.HJB方程
第九讲：Hamilton-Jacobi-Bellman 方程
最优控制的数学理论之五
张杰
人工智能学院 中国科学院大学 复杂系统管理与控制国家重点实验室 中国科学院自动化研究所
2017 年 10 月 17 日
Jie,l
. . . .... .... .... . . . . .... .... .... . .
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
9 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程
Hamilton-Jacobi-Bellman 方程
定理 3 (Hamilton-Jacobi-Bellman 方程)
最优控制的数学理论
. .. . . ..
14 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的充分条件
1/3 HJB 方程必要性-命题表述
定理 4 (HJB 方程的充分条件)
若存在函数 V (x, t) : Rn × [t0, tf ] → R 满足 HJB 方程：
(4)
. .. . . ..
5 / 67
回顾：Bellman 方程 回顾：Bellman 方程
动态规划的最优性原理
定理 1 (最优性原理,
Bellman1954)
过程的最优
有如
下性质：不论初始状态和初始
如 ，其 的 对于由初始
所形成的状态来 ，必定也
是一 最优
北京
天津 J [南京, 天津,北京]
J [南京, 北京]
V (x(t), t) = min{g(x(t), u(t), t)∆t + V (x(t), t) u(t)
最优控制的数学理论之五
张杰
人工智能学院 中国科学院大学 复杂系统管理与控制国家重点实验室 中国科学院自动化研究所
2017 年 10 月 17 日
Jie,l
. . . .... .... .... . . . . .... .... .... . .
. . . .... .... .... . . . . .... .... .... . .
最优控制的数学理论
. .. . . ..
9 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程
Hamilton-Jacobi-Bellman 方程
定理 3 (Hamilton-Jacobi-Bellman 方程)
最优控制的数学理论
. .. . . ..
14 / 67
Hamilton-Jacobi-Bellman 方程 HJB 方程是最优控制的充分条件
1/3 HJB 方程必要性-命题表述
定理 4 (HJB 方程的充分条件)
若存在函数 V (x, t) : Rn × [t0, tf ] → R 满足 HJB 方程：
(4)
. .. . . ..
5 / 67
回顾：Bellman 方程 回顾：Bellman 方程
动态规划的最优性原理
定理 1 (最优性原理,
Bellman1954)
过程的最优
有如
下性质：不论初始状态和初始
如 ，其 的 对于由初始
所形成的状态来 ，必定也
是一 最优
北京
天津 J [南京, 天津,北京]
J [南京, 北京]
V (x(t), t) = min{g(x(t), u(t), t)∆t + V (x(t), t) u(t)
第十章_具有约束的最优控制问题
对于给定的 ，或者 关于( y , u ) 对所有t [ 0 , T ] 是凹 的，或者 H 0 关于 y 对于所有t [ 0 , T ] 是凹的。
如果是无限水平问题，充分性定理仍然适用，但是要 加上一个补充性条件：
T
lim ( t )[ y ( t ) y ( t )] 0
G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题： 最大化 0 F ( t , y , u ) dt
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
( T ) 0 [ y 的横截条件
( t ) 常数 0
和
]
k
G ( t , y , u ) dt
0
T
0
k
G ( t , y , u ) dt 0 0
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为： 最优控制问题： 最大化 F ( t , y , u ) dt 0 y f (t, y , u ) 满足
(10 . 43 ) (10 . 44 ) (10 . 45 ) (10 . 47 )
离散数学PPT课件 7欧拉图与汉密尔顿图(ppt文档)
00
0 1
1 0
11
此轮的设计:以两位二进制数
V={00,01,10,11}为结点,画带
权图(即边上标有数字--称为
边的权), 从任何a1∈V结点 画2条有向边,标权0(或1),
该边指向结点a2,于是构成 边a10, (或a11),这八条边分别 表示八个二进制数:
e0 =000
e1 =001 00 01 e5 =101 10
v2
v3
v4
v5
G2 v6
如何判定一个图中是否有 a
b
1
4
欧拉路,或有欧拉回路?
c
d
3
2
3.有欧拉路与有欧拉回路的判定: 定理8-5.1:无向图G具有欧拉路,当且仅当G是连通的,且有 零个或两个奇数度的结点. *证明:必要性, 设G有欧拉路.(自行尝试证明) 充分性,(证明的过程就是一个构造欧拉路的过程)
7. 欧拉图与汉密尔顿图
这里主要讨论图的遍历问题,一个是遍历过程中要求经过
的所有边都不同;一个是遍历过程中要求经过的所有结点
都不同.
欧拉在1736年发表了第一篇关于图论的论文, 就是就七
桥问题.
A
BDΒιβλιοθήκη CAe1 e2 e5
B e6 D
e3 e4
C
e7
一.欧拉图:
1.欧拉路:在无孤立结点的图G中,如果存在一条路,它经 过图中每条边一次且仅一次, 称此路为欧拉路.
e3 =011 e2 =010
11 1
e7 =111
000,001,010,011,100,101,110,111 从此图上取一个欧拉回路: e0e1e2e5 e3e7e6e4 将上述各边的末位数字写成序列:01011100, 于是就按照此序列将鼓轮进行加工,标0部分
动态最优化第10讲 具有约束的最优控制问题
最大值原理条件：
0 对于所有的t 0,T
u
c g 0, 0, 0
dy dt
d
dt y
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（5）现值哈密尔顿函数和拉格朗日函数
引入新的乘子： m et （隐含 met）
n et （隐含 net）
汉密尔顿函数和拉格朗日函数：
Gt,
y, u dt
0
Γ
T
T
0
Gt,
y,
u
dt
k
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（4）不等式积分约束
问题重新表述为：
（2个状态变量的无约束问题，新变量具有截断终结线）
Max
T
0
F
t,
y,
u
dt
S.T. dy f t, y,u
dt
dΓ Gt, y,u
dt
y0 y0 yT 自由 （y0 ,T给定）
dt
又由于：汉密尔顿函数H独立于Γ ,
所以有：d H 0 t 常数
dt Γ 最大值原理条件重新表述为：
Max H u
dy H
dt
对于所有的t 0,T
d H t 常数
dt y
T 0
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（3）等周问题
等周问题简便解法：
构造拉格朗日函数（增广汉密尔顿函数）：
u1
0
u1
3
0
0 0 0
u2
u2
0 i
0,i
0,i
0 i
0
i
0,i
0,i
第八章_对最优控制的进一步讨论
T
0
* [ f ( t , y , u ) f ( t , y * , u * ) f y ( t , y * , u * )( y y * ) f u ( t , y * , u * )( u u * )] dt 0
*
V V 0
b)若 f 关于 y 和 u 线性，那么 (t ) 无须不等式约束。
0
f u ( t , y , u )( u u )] dt
* * *
( 8 .3 1)
以上推导得到：
[ f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) (8 .3 1) 0 * * * f u ( t , y , u )( u u )] dt * * * * * * * * f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) f u ( t , y , u )( u u ) (8 .3 0)
f ( t , y , u ) f ( t , y , u ) f y ( t , y , u )( y y ) f u ( t , y , u )( u u ) 0 (8 .3 0)
* * * * * * * *
V V 0
*
曼加萨林充分性定理不但适用于垂直终结线问题， 也适用于固定端点或截断垂直终结线问题。
*
(8.29)
以上推导得到： Fu ( t , y , u ) f u ( t , y , u ) * * * * f ( t , y * , u * ) Fy (t , y , u ) y
北师大版高中数学必修1第2章2.1函数概念课件PPT
且对应关系指的是对应的结果，而不是对应
的过程.
1, x 0,
x
y
与y 是同一函数.
x
1, x 0
函数的三要素 定义域、对应关系、值域.
（1）定义域是使解析式有意义的自变量的取值范围.
x
如y 的定义域为{x | x 0}.
x
如涉及实际问题，函数的定义域还必须使得
实际问题有意义.例如,问题1中学生学号取正整数.
思考：集合B与函数值域的关系？
{ f ( x)|x A} B
函数概念的理解
⑴集合A和B是非空数集.
⑵集合A为函数的定义域，对于集合A中的每一
个数x,在集合B中都有唯一确定的数y和它对应.
⑶值域是全体函数值组成的集合，
集合B不一定是值域，值域是集合B的子集.
⑷函数的概念强调了数与数之间的对应关系，
x2 1
(3) f ( x)
, g ( x) x 1;
x 1
1
1
(4) f ( x) x , g (t ) t .
x
t
解 (1) 因为f ( x)的定义域是R，
(2) 因为两个函数的
g ( x)的定义域是[0, )，
对应关系不同，
两个函数的定义域不同，
所以不是同一个函数；
系 f ,使对于集合A中的每一个数x,在集合B中都有唯一确定的
数y和它对应，那么就把对应关系f 称为定义在集合A上的一
个函数,记作 y f x , x A.
课堂小结
数学抽象 函数定义
函数三要素
（1）定义域是使解析式有意义的自变量的取值范围.
（2）对应关系指的是对应的结果，而不是对应的过程.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ppt课件
31
在这类极值问题中，要处理两种类型的等式约 束。一是微分方程约束，一是终端边界约束。根据 拉格朗日乘子法，要引入两面两个乘子矢量，一个 是n维λ(t)，另一个是q维μ，将等式约束条件泛函 极值化成无约束条件泛函极值问题来求解。
ppt课件
32
为此，构造增广泛函
J Φxt f ,t f T Nxt f ,t f
ppt课件
20
5个未知数x1, x2, λ1, λ2, u，由5个方程联立求得通解
1 C1
2 C1t C2
u C1t C2
C
2t
2
C3t
C4
x2
1 2
C1t
2
C2t C3
ppt课件
21
4个积分常数C1, C2, C3, C4由4个边界条件
x10 1, x2 0 1, x12 0, x2 2 0
t f
t0
Lxt,ut,t T
t f
xt , ut , t
xt d t
(5-21)
写出哈密顿函数
Hxt,ut,t,t Lxt,ut,t T t f xt,ut,t
ppt课件
(5-22)
33
于是
J Φxt f ,t f T Nxt f ,t f
t f
t0
H
xt
,
ut
,
t
,
t
T
t
xt
d
ppt课件
12
若始端和终端都固定时，δx(t0)=0，δx(tf)=0则以
xt0 x0
(5-15)
x t f x f
(5-16)
作为两个边界条件。
ppt课件
13
实际上，上述泛函极值的必要条件，亦可
由式(5-6)写出欧拉方程直接导出。
即 H d H
x H
H
u
dt
d dt
d dt
H t f
寻求最优控制u(t)，将系统从初始状态x(t0)=x0 转移到终端状态x(tf)，并使性能泛函J取极值。
ppt课件
4
将状态方程式(5-1)写成约束方程形式
f xt,ut,t xt 0
(5-3)
应用拉格朗日乘子法，构造增广泛函
J
t f
t0
Lxt
,
ut
,
t
T
t
f
xt
,
ut
,
t
xt
d
t
式中λ(t)——待定的n维拉格朗日乘子矢量。
2
一、拉格朗日问题
考虑系统
xt f xt,ut,t
(5-1)
式中 xt Rn；ut Rr ；
f xt,ut,t ——n维连续可微的矢量函数。
ppt课件
3
设给定 t t0 ,t f ，初始状态为x(t0)=x0，
终端状态x(tf)自由。性能泛函为
J
t f
t0
Lxt,ut,td t
(5-2)
x t0
x
H
H u
0
0
0
0
HxH
H
u
tf t0
0
x 0 0
(5-17)
ppt课件
14
应用上述条件求解最优控制的步骤如下：
1) 由控制方程
H 0 u
解出 u* u~x,
2) 将u*代入正则方程解两边边值问题，求x*、λ*。
3) 再将x*、λ*代入得 u* u~ x*, * 为所求。
ppt课件
(5-7)
6
对式(5-5)右边第二项作分部积分，得
t f T xd t t f T x d t T x t f
t0
t0
t0
将上式代入式(5-5)，得
J t f Hx,u, ,t T x d t T x t f (5-8)
t0
t0
ppt课件
7
设u(t)和x(t)相对于最优控制u*(t)及最优轨线
17
由式(5-7)，得
H
L T f
x
1 u2 2
T
0 0
1 0
x
10u
x
ppt课件
18
由欧拉方程，得
H x
d dt
H x
0 1
01 02
12
0
2101
ppt课件
19
H d H u 0
u d t u
112
0
u 2
H
d dt
H
0 0
1 0
x
0 1u
x
0
x1 x2 x2 u
t t0 ,t f
(5-35)
这就是说，对定常系统，沿最优轨线H恒为常值。
ppt课件
46
例4：给定系统状态方程为
x
0 0
1 0
x
10u
设初始状态x(0)= 0，终端状态约束曲线
x1(1)+x2(1)-1=0求使性能泛函
J 1 1u 2 td t
20
取极小时的最优控制u*(t)及最优轨线x*(t)。
9
式(5-9)称为动态系统的伴随方程或协态方程， λ又称为伴随矢量或协态矢量。
式(5-10)即系统的状态方程。
式(5-9)与式(5-10)联立称为哈密尔顿正则方程。
式(5-11)称为控制方程，
ppt课件
10
这个方程是在假设δu为任意，控制u(t)取值
不受约束条件下得到的。如果u(t)为容许控制，
u*(t)的变分为δu和δx，计算由δu和δx引起的
J´的变分为：
J
tf t0
xT
H x
uT
H u
d
t
xT
tf t0
使J´取极小的必要条件是，对任意的δu和δx，
都有δJ´=0成立。
ppt课件
8
因此得
H 0
x H x
H 0 u
tf 0 t0 ppt课件
(5-9) (5-10) (5-11) (5-12)
t
(5-23)
ppt课件
34
对上式中最后一次作分部积分，得
J Φ x t f
,t f
T N x tf
,t f
T txt t f t0
t f
t0
H
xt
,
ut
,
t
,
t
T
t
xt
d
t
(5-24)
ppt课件
35
这是一个可变端点变分问题。考虑x(t)，u(t)，
tf相对于它们最优值x*(t)，u*(t)，t*f的变分，并计 算由此引起J´的一次变分δJ´。设
2
-1
-2
x2*(t)
u*(t)
-3
ppt课件
24
例2：设问题同例1。但将终端状态改为θ(2)=0， ω(2)自由，即终端条件改成部分约束、部分自 由。重求u*(t)、x*(t)。
ppt课件
25
解 正则方程及控制方程与例1完全相同，只是
边界条件改成 t 0时 x10 1, x2 0 1，t 2 时 x12 0,2 2 0 ，代入例1的通解中可确定积分
变分各有两项：
xT t f
Φ x t f , t f x t f
Φ x t f , t f t f
t f
xT t f
N T x t f , t f x t f
N T
x tf
,t f
t f
t f
ppt课件
39
因此，有
J
t
f
H
dH dt
H t
H u
T
u
H x
T
f
(5-33)
ppt课件
44
如果u为最优控制，必满足
H 0 u
及
H 0
x
因此，有 d H H d t t
(5-34)
上式表明，哈密顿函数H沿最优轨线对时间的
全导数等于它对时间的偏导数。
ppt课件
45
当H不显含t时，恒有
dH 0 dt
即
H t 常数
ppt课件
5
定义纯量函数
Hx,u,,t Lx,u,t T f x,u,t (5-4)
称H[x,u,λ,t]为哈密尔顿函数。则
J tf Hx,u,,t T xd t t0
(5-5)
或 J tf H x, x,u, ,td t t0
(5-6)
式中
Hx, x,u,,t Lxt,ut,t T tf xt,ut,t xt
解得
C1
3, C2
7 2 ,C3
1,C4
1
ppt课件
22
因此，最优解为
u* t 3t 7
2
x1* t
1 2
t3
7 4
t
2
t
1
x
* 2
t
3 2
t2
7 2
t
1
ppt课件
23
最优控制u*(t)及最优轨线x*(t)如图2所示。
x(t) u(t) 2 1
x1*(t)
(2,2,5)
0
t
0.5
1 7/6 1.5
受到 utU 的约束，δu变分不能任意取值，
那么，关系式 H 0不成立，这种情况留待极 u
小值原理中讨论。
ppt课件
11
式(5-12)称为横截条件。常用于补充边界条件。
例如，若始端固定，终态自由时，由于δx(t0)=0， δx(tf)任意，则有
xt0 x0