动态最优化第10讲 具有约束的最优控制问题
最优控制问题的优化算法设计
最优控制问题的优化算法设计在现实生活中，我们经常面临着需要做出最优决策的问题。
而最优控制问题正是其中的一个重要研究领域。
最优控制的目标是通过在给定约束条件下，找到使指定性能指标最佳化的控制策略。
为了达到这一目标，研究者们不断探索和发展各种优化算法。
一、最优控制问题的基本形式最优控制问题可以表述为在一段时间内，通过调整系统状态的控制量，使得性能指标达到最优。
通常情况下，最优控制问题由动力学方程和性能指标的约束条件组成。
动力学方程描述了系统的演化过程，它通常采用微分或差分方程的形式来表示。
而性能指标可以是各种形式的约束条件，如最小化系统能耗、最大化系统输出品质等。
最优控制问题的目标是找到一种控制策略，使得性能指标达到最优。
二、优化算法的设计原则优化算法的目的是通过搜索和评估控制策略的性能来找到最优解。
针对最优控制问题，设计优化算法需要遵循以下原则：1. 算法的可行性：算法必须能够在给定的约束条件下求解最优控制问题。
2. 算法的收敛性：算法必须能够收敛到最优解，即使在复杂的问题和高维空间中也能够得到稳定的结果。
3. 算法的效率：算法应该具有较高的求解效率，能够在合理的时间内得到满意的结果。
4. 算法的鲁棒性：算法应该对于问题的参数变化和扰动具有一定的鲁棒性，能够适应不同的环境条件。
基于以上原则，研究者们开发了多种优化算法来解决最优控制问题。
三、最优控制问题的常见优化算法1. 数学规划算法：数学规划算法是最优控制问题求解中最常用的方法之一。
它通过建立目标函数和约束条件，并利用数学规划理论和算法来求解最优解。
2. 动态规划算法：动态规划算法是一种通过将原问题分解为子问题来求解最优控制问题的方法。
它具有较高的求解效率和鲁棒性，在一些特定的问题中表现出色。
3. 遗传算法：遗传算法是一种模拟生物进化过程的优化算法。
通过模拟遗传、变异和选择等过程，遗传算法可以在大规模搜索空间中找到最优解。
4. 粒子群优化算法：粒子群优化算法基于群体智能的原理，通过模拟鸟群寻找食物的过程来求解最优控制问题。
动态最优化第10讲 具有约束的最优控制问题
最大值原理的其它条件（运动方程）：
dy H （状态变量的运动方程） dt d H g 1 g 2 1 2 （共态变量的运动方程） dt y y y y
加适当横截条件
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
0 0
Γ T G t , y, u dt k
T 0
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（3）等周问题
问题重新表述为：（两个状态变量的一个无约束问题）
Max S .T .
F t , y, u dt
T 0
dy f t , y, u dt dΓ G t , y, u dt y 0 y0 Γ 0 0 y T 自由 （y0 , T给定） Γ T k （k给定）
0 u1 0 u 2 0 i 0 3
0 3u1 0 3
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（2）不等式约束
如果构造拉格朗日函数为：
F f 1 c1 g 1 2 c2 g 2 即： 0 3u1
dy f t , y, u1 , u 2 dt g t , y, u1 , u 2 c1
1
S .T .
dy f t , y, u1 , u 2 dt g 1 t , y, u1 , u 2 c1 g 2 t , y, u1 , u 2 c2 u1 0
加适当横截条件
第十讲 具有约束的最优控制问题
最优控制问题介绍
最优控制问题介绍最优控制问题是现代控制理论的核心内容之一，它研究的主要问题是如何在满足一定约束条件下，使得某一性能指标达到最优。
这类问题广泛存在于各个领域，如航天工程、经济管理、生态系统等。
通过对最优控制问题的研究，我们可以更加科学、合理地进行决策，实现资源的优化配置，提高系统的运行效率。
一、最优控制问题的基本概念最优控制问题通常可以描述为一个动态系统的优化问题。
在这个问题中，我们需要找到一个控制策略，使得系统从初始状态出发，在给定的时间内，通过控制输入，使得系统的某一性能指标达到最优。
这个性能指标可以是时间最短、能量消耗最小、误差最小等。
为了解决这个问题，我们首先需要建立系统的数学模型。
这个模型应该能够准确地描述系统的动态行为，包括状态方程、输出方程以及约束条件等。
然后，我们需要定义一个性能指标函数，这个函数描述了我们希望优化的目标。
最后，我们通过求解一个优化问题，找到使得性能指标函数达到最优的控制策略。
二、最优控制问题的分类根据系统的动态特性和性能指标函数的不同，最优控制问题可以分为多种类型。
其中，最常见的包括线性二次型最优控制问题、最小时间控制问题、最小能量控制问题等。
1. 线性二次型最优控制问题：这类问题中，系统的动态特性是线性的，性能指标函数是状态变量和控制输入的二次型函数。
这类问题在实际应用中非常广泛，因为许多实际系统都可以近似为线性系统，而二次型性能指标函数可以方便地描述许多实际优化目标。
2. 最小时间控制问题：在这类问题中，我们的目标是使得系统从初始状态到达目标状态的时间最短。
这类问题通常出现在对时间要求非常严格的场合，如火箭发射、紧急制动等。
3. 最小能量控制问题：这类问题的目标是使得系统在完成指定任务的过程中消耗的能量最小。
这类问题在能源有限的系统中尤为重要，如无人机、电动汽车等。
三、最优控制问题的求解方法求解最优控制问题的方法主要有两种：解析法和数值法。
1. 解析法：解析法是通过求解系统的动态方程和性能指标函数的极值条件，得到最优控制策略的解析表达式。
动态规划原理与最优控制(2024版)
式中
Ut
Ut {u(s), t s t f }
t f [x(s),u(s), s]ds
t
（4） （5）
而x(s)是在区间[t,t f ] 上和最优控制函数有关的轨线，
其中
t ，s 且t f
给x(t定0 ) 。
34
显然
V[x(t f ), t f ] [x(t f ), t f ]
（6）
加法次数: 4 * (n-2) + 2 次 n = 4时， 4 * (4-2) + 2 = 10 次
13
各个状态到终点的最短距离
J*[S] = 13 J*[X1(1) ] = 10 J*[X2(1) ] = 8 J*[X1(2) ] = 4 J*[X2(2) ] = 5 J*[X1(3) ] =4 J *[X2(3)] =3
（9）
上式称为Hamilton-Jacobi方程
或者称为 Hamilton-Jacobi-Bellman方程
38
对于所给最优控制问题，重复以上讨论，导致
V [ x(t ), t ] t
[
x(t
V
[
x(t t
),
t
]
t
V [ x(t ), t x(t)
]
T
f [x(t),u(t),t]t H.O.T.(t)}
36
min V[x(t),t] Ut
[x(t f ),t f ]
t f [x(s),u(s), s]ds
t
V
[
x(t
),t
]
V
[
x(t t
),
t
]
t
min u( )
J
*k
最优控制问题的动态规划法
最优控制问题的动态规划法动态规划法是一种常用的最优控制问题求解方法。
它通过将问题分解为子问题，并保存子问题的最优解，最终得到整体问题的最优解。
本文将介绍最优控制问题的动态规划法及其应用。
一、概述最优控制问题是指在给定控制目标和约束条件下，通过选择一组最优控制策略来实现最优控制目标。
动态规划法通过将问题分解为若干个阶段，并定义状态和决策变量，来描述问题的动态过程。
并且，动态规划法在求解过程中通过存储子问题的最优解，避免了重复计算，提高了计算效率。
二、最优控制问题的数学模型最优控制问题通常可以表示为一个关于状态和控制的动态系统。
假设系统的状态为$x(t)$，控制输入为$u(t)$，动态系统可以表示为：$$\dot{x}(t) = f(x(t), u(t))$$其中，$\dot{x}(t)$表示状态$x(t)$的变化率，$f$为状态方程。
此外，系统还有一个终止时间$T$，以及初始状态$x(0)$。
最优控制问题的目标是找到一个控制策略$u(t)$，使得系统在给定时间$T$内，从初始状态$x(0)$演化到最终状态$x(T)$，同时使得性能指标$J(x,u)$最小化。
性能指标通常表示为一个积分的形式：$$J(x,u) = \int_0^T L(x(t), u(t)) dt + \Phi(x(T))$$其中，$L$表示运动代价函数，$\Phi$表示终端代价函数。
三、最优控制问题的动态规划求解最优控制问题的动态规划求解包括两个主要步骤：状态方程的离散化和动态规划递推。
1. 状态方程的离散化将状态方程离散化可以得到状态转移方程。
一般来说，可以使用数值方法（如欧拉方法、龙格-库塔方法）对状态方程进行离散化。
通过选择适当的时间步长，可以平衡计算精度和计算效率。
2. 动态规划递推动态规划递推是最优控制问题的关键步骤。
假设状态函数$V(t,x)$表示从时刻$t$起，状态为$x$时的最优性能指标。
动态规划递推过程通常可以描述为以下几个步骤：（1）递推起点：确定最终时刻$T$时的值函数$V(T,x)$，通常可以根据终端代价函数$\Phi$直接得到。
第十章_具有约束的最优控制问题
G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题： 最大化 0 F ( t , y , u ) dt
T
例2 解以下最优控制问题：
最大化 0 1 dt y yu 满足
y (0) 5 y ( T ) 11 T 自由
T
和
u ( t ) [ 1,1]
它具有一个受约束的控制变量，该控制集合可视为 两个不等式约束：
1 u (t ) 和 u (t ) 1
汉密尔顿函数： H 拉格朗日函数：
u
对于所有 t [ 0 , T ]
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
(t ) 常数
( T ) 0 [ 横截条件 ]
四、不等式积分约束 T 最优控制问题： 最大化 0 F ( t , y , u ) dt y f (t, y , u ) 满足
y H H
u
F (t, y , u ) f (t, y , u ) G (t, y , u )
[ y 的运动方程
[ 的运动方程
]
[ 的运动方程
]
[ 的运动方程
]
( T ) 0 [ 横截条件 ]
上页的最大值原理可简化为：
Max H
]
]
( T ) 0 , ( T ) k 0 , ( T )[ ( T ) k ] 0 [ 的横截条件
第十章_具有约束的最优控制问题
对于给定的 ，或者 关于( y , u ) 对所有t [ 0 , T ] 是凹 的，或者 H 0 关于 y 对于所有t [ 0 , T ] 是凹的。
如果是无限水平问题，充分性定理仍然适用，但是要 加上一个补充性条件：
T
lim ( t )[ y ( t ) y ( t )] 0
G ( t , y , u ) [ 的运动方程
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为：T 最优控制问题： 最大化 0 F ( t , y , u ) dt
]
H y [ 的运动方程 ]
y
H
[ y 的运动方程
( T ) 0 [ y 的横截条件
( t ) 常数 0
和
]
k
G ( t , y , u ) dt
0
T
0
k
G ( t , y , u ) dt 0 0
T
]
(t )
在计划时期内的初始值和终结值是：
0 0
( 0 ) G ( , y , u ) d 0
(T ) G ( , y , u ) d k
0
上页的最优控制问题变为： 最优控制问题： 最大化 F ( t , y , u ) dt 0 y f (t, y , u ) 满足
(10 . 43 ) (10 . 44 ) (10 . 45 ) (10 . 47 )
动态最优化 徐高的笔记
[
]
(2.1.3)
又由分部积分法可得
∫
T
0
Fy′ p ′(t )dt = Fy′ p (t ) 0 − ∫ p (t )
T 0
[
]
T
T d d Fy′ dt = − ∫ p (t ) Fy′ dt 0 dt dt
]
(2.2.13)
此式可以通过画一个图看出。详见蒋中一《动态最优化基础》76 页图 3.1 4
XG’s 动态最优化笔记
由于 ∆T 是任意的，可得横截条件为
[F + (φ ′ − y ′)F ]
y ′ t =T
=0
(2.2.14)
再加上 yT = φ (T ) 可确定曲线。 情形 IV：截断垂直（水平）终结线： 。做法是，先按照垂直终结线（水平终结线）方法 有终结约束 yT ≥ y min （或 T ≤ Tmax ） 求出最优曲线。检查是否符合约束，若是，则结束。否则按照固定终点问题 (T , y min ) （或
(2.1.4)
T dV (ε ) d = ∫ p (t ) Fy − Fy′ dt = 0 0 dε dt
(2.1.5)
由于 p (t ) 是任意函数，要上式成立，则必须有
Fy −
d Fy′ = 0 ，对于所有 t ∈ [0, T ] dt
y′
[欧拉方程]
(2.1.6)
欧拉方程的其它形式
s.t.
m
g (t , y1 ,L, y n ) ≤ c m
F = F + ∑ λi (t ) ci − g i
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最大值原理条件：
0 对于所有的t 0,T
u
c g 0, 0, 0
dy dt
d
dt y
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（5）现值哈密尔顿函数和拉格朗日函数
引入新的乘子： m et （隐含 met）
n et （隐含 net）
汉密尔顿函数和拉格朗日函数：
Gt,
y, u dt
0
Γ
T
T
0
Gt,
y,
u
dt
k
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（4）不等式积分约束
问题重新表述为：
（2个状态变量的无约束问题，新变量具有截断终结线）
Max
T
0
F
t,
y,
u
dt
S.T. dy f t, y,u
dt
dΓ Gt, y,u
dt
y0 y0 yT 自由 （y0 ,T给定）
dt
又由于：汉密尔顿函数H独立于Γ ,
所以有：d H 0 t 常数
dt Γ 最大值原理条件重新表述为：
Max H u
dy H
dt
对于所有的t 0,T
d H t 常数
dt y
T 0
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（3）等周问题
等周问题简便解法：
构造拉格朗日函数（增广汉密尔顿函数）：
u1
0
u1
3
0
0 0 0
u2
u2
0 i
0,i
0,i
0 i
0
i
0,i
0,i
i
0
（i 1,2）
0 3
u1
0,3
0,3
0 3
3u1
0
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（2）不等式约束
对于 F f 1 c1 g1 2 c2 g 2 的最大化一阶条件：
Γ 0 0 Γ T k （k给定）
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（4）不等式积分约束
汉密尔顿函数： H Ft, y,u f t, y,u Gt, y,u
最大值原理条件：
Max H 对于所有的t 0,T u
dy H （y的运动方程） d H
dt
dt y
（的运动方程）
Max T Gt, y, uet dt 0 S.T. dy f t, y,u dt gt, y,u c 边界条件
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（5）现值哈密尔顿函数和拉格朗日函数
正常汉密尔顿函数和拉格朗日函数：
H Gt, y,uet f t, y,u
Gt, y,uet f t, y,u c gt, y,u
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（1）等式约束
Ft, y,u1,u2 t f t, y,u1,u2 tc gt, y,u1,u2
最大化拉格朗日函数的一阶条件：
u
j
F u j
f
u j
g u j
0
对于所有的t 0,T（ j 1,2）
c gt, y,u1,u2 0
H Gt, y,uet f t, y,u
Gt, y,uet f t, y,u c gt, y,u
汉密尔顿函数和拉格朗日函数的现值形式：
Hc Het Gt, y,u mf t, y,u
F t, y,u f t, y,u Gt, y,u （把看作常数处理）
然后，利用以下最大值原理条件求解：
Muax
dy
dt
横截条件
对于所有的t 0,T
d
dt y
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（4）不等式积分约束
1个不等式积分约束：
Max
T
0
F
t
,
y,
1个状态变量，1个控制变量，1个积分约束问题：
Max
T
0
F
t
,
y,
u
dt
S.T. dy f t, y,u
dt
T
0
Gt,
y,
u dt
k
y0 y0 yT 自由 （y0 ,T给定）
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（3）等周问题
引入1个新的状态变量，使得积分约束可以用这个
状态变量表示的1个条件代替：
可直接把拉格朗日函数设为不包含此非负性约束的形式：
F f 1 c1 g1 2 c2 g 2
并把最大化拉格朗日一阶条件的：
0 ui
直接替换为：
ui
0,ui 0,ui ui
0
其它条件跟没有变量非负性约束形式的条件一致
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（2）不等式约束
dΓ H （Γ的运动方程） d H （的运动方程）
dt
dt Γ
T 0 （y的横截条件）
T 0, Γ T k 0, T Γ T k 0 （Γ的横截条件）
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（4）不等式积分约束
由于汉密尔顿函数H独立于Γ ,
所以有：d H 0 t 常数
dy H （y的运动方程） d H
dt
dt y
（的运动方程）
dΓ H （Γ的运
dt Γ
T 0 （横截条件）
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（3）等周问题
由于Γ变量是人为引入，它的时间路径没有直接意义
所以可省略Γ的运动方程：dΓ H
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（1）等式约束
2个控制变量u1和u2满足1个约束条件：
gt, y,u1,u2 c
最优控制问题： Max
T 0
F
t,
y,
u1,
u2
dt
S .T .
dy dt
f t, y, u1, u2
gt, y, u1, u2 c
边界条件
要求：约束条件个数需小于控制变量个数
d
dt
y
H y
1
g1 y
2
g 2 y
（共态变量的运动方程）
加适当横截条件
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（2）不等式约束
如果模型存在控制变量的非负性约束：ui t 0
最优控制问题如：
Max
T 0
F
t,
y, u1, u2
dt
S .T .
dy dt
f
t, y, u1, u2
拉格朗日函数： F f 1 c1 g1 2 c2 g 2
最大值原理的其它条件（运动方程）：
dy H （状态变量的运动方程） dt
d
dt
y
H y
1
g1 y
2
g 2 y
（共态变量的运动方程）
加适当横截条件
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（3）等周问题
g1t, y, u1, u2 c1
Max
T 0
F
t,
y,
u1,
u2
dt
S .T .
dy dt
f t, y, u1, u2
g1t, y, u1, u2 c1
g 2 t, y, u1, u2 c2
g 2 t, y, u1, u2 c2
u1 0
u1 0
第十讲 具有约束的最优控制问题
dt y y y
加适当的横截条件
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（2）不等式约束
2个控制变量和2个不等式约束：
Max
T 0
F
t,
y,
u1,
u2
dt
S .T .
dy dt
f t, y, u1, u2
g1t, y, u1, u2 c1
g 2 t, y, u1, u2 c2
（j 1,2）
i
ci
gi
0,i
0,i
i
0
（i 1,2）
对于所有的t 0,T
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（2）不等式约束
F f 1 c1 g1 2 c2 g 2
最大值原理的其它条件（运动方程）：
dy H （状态变量的运动方程） dt
0 i
0
（i 1,2）
0 3
u1
0,3
0,3
0 3
3u1
0
第十讲 具有约束的最优控制问题
（一）涉及控制变量的约束
（2）不等式约束
如果构造拉格朗日函数为：
F f 1 c1 g1 2 c2 g 2 即： 0 3u1
最大化拉格朗日函数 0 的一阶条件等价为：
0
（一）涉及控制变量的约束
（2）不等式约束
0 F f 1 c1 g1 2 c2 g 2 3u1
最大化拉格朗日函数 0 的一阶条件：
0
u1
F u1
f u1
1
g1 u1
2
g 2 u1
3
0
0
u2
F u2
f u2
1
g1 u2
2
g 2 u2
0
0
i
ci
gi