现代控制理论-第七章 最优控制_动态规划
最优控制-第七章-动态规划法
当∆t很小时，有
t t
t
Lx, u, t d t Lx, u, t t
J x, t min
*
min
uU
uU
tf
t0
Lx, u, t d t Φ xt f
tf t t
t t
t
Lx, u, t d t
Lx, u, t d t Φ xt f
P1 11
7
P2 4 2
P3 4 4
12 A 4 8 Q1
4 3 2 2 Q3 B
5 Q2
第一段：P1、Q1的前站是始发站A。显见从
A到B的最优值为12，故得最优路线为AQ1P2Q3B。
综上可见，动态规划法的特点是： 1) 与穷举算法相比，可使计算量大大减少。如
上述最优路线问题，用动态规划法只须做10次
J x, t min Lx, u, t t J xt t , t t
* * uU
(8)
* J x , t J x, t * * J x x, t t J x, t t (12) x t x * T
A城出发到B城的行车时间最短。
P1 3 A 4 Q1 1
7
P2
2
P3 4
4
6 8 2 Q2
3 3 3
2 Q3 4
2
B
现将A到B分成四段，每一段都要作一最优决 策，使总过程时间为最短。所以这是一个多段最 优决策问题。 由图2可知，所有可能的行车路线共有8条。 如果将各条路线所需的时间都一一计算出来，并 作一比较，便可求得最优路线是AQ1P2Q3B，历时 12。这种一一计算的方法称为穷举算法。这种方 法计算量大，如本例就要做3×23=24次加法和7次 比较。如果决策一个n段过程，则共需(n-1)2n-1次 加法和(2n-1-1)次比较。可见随着段数的增多，计 算量将急剧增加。
华中科技大学现代控制理论--动态规划与离散系统最优控制（可编辑）
华中科技大学现代控制理论--动态规划与离散系统最优控制Ch.7 最优控制原理目录 1/1 目录 7.1 最优控制概述 7.2 变分法 7.3 变分法在最优控制中的应用 7.4 极大值原理7.5 线性二次型最优控制 7.6 动态规划与离散系统最优控制 7.7 Matlab问题本章小结动态规划与离散系统最优控制 1/3 7.6 动态规划与离散系统最优控制前面讨论了连续系统最优控制问题的基于经典变分法和庞特里亚金的极大值原理的两种求解方法。
所谓连续系统,即系统方程是用线性或非线性微分方程描述的动态系统。
该类系统的控制问题是与传统的控制系统和控制元件的模拟式实现相适应的,如模拟式电子运算放大器件、模拟式自动化运算仪表、模拟式液压放大元件等。
随着计算机技术的发展及计算机控制技术的日益深入,离散系统的最优控制问题也必然成为最优控制中需深入探讨的控制问题,而且成为现代控制技术更为关注的问题。
动态规划与离散系统最优控制 2/3 离散系统的控制问题为人们所重视的原因有二。
1 有些连续系统的控制问题在应用计算机控制技术、数字控制技术时,通过采样后成为离散化系统, 如许多现代工业控制领域的实际计算机控制问题。
2 有些实际控制问题本身即为离散系统, 如某些经济计划系统、人口系统的时间坐标只能以小时、天或月等标记; 再如机床加工中心的时间坐标是以一个事件如零件加工活动的发生或结束为标志的。
动态规划与离散系统最优控制 3/3 本节将介绍解决离散系统最优控制的强有力工具--贝尔曼动态规划,以及线性离散系统的二次最优控制问题。
内容为最优性原理与离散系统的动态规划法线性离散系统的二次型最优控制最优性原理与离散系统的动态规划法 1/3 7.6.1 最优性原理与离散系统的动态规划法基于对多阶段决策过程的研究,贝尔曼在20世纪50年代首先提出了求解离散多阶段决策优化问题的动态规划法。
如今,这种决策优化方法在许多领域得到应用和发展,如在生产计划、资源配置、信息处理、模式识别等方面都有成功的应用。
最优控制问题的动态规划法
最优控制问题的动态规划法动态规划法是一种常用的最优控制问题求解方法。
它通过将问题分解为子问题，并保存子问题的最优解，最终得到整体问题的最优解。
本文将介绍最优控制问题的动态规划法及其应用。
一、概述最优控制问题是指在给定控制目标和约束条件下，通过选择一组最优控制策略来实现最优控制目标。
动态规划法通过将问题分解为若干个阶段，并定义状态和决策变量，来描述问题的动态过程。
并且，动态规划法在求解过程中通过存储子问题的最优解，避免了重复计算，提高了计算效率。
二、最优控制问题的数学模型最优控制问题通常可以表示为一个关于状态和控制的动态系统。
假设系统的状态为$x(t)$，控制输入为$u(t)$，动态系统可以表示为：$$\dot{x}(t) = f(x(t), u(t))$$其中，$\dot{x}(t)$表示状态$x(t)$的变化率，$f$为状态方程。
此外，系统还有一个终止时间$T$，以及初始状态$x(0)$。
最优控制问题的目标是找到一个控制策略$u(t)$，使得系统在给定时间$T$内，从初始状态$x(0)$演化到最终状态$x(T)$，同时使得性能指标$J(x,u)$最小化。
性能指标通常表示为一个积分的形式：$$J(x,u) = \int_0^T L(x(t), u(t)) dt + \Phi(x(T))$$其中，$L$表示运动代价函数，$\Phi$表示终端代价函数。
三、最优控制问题的动态规划求解最优控制问题的动态规划求解包括两个主要步骤：状态方程的离散化和动态规划递推。
1. 状态方程的离散化将状态方程离散化可以得到状态转移方程。
一般来说，可以使用数值方法（如欧拉方法、龙格-库塔方法）对状态方程进行离散化。
通过选择适当的时间步长，可以平衡计算精度和计算效率。
2. 动态规划递推动态规划递推是最优控制问题的关键步骤。
假设状态函数$V(t,x)$表示从时刻$t$起，状态为$x$时的最优性能指标。
动态规划递推过程通常可以描述为以下几个步骤：（1）递推起点：确定最终时刻$T$时的值函数$V(T,x)$，通常可以根据终端代价函数$\Phi$直接得到。
现代控制理论-第7章 最优控制
(3)控制规律：
u* kx(t)
P由黎卡提微分k 方Q2程1BT得P 到 边界条件：P(tf)=Q0
PA AT P PBQ21BT P Q1 P(t)
例：求解使：J最小的u*(t)
0 1 0 x 0 0x 1u,
பைடு நூலகம்
J
第二节 状态调节器
在不消耗过多控制能量的前提下，使系统各状态在受 到外界干扰作用下，维持平衡状态。
一.无限长时间状态调节器
1.原系统：可控系统
2.性能指标： 说明：(1) J
x Ax Bu, y Cx
12表0 (示xTQ1系x u统TQ2要u)d求t 状态变量偏离平衡点的累积
u* kx(t)
3.控制规律
k Q21BT P
正定实对称P由黎卡提代数方程得到：
PA AT P PBQ21BT P Q1 0
例：求使J最小的u*(t)。 0 1 0
解：
x 0 0x 1u,
J
1
(xT
x uTu)dt
误差最小，这xTQ意1x 味着因某种原因系统状态偏离平衡点，控制
作用应使它很快回复到平衡点，调节器的名称由此而来
(2) 表示在控制过程中，消耗的能量最小
J中(3的u)TQ权Q2u1重半正定，Q2正定，用来确定状态变量与控制能量在
即寻求控制规律，使系统的状态变量x(t)按性能指标J的要 求，在无限长的时间内达到平衡点
1.原系统：可控、可观系统
x Ax Bu, y Cx
2.性能指标：J
1 2
[(y
0
现代控制工程-第7章最优控制
8
1.
*问给7定题.3t
变分法求解无约束最优控制
f ，终端自由，即 x(t f ) 任意
增广泛函为
Ja
[x(t f )]
tf [H (x,u,,t) T x]dt
t0
取一阶变分并令其为零，得
J a
(
x
)T
x
t t
f
tf [(H )T x (H )T u (H )T xT Tx]dt 0
J ( x*, x)
d d
J ( x * x)
0
0
在实际问题中，泛函极值问题的最优轨线通常是受到各种约束的。
例如，最优控制性能指标（7.2）中的u和x的选择，要满足状态方 程（7.1），这是一个等式约束。 在等式约束下的泛函极值问题，称为条件泛函极值问题。
用拉格朗日乘子法将条件泛函极值问题转化为无约束条件极值问
3
设7系.1统最的状优态控方程制为的概x 念f (x, u, t)
最优性能指标
J [x(t f ),t f ]
tf
L[ x(t ), u(t ), t ]dt
t0
所谓最优控制，就是要确定在 [t0 , t f ] 中的最优控制，将系统的
状态从 x(t0 )转移到 x(t f ) ，或者 x(t f ) 的一个集合，并使性能指 标最优。 最优控制问题从数学上看，就是求解一类带有约束条件的条件
称为无约束最优控制问题。
无约束最优控制问题是一个求有等式约束的泛函极值问题，可
以用拉格朗日乘子法把有约束条件问题转化为无约束条件问题。
构造增广泛函为
J a [x(t f ),t f ] t f {L[x(t),u(t),t] T [ f (x(t),u(t),t) x(t)]}dt t0
动态规划原理与最优控制
J *[x(2)] min {x2 (2) u2 (2) J *[x(3)]} u(2) min {x2 (2) u2 (2) [x(2) u(2)]2} u(2)
上述最优化问题的解为
u *(2) 1 x(2) 2
最优目标函数为
J *[x(2)] x2 (2) [ 1 x(2)]2 [x(2) 1 x(2)]2 3 x2 (2)
min L[x(k),u(k),k] J *[x(k 1),k 1] u(k)
J *[x(N), N] min {L[x(N),u(N), N]} u(k) 23
例1
设离散系统的状态方程为
x(k 1) x(k) u(k) k 0,1,, N 1
已知 x(0) x0
5
2
5
5
27
K=0时
J *[x(0)] min {x2 (0) u2 (0) J *[x(1)]} u(0)
min
{x2 (0) u2 (0) 8 [x(0) u(0)]2}
u(0)
5
求解可得
u *(0) 8 x(0) 13
最优目标函数为
J *[x(0)] x2 (0) [ 8 x(0)]2 8 [x(0) 8 x(0)]2 21 x2 (0)
使目标泛函
N 1
J L[x(k), u(k), k] k 0
取极小值
17
动态规划的目的
使 J 最小
即 min J
将以 x( j)为初态的 N-j(=k) 级最优决策
N
J *[x(k), k)] min{ L[x( j), u( j), j]} jk
武汉大学自动化专业 《现代控制理论》第七章 最优控制
1
最优控制研究的主要问题是： 根据已建立的被控对象的数学模型，选择一个容许的 控制规律，使得被控对象按预定要求运行，并使给 定的某一性能指标达到极小值（或极大值）； 从数学观点看，最优控制研究的是求解一类带有约束 条件的泛函极值问题，属于变分学的范畴。 古典变分理论只能解决控制无约束（即容许控制属于 开集）的一类最优控制问题，为满足工程实际的需 要，在20世纪50年代中期出现了现代变分理论， 常用的数学工具是Bellman(美国)的“动态规划”， 和Pontryagin(苏联)的‘极大值原理“。，又进一步推动了现代控制论的发展
T t0 T tf t0
∴ ..J = {θ [ X (t ), t ] λ (t ) X (t )}
+ ∫ {H [ X (t ), u (t ), t ] + λT (t ) X (t )}dt
t0
tf
9
极大值曲线的充分条件为 δ2 J＜0
五 无约束条件的泛函极值
& 求 J ( X ) = ∫t Φ( X , X , t )dt 的极值，就是确定X(t)，使 J = min .
0
tf
& 几何意义：寻找一条曲线X(t)，使给定的可微函数 Φ ( X , X , t ) 沿X(t) 的积分达到极值，此时X(t)=X*(t)
横截条件： ①两端固定 ②两端状态自由
δX 0 = 0,.....δX f = 0
Φ & X Φ & X
tf
= 0,.....
③始端自由，终端固定 ④始端固定，终端自由 ⑤终端 t f 自由，但状态 X (tf )=c (tf ) 受约束——拦截 问题
Φ & X
最优控制问题的动态规划算法
最优控制问题的动态规划算法动态规划（Dynamic Programming）是一种解决多阶段决策问题的优化方法，对于最优控制问题而言，动态规划算法是一种有效的求解方法。
本文将介绍最优控制问题以及如何使用动态规划算法解决该类问题。
一、最优控制问题简介最优控制问题是在给定系统的一些约束条件下，通过对系统进行控制使得某个性能指标达到最优的问题。
该问题可以形式化地表示为数学模型，通常由状态方程、性能指标和约束条件组成。
二、动态规划算法原理动态规划算法采用自底向上的方法，通过建立递推关系，将原问题分解为若干个子问题，并以自底向上的顺序求解子问题的最优解，最终得到原问题的最优解。
三、最优控制问题的动态规划算法步骤1. 确定阶段数和状态变量：将最优控制问题划分为多个阶段，并定义每个阶段的状态变量。
状态变量可以是系统的状态、控制量或其他相关变量。
2. 建立状态转移方程：根据最优控制问题的约束条件和性能指标，建立各个阶段之间的状态转移方程。
状态转移方程表示了系统在不同阶段之间的演化过程。
3. 定义性能指标：根据最优控制问题的要求，定义系统的性能指标。
性能指标可以是系统的能量消耗、最大收益或其他相关指标。
4. 确定边界条件：确定最优控制问题的边界条件，即初始状态和终止状态。
5. 递推求解最优解：采用动态规划算法的核心步骤，即按照递推关系将问题分解为若干个子问题，并求解子问题的最优解。
6. 反推最优解：根据子问题的最优解，反向推导出原问题的最优解。
四、最优控制问题的应用举例以经典的倒立摆问题为例，倒立摆的目标是通过对摆的控制使其保持垂直。
假设倒立摆由质量为m的杆和质量为M的滑块组成。
其动态方程可以表示为：（这里给出具体的动态方程式，包含各个参数和变量）通过建立状态方程和性能指标，我们可以将倒立摆问题转化为最优控制问题。
然后利用动态规划算法求解。
五、总结最优控制问题是一类常见的优化问题，在实际应用中具有广泛的应用价值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
引进记号
N 1
V (xk )
J *(xk )
min
uk , ,uN 1
ik
L(xi , ui )
应用最优性原理
V
(
x0
)
min u0
L(
x0
,
u0
)
V
(
x1)
可建立如下递推公式
V
(
xk
)
min( uk
L(
xk
,
uk
)
V
(
xk
1
))
min(L( uk
xk
,
uk
)
V
(
f
(
xk
,
uk
)))
V
(xN
1 )
min
uN 1
L(
xN
1,
uN
1 )
贝尔曼动态规划方程
第七章 最优控制
例7.4.2 设一阶离散系统，状态方程和初始条件为
xk1 xk uk ,
xk k0 x0
性能指标
N 1
J xN2 (xk2 uk2 ) k 0
N 2
求使 J 有最小值的最优决策序列和最优轨线序列
第七章 最优控制
7.4 动态规划
动态规划是求解最优控制的一种分步 最优化方法，特别对离散型控制系统更为 有效，而且得出的是综合控制函数。
这种方法来源于多决策过程，并由贝 尔曼首先提出，故称贝尔曼动态规划。
第七章 最优控制
7.4.1 多级决策过程与最优性原理 例7.4.1 分析最优路径问题
(a)
(b)
实际上就是离散状态的最优控制问题
第七章 最优控制
最优性原理 在一个多级决策问题中的最优决策 具有这样的性质，不管初始级、初始状 态和初始决策是什么，当把其中任何一 级和状态做为初始级和初始状态时，余 下的决策对此仍是最优决策。
第七章 最优控制
指标函数多是各级指标之和，即具有可加性
N 1
J L(xk ,uk ) k 0
8 5
x02
第七章 最优控制
u0 代入状态方程
x1*
x0
u0*
x0
3 5
x0
2 5
x0
u1*
1 2
x1
1 5x0x2*x1 u1
1 5
x0
最优决策序列
u0*
3 5
x0
u1*
1 5
x0
最优轨线
x0
x1*
2 5
x0
x2*
1 5
x0
最优指标
J * (x0 )
8 5
(c)
试分析(a),(b)和(c)三种情况的最优路径，即
从 x0 走到 xT 所需时间最少。规定沿水平方向
只能前进不能后退。
第七章 最优控制
穷举法
(a)中只有两条路径，最优路径是二选一，从两 条中选一条，使路程所用时间最少，易于计 算。可知，上面一条所需时间最少。
(b)共有6条路径可到达终点，若仍用上面方法， 需计算6次，将每条路线所需时间求出，然后 比较，找出一条时间最短的路程。
最优路径示意图
第七章 最优控制
多级过程 xk1 f (xk ), k 0, , N 1 多级决策过程 xk1 f (xk ,uk ), k 0, , N 1
目标函数 控制目的
J J (x0 , x1, , xN 1;u0 , u1, , uN 1) 选择决策序列 u0 , u1, , uN1 使目标函数取最小值或最大值
x12
(
1 2
x1 )2
(x1
1 2
x1 ) 2
3 2
x12
J (x0 ) x02 u02 J *(x1)
x02
u02
3 2
x12
x02
u02
3 2
( x0
u0 )2
J (x0 ) u0
2u0
3( x0
u0 )
0
u0*
3 5
x0
J * (x0 )
x02
第七章 最优控制
7.4.3 连续系统的动态规划
x f (x,u,t), x(t0 ) x0
u(t) U
性能指标
T
J (x(T )) L(x,u,t)dt
t
目标集
S {s | (x(T )) 0}
引进记号 V (x,t) J (x*(t),u*(t)) min J (x(t),u(t)) u(t )U
根据最优性原理及
T
V (x(t t),t t) min ( L(x(t),u(t),t)dt (x(T ),T )) u(t )U t t
第七章 最优控制
T
V (x(t),t) min ((x(T ),T ) L(x(t), u(t),t)dt) u (t )U t t t min ( L(x(t),u(t),t)dt u (t )U t T L(x(t),u(t),t)dt (x(T ),T )) t t t t min ( L(x(t),u(t),t)dt u (t )U t T min ( L(x(t),u(t),t)dt (x(T ),T ))) u (t )U t t t t min ( L(x(t), u(t),t)dt) V (x(t t),t t) u (t )U t
指标可写为 J x02 u02 x12 u12 (x1 u1)2
第七章 最优控制
J (x1) x12 u12 x22 x12 u12 (x1 u1)2
J (x1) u1
2u1
2( x1
u1 )
0
u1*
1 2
x1
代入 J (x1)
J * (x1)
最优性原理的数学表达式
N 1
J *(x0 ) opt ( L(xk , uk )) u0 , ,uN 1 k 0
N 1
opt (L(x0, u0 ) opt ( L(xk , uk )))
u0
u1 , ,uN 1 k 1
opt (L(x0 , u0 ) J *(x1))
(c)需计算20次，因为这时有20条路径，由此可 见，计算量显著增大了。
第七章 最优控制
逆向分级计算法
逆向是指计算从后面开始，分级是指逐级计 算。逆向分级就是从后向前逐级计算。
以(c)为例
从倒数第一级开始，状态有两个，分别为 x51
和 x52 ，在 x51 处，只有一条路到达终点，其时间是 3；在 x52 处也只有一条，时间为1。后一条时间最 短，将此时间相应地标在 x52 点上。并将此点到终 点的最优路径画上箭头。
第七章 最优控制
然后再考虑第二级 x41 只有一种选择，到终点所需时间是 6 3 9 x42 有两条路，比较后选出时间最少的一条，即
4+1=5。用箭头标出 x43 也标出最优路径和时间
依此类推，最后计算初始位置
求得最优路径
x10 x12 x22 x32 x42 x52 xT
最短时间为 13
第七章 最优控制
u0
第七章 最优控制
7.4.2 离散系统动态规划
n 阶离散系统
xk1 f (xk ,uk ), k 0, , N 1
性能指标
N 1
J L(xk ,uk ) k 0
求决策向量
u0 , , uN 1
使 J 有最小值（或最大值），其终点可自由，
也可固定或受约束。
第七章 最优控制