第八讲：最优控制模型及理论(2016)
u* (t )=u( x, )
第二步 将最优控制变量代入正则方程中
(t ) f [ x(t ), u ( x, ), t ], x(t0 ) x0 x H ( t ) , x(t f ) x f x
解出 x* x* (t )，* * (t )
实例 2
计算机病毒传播的最优控制模型
状态方程组：
ln I dS dt S ln A S ln A， dA S ln A C ln A u (t ) I ln A， 1 dt dI C u (t ) I ln A， 2 dt dC ln I S 1C ln A 2C ln A dt
最优控制模型、理论及算法
主讲：刘琼荪
主要内容
最优控制模型
基本原理
计算问题
最优化问题
静态与动态，离散与连续 最优化问题的实质就是利用数学工具在容许控制 集中寻找一个最优控制函数或者最优控制方案，使所 研究的系统能够最优地达到预期的目标。
最优化问题
1. 病毒的传播模型；
2. 海洋生态平衡模型；
在动态最优化问题中，目标函数通常是一个泛函。
泛函可以简单地理解为“函数的函数”。
( s), t )ds J [ x(t )]= L( x( s), x
0 T
最优控制模型的基本原理
1. 最优控制中的变分法（无约束） 定理1 连续泛函
J [ x(t )]
的变分，等于泛函
J [ x(t ) x(t )]
t0 tf
泛函指标：
构造哈密顿函数：
H[ x(t ), u(t ), t ] L[ x(t ), u(t ), t ] T f [ x(t ), u(t ), t ]
最优控制模型的基本原理
1）固定端点的最优控制问题
最优解 x* (t ), * (t ), u* (t ) 满足以下方程和条件： 正则方程： 控制方程：
（1）基本约束
s 流入率：ua (t ) ua (t ), a, t s
s 流出率：va (t ) va (t ), a, t s
s 流量：xa (t ) xa (t ), a, t s
路段 a (l , m) 的状态方程
s dxa (t ) s s ua (t ) va (t ), a, s, t dt
2）可变端点的变分问题
(s), t )ds J = L( x( s), x
t0 tf
给定曲线 x(t f ) (t f )
取极值的必要条件是容许极值曲线 x* (t ) 满足欧拉方程
L d L 0 x dt x
始端边界条件和终端横截条件：
x(t0 ) x0 ,
T L L [ x , x , t ] ( x ) 0 t t x f
v (t ) g (t ) u (t ),
s a s l aBl s a
l s, s, t
s s xa (t ) 0, ua (t ) 0, a, s, t s xa (0) 0, a, s
s xa (t ) v (t ) , a, s, t ca (t ) s a
实例 4
嫦娥三号的着陆轨道和在6个阶段的最优控制策略
(1)着陆准备轨道
(2)主减速段 (3)快速调整段 (4)粗避障段 (5)精避障段 (6)缓速下降阶段
燃料消耗达最小
(t )dt m (t )dt m (t )dt m (t )dt m (t )dt m (t )dt min J m
3. 交通流量的控制模型；
4. 导弹运行最佳轨迹。
……
最优化问题
建立数学模型分为三步骤：
（1）需要确定状态变量、控制变量、约束、目标；
（2）对问题具体分析、数学描述和研究；
（3）研究算法，并对算法的收敛性、误差、有效性
作出评价。
最优控制模型的数学描述
1）状态方程组 (t ) f ( x(t ), u(t ), t ) x
dx(t ) F ( x) u (t ) dt x(0) x0
x(t )表示 t时刻牧场种群数量 u(t )表示 t时刻畜牧类采食量 F ( x)表示 牧草的增长率
放牧总利润： max J (u) e t [ P C ( x)]u(t )dt
t 表示时间 x(t ) 表示 n维状态向量 u(t ) 表示r维控制向量2）容许控制集
U {(u1 (t ), u2 (t ),..., ur (t )) | ui (t ) mi , i 1, 2,..., r}
最优控制模型的数学描述
3）边界条件与目标集
动力系统的运动过程，就是系统从一个状态转移 到另一个状态的过程，在状态空间中其运动轨迹将 形成曲线x(t). 边界值：初始状态x(t0), 终端状态x(tf)
(t ) x H (t ) H , x
H 0 u
边界条件： x(t0 ) x0
x(t f ) x f
一般的计算步骤
第一步 构造哈密顿函数
H[ x(t ), u(t ), t ] L[ x(t ), u(t ), t ] T f [ x(t ), u(t ), t ]
S (0) S0 , A(0) A0 , I (0) I0 ,C (0) C0
实例 3
路径选择的交通流量的最优控制模型
大连交通大学学报[J], 31(6), 2010
城市机动车拥有量以及各种交通 需求量急剧上升，城市道路所承 受的负荷不断增长，给城市管理 和人民生活都带来了巨大的考 验．
aAl s s s v ( t ) g ( t ) u a a (t ), l s, s, t l aBl
实例 3
动态路径选择的交通系统最优控制模型
（4）先进先出原则
不考虑超车现象
（5）流量传播约束
假定交通流为连续流
x (t )
s a t ca ( t ) t
v ( )d , a, s, t
对 的导数在 0 的值。即
J J [ x(t ) x(t )] | 0 L[ x (t ) x (t )]
其中 x(t ) x(t ) x0 (t )
定理2 如果可微泛函 J [ x(t )] 在 x0 (t )上达到极大或极 小，则
在x(t ) x0 (t )上有J 0
状态随时间 的变化率 机理分析
实例 2
计算机病毒传播的最优控制模型
控制集：
U {u(t ) L2 (0, T ) : 0 u (t ) 1,0 t T }
目标泛函：感染数量
T 0
系统消耗 min
J (u) [ I (t ) u2 (t ) / 2]dt
初始条件：
实例 3
动态路径选择的交通系统最优控制模型 智能交通运输系统(以下简称ITS)具有先进的 检测、通信、计算机系统集成控制技术，它能最大 限度地发挥现有交通基础设施的潜力，提高运输效 率，改进交通安全，缓解城市交通拥挤，节约能源 的消耗，保护周围环境，……．
实例 3
动态路径选择的交通系统最优控制模型
终端时刻和状态可以是自由的，也可以是给定的。 目标集：
N[ x(t f ), t f ] 0,或N [x(t f ), t f ] 0
最优控制模型的数学描述
4）目标函数 最少燃料、最少时间，最小能耗等控制问题。
控制变量用于控制状态的转移过程，效果的好 坏取决于u(t)，效果——性能指标.
最优控制模型的数学描述
最优控制模型的基本原理
1）固定端点的变分问题
(s), t )ds J = L( x( s), x
t0 tf
取极值的必要条件是容许极值曲线 x* (t ) 满足欧拉方程
L d L 0 x dt x
边界条件：x(t0 ) x0 , x(t f ) x f
最优控制模型的基本原理
0
实例 2
计算机病毒传播的最优控制模型
计算机应用研究[J],28(8),2011 状态变量 S(数量) C(数量) I(数量) A(数量) 当前 没有感染 沾染病毒 感染 不被感染 状态转移因子 参数 α β1，ω β2 u(t) 含义 沾染率 免疫率 感染率 杀毒率 以后 可能感染 发现 传播 不被感染
实例 3
动态路径选择的交通系统最优控制模型
（2）非负约束
s s s xa (t ) 0, ua (t ) 0, va (t ) 0, a, s, t
xa (t ) 0, ua (t ) 0, va (t ) 0, a, t
边界条件： vs (0) 0, a, s a （3）流量守恒约束
其中cos e a cos cos
引入角度修正因子ea cos
使得 cos cos
a [0.08,0.09], a 0.086
实例 4
嫦娥三号的着陆轨道和在6个阶段的最优控制策略
(3)快速调整阶段的最优控制策略 根据牛顿第二定律，建立飞行器水平方向上的动力学方程
念。对于一个控制系统，特别是多变量控制系统，
必须要回答的两个问题是： （1）能控性：在有限的时间内，控制作用能否使得 系统从初始状态转移到要求的状态？ （2）能观测性：在有限的时间内，能否通过对系统 的输出的测定来评估系统的初始状态？
实例 1
山羊放牧系统中的最优控制模型及生态经济效益
草原放牧生态系统模型：
s a
s x (t ) s va (t ) a ca (t )
最优控制理论
最优控制理论最优控制理论（optimal control theory），是现代控制理论的一个主要分支，着重于研究使控制系统的性能指标实现最优化的基本条件和综合方法。
最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科。
它是现代控制理论的重要组成部分。
简介这方面的开创性工作主要是由贝尔曼（R.E.Bellman）提出的动态规划和庞特里亚金等人提出的最大值原理。
这方面的先期工作应该追溯到维纳（N.Wiener）等人奠基的控制论（Cybernetics）。
1948年维纳发表了题为《控制论—关于动物和机器中控制与通讯的科学》的论文，第一次科学的提出了信息、反馈和控制的概念，为最优控制理论的诞生和发展奠定了基础。
研究内容最优控制理论所研究的问题可以概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标值为最优。
这类问题广泛存在于技术领域或社会问题中。
例如，确定一个最优控制方式使空间飞行器由一个轨道转换到另一轨道过程中燃料消耗最少，选择一个温度的调节规律和相应的原料配比使化工反应过程的产量最多，制定一项最合理的人口政策使人口发展过程中老化指数、抚养指数和劳动力指数等为最优等，都是一些典型的最优控制问题。
最优控制理论是50年代中期在空间技术的推动下开始形成和发展起来的。
苏联学者Л.С.庞特里亚金1958年提出的极大值原理和美国学者R.贝尔曼1956年提出的动态规划，对最优控制理论的形成和发展起了重要的作用。
线性系统在二次型性能指标下的最优控制问题则是R.E.卡尔曼在60年代初提出和解决的。
主要方法为了解决最优控制问题，必须建立描述受控运动过程的运动方程，给出控制变量的允许取值范围，指定运动过程的初始状态和目标状态，并且规定一个评价运动过程品质优劣的性能指标。
通常，性能指标的好坏取决于所选择的控制函数和相应的运动状态。
最优控制理论课件
8
最优控制问题
1.1 两个例子
例1.1 飞船软着陆问题
软着陆 过程开 始时刻 t 为零
h& v
v& u g m
m& K u
m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 K 为常数
初始状态 h(0) h0 v(0) v0 m(0)MF
f(x(t),u(t),t) 为n维向量函数
22.03.2020
现代控制理论
24
最优控制问题
1.2 问题描述
(1) 状态方程 一般形式为
x&(t) f (x(t),u(t),t)
x(t) Rn
x(t)|tt0 x0
为n维状态向量
u(t) Rr
为r 维控制向量
f(x(t),u(t),t) 为n维向量函数
求解最优控制的变分方法
泛函与函数的几何解释
22.03.2020
现代控制理论
50
求解最优控制的变分方法
泛函与函数的几何解释
宗量的变分
x(t)x(t)x(t)
22.03.2020
现代控制理论
51
求解最优控制的变分方法
泛函与函数的几何解释
宗量的变分
x(t)x(t)x(t)
泛函的增量 J ( x ( g ) ) J ( x ( g ) x ) J ( x ( g ) ) L ( x , x ) r ( x , x )
J x ( T ) ,y ( T ) ,x & ( T ) ,y & ( T ) x & ( T )
控制
(t)
22.03.2020
现代控制理论
最优控制 现代控制理论 教学PPT课件
第7章第3页
7.1.1宇宙飞船登月软着陆的实例
实例1：宇宙飞船若实现在月球表面实现软着陆，即登月舱到达月球表面时的速度为
零，要寻求登月舱发动机推力的最优变化率，使燃料消耗最少，以便在完成登月考察 任务后，登月舱有足够燃料离开月球与母舱会合，从而返回地球。
m(t) h(t) v(t)
u(t) g
M F h0 v0
如果泛函的变分存在，则
J ( x, x) J ( x x)
2021年4月30日
0
第7章第15页
求证 如果泛函的变分存在，则
J ( x, x) J ( x x)
0
证明 根据泛函变分的定义
J J (x0 x) J (x0 ) L(x0, x) r(x0, x)
由于 L( x0, x) 时关于 x 的连续线性泛函，故
J (C1x1(t) C2 x2 (t)) C1J ( x1(t)) C2J ( x2 (t)) ，且其增量可以表示为
J J ( x(t) x(t)) J ( x(t)) L( x(t), x(t)) r( x(t), x(t))
2021年4月30日
第7章第14页
其中，第一项是 x(t) 的连续线性泛函，第二项是关于 x(t) 的高阶无穷小，则称上式第
变分 x 表示U 中点 x(t) 与 x0 (t) 之间的差。由于 x 存在，必然引起泛函数值的变化，
并以 J (x x) 表示。其中 为参变数，其值 0 1。当 1时，得增加后的泛函值
J ( x x) ；当 0 时，得泛函原来的值 J (x) 。
若 泛 函 J ( x(t)) 对 于 任 何 常 数 C1 ， C2 及 任 何 x1(t) U ， x2 (t) U ， 都 有
第八讲：最优控制模型及理论(2016)
s x (t ) s va (t ) a ca (t )
实例 3
动态路径选择的交通系统最优控制模型
min J xa (t )dt
T u ,s a 0
交通流的总量达最小
s dxa (t ) s s s.t. ua (t ) va (t ), a, s, t dt
aAl
实例 4
嫦娥三号的着陆轨道和在6个阶段的最优控制策略
(1)着陆准备轨道
(2)主减速段 (3)快速调整段 (4)粗避障段 (5)精避障段 (6)缓速下降阶段
燃料消耗达最小
(t )dt m (t )dt m (t )dt m (t )dt m (t )dt m (t )dt min J m
对 的导数在 0 的值。即
J J [ x(t ) x(t )] | 0 L[ x (t ) x (t )]
其中 x(t ) x(t ) x0 (t )
定理2 如果可微泛函 J [ x(t )] 在 x0 (t )上达到极大或极 小，则
在x(t ) x0 (t )上有J 0
最优控制模型的基本原理
2. 最优控制问题求解（有约束）
把具有状态方程约束的变分问题转化为无约束变
分问题。即转换为哈密顿函数的极值问题。
最优控制模型的基本原理
1）固定端点的最优控制问题
状态方程：
(t ) f [ x(t ), u(t ), t ] x
J = L( x(s), u(s), t )ds
3. 交通流量的控制模型；
4. 导弹运行最佳轨迹。
……
最优化问题
建立数学模型分为三步骤：
最优控制理论
解决最优控制问题的方法
• 解决最优控制问题，必须建立 描述受控运动过程的运动方程 一、古典变分法 是研究对泛函求极值的一种数 学方法。古典变分法只能用在 控制变量的取值范围不受限制 的情况。在许多实际控制问题 中，控制函数的取值常常受到 封闭性的边界限制，如方向舵 只能在两个极限值范围内转动， 电动机的力矩只能在正负的最 大值范围内产生等。因此，古 典变分法对于解决许多重要的 实际最优控制问题，是无能为 力的。 • 二、极大值原理 是分析力学中哈密顿方法的推 广。极大值原理的突出优点是 可用于控制变量受限制的情况， 能给出问题中最优控制所必须 满足的条件。 • 三、动态规划 是数学规划的一种，同样可用 于控制变量受限制的情况，是 一种很适合于在计算机上进行 计算的比较有效的方法。
最优控制理论
自动化 081
杨赛女
名词解释
• 最优控制理论（optimal control theory） • 使控制系统的性能指标实现最优化的基本条件和综合方法。 可概括为：对一个受控的动力学系统或运动过程，从一类 允许的控制方案中找出一个最优的控制方案，使系统的运 动在由某个初始状态转移到指定的目标状态的同时，其性 能指标值为最优。它是现代控制理论的一个主要分支，着 重于研究使控制系统的性能指标实现最优化的基本条件和 综合方法。 最优控制理论是研究和解决从一切可能的控制 方案中寻找最优解的一门学科。它是现代控制理论的重要 组成部分
!
• 最优控制的实现离不开最优化技术，最优化技术是研究和 解决最优化问题的一门学科，它研究和解决如何从一切可 能的方案中寻找最优的方案。也就是说，最优化技术是研 究和解决如何将最优化问题表示为数学模型以及如何根据 数学模型尽快求出其最优解这两大问题。一般而言，用最 优化方法解决实际工程问题可分为三步进行： • ①根据所提出的最优化问题，建立最优化问题的数学模型， 确定变量，列出约束条件和目标函数； • ②对所建立的数学模型进行具体分析和研究，选择合适的 最优化方法； • ③根据最优化方法的算法列出程序框图和编写程序，用计 算机求出最优解，并对算法的收敛性、通用性、简便性、0年代空间飞行器的制导为背景。它最初的研究对象是由 导弹、航天、航海中的制导、导航等自动控制技术、自动控制理论、 数字计算技术等领域所总结出来的一类按某个性能指标达到最大或最 小的控制问题。 • 1948年维纳发表了题为《控制论—关于动物和机器中控制与通讯的科 学》的论文，第一次科学的提出了信息、反馈和控制的概念，为最优 控制理论的诞生和发展奠定了基础。 • 钱学森1954年所着的《工程控制论》（EngineeringCybernetics）直接 1954 EngineeringCybernetics 促进了最优控制理论的发展和形成。 • 1956年，Pontryagin把最优控制过程问题正确地叙述为具有约束的非 古典变份学问题，提出解决方法-最大值原理，显示了最大值原理在 解决最优控制过程问题中的效用。 • 1958年，他们首先公布了线性系统时间最优控制的最大值原理的证明。 • 1960年，Pontryagin等人完成了一般形式的最大值原理的严格证明， 能够具体解决一般的时间最优控制问题。 • 1960年，Pontryagin的最大值原理、Bellman的动态规划方法和Kalman 的最优线性调节器的理论被公认为最优控制理论的三大里程碑，标志 着最优控制理论的诞生。
最优控制理论
对于越来越多的复杂控制对象，一方面，人们所要求的控制性能不再单纯的局限于一两个指标；另一方面，上述各种优化方法，都是基于优化问题具有精确的数学模型基础之上的。但是许多实际工程问题是很难或不可能得到其精确的数学模型的。这就限制了上述经典优化方法的实际应用。随着模糊理论、神经网络等智能技术和计算机技术的发展。 近年来，智能式的优化方法得到了重视和发展。 (1)神经网络优化方法 人工神经网络的研究起源于1943年和Mc Culloch和Pitts的工作。在优化方面，1982年Hopfield首先引入Lyapuov能量函数用于判断网络的稳定性，提出了Hopfield单层离散模型；Hopfield和Tank又发展了Hopfield单层连续模型。1986年，Hopfield和Tank将电子电路与Hopfield模型直接对应，实现了硬件模拟；Kennedy和Chua基于非线性电路理论提出了模拟电路模型，并使用系统微分方程的Lyapuov函数研究了电子电路的稳定性。这些工作都有力地促进了对神经网络优化方法的研究。 根据神经网络理论，神经网络能量函数的极小点对应于系统的稳定平衡点，这样能量函数极小点的求解就转换为求解系统的稳定平衡点。随着时间的演化，网络的运动轨道在空间中总是朝着能量函数减小的方向运动，最终到达系统的平衡点——即能量函数的极小点。因此如果把神经网络动力系统的稳定吸引子考虑为适当的能量函数（或增广能量函数）的极小点，优化计算就从一初始点随着系统流到达某一极小点。如果将全局优化的概念用于控制系统，则控制系统的目标函数最终将达到希望的最小点。这就是神经优化计算的基本原理。 与一般的数学规划一样，神经网络方法也存在着重分析次数较多的弱点，如何与结构的近似重分析等结构优化技术结合，减少迭代次数是今后进一步研究的方向之一。 由于Hopfield模型能同时适用于离散问题和连续问题，因此可望有效地解决控制工程中普遍存在的混合离散变量非线性优化问题。 (2)遗传算法 遗传算法和遗传规划是一种新兴的搜索寻优技术。它仿效生物的进化和遗传，根据“优胜劣汰”原则，使所要求解决的问题从初始解逐步地逼近最优解。在许多情况下，遗传算法明显优于传统的优化方法。该算法允许所求解的问题是非线性的和不连续的，并能从整个可行解空间寻找全局最优解和次优解，避免只得到局部最优解。这样可以为我们提供更多有用的参考信息，以便更好地进行系统控制。同时其搜索最优解的过程是有指导性的，避免了一般优化算法的维数灾难问题。遗传算法的这些优点随着计算机技术的发展，在控制领域中将发挥越来越大的作用。 目前的研究表明，遗传算法是一种具有很大潜力的结构优化方法。它用于解决非线性结构优化、动力结构优化、形状优化、拓扑优化等复杂优化问题，具有较大的优势。 (3)模糊优化方法 最优化问题一直是模糊理论应用最为广泛的领域之一。 自从Bellman和Zadeh在 70年代初期对这一研究作出开创性工作以来，其主要研究集中在一般意义下的理论研究、模糊线性规划、多目标模糊规划、以及模糊规划理论在随机规划及许多实际问题中的应用。主要的研究方法是利用模糊集的a截集或确定模糊集的隶属函数将模糊规划问题转化为经典的规划问题来解决。 模糊优化方法与普通优化方法的要求相同，仍然是寻求一个控制方案（即一组设计变量），满足给定的约束条件，并使目标函数为最优值，区别仅在于其中包含有模糊因素。普通优化可以归结为求解一个普通数学规划问题，模糊规划则可归结为求解一个模糊数学规划(fuzzymathematicalprogramming)问题。包含控制变量、目标函数和约束条件，但其中控制变量、目标函数和约束条件可能都是模糊的，也可能某一方面是模糊的而其它方面是清晰的。例如模糊约束的优化设计问题中模糊因素是包含在约束条件（如几何约束、性能约束和人文约束等）中的。求解模糊数学规划问题的基本思想是把模糊优化转化为非模糊优化即普通优化问题。方法可分为两类：一类是给出模糊解（fuzzysolution）；另一类是给出一个特定的清晰解（crispsolution）。必须指出，上述解法都是对于模糊线性规划（fuzzylinearprogramming）提出的。然而大多数实际工程问题是由非线形模糊规划（fuzzynonlinearprogramming）加以描述的。于是有人提出了水平截集法、限界搜索法和最大水平法等，并取得了一些可喜的成果。 在控制领域中，模糊控制与自学习算法、模糊控制与遗传算法相融合，通过改进学习算法、遗传算法，按给定优化性能指标，对被控对象进行逐步寻优学习，从而能够有效地确定模糊控制器的结构和参数
动态规划与最优控制模型
第四章 最优控制模型（管理、决策方面应用，因此可说管理决策模型）§1 最优控制的问题提法： §1.1 最优控制问题举例 §1.2 最优控制数学模型一、例，详见最优控制课听课笔记第一节； 二、问题的数学描述――最优控制模型.寻找U )t (*u ∈（开，闭）[]f f 0t ,t ,t 可以固定或自由，使得： [][])t ( u J min )t (*u J Uu∈= (){()()0t ),t ( x g 0 t ),t ( x g ,R )t (x )t (x M x )t (x x )t ( x t ),t ( u ),t (x f dt (t) x d :t .s f f 2f f1f f f f 00≤=∈=∈==其中： n R )t (x ∈ ，且1C )t (x ∈ （一个连续可微）， R U )t (u m ≤∈，[] t ,u (t), x f：向量值函数，且)( f ⋅ 对t ),t ( u ),t ( x 连续，对t ),t ( x 连续可微. []()()()[]。
都可微 t (t), x 对 t (t), u (t), x L ,t ),t ( x,dt t ),t ( u ),t ( x L t ),t ( x )t ( u J f f tt f f fϕ+ϕ=⎰最优控制问题的求解方法：1． 古典变分法：U 开集；2． 极大值原理：U 闭集；现代变分法，把古典变分法看作特例 3． 动态规划：便于数值计算，并有通用算法； 发展了变分法，结果要充分条件.§2 最优控制模型的动态规划解法 §2.1 动态规划方法概述§2.2 生产——库存——销售管理系统的解法§2.1 动态规划方法概述某一类管理问题的数学模型（状态方程）是一个差分方程：()⎩⎨⎧∈==+M )(k x x )0( x k ),k ( u ),k ( x f )1k ( x f 0 使 ()∑-==1N 0i i ),i ( u ),i ( x L J 达到最小. 此为一个N 阶决策问题：动态规划法是求这一决策问题的有效办法，具有明显优点：（ⅰ）将一个N 阶决策问题转化为多次一步决策问题，即数学上的嵌入原理——将求一条极值曲线问题，嵌入到求一族极值曲线的更广泛的类似问题中；（ⅱ）大大简化了计算量；（ⅲ）具有局部优，就是整体优的最优性原理：可广泛应用于运输系统、生产库存管理系统、生产计划制定及最优投资分配问题、最优价格制定问题.下面以最短路问题举例说明这种方法： 一、最短路问题（最小时间问题）1．问题：若有一辆汽车以S 城出发经过若干城市到达F 城，如图：3 ,2 ,1i ,Q ,P i i =，是一些可以通过的城镇.·P 1 6 ·P 2 1 ·P 3 4 4 1 2 4S · ·F 5 6 3 ·Q 1 7 · Q 2 2 ·Q 3图中两点间的数字：可以表示两城镇之间的距离（单位10公里），也可以表示行驶两城镇所用时间（应综合考虑：距离远近，路面好坏，是否拥挤等情况）.于是：汽车从S 到F 可经多种途径选择到达F . 问题是：从多种途径选择方案中，决定一种使S 到F 所走路线最短.或者若图中数字表示时间，则决定一种路径使从S 到F 所用时间最短.2．方法：Ⅰ决策树法（穷举法）：决策树法是最容易想到的一种方法，但运算量很大——即把所有可能选择的路途所用的时间都求出来，然后取最小值，即有最优策略（最优决策）.即： {}3 ,2 ,1i F Q SP min F *Q *SP i i i i == 因此有：1 P 3 4 F 15P 26 1 Q 3 3 F 14P 1 62 P34 F 164 Q 22 Q3 3 F 15S1 P 3 4 F 145 P 24 1 Q 3 3 F 13Q 1 7 2 P 3 4 F 18Q 22 Q3 3 F 17因此，最终得出：{}3 ,2 ,1i F Q SP min F P P SQ i i 321== 困难：这样共有8条线路可选择，每条线路要作3次运算.第1次：22211Q Q /P Q /P S →→→；第2次：3322Q /P Q /P →； 第3次：F Q P 33→或因此，共需24次运算：2438＝⨯次，若阶段更多，则计算量更大. 2．“走一步瞧一步”（瞎子爬山？）法：第一步：从S 到1P 或1Q ：显然 5SQ 4SP 11=<=，因此取决策1SP ；第二步：从1P 到2P 或2Q ：显然 2121Q P 6P P ==，因此取2121Q Q ,P P 均可，但从2P 到3P 或3Q 距离为1，而2Q 到32P P 距离为2，因此，第2步决策为2P ，因此取21P P ；第三步：2P 到3P 或2P 到3Q ，均有1Q P P P 3232==，但3Q 到F 的距离为3，因此第3步取路线32Q P .因此使用这种方法得到的决策为：143164F Q P SP 321=+++= 显然不是“最优决策”，同时还有：14F P P SQ 321=问题出现在“局部优不能代替整体优”的问题. 3．动态规划：即可把每一步决策都看成一个状态的转移，而每一种状态的转移又影响到下一阶段的状态，因此又是动态的，故称为动态规划法.将上述问题分为四个阶段的多阶决策问题，故可将问题分为四阶段问题来考虑：第一阶段问题：11Q /P S →； 第二阶段问题：2211Q /P Q /P →； 第三阶段问题：3322Q /P Q /P →； 第四阶段问题：F Q /P 33→ 解题方法从最后一个阶段开始：1° 分别计算33Q ,P 到F 的最小代价，此处花费代价为时间，记为J ，用[][]33Q J ,P J 分别表示3P 或3Q 到F 的代价，则显然有：[][]3Q *J 4P *J 33==2° 由后往前，考虑倒数第二阶段（即第三阶段），再把第三阶段和第四阶段联合作为一个子问题来考虑，若从2P 出发到F ，则有两种可能：[][]431Q *J 2J F Q P 541P *J 1J F P P 332332=+=+==+=+=∴ 线路F Q P 32最短，且[]4P *J 2=，故将线路F Q P 32记成P 2④Q 3.类似以2Q 出发到F ，则有两种可能：[][]532Q J 2J F Q Q 642P J 2J F P Q 332332=+=+==+=+=∴ 线路F Q Q 32最短，则[]5Q *J J 2==，故将线路F Q Q 32记成2Q ⑤3Q .3° 再由2、3、4这三个阶段构成的子问题：若从1P 出发到F 有两种可能：[][]1156Q *J 6J F Q P 61046P *J 6J F P P 221221=+=+==+=+=∴ 有线路F P P 21最短，且[]10P *J 1=，故将F P P 21记成：1P ⑩2P若从1Q 出发到F 有两种可能：[][]1257Q *J 7J F Q Q 844P *J 4J F P Q 221221=+=+==+=+=∴ 有线路F P Q 21最短，则[]8Q *J 1=，故将F P Q 21记成：1Q ⑧2P4° 把由1、2、3、4阶段作为子问题来考虑：从S 出发到F 有两种可能：[][]1385Q *J 5J F SQ 14104P *J 4J F SP 1111=+=+==+=+=且且故： F SQ 1最短，且[]13S *J = 5° 因此有最优策略：F SQ 1即： []13S *J F Q P SQ F SQ 3211==，除“二决一”比较之外，且运算只用了10次，而穷举法则算了24次，上次这种动态规划的办法：是将把一个四阶段决策问题化为四个互相嵌入子问题，逐一进行简化的计算方法，即数学上嵌入定理. 3．最优性原理“最优策略的一部分也是最优策略”例如：上例中知：F Q P SQ 321是最优决策，则F Q P Q 321也一定是从Q 1出发到F 的最优决策：证明［反证法］：设SQ 1P 2Q 3F 是最优决策，则Q 1P 2Q 3F 不是最优决策，则必存在另一个最优决策，不妨设为Q 1Q 2Q 3F 为最优决策.因而，SQ 1Q 2Q 3F 是整体最优决策，因而与SQ 1P 2.)1N (*u , ),1(*- 是N 阶决策问题的最优策略序列，那么：)1N (*u , ),1(*u - 也是一个最优策略序列，其初始状态为：())0(*u ),0(x f )1(x =证明：同最短路4． 多阶决策问题的一般想法：设某系统的状态方程为：()⎩⎨⎧==+0x )0(x )i (u ),i (x f )1i (x目标函数为：()∑-==1N 0i N i ),i (u ),i (x L J ，NJ表示控制N 步时的目标函数值.最优控制问题，即：求最优决策序列{}{})1N (u , ),0(*u )i (*u -= ，使N J 取最小(大)值.为简化假定为定常状态，即L 不明显还有时间变量i因而有：()⎩⎨⎧==+0x )0( x )i (u ),i (x f )1i ( x()∑-==1N 0i N )i (u ),i ( x L J对目标函数(3)逐次应用(1)式有：()()()()()()()()()()())1N (u ),2N (u ,u(1) ,)0(u ),0(x f f f L ,u(1) ,)0(u ),0(x f L )0(u ),0(x L ,)1N ( u ),1N ( x L )1(u ),1(x L )0(u ),0(x L J N --+++=--+++=因此，可以由上式看出：N J 只依赖于)1N (u , ),1(u ),0(x - 因而可写成：())1N (u , ),1(u ),0(x J J N N -=又若用某种方法求出了最优决策)1N (*u , ),0(*u - ，则N J 的最小值只依赖于初始值)0(x ，记为() )0( x *J N ，它可用下式来定义：()())1N (u , ),1(u ),0( x J min)0(x *J N )1N (u ,),1(u ),0(u N -=-初始值是可变化的，因此：() )0( x *J N 表示初始状态为)0(x 时，控制N 步的目标函数最小值.5．动态规划的基本方程：动态规划的基本方程，给出N 阶决策问题的目标函数最优值与它的子问题)1N (阶决策问题-目标函数最优值之间的递推关系式，它是用动态规划解一切多阶决策问题的基础.设)0(*u 已求出，则求序列{})1N (*u , ),2(*u ),1(*u - 的问题，构成一个以() )0(u ),0( x f )1( x =为初始条件的1N -阶决策问题，若记这一子问题的目标函数最小值为：() )1(x *J 1N -；又若记() )0( x *J N 为N 阶决策问题最小值，则我们可以导出() )0( x *J N 与() )1(x *J 1N -之间的关系：()()() (k)u (k), x L ) )1(u ),0(x ( L min u(k) x(k),L min )0(x *J 1-N 1k 1)-u(N -u(0)1-N 0k )1N (u ,),1(u ),0(u N ⎭⎬⎫⎩⎨⎧+=⎭⎬⎫⎩⎨⎧=∑∑==- 由于则第一项：()())0(u ),0(x L min )0(u ),0(x L min)0(u )1N (u , ),0(u =-第二项： ()⎭⎬⎫⎩⎨⎧∑-=-1N 1k )1N (u , u(1) ),0(u )k ( u ),k ( x L min 并不明显依赖)0(u ，()())2N (u ),2N (x f )1N (x )0(u ),0(x f )1(x --=-=但由状态方程：可知：实际上第二项仍依赖于)1N (u , ),1(u ),0(u - ，因此，第二项可写成：()()(){})1( x J min (k)u (k), x L min min (k)u (k),x L min *1N )0(u 1-N 1k )1N (u ,),1(u )0(u 1-N 0k )1N (u ,),0(u ---=-=⎭⎬⎫⎩⎨⎧=⎭⎬⎫⎩⎨⎧∑∑此给出了())1(x J *1N -与())0(x J*N 之间的递推关系.它是动态规划的基本方程.类似有动态规划更一般的基本方程：(**) 因此依据基本递推方程的递推关系：可以把一个多阶决策问题化为若干个子问题，而在决策的每一个阶段中只须对一个变量进行最优化决策即可.例如：()(){})1N (u ),1N (x L min )1N (x J )1N (u *1--=-- 是对一个单变量)1N (u -的优化问题，当())1N (x J *1-求出后，由基本递推方程(**)式可得：()()(){})1N (x J )2N (u ),2N (x L min )2N (xJ *1)2N (u *2-+--=--这又是对)2N (u -的最优化决策问题，因而把原来N 阶决策问题化成一系列对单变量的最优化决策问题，从而使问题简化.§2.2 生产库存——库存管理决策问题的解设某工厂生产某种产品，四个季度定货量为：生产费用与产品平方成正比，即比例系数为0.005，)( u 005.0)x (C 2元= 库存费每件每季为：1.0元. 第i 季度库存量为：)i (x 件； 第i 季度生产量为：)i (u 件； 第i 季度销售量为：定货量=)i (s 因此有：下季度库存是 ：)i (S )i (u )i (x )1i (x －本季销售量本季生产量本季度库存量是+=+且要求年初、年终都没有存货即销售已空.x （0）＝x （5）＝0最优管理问题：求每季度的最优生产量)4(u ),3(u ),2(u ),1(u ，使之能正好完成订货计划且使生产费与库存费总和最小.即：求 {})i (*u 使[][][]∑=+=≤41i 240)i (x )i (u005.0)i (u J )i (*u J （1）⎪⎩⎪⎨⎧===+=+ (4) 0x(5)(3) 0x(0)(2) ,4 1,2,3is(i)-u(i)x(i)1)x(i t .s解：使用动态规划的办法：1． 先由最后一个季度考虑起：)4(x )4(u 005.0J 21+=由（2） 0 x(5))4)4(s )4(u )4(x )14(x =-+=+及（得 ２００u(4)－(4)－1x(4)0+=得 )4(x 1200)4(*u -=代入（1）[]())4(x 005.0)4(x 117200)4(x )4(x 1200005.0)4(x J 22*4+-=+-= 2． 再考虑3－4两个季度，由基本递推方程知：()()[]{}(){}{})4(x 005.0)4(x 117200)3(x )3(u005.0min )4(x J )3(x )3(u 005.0min )4(x J )3(u ),3(x L min )3(x J 22)3(u *12)3(u *1)3(u *2+-++=++=+=其中 500)3(u )3(x )3(s )3(u )3(x )4(x -+=-+= 代入上式 即有：()()(){}22)3(u *2500)3(u )3(x 005.0500)3(u )3(x 117200)3(x )3(u 005.0min )3(x J -++-+-++=而)3(u 应使上式取最小值，因此有： {}0)3(u /=∂∙∂即：{}0)3(x 01.016)3(u 02.0)3(u =+-=∂∙∂即有： )3(x 5.0800)3(*u -= 为使0)3(*u ≥，必须有1600)3(x ≤，把)3(*u 代入())3(x J *2()()())3(x 0025.0)3(x 77550500)3(*u )3(x 005.0500)3(*u )3(x 117200)3(x )3(*u 005.0)3(x J 22*2+-=-++-+-++=3．再考虑2-3-4，由递推基本方程知：()()(){}{})3(x 0025.0)3(x 77550)2(x )2(u005.0min )3(x J )2(u ),2(x L min )2(x J 22)2(u *2)2(u *3+-++=+=其中 700)2(u )2(x )3(x -+= 代入上式 ())2(x J *3()()(){}22)2(u *3700)2(u )2(x 0025.0700)2(u )2(x 77550)2(x )2(u 005.0min )2(x J --+---++= 令 ()0)2(u /)2(x J *3=∂∂ 得(){}()0700)2(x 005.07)2(u 015.0)2(u )2(u )2(x J *3=-+-=∂∙∂=∂∂得 )2(x 31700)2(*u -= 再代 ())2(x J *3 得 ())2(x 3005.0)2(x 6000,10)2(x J 2*3+-= 4．再考虑1－2―3―4季度，由递推基本方程知：()()(){}⎭⎬⎫⎩⎨⎧+-++=+=)2(x 3005.0)2(x 6000,10)1(x )1(u 005.0min )2(x J )1(u ),1(x L min )1(x J 22)1(u *3)1(u *4 又由于 600)1(u 600)1(u 0)1(s )1(u )1(x )2(x -=-+=-+=并代入上式 ())1(x J *4得：()()()⎭⎬⎫⎩⎨⎧-+--++=22*4600)1(u 3005.0600)1(u 6000,10)1(x )1(u 005.0min )1(x J 令 ()0)1(u )1(x J *4=∂∂ 得()0600)1(u 301.06)1(u 01.0=-+- 得 600)1(*u =得 ()800,11)1(x J *4=（即四个季度总和的生产费用库存费） 于是：由)1(x ),1(*u 代入 )1(s )1(u )1(x )2(x -+=可得 )2(x ，由)2(x 可得 )2(x 31700)2(*u -= 于是由600)1(*u0)1(x == 及方程 )i (s )i (u )i (x )1i (x -+=+ 及 )4(x 1200)4(*u )3(x 5.0800)3(*u )2(x 31700)2(*u -=-=-=可得900)4(*u ,800)3(*u ,700)2(*u ,600)1(*u 0)5(x ,300)4(x ,0)3(x ,0)2(x ,0)1(x =========即有以上最优决策序列：{})i (*u 若不按以上最优决策，按每季销售量生产1200)4(s )4(u 500)3(s )3(u 700)2(s )2(u ,100)1(s )1(u ========则显然总有存为总量0，但总费用： ()∑=+=4124700,12)i (x )i (u005.0J 要多用900元.。
最优控制理论课件-40页文档资料
第一章绪论1.1 引言近50年来，科学技术的迅速发展，对许多被控对象如宇宙飞船、导弹、卫星和现代工业设备与生产过程的性能提出了更高的要求，在许多情况下要求系统的某种性能指标为最优。
这就要求人们对控制问题都必须从最优控制的角度进行研究分析和设计。
最优控制理论是现代控制理论的重要组成部分。
其形成与发展奠定了整个现代控制理论的基础。
早在20世纪50年代初九开始了对最短时间控制问题的研究。
随后，由于空间技术的发展，越来越多的学者和工程技术人员投身于这一领域的研究和开发，逐步形成了较为完整的最优控制理论体系。
最优化问题就是根据各种不同的研究对象以及人们预期要达到的目标，寻找一个最优控制规律，或设计出一个最优控制方案或最优控制系统。
最优控制理论研究的主要问题是：根据已建立的被控对象的时域数学模型或频域数学模型，选择一个容许的控制律，使得被控对象按预定要求运行，并使给定的某性能指标达到最优值。
从数学的观点来看，最优控制理论研究的问题是求解一类带有约束条件的泛函取值问题，属于变分学的理论范畴。
然而，经典变分学理论只能解决容许控制属于开机的一类，为适应工程实践的需要，20世纪50年代中期出现了现代变分理论。
在现代变分理论中最常用的两种分法是动态规划和极小值原理。
动态规划时美国学者R.E贝尔曼于1953-1957年为了解决多级决策问题的算法而逐步创立的。
最小值原理时前苏联科学院院士π.C.庞特里亚金与1956年-1958年间逐步创立的。
近年来，由于数字计算机的飞速发展和完善，逐步形成了最优控制理论中的数值计算法，参数优化方法。
当性能指标比较复杂或者不能用变量或函数表示时，可以采用直接搜索法，经过若干次迭代，都所到最优点。
常用的方法有邻近极值法、梯度法、共轭梯度法及单纯形法等。
同时由于可以把计算机作为控制系统的一个组成部分，以实现在线控制，从而使最优控制理论的工程实现成为现实。
因此，最优控制理论提出的求解方法，既是一种数学方法，又是一种计算机算法。
最优控制介绍课件
状态方程可以表 示为微分方程或 差分方程的形式
03
02
04
状态方程通常包 括系统的状态变 量、输入变量和 输出变量
状态方程在最优 控制问题中用于 描述系统的动态 特性，为控制器 的设计提供依据
控制方程
状态方程： 描述系统 状态的变 化规律
控制方程： 描述控制 输入与系 统状态的 关系
性能指标 方程：描 述系统的 性能指标
02
状态转移方程： 描述状态之间的
递推关系
03
边界条件：定义 初始状态和终止
状态
04
求解过程：从初 始状态开始，逐 步求解子问题， 直至得到最优解
最优控制理论
01
最优控制理论是研究如何找到最优控制策
略，使得系统在特定条件下达到最优性能。
02
最优控制理论包括动态规划、极大值原
理、变分法等方法。
03
最优控制理论广泛应用于工程、经济、
04
间接法：通过求解最优控制问 题的辅助问题来获得最优控制 策略
06
数值解法优缺点：优点是计算 简单、易于实现；缺点是计算 精度较低、收敛速度较慢
机器人控制
1
机器人运动控 制：通过最优 控制算法，实 现机器人的精 确运动控制
2
机器人路径规 划：通过最优 控制算法，规 划机器人的最 优路径
3
机器人抓取控 制：通过最优 控制算法，实 现机器人的精 确抓取控制
交通控制
STEP1
STEP2
STEP3
STEP4
交通信号灯控制： 根据实时交通状况， 自动调整信号灯时 间，提高道路通行 效率
公共交通调度：根 据客流量、车辆位 置等信息，优化公 交线路和发车频率， 降低乘客等待时间
最优化理论与最优控制.ppt
静态最优化方法：
a. 解 析法（间接法） 无约束条件 有约束条件
b. 数值计算法（直接法) 区间消去法
黄金分割法（0.618法） 插值法
2) 有关数学模型中变量的边界条件，即系统的初态和终态，
即 确定：X (t0 ) ，X (t f ) 。
一个动态过程，归根到底，是状态空间中的状态由初态
课程参考教材：1 系统最优化及控制 付曦 著 机械工业出版社 电气自动化新丛书
2 最优控制理论及应用 解学书著 清华大学 出
版社
第一章
容，是现代理论的一个 研究热点和中心话题。
现代控制理论：以多变量系统控制、最优控制、系统辩识为 主要内容，最优控制发展早。20世纪60年 代，现代控制理论才得以迅速发展。我国 著名学者：钱学森 1945年编著的《工程
研究和解决如何从一切可能的方案中寻找最优方案， 其间包括以下任务 1）根据所提出的最优化问题，建立最优化问题数学模型。
确定变量，列出约束条件，确定目标函数（性能指标） 2） 模型分析，选择合适的最优化求解方法。 3）根据选定的最优化算法，编程，求解 。
最优化的基本问题： 就是寻找一个最优的控制方案或控制规律，使所研究
2）动态规划法和最优化原理 3）极大值原理
总结：最优控制是现代控制理论的核心，它的主要内容是： 在满足一定的约束条件下，根据控制系统的数学模型，寻求最 优控制，使目标函数为极大或极小。 用最优控制设计系统与传统解析法相比，特点如下：
1） 适用于多变量，非线性，时变系统的设计 2） 初始条件可任意 3） 可以满足多个目标函数的要求，并可用于多个约束的情 况 4） 便于计算机求解