最优控制的计算方法
合集下载
最优控制-第七章-动态规划法
当∆t很小时，有
t t
t
Lx, u, t d t Lx, u, t t
J x, t min
*
min
uU
uU
tf
t0
Lx, u, t d t Φ xt f
tf t t
t t
t
Lx, u, t d t
Lx, u, t d t Φ xt f
P1 11
7
P2 4 2
P3 4 4
12 A 4 8 Q1
4 3 2 2 Q3 B
5 Q2
第一段：P1、Q1的前站是始发站A。显见从
A到B的最优值为12，故得最优路线为AQ1P2Q3B。
综上可见，动态规划法的特点是： 1) 与穷举算法相比，可使计算量大大减少。如
上述最优路线问题，用动态规划法只须做10次
J x, t min Lx, u, t t J xt t , t t
* * uU
(8)
* J x , t J x, t * * J x x, t t J x, t t (12) x t x * T
A城出发到B城的行车时间最短。
P1 3 A 4 Q1 1
7
P2
2
P3 4
4
6 8 2 Q2
3 3 3
2 Q3 4
2
B
现将A到B分成四段，每一段都要作一最优决 策，使总过程时间为最短。所以这是一个多段最 优决策问题。 由图2可知，所有可能的行车路线共有8条。 如果将各条路线所需的时间都一一计算出来，并 作一比较，便可求得最优路线是AQ1P2Q3B，历时 12。这种一一计算的方法称为穷举算法。这种方 法计算量大，如本例就要做3×23=24次加法和7次 比较。如果决策一个n段过程，则共需(n-1)2n-1次 加法和(2n-1-1)次比较。可见随着段数的增多，计 算量将急剧增加。
最优控制理论
智能优化方法
对于越来越多的复杂控制对象，一方面，人们所要求的控制性能不再单纯的局限于一两个指标；另一方面，上述各种优化方法，都是基于优化问题具有精确的数学模型基础之上的。但是许多实际工程问题是很难或不可能得到其精确的数学模型的。这就限制了上述经典优化方法的实际应用。随着模糊理论、神经网络等智能技术和计算机技术的发展。 近年来，智能式的优化方法得到了重视和发展。 (1)神经网络优化方法 人工神经网络的研究起源于1943年和Mc Culloch和Pitts的工作。在优化方面，1982年Hopfield首先引入Lyapuov能量函数用于判断网络的稳定性，提出了Hopfield单层离散模型；Hopfield和Tank又发展了Hopfield单层连续模型。1986年，Hopfield和Tank将电子电路与Hopfield模型直接对应，实现了硬件模拟；Kennedy和Chua基于非线性电路理论提出了模拟电路模型，并使用系统微分方程的Lyapuov函数研究了电子电路的稳定性。这些工作都有力地促进了对神经网络优化方法的研究。 根据神经网络理论，神经网络能量函数的极小点对应于系统的稳定平衡点，这样能量函数极小点的求解就转换为求解系统的稳定平衡点。随着时间的演化，网络的运动轨道在空间中总是朝着能量函数减小的方向运动，最终到达系统的平衡点——即能量函数的极小点。因此如果把神经网络动力系统的稳定吸引子考虑为适当的能量函数（或增广能量函数）的极小点，优化计算就从一初始点随着系统流到达某一极小点。如果将全局优化的概念用于控制系统，则控制系统的目标函数最终将达到希望的最小点。这就是神经优化计算的基本原理。 与一般的数学规划一样，神经网络方法也存在着重分析次数较多的弱点，如何与结构的近似重分析等结构优化技术结合，减少迭代次数是今后进一步研究的方向之一。 由于Hopfield模型能同时适用于离散问题和连续问题，因此可望有效地解决控制工程中普遍存在的混合离散变量非线性优化问题。 (2)遗传算法 遗传算法和遗传规划是一种新兴的搜索寻优技术。它仿效生物的进化和遗传，根据“优胜劣汰”原则，使所要求解决的问题从初始解逐步地逼近最优解。在许多情况下，遗传算法明显优于传统的优化方法。该算法允许所求解的问题是非线性的和不连续的，并能从整个可行解空间寻找全局最优解和次优解，避免只得到局部最优解。这样可以为我们提供更多有用的参考信息，以便更好地进行系统控制。同时其搜索最优解的过程是有指导性的，避免了一般优化算法的维数灾难问题。遗传算法的这些优点随着计算机技术的发展，在控制领域中将发挥越来越大的作用。 目前的研究表明，遗传算法是一种具有很大潜力的结构优化方法。它用于解决非线性结构优化、动力结构优化、形状优化、拓扑优化等复杂优化问题，具有较大的优势。 (3)模糊优化方法 最优化问题一直是模糊理论应用最为广泛的领域之一。 自从Bellman和Zadeh在 70年代初期对这一研究作出开创性工作以来，其主要研究集中在一般意义下的理论研究、模糊线性规划、多目标模糊规划、以及模糊规划理论在随机规划及许多实际问题中的应用。主要的研究方法是利用模糊集的a截集或确定模糊集的隶属函数将模糊规划问题转化为经典的规划问题来解决。 模糊优化方法与普通优化方法的要求相同，仍然是寻求一个控制方案（即一组设计变量），满足给定的约束条件，并使目标函数为最优值，区别仅在于其中包含有模糊因素。普通优化可以归结为求解一个普通数学规划问题，模糊规划则可归结为求解一个模糊数学规划(fuzzymathematicalprogramming)问题。包含控制变量、目标函数和约束条件，但其中控制变量、目标函数和约束条件可能都是模糊的，也可能某一方面是模糊的而其它方面是清晰的。例如模糊约束的优化设计问题中模糊因素是包含在约束条件（如几何约束、性能约束和人文约束等）中的。求解模糊数学规划问题的基本思想是把模糊优化转化为非模糊优化即普通优化问题。方法可分为两类：一类是给出模糊解（fuzzysolution）；另一类是给出一个特定的清晰解（crispsolution）。必须指出，上述解法都是对于模糊线性规划（fuzzylinearprogramming）提出的。然而大多数实际工程问题是由非线形模糊规划（fuzzynonlinearprogramming）加以描述的。于是有人提出了水平截集法、限界搜索法和最大水平法等，并取得了一些可喜的成果。 在控制领域中，模糊控制与自学习算法、模糊控制与遗传算法相融合，通过改进学习算法、遗传算法，按给定优化性能指标，对被控对象进行逐步寻优学习，从而能够有效地确定模糊控制器的结构和参数
对于越来越多的复杂控制对象，一方面，人们所要求的控制性能不再单纯的局限于一两个指标；另一方面，上述各种优化方法，都是基于优化问题具有精确的数学模型基础之上的。但是许多实际工程问题是很难或不可能得到其精确的数学模型的。这就限制了上述经典优化方法的实际应用。随着模糊理论、神经网络等智能技术和计算机技术的发展。 近年来，智能式的优化方法得到了重视和发展。 (1)神经网络优化方法 人工神经网络的研究起源于1943年和Mc Culloch和Pitts的工作。在优化方面，1982年Hopfield首先引入Lyapuov能量函数用于判断网络的稳定性，提出了Hopfield单层离散模型；Hopfield和Tank又发展了Hopfield单层连续模型。1986年，Hopfield和Tank将电子电路与Hopfield模型直接对应，实现了硬件模拟；Kennedy和Chua基于非线性电路理论提出了模拟电路模型，并使用系统微分方程的Lyapuov函数研究了电子电路的稳定性。这些工作都有力地促进了对神经网络优化方法的研究。 根据神经网络理论，神经网络能量函数的极小点对应于系统的稳定平衡点，这样能量函数极小点的求解就转换为求解系统的稳定平衡点。随着时间的演化，网络的运动轨道在空间中总是朝着能量函数减小的方向运动，最终到达系统的平衡点——即能量函数的极小点。因此如果把神经网络动力系统的稳定吸引子考虑为适当的能量函数（或增广能量函数）的极小点，优化计算就从一初始点随着系统流到达某一极小点。如果将全局优化的概念用于控制系统，则控制系统的目标函数最终将达到希望的最小点。这就是神经优化计算的基本原理。 与一般的数学规划一样，神经网络方法也存在着重分析次数较多的弱点，如何与结构的近似重分析等结构优化技术结合，减少迭代次数是今后进一步研究的方向之一。 由于Hopfield模型能同时适用于离散问题和连续问题，因此可望有效地解决控制工程中普遍存在的混合离散变量非线性优化问题。 (2)遗传算法 遗传算法和遗传规划是一种新兴的搜索寻优技术。它仿效生物的进化和遗传，根据“优胜劣汰”原则，使所要求解决的问题从初始解逐步地逼近最优解。在许多情况下，遗传算法明显优于传统的优化方法。该算法允许所求解的问题是非线性的和不连续的，并能从整个可行解空间寻找全局最优解和次优解，避免只得到局部最优解。这样可以为我们提供更多有用的参考信息，以便更好地进行系统控制。同时其搜索最优解的过程是有指导性的，避免了一般优化算法的维数灾难问题。遗传算法的这些优点随着计算机技术的发展，在控制领域中将发挥越来越大的作用。 目前的研究表明，遗传算法是一种具有很大潜力的结构优化方法。它用于解决非线性结构优化、动力结构优化、形状优化、拓扑优化等复杂优化问题，具有较大的优势。 (3)模糊优化方法 最优化问题一直是模糊理论应用最为广泛的领域之一。 自从Bellman和Zadeh在 70年代初期对这一研究作出开创性工作以来，其主要研究集中在一般意义下的理论研究、模糊线性规划、多目标模糊规划、以及模糊规划理论在随机规划及许多实际问题中的应用。主要的研究方法是利用模糊集的a截集或确定模糊集的隶属函数将模糊规划问题转化为经典的规划问题来解决。 模糊优化方法与普通优化方法的要求相同，仍然是寻求一个控制方案（即一组设计变量），满足给定的约束条件，并使目标函数为最优值，区别仅在于其中包含有模糊因素。普通优化可以归结为求解一个普通数学规划问题，模糊规划则可归结为求解一个模糊数学规划(fuzzymathematicalprogramming)问题。包含控制变量、目标函数和约束条件，但其中控制变量、目标函数和约束条件可能都是模糊的，也可能某一方面是模糊的而其它方面是清晰的。例如模糊约束的优化设计问题中模糊因素是包含在约束条件（如几何约束、性能约束和人文约束等）中的。求解模糊数学规划问题的基本思想是把模糊优化转化为非模糊优化即普通优化问题。方法可分为两类：一类是给出模糊解（fuzzysolution）；另一类是给出一个特定的清晰解（crispsolution）。必须指出，上述解法都是对于模糊线性规划（fuzzylinearprogramming）提出的。然而大多数实际工程问题是由非线形模糊规划（fuzzynonlinearprogramming）加以描述的。于是有人提出了水平截集法、限界搜索法和最大水平法等，并取得了一些可喜的成果。 在控制领域中，模糊控制与自学习算法、模糊控制与遗传算法相融合，通过改进学习算法、遗传算法，按给定优化性能指标，对被控对象进行逐步寻优学习，从而能够有效地确定模糊控制器的结构和参数
最优控制的计算方法
5
1、梯度法
3、用UK(t)、XK(t)和横截条件求得的终端值(tf)，从tf 到t0反向积分协态方程，求出协态向量K(tf)。 4、计算哈密顿函数H对U的梯度向量 H K g ( )K U H K ( ) K 表示在 U K 、X K 、 处取值。当这些量非最优值 U 时， g K 0 。
U
（iii）边界条件（包括横截条件） 最优控制的计算方法一般是先求出满足上面三个条件中 某两个的解，然后用合适的迭代计算形式逐次改变这个解， 以达到满足剩下的另一个条件的解（即最优解）。
4
一、直接法
1、梯度法 这是一种直接方法，应用比较广泛。它的特点是：先猜 测任意一个控制函数U(t)，它可能并不满足H 取极小的必要 条件，然后用迭代算法根据H 梯度减小的方向来改善U(t)， 使它最后满足必要条件。 计算步骤如下： 1、先猜测[t0, tf]中的一个控制向量UK(t)=U0(t)，K是迭代 步数，初始时K=0。U0 的决定要凭工程经验，猜得合理，计 算收敛得就快 2、在第K步，以估计值UK和给定的初始条件X(t0)，从t0 到tf 顺向积分状态方程，求出状态向量XK(t)。
(2) 以 X (t 0 ) 为初值，从 t 0 到 t f 积分状态方程，得出状态 轨迹 X K (t )。 (3) 以 (t f )为终值，从 t f 到 t 0 反向积分协态方程，求得 协态轨迹 K (t ) 。 H (4) 计算梯度向量 g K ( ) u u k u
(5) 计算共轭系数
8
1、梯度法
0 1、选初始估计 u (t ) 0 。
2、将 u 0 (t ) 0 代入状态方程可得 dx dt 2 x 1 t c 积分上式可得 x 代入初始条件： x(0) 10 ，确定积分常数 1 c 10 10 0 可得 x(t ) x (t ) 10t 1
1、梯度法
3、用UK(t)、XK(t)和横截条件求得的终端值(tf)，从tf 到t0反向积分协态方程，求出协态向量K(tf)。 4、计算哈密顿函数H对U的梯度向量 H K g ( )K U H K ( ) K 表示在 U K 、X K 、 处取值。当这些量非最优值 U 时， g K 0 。
U
（iii）边界条件（包括横截条件） 最优控制的计算方法一般是先求出满足上面三个条件中 某两个的解，然后用合适的迭代计算形式逐次改变这个解， 以达到满足剩下的另一个条件的解（即最优解）。
4
一、直接法
1、梯度法 这是一种直接方法，应用比较广泛。它的特点是：先猜 测任意一个控制函数U(t)，它可能并不满足H 取极小的必要 条件，然后用迭代算法根据H 梯度减小的方向来改善U(t)， 使它最后满足必要条件。 计算步骤如下： 1、先猜测[t0, tf]中的一个控制向量UK(t)=U0(t)，K是迭代 步数，初始时K=0。U0 的决定要凭工程经验，猜得合理，计 算收敛得就快 2、在第K步，以估计值UK和给定的初始条件X(t0)，从t0 到tf 顺向积分状态方程，求出状态向量XK(t)。
(2) 以 X (t 0 ) 为初值，从 t 0 到 t f 积分状态方程，得出状态 轨迹 X K (t )。 (3) 以 (t f )为终值，从 t f 到 t 0 反向积分协态方程，求得 协态轨迹 K (t ) 。 H (4) 计算梯度向量 g K ( ) u u k u
(5) 计算共轭系数
8
1、梯度法
0 1、选初始估计 u (t ) 0 。
2、将 u 0 (t ) 0 代入状态方程可得 dx dt 2 x 1 t c 积分上式可得 x 代入初始条件： x(0) 10 ，确定积分常数 1 c 10 10 0 可得 x(t ) x (t ) 10t 1
最优控制全部PPT课件
J
（x(t f ),t f）
tf t0
F（x(t),u(t),t)dt
为最小。
这就是最优控制问题。
如果问题有解，记为u*(t), t∈ [t0,tf],则u*(t)叫做最优控制（极值控制），相应的轨 线X*(t)称为最优轨线（极值轨线），而性能指标J*=J（u*(·)）则称为最优性能指标。
第11页/共184页
目标质心的位置矢量和速度矢量为： xM xM
F(t)为拦截器的推力
x xL xM v xL xM
则拦截器与目标的相对运动方程为：
x v v a(t) F (t)
m(t)
m F (t) c
其中a(t)是除控制加速度外的固有相对加速度，是已知的。
初始条件为： x(t0 ) x0 v(t0 ) v0 m(t0 ) m0 终端条件为： x(t f ) 0 v(t f )任意 m(t f ) me
至于末态时刻，可以事先规定，也可以是未知的。 有时初态也没有完全给定，这时，初态集合可以类似地用初态约束来表示。
第9页/共184页
3：容许控制 在实际控制问题中，大多数控制量受客观条件的限制，只能在一定范围内取 值，这种限制通常可以用如下不等式约束来表示：
0 u(t) umax 或ui i 1,2p
给定一个线性系统，其平衡状态X(0)=0，设计的目的是保持系统处于平衡状态，即 这个系统应能从任何初始状态返回平衡状态。这种系统称为线性调节器。
线性调节器的性能指标为：
J
tf t0
n
xi 2 (t)dt
i 1
加权后的性能指标为：
J
tf t0
n
qi xi 2 (t)dt
i1
对u(t)有约束的性能指标为： J t f 1 [ X T (t)QX (t) uT (t)Ru(t)]dt
最优控制第五章习题答案
1. ·2.已知二阶系统的状态方程122()(),()()x t x t x t u t ==性能泛函3222221212120111[(3)2(3)][2()4()2()()()]222J x x x t x t x t x t u t dt =+++++⎰求最优控制。
解:把状态方程和性能指标与标准状态方程和标准性能指标比较，可得0,101,02,11,,,,0,010,21,42A B P Q R ⎡⎤⎡⎤⎡⎤⎡⎤=====⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦考虑到()K t 是对称阵，设11121222,(),k k K t k k ⎡⎤=⎢⎥⎣⎦代入黎卡提方程1()()()()()()()()()()()T T K t K t A t A t K t K t B t R t B t K t Q t -=--+-即1112111211121112111212221222122212221222,,,,,0,10,002,12[0,1],0,01,0,,1,1,4,k k k k k k k k k k k k k k k k k k k k ⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤=--+-⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦⎣⎦令上式等号左右端的对应元相等，得211121211122222212222221224k k k k k k k k k =-=-+-=-+-这是一组非线性微分方程。
由边界条件(3)K P =即11121222(3),(3)1,0(3),(3)0,2k k k k ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 最优控制为11112112122212222()()(),()2*[0,1]2()2(),()T u t R B K t X t k k x t k x t k x t k k x t -=-⎡⎤⎡⎤=-=--⎢⎥⎢⎥⎣⎦⎣⎦3. ）4.能控的系统状态方程为122()(),()()x t x t x t u t ==这是一种双积分系统，其输出为1()x t ，其输入为()u t ，其传递函数为12()1()()x s G s u s s==其性能泛函为222112201[()2()()()()]2J x t bx t x t ax t u t dt ∞=+++⎰其中220a b ->求最优控制。
最优控制汉密尔顿函数
这就是说，对定常系统，沿最优轨线H恒为常值。
整理课件
46
例4：给定系统状态方程为
x 00
1 0 0x1u
设初始状态x(0)= 0，终端状态约束曲线
x1(1)+x2(1)-1=0求使性能泛函
J 1 1u2tdt 20
取极小时的最优控制u*(t)及最优轨线x*(t)。
解 这是个终端时间tf给定，但终端状态受约束 的拉格朗日问题。
那么，关系式 H 0 不成立，这种情况留待极 u
小值原理中讨论。
式(5-12)称为横截条件。常用于补充边界条件。
例如，若始端固定，终态自由时，由于δx(t0)=0， δx(tf)任意，则有
xt0x0
(5-13)
tf 0
(5-14)
若始端和终端都固定时，δx(t0)=0，δx(tf)=0则以
xt0x0
J´的变分为：
J tt0 f x T H x u T H u d t x T
tf t0
使J´取极小的必要条件是，对任意的δu和δx，
都有δJ´=0成立。
因此得
H 0
x H x H 0 u
tf 0 t0
(5-9) (5-10) (5-11) (5-12)
终端时刻由下式计算
H x tf,u tf,tf,tf Φ x t tf f,tf N T x t t ff,tf 0
(5-32) 式中H[x(tf), u(tf), λ(tf), tf]函数H最优轨线终端处 的值。上述总共个2n+r+q+1方程，可联解出 2n+r+q+1个变量。
最后，分析哈密尔顿函数沿最优轨线随时间 的变化规律。哈密顿函数H对时间的全导数为
最优控制问题的数值方法
最优控制问题的数值方法最优控制问题是应用数学中的一类重要问题，涉及到优化某些目标函数的控制策略。
这类问题在很多领域都有广泛的应用，如经济学、工程学、环境科学等。
为了求解最优控制问题，研究者们开发了多种数值方法，以提供高效准确的策略。
一、动态规划法动态规划法是求解最优控制问题中最常用的方法之一。
其基本思想是将问题划分为若干个阶段，在每个阶段选择最优的控制策略，以达到整体的最优目标。
动态规划法的核心是计算值函数或状态函数，通过递归的方式实现最优解的求解。
在动态规划法中，首先需要建立状态转移方程，描述状态之间的变化关系。
然后通过迭代求解，逐步更新值函数，直到收敛为止。
具体的计算方法可以根据不同的最优控制问题进行调整，以提高计算效率。
二、最优控制问题的间接方法除了动态规划法，最优控制问题还可以通过间接方法求解。
间接方法主要基于变分原理，通过构建哈密顿-雅可比-贝尔曼（HJB）方程来求解问题。
该方法将最优控制问题转化为一个偏微分方程，通过求解该方程得到最优解。
在应用最优控制问题的间接方法时，需要确定合适的控制参数，并在求解偏微分方程时进行迭代计算。
这种方法的优势在于能够处理一些非线性和约束等较为复杂的情况，但同时也带来了计算复杂度较高的问题。
三、最优控制问题的直接方法最优控制问题的直接方法是另一种常用的数值求解方法。
它直接构造控制策略的参数化形式，并通过参数调整来实现目标函数的最小化。
该方法需要事先构造一个合适的优化模型，并选择合适的优化算法进行求解。
在直接方法中，常用的优化算法有梯度下降法、共轭梯度法、牛顿法等。
通过迭代计算，优化参数逐步调整，直到达到最优解。
直接方法不需要建立状态函数或值函数，因此可以简化运算，但需要根据具体问题进行参数化建模和算法选择。
总结：在求解最优控制问题时，可以根据问题的特点选择适合的数值方法。
动态规划法适用于离散的最优控制问题，通过递归计算值函数实现最优策略的求解。
间接方法利用变分原理将问题转化为偏微分方程，并通过迭代计算获得最优解。
最优控制理论及应用讲解
多级决策过程所谓多级决策过程是指将一个过程按时间或空间顺序分为若干级步然后给每一级步作出决策在控制过程中令每走一步所要决定的控制步骤称之为决策以使整个过程取得最优的效果即多次的决策最终要构成一个总的最优控制策略最优控制方案
第4章 动态规划
求解动态最优化问题的两种基本方法：极小值原理和动态规划。
动态规划：是一种分级最优化方法，其连续形式与极小值原理相 辅相成，深化了最优控制的研究。
Optimal Control Theory & its Application
主要内容
1
多级决策过程和最优性原理
2
离散控制系统的动态规划
3
连续控制系统的动态规划
4 动态规划与变分法、极小值原理的关系
5
本章小结
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.7
Optimal Control Theory & its Application
Optimal Control Theory
Dong Jie 2012. All rights reserved.
特点：1）将一个多阶段决策问题化为多个单阶段决策问题，易于分析 2）每阶段评估只与前一阶段结果有关，计算量减小
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.5
Optimal Control Theory & its Application
第4章 动态规划
求解动态最优化问题的两种基本方法：极小值原理和动态规划。
动态规划：是一种分级最优化方法，其连续形式与极小值原理相 辅相成，深化了最优控制的研究。
Optimal Control Theory & its Application
主要内容
1
多级决策过程和最优性原理
2
离散控制系统的动态规划
3
连续控制系统的动态规划
4 动态规划与变分法、极小值原理的关系
5
本章小结
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.7
Optimal Control Theory & its Application
Optimal Control Theory
Dong Jie 2012. All rights reserved.
特点：1）将一个多阶段决策问题化为多个单阶段决策问题，易于分析 2）每阶段评估只与前一阶段结果有关，计算量减小
Optimal Control Theory
Dong Jie 2012. All rights reserved.
Date: 09.05.2019 File: OC_CH4.5
Optimal Control Theory & its Application
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
通常把最优控制的计算方法分成两类：直接法和间接法。
直接法。
它的特点是，在每一步迭代中， 不一定要满足 U取(极t)小的必要条件，而
是逐步改善它，在迭代终了使它满足这个必要条件，而且，积分状态方程是
H 从 到 ，积分协态方程是从 到 ，这样就避免了去寻找缺少的协态初
值 的困难。常用的直接法有梯度法，二阶梯度法，共轭梯度法。
i 1, 2,m （7-15）
uˆ 首先，对于任何控制 ，定义约束算子
Cu
ai ui (t) Cuuˆi (t) uˆi (t)
bi
uˆi (t) ai ai uˆi (t) bi
uˆi (t) bi
（7-16）
显然 ui (t) , i 1 ,满2足约束，m即
u Cuuˆ
（7-17）
u u u 满足约束，其中
，
再由 用无约束的梯度法求解，在每一次1 迭代中得m出
T，uˆ然后用[uˆ1
代替uˆ，m再]进T
uˆ 行下一次迭代。
uˆ
u Cuuˆ
惩罚函数法可处理如下形式的约束：
gi (X ,u,t) 0
hi ( X (t f ), t f ) 0
2
u 2 )dt
20
（7-6） （7-7）
解
哈密顿函数为
H 1 (x2 u 2 ) x2 u
2
协态方程为
H x 2x
x
因 x(自1)由，由横截条件得
0 (1) 0
（7-8） （7-9）
１、选初始估计
u 0。(t) 0
２、将 u 0 (代t)入状态0方程（7-6）可得
积分上式可得 代入初始条件：
本章主要内容
➢ 7.1 直接法 ➢ 7.2 间接法 ➢ 7.3 小结
返回主目录
在前面讨论变分法、极小值原理和动态规划时，我们列举了一些例子。为 了易于说明问题，这些例子都是非常简单的，可以用手算来解决问题。但是在 实际工作中所遇到的最优控制问题，一般都是很复杂的，必须用计算机求解。
因此，最优控制的计算方法就变得十分重要了。这方面的内容十分丰富， 由于篇幅所限，我们只介绍几种典型的算法。
可以看到第一次迭代
就几
乎收敛到最优值， 与最优值
还有差异，而且一般说来愈接近
最优值收敛愈慢
0
x(t)
x
u1 (t)
10
最优值
u1 (t )
u 0 (t)
图7-1用梯度法寻找最优控制 1 t
x 0 (t)
x ' (t)和最优值
图7-2 最优状 （1）简单，编制程序容易； （2）计算稳定可靠。
t0 t f
t f t0
(t0 )
间接法。
它的特点是，在每一步迭代中都要满足
H 取极小的必要条件，而且
要同时积分状态方程和协态方程，两种方程的积分都从 到 或从 到 。常
用的间接法有边界迭代法和拟线性化法。
t0 t f
t f t0
7.1 直接法
（一）梯度法 。
这是一种直接方法，应用比较广泛。它的特点是：先猜测任意一个控制函 数 ，它可能并不满足 取极小的必要条件，然后用迭代算法根据 梯度减小
，从 到
顺向积分状态方程， X (t0 )
X K (t)
3．
用 U、K (t)和X横截K (条t)件求得的终端值
程，求出协态向量 。
t f t0
K (t)
，从 到 反向 积(t分f )协态方
4．
计算哈密顿函数 对 的H梯度向量U
gK
gK
(
H
U
)K
H
( U表) K示在 、 、U K处取X值K。当这K些量非最优值时，
的方向来改善 ，使它最后满足必要条件。 U (t)
H
H
U (t)
计算步骤如下：
1．
的决先定猜要测凭工程中[经t的0验,一，t f个猜]控得制合向理量，计算收敛得，就快是。迭U代K步(数t) ， 初U始0 (时t) K。
K 0 U0
2．
在第 步K，以估计值
求出状态向量 。
t0 t f
和给定的初U始K条件
缺点是： （1）在接近最优解时，迭代收敛很慢，为改善 收敛性可用共轭梯度法和二阶变分法等； （2）不能区分局部极小和全局极小； （3）对控制变量受约束，终端状态受约束的情 况不能直接处理。对于这种有约束的情况 可用约束梯度法或惩罚函数法加以处理。
约束梯度法可处理如下的不等式约束：
ai ui (t) bi
dx dt x2
1 t c
x t 0, ，确定x(积0分) 常数10
c 1 10
代入（7-12）式即可得
x(t) x0 (t) 10 10t 1
（7-11） （7-12）
（7-13）
3．将 x代0 (入t )协态方程（7-9），且由边界条件
向积分可得
0 (1) 0
从t=1倒
0 (t) 1 [1 (110t)2 /121]
J (U K1 ) J (U K )
J (U K )
ε是指定小量，若满足则停止计算，否则，令 止计算的标准是
K K 1
gK
（7-4） ,转步骤2。另一停
（7-5）
例7-1 考虑下面的一阶非线性状态方程
x x 2 u x(0) 10
用梯度法寻找最优控制使下面的指标最小
J 1
1
(
x
由极小值原理可知，最优控制问题的解必须满足以下几个条件
（i）正则方程
X H
H
X
（ii）哈密顿函数 取极小的H必要条件
H 0 U
( U无约束)
（7-1）
或
min H (X *,*,U,t) H (X *,*,U *,t) ( U有约束) （7-2）
U
（iii）边界条件（包括横截条件）
最优控制的计算方法一般是先求出满足上面三个条件中某两个的解，然后 用合适的迭代计算形式逐次改变这个解，以达到满足剩下的另一个条件的解 （即最优解）。
2
4．由 H u
u
(H )0 0 (t)
u
0 (1) 0
5． u1(t) u 0 (t) (H。)0 1 [1 (1 10t)2 /121] 这里选步长因子 。如u此继续下去2，直至指标函数随迭代变化很小为止。
K 1
u
图 7-1 和 图 7-2 表 示 了 控 制 和
状态的初始值和第一次迭代值，
。
gK 0
5、
修正控制向量
U K 1 U K K g K
（7-3）
是K一个步长因子，它是待定的数。选择 使指标达到极小。这是一K维寻优
问题，有很多现成的优化方法可用。如分数法，0.618法，抛物线法，立方近似 法等。(7-3)表明迭代是沿着梯度 的负方向进行的。
gK
6、 计算是否满足下列指标
直接法。
它的特点是，在每一步迭代中， 不一定要满足 U取(极t)小的必要条件，而
是逐步改善它，在迭代终了使它满足这个必要条件，而且，积分状态方程是
H 从 到 ，积分协态方程是从 到 ，这样就避免了去寻找缺少的协态初
值 的困难。常用的直接法有梯度法，二阶梯度法，共轭梯度法。
i 1, 2,m （7-15）
uˆ 首先，对于任何控制 ，定义约束算子
Cu
ai ui (t) Cuuˆi (t) uˆi (t)
bi
uˆi (t) ai ai uˆi (t) bi
uˆi (t) bi
（7-16）
显然 ui (t) , i 1 ,满2足约束，m即
u Cuuˆ
（7-17）
u u u 满足约束，其中
，
再由 用无约束的梯度法求解，在每一次1 迭代中得m出
T，uˆ然后用[uˆ1
代替uˆ，m再]进T
uˆ 行下一次迭代。
uˆ
u Cuuˆ
惩罚函数法可处理如下形式的约束：
gi (X ,u,t) 0
hi ( X (t f ), t f ) 0
2
u 2 )dt
20
（7-6） （7-7）
解
哈密顿函数为
H 1 (x2 u 2 ) x2 u
2
协态方程为
H x 2x
x
因 x(自1)由，由横截条件得
0 (1) 0
（7-8） （7-9）
１、选初始估计
u 0。(t) 0
２、将 u 0 (代t)入状态0方程（7-6）可得
积分上式可得 代入初始条件：
本章主要内容
➢ 7.1 直接法 ➢ 7.2 间接法 ➢ 7.3 小结
返回主目录
在前面讨论变分法、极小值原理和动态规划时，我们列举了一些例子。为 了易于说明问题，这些例子都是非常简单的，可以用手算来解决问题。但是在 实际工作中所遇到的最优控制问题，一般都是很复杂的，必须用计算机求解。
因此，最优控制的计算方法就变得十分重要了。这方面的内容十分丰富， 由于篇幅所限，我们只介绍几种典型的算法。
可以看到第一次迭代
就几
乎收敛到最优值， 与最优值
还有差异，而且一般说来愈接近
最优值收敛愈慢
0
x(t)
x
u1 (t)
10
最优值
u1 (t )
u 0 (t)
图7-1用梯度法寻找最优控制 1 t
x 0 (t)
x ' (t)和最优值
图7-2 最优状 （1）简单，编制程序容易； （2）计算稳定可靠。
t0 t f
t f t0
(t0 )
间接法。
它的特点是，在每一步迭代中都要满足
H 取极小的必要条件，而且
要同时积分状态方程和协态方程，两种方程的积分都从 到 或从 到 。常
用的间接法有边界迭代法和拟线性化法。
t0 t f
t f t0
7.1 直接法
（一）梯度法 。
这是一种直接方法，应用比较广泛。它的特点是：先猜测任意一个控制函 数 ，它可能并不满足 取极小的必要条件，然后用迭代算法根据 梯度减小
，从 到
顺向积分状态方程， X (t0 )
X K (t)
3．
用 U、K (t)和X横截K (条t)件求得的终端值
程，求出协态向量 。
t f t0
K (t)
，从 到 反向 积(t分f )协态方
4．
计算哈密顿函数 对 的H梯度向量U
gK
gK
(
H
U
)K
H
( U表) K示在 、 、U K处取X值K。当这K些量非最优值时，
的方向来改善 ，使它最后满足必要条件。 U (t)
H
H
U (t)
计算步骤如下：
1．
的决先定猜要测凭工程中[经t的0验,一，t f个猜]控得制合向理量，计算收敛得，就快是。迭U代K步(数t) ， 初U始0 (时t) K。
K 0 U0
2．
在第 步K，以估计值
求出状态向量 。
t0 t f
和给定的初U始K条件
缺点是： （1）在接近最优解时，迭代收敛很慢，为改善 收敛性可用共轭梯度法和二阶变分法等； （2）不能区分局部极小和全局极小； （3）对控制变量受约束，终端状态受约束的情 况不能直接处理。对于这种有约束的情况 可用约束梯度法或惩罚函数法加以处理。
约束梯度法可处理如下的不等式约束：
ai ui (t) bi
dx dt x2
1 t c
x t 0, ，确定x(积0分) 常数10
c 1 10
代入（7-12）式即可得
x(t) x0 (t) 10 10t 1
（7-11） （7-12）
（7-13）
3．将 x代0 (入t )协态方程（7-9），且由边界条件
向积分可得
0 (1) 0
从t=1倒
0 (t) 1 [1 (110t)2 /121]
J (U K1 ) J (U K )
J (U K )
ε是指定小量，若满足则停止计算，否则，令 止计算的标准是
K K 1
gK
（7-4） ,转步骤2。另一停
（7-5）
例7-1 考虑下面的一阶非线性状态方程
x x 2 u x(0) 10
用梯度法寻找最优控制使下面的指标最小
J 1
1
(
x
由极小值原理可知，最优控制问题的解必须满足以下几个条件
（i）正则方程
X H
H
X
（ii）哈密顿函数 取极小的H必要条件
H 0 U
( U无约束)
（7-1）
或
min H (X *,*,U,t) H (X *,*,U *,t) ( U有约束) （7-2）
U
（iii）边界条件（包括横截条件）
最优控制的计算方法一般是先求出满足上面三个条件中某两个的解，然后 用合适的迭代计算形式逐次改变这个解，以达到满足剩下的另一个条件的解 （即最优解）。
2
4．由 H u
u
(H )0 0 (t)
u
0 (1) 0
5． u1(t) u 0 (t) (H。)0 1 [1 (1 10t)2 /121] 这里选步长因子 。如u此继续下去2，直至指标函数随迭代变化很小为止。
K 1
u
图 7-1 和 图 7-2 表 示 了 控 制 和
状态的初始值和第一次迭代值，
。
gK 0
5、
修正控制向量
U K 1 U K K g K
（7-3）
是K一个步长因子，它是待定的数。选择 使指标达到极小。这是一K维寻优
问题，有很多现成的优化方法可用。如分数法，0.618法，抛物线法，立方近似 法等。(7-3)表明迭代是沿着梯度 的负方向进行的。
gK
6、 计算是否满足下列指标