最优控制综述

最优控制综述摘要：本文主要阐述了关于最优控制问题的基本概念。

最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科，解决最优控制问题的主要方法有古典变分法、极大值原理和动态规划，同时本文也介绍了最优控制理论在几个研究领域中的应用，并对最优控制理论做了一定的总结。

关键字：最优控制；最优化；最优控制理论Abstract: This article mainly elaborated on the basic concept of optimal control problems. Optimal control theory is studied and solved from all possible solutions to find the optimal solution of a discipline, to solve optimal control problems of the main methods are classical variational method, with the maximum principle and dynamic programming principle. At the same time, this paper also introduces the application of optimal control theory in several research fields, and a summary of optimal control theory.Key Words: Optimal control; optimization; optimal control theory1.引言最优控制是现代控制理论的重要组成部分，它研究的主要问题是：在满足一定约束条件下，寻求最优控制策略，使得性能指标取极大值或极小值。

最优控制是使控制系统的性能指标实现最优化的基本条件和综合方法。

可概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标值为最优。

最优控制是最优化方法的一个应用。

从数学意义上说，最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数达到极值，即最大值或最小值。

最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科，基本内容和常用方法包括动态规划、最大值原理和变分法。

这方面的开创性工作主要是由贝尔曼（R.E.Bellman）提出的“动态规划”和庞特里亚金等人提出的“极大值原理”，到了60年代，卡尔曼（Kalman）等人又提出了可控制性及可观测性概念，建立了最优估计理论。

这方面的先期工作应该追溯到维纳（N.Wiener）等人奠基的控制论（Cybernetics）。

最优控制理论的实现离不开最优化技术。

控制系统最优化问题，包括性能指标的合理选择以及最优化控制系统的设计，而性能指标在很大程度上决定了最优控制性能和最优控制形式。

最优化技术就是研究和解决最优化问题，主要包括两个需要研究和解决的方面：一个是如何将最优化问题表示为数学模型；另一个是如何根据数学模型尽快求出其最优解。

2. 最优控制问题的描述控制系统的最优控制问题一般提法为：对于某个由动态方程描述的系统，在某初始和终端状态条件下，从系统所允许的某控制系统集合中寻找一个控制，使得给定的系统的性能目标函数达到最优。

2.1系统状态的始端条件和终端条件始端和终端条件却给出了系统状态在系统控制开始和结束时刻的约束条件。

端点条件一般有三种类型：固定端、自由端和可变端。

固定端就是时间和状态值都是固定的端点。

例如初始时间0t 及其初始状态()0x t 都固定就称始端固定条件，而终端时间f t 及其终端状态()f x t 都固定就称终端固定条件。

一般来说，两端固定是最简单的情况。

自由端是指端点时间固定，但端点状态值不受任何限制的端点。

有始端自由和终端自由两种。

可变端就是端点时间及其状态值都可变的端点。

但一般它满足一定条件，如满足：初始状态为：()00x t x =终端状态x(f t )可用如下约束条件表示 ()1,0f f N x t t ⎡⎤=⎣⎦或()2,0f f N X t t ⎡⎤≤⎣⎦。

2.2 最优控制问题的分类① 按状态方程分类：连续最优化系统、离散最优化系统。

② 按控制作用实现方法分类：开环最优控制系统、闭环最优控制系统。

③ 按性能指标分类：最小时间控制问题、最少燃料控制问题、线性二次型性能 指标最优控制问题、非线性性能指标最优控制问题。

④ 按终端条件分类：固定终端最优控制问题、自由终端（可变）最优控制问题、终端时间固定最优控制问题、终端时间可变最优控制问题。

⑤ 按应用领域来分：终端控制问题、调节器问题、跟踪问题、伺服机构问题、 效果研究问题、最小时间问题、最少燃料问题。

3.最优控制的求解方法3.1变分法变分法是求解泛函极值的一种经典方法，也是解决最优控制问题的本质方法，是研究最优控制问题的一种重要工具。

掌握变分法的基本原理，还有助于理解以最小值原理和动态规划等最优控制理论的思想和内容。

对于没有对泛函的极值函数附加任何条件的求解方法，即无约束条件下的求解方法，我们可以利用欧拉方程求解，在一般性情况下，我们可以利用一下步骤求解：求以下泛函极值问题：R x dt t t x t x L J tf t ∈=⎰•,]),(),([0，其中)(t x 是二阶连续可微函数，满足固定边界条件，f f x t x x t x ==)(,)(00。

其求解的欧拉方程为，0=∂∂-∂∂•xL dt d x L ，也可以扩展为如下欧拉方程：0=---•••i i i i i i x x x x x t x L L L L ，由欧拉方程则可求得最优控制曲线。

而对于有约束条件的泛函极值求解方法，可以通过Hamilton 方程，将有约束的泛函极值求解转化为无约束的泛函极值求解，从而解决最优控制问题。

其一般性情况下求解方法如下：设系统的状态方程为]),(),([t t u t x f x =•，],[0f t t t ∈，体统的始端和终端满足)(,)(00f t x x t x =是可变的，系统的性能指标[(),(),]f t J L x t u t t dt t =⎰。

Hamilton Function ：T H L f λ=+。

通过求解协态方程（costate equation ）：H xλ•∂=-∂ 极值条件（extremal condition ）：0H x ∂=∂ 边界条件（boundary condition ）：00(),(),0f f x t x x t t ξ⎡⎤==⎣⎦ 横截条件(),()0()()T T f f f f f ft H t x t x t t t ϕξϕξλυυ∂∂∂∂=+++=∂∂∂∂（这是f t 自由，末端约束的情况下得出的横截条件，不同情况下横截条件会不相同）来求解最优控制问题。

通过上面一般性情况可以求解简单的泛函极值问题，但是，变分法作为一种古典的求解最优控制的方法，只有当控制向量u （t ）不受任何约束，其容许控制集合充满整个m 维控制空间，用古典变分法来处理等式约束条件下的最优控制问题才是行之有效的。

在许多实际控制问题中，控制函数的取值常常受到封闭性的边界限制，如方向舵只能在两个极限值范围内转动，电动机的力矩只能在正负的最大值范围内产生等。

因此，古典变分法对于解决许多重要的实际最优控制问题，是无能为力的。

3.2极小值原理利用前面介绍的变分法求解最优控制问题时)(t u 在一给定的开集上，而不受其他约束。

而在许多最优控制问题中，控制函数)(t u 却会受到某些限制。

例如控制量)(t u 的各个分量不大于某些给定的值，即m i a t u i i ,,2,1,|)(| =≤。

当控制量受到上述不等式约束并且最优控制取值于闭集性约束的边界时，则可以利用极小值原理进行求解。

利用极小值原理求解最优控制问题时，也是通过列出状态方程、协态方程、边界条件与横截条件、极小值条件方程来求解。

其中极小值条件方程与变分法中的极小值条件不同，为()()***,,min ,,u H x u H x u λλ∈Ω=。

在极小值原理中还有一个条件就是沿最有轨线哈密顿函数变化率******(),(),()0f f f H x t u t t λ⎡⎤=⎣⎦。

关于最小值原理的条件，有以下几点说面：最小值原理是对经典变分法的发展，最小值原理放宽了对控制函数的要求。

1）最小值原理没有提出哈密顿函数H 对控制函数可微的要求，因此其应用条件进一步扩宽了，并且最小值原理所求得的最优控制使哈密顿函数H 达到全局、绝对最大值。

2）最小值原理是最优控制问题的必要条件，并非充分条件。

3）利用最小值原理和经典变分法求解最优控制问题时，除了控制方程的形式不同外，其余条件都是相同的。

4）又最小值原理所得到的最优控制和最优控制轨线是一致的，只是协态变量是互为异号的。

3.3 动态规划动态规划是解决多阶段决策过程最优化问题的一种方法，是由贝尔曼提出的一种非线性规划方法，它将多阶段决策问题转化成一系列简单的最优化问题。

动态规划首先将复杂的问题分解成相互联系的若干阶段，每一阶段都是一个最优化子问题，然后逐阶段进行决策（确定与下段的关系），当所有阶段决策丢确定了，整个问题的决策也就确定了。

动态规划法原理简明，适用于计算机求解，在许多理论问题的研究中，都应用到动态规划的思路。

在离散系统的动态规划中，其一般求解方法如下：设有离散动态系统，(1)[(),(),],,,,0,1,,1n x k f x k u k k x f R u R k N +=∈∈=- 0(0),()N x x x N x ==，性能指标10[(),(),],,N N k J L x k u k k J L R -==∈∑11{()}[()]min{[(),(),]}[(),(),]N N N j N j u k k j k J V x j JL x k u k k L x k u k k --***--=====∑∑ 11{()}(0)(1)01[(0)]min{[(),(),]}min {[(0),(0),0][(),(),]}N N N N u k u u N k k J V x L x k u k k L x u L x k u k k --*-==∴===+∑∑在连续系统的动态规划中，其求解方法如下：给出被控系统状态方程可变给定，)(,)(],[,)(][,,],),(),([)(000,0f f f m f m n t x t x t x t t t R U t u t t t R u R x t t u t x f t x =∈∀∈∈∈∈∈=• 目标函数为：⎰+=f t t f f t t u t x L t t x J 0]),(),([]),([ψ，定义]),([t t x V 为状态)(t x ,时 间t 时刻J 的最优解。