最优控制问题求解方法综述

最优控制问题方法综述

研究生管理大队学员四队

燕玉林

115081105018

最优控制问题方法综述

姓名单位学号

一、最优控制（optimal control）的一般性描述

最优控制是现代控制理论的核心，它研究的主要问题是：根据已建立的被控对象的时域数学模型或频域数学模型，选择一个容许的控制律，使得被控对象按预定的要求运行，并使给定的某一性能指标达到最优值。

使控制系统的性能指标实现最优化的基本条件和综合方法。可概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标值为最优。这类问题广泛存在于技术领域或社会问题中。例如，确定一个最优控制方式使空间飞行器由一个轨道转换到另一轨道过程中燃料消耗最少。最优控制理论是50年代中期在空间技术的推动下开始形成和发展起来的。美国学者R.贝尔曼1957年动态规划和前苏联学者L.S.庞特里亚金1958年提出的极大值原理，两者的创立仅相差一年左右。对最优控制理论的形成和发展起了重要的作用。线性系统在二次型性能指标下的最优控制问题则是R.E.卡尔曼在60年代初提出和解决的。

从数学上看，确定最优控制问题可以表述为：

在运动方程和允许控制范围的约束下，对以控制函数和运动状态为变量的性能指标函数（称为泛函）求取极值（极大值或极小值）。解决最优控制问题的主要方法有古典变分法（对泛函求极值的一种数学方法）、极大值原理和动态规划。最优控制已被应用于综合和设计最速控制系统、最省燃料控制系统、最小能耗控制系统、线性调节器等。

研究最优控制问题有力的数学工具是变分理论，而经典变分理论只能够解决控制无约束的问题，但是工程实践中的问题大多是控制有约束的问题，因此出现了现代变分理论。

现代变分理论中最常用的有两种方法。一种是动态规划法，另一种是极小值原理。它们都能够很好的解决控制有闭集约束的变分问题。

值得指出的是，动态规划法和极小值原理实质上都属于解析法。此外，变分法、线性二次型控制法也属于解决最优控制问题的解析法。最优控制问题的研究方法除了解析法外，还包括数值计算法和梯度型法。

最优控制的求解方法包括变分法、极小值原理、动态规划、线性最优状态调节器等等。

二、变分法

最优控制问题是在一定的约束条件下，寻求使性能指标达到极值时的控制函数。当被控对象的运动特性由向量微分方程来描述，性能指标由泛函来表示时，确定最优控制函数（最优控制律）的问题，就成了在微分方程约束下求泛函得极值条件问题。变分法是研究泛函极值问题的数学方法，可以确定容许控制为开集时的最优控制函数。对无约束的最优控制，通常用变分法求解；对有约束的最优控制，通常用以变分法为基础的极小值原理求解。

古典变分法只能用在控制变量的取值范围不受限制的情况。在许多实际控制问题中，控制函数的取值常常受到封闭性的边界限制，如方向舵只能在两个极限值范围内转动，电动机的力矩只能在正负的最大值范围内产生等。因此，古典变分法对于解决许多重要的实际最优控制问题，是无能为力的。

三、极值原理

极值原理，是分析力学中哈密顿方法的推广。极值原理的突出优点是可用于控制变量受限制的情况，能给出问题中最优控制所必须满足的条件。用古典变分法求解最优控制问题时，只有当控制向量u(t)不受任何约束，其容许控制集合充满整个m维控制空间，用古典变分法来处理等式约束条件下的最优控制问题才是行之有效的。然而。在实际物理系统中，控制向量总是受到一定的限制，容许控制只能在一定的控制域内取值，用古典变分法将难以处理这类问题。例如在时间最优控制问题中，最优控制的取值正是在控制域方体的角点上跳动，这时的u(t)也不再是时间的连续函数，而只是分段连续函数。而在有些问题中，容许控制集合甚至只是控制空间中一些孤立的点，对这样的控制问题，古典变分法难以解决。前苏联学者庞特里亚金等人在总结并运用古典变分法成果的基础上，提出了极小值原理，成为控制向量受约束时求解最优控制问题的有效工具，最初应用于连续系统，以后又推广用于离散系统。

与经典变分法相比，极小值原理的重要意义如下：

1）容许控制条件放宽了。

2）最优控制使哈密顿函数取全局极小值。

3）极小值原理不要求哈密顿函数对控制的可微性。应用条件进一步放宽。

4）极小值原理给出了最优控制的必要而非充分条件。换而言之，满足极小值原理的控制是否真能使性能指标泛函取最小值还需一步判断。

四、动态规划

动态规划是数学规划的一种，同样可用于控制变量受限制的情况，是一种很适合于在计算机上进行计算的比较有效的方法。动态规划(dynamic programming)是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(multistep decision process)的优化问题时，提出了著名的最优化原理(principle of optimality)，把多阶段过程转化为一系列单阶段问题，利用各阶段之间的关系，逐个求解，创立了解决这类过程优化问题的新方法——动态规划。1957年出版了他的名著Dynamic Programming，这是该领域的第一本著作。

动态规划问世以来，在经济管理、生产调度、工程技术和最优控制等方面得到了广泛的应用。例如最短路线、库存管理、资源分配、设备更新、排序、装载等问题，用动态规划方法比用其它方法求解更为方便。

虽然动态规划主要用于求解以时间划分阶段的动态过程的优化问题，但是一些与时间无关的静态规划(如线性规划、非线性规划)，只要人为地引进时间因素，把它视为多阶段决策过程，也可以用动态规划方法方便地求解。

动态规划程序设计是对解最优化问题的一种途径、一种方法，而不是一种特殊算法。不象前面所述的那些搜索或数值计算那样，具有一个标准的数学表达式和明确清晰的解题方法。动态规划程序设计往往是针对一种最优化问题，由于各种问题的性质不同，确定最优解的条件也互不相同，因而动态规划的设计方法对不同的问题，有各具特色的解题方法，而不存在一种万能的动态规划算法，可以解决各类最优化问题。因此读者在学习时，除了要对基本概念和方法正确理解外，必须具体问题具体分析处理，以丰富的想象力去建立模型，用创造性的技巧去求解。我们也可以通过对若干有代表性的问题的动态规划算法进行分析、讨论，逐渐学会并掌握这一设计方法。动态规划包括多级决策问题，离散系统动态规划，连续动态规划，动态规划与极小值原理和变分法等。