现代控制理论Ⅱ

§ 1.2最优控制问题的一般形式
假设一个控制系统的状态方程、控制域U、控制函数类 以及某些约束条件均已给定，且相应的容许控制类 ，记全体容许对所成的集合为 。任一映射 称为该控制系统的一个指标泛函。对于含有时滞的系统，在选取或设计指标泛函 时，有时也需要根据问题的实际意义将时滞因素考虑在内。
最优控制问题就是：对于给定的指标泛函 ，寻求适当的 ，使得
第三章极大值原理
§ 3.1极大值原理的提出和形式
为了解决古典变分法在求解最优控制问题中所暴露出来的一些无法避免的问题，许多学者进行了各种探索，其中以苏联学者Pontryagin的最大值原理于美国学者贝尔曼的动态规划较为成功，应用也比较广泛，现已经成为求解最优控制问题的强有力的工具。
极大值原理的基本形式，对于定常系统的最优控制问题的极大值原理可表述如下：如果最优控制问题的数学模型为：受控系统
,
函数
泛函 ； 又称为泛函的宗量，也可以理解为“函数的函数”
说明：泛函是映射，是从函数空间到数域的映射。泛函的自变量是函数，泛函的自变量称为泛函的宗量。容许函数空间是满足泛函的规定条件的宗量的全体所构成的函数空间。
求函数的极值时，微分或导数起着重要的作用。求泛函的极值时，变分起着类似的作用。我们将求泛函的极值问题称为变分问题，其相应的方法称为变分法。特别是对无约束的最优控制，通常用变分法求解。[2]
最优控制是现代控制理论的核心，它研究的主要问题是：在满足一定约束条件下，寻求最优控制策略，使得性能指标取极大值或极小值。这方面的开创性工作主要是由贝尔曼（R.E.Bellman）提出的动态规划和庞特里亚金等人提出的最大值原理。
从数学上看，确定最优控制问题可以表述为：在运动方程和允许控制范围的约束下，对以控制函数和运动状态为变量的性能指标函数（ 称为泛函 ） 求取极值（ 极大值或极小值）。解决最优控制问题的主要方法有古典变分法（对泛函求极值的一种数学方法）、极大值原理和动态规划。最优控制已被应用于综合和设计最速控制系统、最省燃料控制系统、最小能耗控制系统、线性调节器等。
① 满足方程
, , (3.1.5)
② 满足方程
(3.1.6)
式中 称为给定问题的哈密顿函数， 为 的转置。 称为状态 的伴随状态，而其方程称为伴随方程。 ③ 满足方程
(3.1.7)
式中 为标量, 和 为向量，它们是不全为零的待定量，且有
， 通常称此条件为横截条件。
④ 满足条件
(3.1.8)
⑤ 确定 的方程为
现代变分理论中最常用的有两种方法。一种是动态规划法，另一种是极小值原理。它们都能够很好的解决控制有闭集约束的变分问题。
值得指出的是，动态规划法和极小值原理实质上都属于解析法。此外，变分法、线性二次型控制法也属于解决最优控制问题的解析法。最优控制问题的研究方法除了解析法外，还包括数值计算法和梯度型法。
§ 4.2动态规划算法的基本思想和结构
动态规划算法通常用于求解具有某种最优性质的问题。在这类问题中，可能会有许多可行解。每一个解都对应于一个值，我们希望找到具有最优值的解。动态规划算法与分治法类似，其基本思想也是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到原问题的解。与分治法不同的是，适合于用动态规划求解的问题，经分解得到子问题往往不是互相独立的。若用分治法来解这类问题，则分解得到的子问题数目太多，有些子问题被重复计算了很多次。如果我们能够保存已解决的子问题的答案，而在需要时再找出已求得的答案，这样就可以避免大量的重复计算，节省时间。我们可以用一个表来记录所有已解的子问题的答案。不管该子问题以后是否被用到，只要它被计算过，就将其结果填入表中。这就是动态规划法的基本思路。具体的动态规划算法多种多样，但它们具有相同的填表格式。
现代控制理论Ⅱ课程论文
最优控制方法及其应用
摘要：主要阐述了关于最优控制问题的基本概念，最优控制是最优化方法的一个应用。最优化一般可以分为最优设计、最优计划、最优管理和最优控制四个方面。而最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科，解决最优控制问题的主要方法有变分法、极大值原理和动态规划。常使用到的主要有时间最短控制问题和线性二次型最优控制问题等。通过以上知识的了解和应用可以使初学者能够快速掌握最优控制的问题。
同样的材料可以出现在不同的标题中，例如希尔伯特空间技术，莫尔斯理论，或辛几何。变分一词用于所有极值泛函问题。微分几何中的测地线的研究是很显然的变分性质的领域。极小曲面（肥皂泡）上也有很多研究工，称为Plateau问题。
最优控制的理论是变分法的一个推广。
§2.2变分法应用
如果变量 对于某一函数类中的每一个函数 ,都有一个确定的值与之对应，那么就称变量 为依赖于函数 的泛函，记为： (2.2.1)
(3.1.1)
其初态 ， (3.1.2)
目标集
, (3.1.3)
容许控制
性能指标 反映和评价系统性能优劣的指标。性能指标的形式由实际问题来决定,通常有两种类型:表示系统在末时刻状态的性能指标称为末值型性能指标，记为 。在这里，设性能指标为
(3.1.4)
为控制函数的泛函末时刻 自由，则 为最优控制, 为最优轨线和 为最优的末时刻的必要条件有五项。[3]
Pontryagin的最大值原理、Bellman 的动态规划方法和Kalman的最优线性调节器的理论被公认为现代控制理论的三大里程碑，这些奠基性的成果标志着最优控制理论的正式诞生。[1]
最优控制理论是经典变分学在现代的新发展，其研究基础涉及函数论、拓扑学、泛函分析、微分方程、变分学等多个数学分支的知识。时而至今，最优控制理论的研究无论在深度和广度上都有了很大的发展，例如对分布参数系统，随即系统，大系统的最优控制理论的研究等等。
一般型最优控制问题的极大值原理分为终端时刻固定，终端状态自由和受限两种。在此就不一一举例进行运用说明。
第四章动态规划方法
§ 4.1动态规划概念及意义
动态规划(dynamic programming)是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(multistep decision process)的优化问题时，提出了著名的最优化原理(principle of optimality)，把多阶段过程转化为一系列单阶段问题，利用各阶段之间的关系，逐个求解，创立了解决这类过程优化问题的新方法——动态规划。1957年出版了他的名著Dynamic Programming，这是该领域的第一本著作。
变分法的关键定理是欧拉－拉格朗日方程。它对应于泛函的临界点。在寻找函数的极大和极小值时，在一个解附近的微小变化的分析给出一阶的一个近似。它不能分辨是找到了最大值或最小值（或都不是）。
变分法在理论物理中非常重要：在拉格朗日力学中，以及在最小作用原理在量子力学的应用中。变分法提供了有限元方法的数学基础，它是求解边界值问题的强有力工具。它们也在材料学中研究材料平衡中大量使用。而在纯数学中的例子有，；黎曼在调和函数中使用狄利克雷原理。
一般说来，在研究控制系统时，我们还需要将一些其他的附加因素考虑在内，这些因素往往是由具体问题的实际背景或理论研究的必要前提确定的。
最优控制应用举例：火车快速运行问题。设有一列火车从甲地出发，要求算出容许的控制使其到达乙地的时间最短。
火车的运动方程 (1.2.2)
式中，m 是火车的质量， 是火车的加速度。为使旅客舒适，其值有限制。 是产生加速度的控制作用，其值也应有限制，设
极大值原理是最优控制问题的必要条件，并非充分条件。也就是说，由极大值原理所求的的解能否使性能泛函J达到极小值，还需要进一步分析与判定。但是，如果根据物理意义已经能够断定给定所讨论的最优控制问题的解是存在的，而极大值原理所得到的解只有一个，那么，该解就是最优解。实际上，我们遇到的问题往往就是属于这种情况。[1]
关键词：最优化；最优控制；极值 ；时间最优控制；线性二次型
目 录
第一章 最优控制的基础4
1.1最优控制理论4
1.2最优控制问题的一般形式5
1.3 最优控制方法6
第二章变分法7
2.1变分法基础7
2.2变分法应用7
第三章 极大值原理9
3.1极大值原理的提出和形式9
3.2极大值原理的应用10
第四章 动态规划方法11
动态规划问世以来，在经济管理、生产调度、工程技术和最优控制等方面得到了广泛的应用。例如最短路线、库存管理、资源分配、设备更新、排序、装载等问题，用动态规划方法比用其它方法求解更为方便。
虽然动态规划主要用于求解以时间划分阶段的动态过程的优化问题，但是一些与时间无关的静态规划(如线性规划、非线性规划)，只要人为地引进时间因素，把它视为多阶段决策过程，也可以用动态规划方法方便地求解。
泛函的变分（相当于函数的微分）
（1）泛函的增量
(2.2.2)
应用泰勒公式在 点展开，得
(2.2.3)
（2）泛函的变分：泛函增量的线性主部 ，
(2.2.4)
由于泛函J所依赖的函数总要受到受控系统状态方程的约束，应用拉格朗日乘子法，将有约束泛函极值问题转化为无约束的泛函极值问题。这是引入哈密顿函数的拉格朗日型最优控制问题。
(3.1.9)
§ 3.2极大值原理的应用
极大值原理是对古典变分法的发展。它不仅可以用来求解函数 不受约束或只受开集性约束的最优控制问题，而且也可以用来求解控制函数 受到闭集性约束条件的最优控制问题。这就意味着极大值原理放宽了对控制问题 的要求。
极大值原理没有提出哈密顿函数H对控制函数 的可微性的要求，因此，其应用条件进一步也放宽了。由极大值原理求得的最优控制 使得哈密顿函数H达到全局、绝对最大值，而古典变分法的极值条件 所得的解是H的局部、相对最大值或驻值。因此，极大值原理将古典变分法求解最优控制问题的极值条件作为一个特例概括在自己之中。
利用极大值原理和古典变分法求解最优控制问题时，出来控制方程的形式不同之外，其余条件是相同的。一般来说，根据极大值原理确定最优控制 和最优轨线 仍然需要求解两点边界值问题。