第九章经典最优化方法
第九章经典最优化方法
9.1 最优化的基本概念
最优化方法是一门古老而又年青的学科。这门学科的源头可以追溯到17世纪法国数学家拉格朗日关于一个函数在一组等式约束条件下的极值问题（求解多元函数极值的Lagrange乘数法）。19世纪柯西引入了最速下降法求解非线性规划问题。直到20世纪三、四十年代最优化理论的研究才出现了重大进展，1939年前苏联的康托洛维奇提出了解决产品下料和运输问题的线性规划方法；1947年美国的丹奇格提出了求解线性规划的单纯形法，极大地推动了线性规划理论的发展。非线性规划理论的开创性工作是在1951年由库恩和塔克完成的，他们给出了非线性规划的最优性条件。随着计算机技术的发展，各种最优化算法应运而生。比较著名的有DFP和BFGS无约束变尺度法、HP广义乘子法和WHP约束变尺度法。
最优化问题本质是一个求极值问题，几乎所有类型的优化问题都可概括为如下模型：给定一个集合（可行集）和该集合上的一个函数（目标函数），要计算此函数在集合上的极值。通常，人们按照可行集的性质对优化问题分类：如果可行集中的元素是有限的，则归结为“组合优化”或“网络规划”，如图论中最短路、最小费用最大流等；如果可行集是有限维空间中的一个连续子集，则归结为“线性或非线性规划”；如果可行集中的元素是依赖时间的决策序列，则归结为“动态规划”；如果可行集是无穷维空间中的连续子集，则归结为“最优控制”。
线性规划与非线性规划是最优化方法中最基本、最重要的两类问题。
一般来说，各优化分支有其相应的应用领域。线性规划、网络规划、动态规划通常用于管理与决策科学；最优控制常用于控制工程；非线性规划更多地用于工程优化设计。
前面提到的算法是最优化的基本方法，它们简单易行，对于性态优良的一般函数，优化效果较好。但这些经典的方法是以传统微积分为基础的，不可避免地
带有某种局限性，主要表现为：①大多数传统优化方法仅能计算目标函数的局部最优点，不能保证找到全局最优解。对于多峰值函数，这些方法往往由于过分追求“下降”而陷于局部最优解；②许多传统优化方法对目标函数的光滑性、凹凸性等有较高的要求，对于离散型函数、随机型函数基本上无能为力。
二十世纪六、七十年代以来，人们将人工智能技术和生物进化机理引入最优化方法，逐渐形成了一批完全不同于传统优化方法、令人耳目一新的现代优化方法。如模拟退火、神经网络、进化计算、模糊逻辑等，其中进化计算中的遗传算法以其良好的全局搜索性成为现代优化算法中最受关注的算法之一，已被广泛应用于函数优化、组合优化、自动控制、生产调度、图像与信号处理、机器人和人工生命等领域。
9.1.1 预备知识
1、梯度
定义9.1 对n 元可微函数()()n x x x f X f ,,,21 =，向量???
?????????n x f x f x f ,,,21 称为f
在X 处的梯度，记为()X f ?或()X gradf ，?称为梯度算子或Hamilton 算子。
从几何上讲，()X f ?的方向是f 在X 处上升最快的方向，()X f ?的模是f 在
X 处上升最快的速率。若()0=?X f ，则函数曲面在X 处的切平面是水平的。
2、二阶导数矩阵
定义9.2 设n 元函数()()n x x x f X f ,,,21 =具有二阶连续偏导数，则f 的所有二阶偏导数构成的矩阵
????
??
???????
?''''2''1''2''22
''21''1'
'12''11nn n n n n f f f f f f f f f
称为f 在X 处的二阶导数矩阵或海色（Hessain ）矩阵，记为()X f 2?。
显然，()X f 2?是一个对称矩阵。
在几何上，()X f 2?反映了函数曲面的弯曲方向。若()02>?X f （正定），则函数曲面向上弯曲（凹）；若()02
例9.1 设A 为n 阶对称矩阵，b 、X 为n 元列向量，c 为标量，对二次函数
()c X b AX X X f T T
++=
2
1 求梯度()X f ?、Hessain 矩阵()X f 2?。
解：可将算子?、2?理解为对向量函数的一阶、二阶导数，易得
()b AX X f +=?
()A X f =?2
3、n 元函数的二阶Taylor 展式 一元函数的Taylor 展式：
()()n n n R x n x f x x f x x f x f x x f +?++?''+
?'+=?+!
)(!2)()()()(0)(2
0000 其中()10,)!
1()
(10)
1(<
++θθn n n x n x x f
R
二元函数的Taylor 展式：
),(),(),(000000y x f y y x x y x f y y x x f ???
?
?????+???+=?+?+ n n
R y x f y y x x n y x f y y x x +????
?????+???+++???? ?????+???+),(!1),(!2100002
其中10),,()!1(1001
<
? ?????+???+=+θθθy y x x f y y x x n R n n
二元函数的二阶Taylor 展式：
y
y x f y x y x f x
y x f y y x x f ???+???+=?+?+)
,(),(),(),(00000000 ()()()()()()2
2002
200200220022),(),(),(),(!21R y y x f y x y y x f x y y x y x f y x x y x f x +???
? ?????+?????+?????+???+ 若引入矩阵记号()(),,,,,0000X X X y x X y x X T
T
-=?==
()??
?
??
?
????????????=?=???? ??????=?=202020220202
000)()
()()
()(,)(,)(y X f x y X f y x X f x X f X f A y X f x X f X f b T
则()()()()202002
1
R X X X X X f X f X f T T +???+??+=
()202
1
R X A X X b X f T T +??+
?+= 元函数的二阶Taylor 展式与二元函数的二阶Taylor 展式形式类似。
4、凸集与凸函数
定义9.3 设n R S ?，若S 中任两点的连线都属于S ，即对任意1X 、S X ∈2，均有)10()1(21<<∈-+λλλS X X ，则称S 为一个凸集。
定义9.4 设)(X f 为定义在凸集S 上的函数，若对任意1X 、S X ∈2，均有
[]()())10()1()1(2121<<-+≤-+λλλλλX f X f X X f ，则称)(X f 为S 上的凸函数。若上式改为严格不等式，则称)(X f 为S 上的严格凸函数。
定理9.1 （一阶判别条件）
一阶可微函数)(X f 在凸集S 上为凸函数的充要条件是：对任意1X 、S X ∈2，均有()()()()12112X X X f X f X f T -?+≥。
定理9.2 （二阶判别条件）
二阶连续可微函数)(X f 在凸集S 上为凸函数的充要条件是：对任意S X ∈，
()X f 2?半正定。)(X f 为严格凸函数的充要条件是()X f 2?正定。
9.1.2最优化的基本概念
最优化问题的数学模型为
?
?
?=≥==),,2,1(0),,,()(..)
,,,()(min 2121m i x x x g x g t s x x x f x f n i i n ),,,(21n x x x f 称为目标函数，),,,(21n i x x x g 称为约束函数。
当),,,(21n x x x f 和),,,(21n i x x x g 均为线性时，称之为线性规划（LP ）；当
),,,(21n x x x f 和),,,(21n i x x x g 至少有一个为非线性时，称之为非线性规划
（NLP ）。
对非线性规划，如果变量x 的取值范围没有限制，称之为无条件极值或无约束最优化，否则称之为条件极值或约束最优化。
求解最优化问题最常用的方法是迭代法。
迭代法的基本思想是：从最优点的一个初始值0x 出发，按一定迭代法则产生点序列{}),2,1( =k x k ，使目标函数值()k x f 逐步减小。当序列{}k x 是有限点列时，其最后一点即为最优解；当{}k x 是无穷点列时，其极限点*x 即为最优解。
对于迭代法有下列四个问题：
①如何由k x 产生1+k x ，即迭代格式或算法结构； ②迭代何时中止，即停止准则或最优性条件；
③迭代产生的序列是否收敛于最优解*x ，即收敛性问题； ④收敛算法的收敛速度问题。
1、最优性条件
由微积分知识不难得出下列最优性条件。 定理9.3 （一阶必要条件）
设()X f 可微，若n R X ∈*为()X f 的一个极小点，则()0*=?X f 。 ①本定理的几何意义是，函数在*X 处取极小值的必要条件是该函数曲面在
*X 处的切平面是水平的；
②梯度为零的点可能是极小或极大点，也可能是鞍点即既非极小也非极大的点。
定理9.4 （二阶充要条件）
设()X f 二阶连续可微，若()0*=?X f ，且*X 处的二阶导数矩阵()*2X f ?正定，则*X 为极小点。
本定理的几何意义是，*X 为极小点的充要条件是函数曲面在*X 处有水平切平面且向上弯曲。
定理9.5 （凸函数的最优性条件）
设()X f 为二阶连续可微的凸函数，且()0*=?X f ，则*X 为全局极小点。
2、算法结构
根据最优条件，从理论上讲，可以先解非线性方程组()0=?X f ，然后再判定其解的二阶导数矩阵()X f 2?是否正定，即可求出函数的最优解。但由于解非线性方程组和判定矩阵是否正定是极为复杂和困难的，其难度甚至已超过优化问题本身。因此，上述想法在实际上是不可行的。
最优化中大多采用逐步下降算法，其基本思想是：根据当前解选择一个适当的下降方向，沿此方向下降到一个合适位置从而得到新解，然后判断新解是否为最优解；若是，则停止，否则重复上述过程。经过有限次迭代后，在一定条件下即可得出近似最优解。
下降算法的迭代格式为：k k k k p t X X +=+1，其中k X 是第k 次迭代点，k p 是第k 次迭代方向，)0(≥k k t t 是第k 次迭代步长。
显然，用迭代法求解无约束最优化问题的关键是：构造迭代方向k p 和确定迭代步长k t 。确定迭代步长k t 可通过一维搜索方法进行，而选择不同的方法构造迭代方向k p ，将会得到不同的算法。
根据一阶Taylor 展式
()()()())(1k k k T k k k k k k t o p X f t X f p t X f X f +?+=+=+
()()()k k k k k T k k k k t t t o p X f X f p t X f ???
??
?+?=-+)(
可见，如果()0t ，使得当t t k <<0时上式右端小于零，从而()()k k k k X f p t X f <+，即k p 为下降方向的条件是其与梯度方向成钝角。
3、收敛性与收敛速度
—个算法是否收敛，往往同初始点0x 的选取有关。如果只有当0x 充分接近最优解*x 时，由算法产生的点列才收敛于*x ，则该算法称为具有局部收敛性的算法。如果对于任意的初始点0x ，由算法产生的点列都收敛于最优解*x ，则这个算法称为具有全局收敛性的算法。由于一般情况下最优解*x 是未知的，所以严格来说只有具有全局收敛性的算法才是有实用意义的。令人遗憾的是大多数经典优化算法都是局部优化算法，全局优化的理论和算法远不及局部优化那么成熟，至今为止还没有得到类似于局部极小点那样的解析条件，即没有肯定的方法能判断一个局部极小点是否为全局极小点，现有的一些全局优化算法也只能在一定程度上避免迭代终止于一个非全局的局部极小点。
定义9.5 设点列{}k x 收敛于*x ，且对实数1≥p ，有α=--+∞
→p
k k k x
x x x **1lim
，
+∞<<α0，则称点列{}k x 为p 阶收敛的。
9.2 一维搜索方法
在基本迭代格式k k k k p t x x +=+1中，若已知当前点k x 和迭代方向k p ，则迭代步长k t 可由()k k tp x f t +=)(?的极小值确定，即())(min t p t x f k k k ?=+。这种确定k t 的方法称为一维搜索，其实质就是求一元函数)(t ?的极小值。
一维搜索方法分为两类：一类是不需要求导运算、只利用)(t ?的函数值、适用于单峰函数的直接法，主要有黄金分割法（0.618法）和斐波那契（Fibonacci ）法；另一类是需要求导运算的解析法，例如插值方法等。直接法能适应)(t ?不可微的情况，而解析法的效率相对较高。
9.2.1 直接法
1、确定搜索区间[]b a ,的进退算法
在区间[]b a ,中任取一点c ，若)()(c a ??>，)()(b c ??<(两头大中间小)，则
[]b a ,为搜索区间。
①取定初始点0=a 及初始步长t ； ②令t a c +=，计算)(a ?和)(c ?；
③若)()(c a ??>，转④，否则缩短步长t ，比如3t t =（后退运算），转②； ④加大步长t ，比如t t 3=（前进运算），令t c b +=； ⑤若)()(c b ??>，则得到[]b a ,，否则b c c a ==,，转④。
2、直接法的基本原理
假设)(x f 为单峰函数，即)(x f 有唯一的极小点*x ，且搜索区间[]b a ,已知。
因为)(x f 在),(*x a 内单减，在),(*b x 内单增，故若在[]b a ,内任取二点βα,，则仅有如下两种情形：
①)()(βαf f <，由于)(x f 为单峰，所以极小点必在[]β,a 内； ②)()(βαf f ≥，则极小点必在[]b ,α内。
可见，只要在当前搜索区间内取二点，比较其函数值，即可将搜索区间缩短。 自然地，我们会提出下列两个问题：
问题1：计算n 个函数值可获得的区间最大缩短率（缩短后的区间长度与原区间长度之比）为多少？
问题2：要将区间缩短到规定的程度，怎样选取试验点才能使计算次数最少？ 问题1等价于“计算n 个函数值能把多长的区间缩短为长度为1的区间？” 用n F 表示所能取得的最大区间长度，这个区间经计算n 个函数值能够缩成单位区间。显然，10=F ，11=F 。因为不计算函数值或只计算1个函数值无法缩短区间，只有原区间长度本来就是1才行。
现考虑两个点情形：
在区间[]b a ,内取两个相异点βα,，缩短后的区间为[]β,a 或[]b ,α。这两个区
间的长度和必大于[]b a ,的长度，故其中至少有一个子区间的长度大于[]b a ,的一半，即计算两个函数值一般无法把长度大于2的区间缩成单位区间。但是，对于长度为2的区间，可以如图所示选取试验点，缩短后的区间长度为1+ε，其中ε为任意小的正数。因为ε可任意选取，所以缩短后的区间长度接近1，因此22=F 。 同理可知 ,8,5,3543===F F F ，
一般地，序列{}n F 有递推公式???≥+===--)2(1
2110n F F F F F n n n
这就是著名的Fibonacci 序列。
综上所述，计算n 个函数值可获得的区间最大缩短率为n F 1。
对于问题2，既然n 个试点的最大缩短率为n F 1，要想把[]b a ,的长度缩短为原来的ε倍，ε称为缩短的相对精度，只要试点数n 满足ε≤n F 1即可，试点的具体位置可以根据每次的缩短率确定。
3、Fibonacci 法和0.618法
若按上述方法选取试点，则对当前搜索区间[]k k b a ,，
()k k k k k a b F F b --=-1α，()k k k k k a b F F a -+=-1β
若在搜索区间内取n 个点，则各次缩短率分别为,,,121 ---n n n n F F F F 21F F ，其中n F 为Fibonacci 序列。这种方法称为Fibonacci 法。
从理论上讲，Fibonacci 法是缩短搜索区间的最优方法，但实际计算时要用到Fibonacci 数列，而且每次缩短率不同，这就增加了计算上的困难。为了计算上的方便，通常采用等速缩短的方法。缩短率取为n n F F 1-的极限618.0=τ，此方法称为0.618法。若当前搜索区间为[]k k b a ,，则()k k k a b b --=τα，
()k k k a b a -+=τβ。
显然，取N 个点后，缩短率为1-N τ，若要求相对精度为ε，则[]1ln +=τεN 。 0.618法的计算步骤如下：
求)(x f 在区间[]b a ,上的最小值，相对精度为ε。
①给定ε，记618.0=τ，[]1ln ln +=τεN ，b b a a k k k ===,,0；
②()())(,),(,21βτβαταf f a b a f f a b b k k k k k k =-+==--=，若21f f <，转③，否则转④；
③())(,,,,,11111211ατααββf f a b b f f b a a k k k k k k =--=====+++++，转⑤； ④())(,,,,,21112111βτββααf f a b a f f b b a k k k k k k =-+=====+++++，转⑤； ⑤若N k <，置1+=k k ，转②，否则转⑥； ⑥取最优点()2*k k b a x +=，最优值为)(*x f 。
注：①Fibonacci 法和0.618法仅适用于单峰函数；②若初始搜索区间[]b a ,未知，要用进退算法先确定。
例9.2 用0.618法求单峰函数x x x f sin )(2-=在区间[]1,0内的极小值。
9.2.2 插值法
多项式是逼近函数的一种常用工具。在搜索区间上，我们可以利用在若干点处的函数值来构成低次插值多项式，用它作为函数的近似表达式，并用这个多项式的极小点作为原函数极小点的近似，而低次多项式的极小点是比较容易计算的。
常用的插值多项式为二次或三次，一般说来三次插值公式的收敛性较好，但在导数不便计算时，二次插值多项式也是常用的一种方法。 1、二次插值方法
设函数)(x f 在点321x x x <<处的值分别为321,,f f f ，利用这三点作二次插值公式2210)(x a x a a x p ++=，很容易得到它的极小点为
()()()()()()
321213132322212212312322
*
21f x x f x x f x x f x x f x x f x x x -+-+--+-+-?
= 若321,,x x x 三点等距，相邻两点距离为x ?，则 ()()
321312*22f f f x
f f x x +-?-+=
2、三次插值方法
在二次插值方法中，极小点*x 不一定在区间()31,x x 中，即插值可能为外插，这就使得二次插值方法的误差可能较大，不易控制。
因为一般情况下)(x f 在搜索区间[]b a ,上满足0)(,0)(>'<'b f a f ，所以若利用)(x f 在b a ,两点的函数值)(),(b f a f 以及一阶导数值)(),(b f a f ''作三次插值多项式，则插值法为内插，精度较高。
经过计算，可得三次插值多项式的极小点为
)(2)()()
(*a b u
a f
b f a f v u a x -+'-''--+
=
)()(2b f a f v u ''-= )()(b f a f w v '-'-=
a
b a f b f w --=)
()(3
9.3共轭梯度法
9.3.1最速下降法
Cauchy 于1947年提出的最速下降法是求无约束极值最早的数值方法，其基本思想是：从迭代点出发，沿目标函数值的负梯度方向进行一维搜索，求出新的迭代点，直到找到局部极小点或满足精度要求。 1、最速下降法的计算步骤
①给定初始点0X 、控制误差ε，置0=k ；
②计算梯度)(k X f ?，若ε
定理9.6 从k X 出发沿任意下降方向k p 执行一维搜索)(m in )(k k k tp X f t +=?，得
新迭代点k k k k p t X X +=+1，则)(k X f ?与k p 垂直，即0)(1=??+k T
k
X f p 。 证：由一元函数取极值的必要条件知0)(='k t ?，
又)()()(1+=??=+??='k T k k
t t k k T k
k X f p tp X f p t ?，故0)(1=??+k T
k X f p 。
2、最速下降法的特点
①由于负梯度)(k X f ?-的方向仅仅在k X 附近才具有“最速下降”性质，因此最速下降法不一定具有较高的收敛速度；
②由定理2.1，()0)(11=?-=++k T
k k T k
X f p p p ，即相邻两次搜索方向是相互正交的。可见，最速下降法逼近最小点的路线是锯齿形的，并且越靠近极小点步长越小，即越走越慢。
③最速下降法是基本方法，但不是有效的实用方法，一般适宜于其它方法结合用于早期搜索。
例9.3 用最速下降法求Rosenbrock 函数()
22
2
)1(100),(x x y y x f -+-=的极小值。
解： 在函数优化问题中，目标函数等高面内经常出现“超山谷”。对于二维函数，在由目标函数等值线绘出的曲线图中则表现为“山谷”。对一个成功的最优化方法的要求之一就是能够沿着狭长的山谷迅速逼近极值。本例中的),(y x f 就是由Rosenbrock 设计用以考察最优化方法这一方面性能的典型函数，也称香蕉函数。
下面给出01.0,4,8),(=y x f 时的三条等高线。
从图中可以看出，Rosenbrock 函数的等值线是一条条弯曲而又狭长的山谷，山谷中点的最速下降方向几乎与通向极小值的最好方向垂直，因此最速下降法收敛得极慢（主要是x 方向收敛太慢），甚至在合理的时间内完全不收敛。
9.3.2共轭梯度法
1、共轭方向
从前面已经看出，负梯度方向并不是理想的搜索方向，要提高算法的收敛速度，需要寻找其它搜索方向。为了对寻找搜索方向提供依据，我们先考虑判断算法优劣的方法。二次函数是一种比较简单的函数，而一般的目标函数在极小点附近的性态又近似于二次函数，所以可以设想，一个算法如果对于二次函数比较有效，就可望对于一般函数（至少在极小点附近）也有较好的效果。下面我们就从二次函数出发，寻找比较有效的搜索方向。
考虑正定二次函数
()()()c X b AX X c x x b b x x a a a a x x x x f T
T ++=+???
? ??+???? ?????? ??=
21,,21
,212121222112112121
由于A 为正定矩阵，从而函数的等值线为平面上的一簇椭圆。
显然，如果椭圆非常狭长，则最速下降法锯齿形迭代的步长越来越小。能否找到理想的搜索方向，使算法用最短的迭代找到极小点呢？下面的分析告诉我们，对于只包含两个变量的正定二次函数，最多只要两次迭代即可找到极小点。
在初始点0X 处，取负梯度方向为搜索方向，即()00X f p -?=，沿0p 下降至
0001p t X X +=处。假设在1X 处，选择适当的搜索方向1p ，沿1p 即可直接找到极
小点*X ，即有1t ，使111*p t X X +=。
由最优性条件()0*=?X f ，即0*=+b AX ，代入得()0111=++b p t X A ，
()0111=++Ap t b AX ，亦即()0111=+?Ap t X f 。用T p 0乘上式后得到()+?10X f p T 0101=Ap p t T ，由最速下降法知，()010=?X f p T ，从而010=Ap p T 。
因为0p 与()1X f ?正交，当然线性无关，从而它们构成二维平面的基底，故1
p 可表示为0p 和()1X f ?的线性组合，即()0111p a X f p +-?=，用A p T
左乘上式得()00011010=+?-=Ap p a X f A p Ap p T T T ，考虑到000≠Ap p T ，得
()0
0101Ap p X f A p a T T ?=，从而()()00
01011p Ap p X f A p X f p T
T ?+-?=。 定义9.6 设)(,,,110n k p p p k ≤- 为n R 中的k 个非零向量，A 为n 阶正定矩阵。若对任意j i ≠均有0=j T i Ap p ，则称110,,,-k p p p 关于A 两两共轭。
当A 为单位矩阵时，0=j T i Ap p 意味着110,,,-k p p p 两两正交，所以共轭是正交的推广。
定理9.7 设A 为n 阶正定矩阵，若非零向量)(,,,110n k p p p k ≤- 关于A 两两共轭，则110,,,-k p p p 是线性无关的。
证：设有)1,,2,1,0(-=k i i λ使得0111100=+++--k k p p p λλλ ，
因为110,,,-k p p p 关于A 两两共轭，即)(0j i Ap p j T i ≠=， 所以用)10(-≤≤k j A p T j 左乘上式得0=j T j j Ap p λ， 又0≠j p ，A 正定，得0>j T j Ap p ，从而0=j λ，即110,,,-k p p p 线性无关。
2、n 元正定二次函数的共轭梯度法
对n 元的正定二次函数有下面两个重要定理。 定理9.8 对n 元正定二次函数
c X b AX X X f T T ++=2
1
)(，
设)(,,,110n k p p p k ≤- 关于A 两两共轭。从任意初始点0X 出发，依次沿方向
110,,,-k p p p 执行一维搜索到k X
k k k X p X X p X p X ??→??→??→?--1121
100
则)(k X f ?垂直于前面所有的搜索方向，即)1,,1
,0(0)(-==??k j X f p k T j 。
证：由11222111--------++=+=k k k k k k k k k p p X p X X λλλ
)1,,1,0(1122111-=++++==----+++k j p p p X k k k k j j j λλλ
得b Ap Ap Ap AX b AX X f k k k k j j j k k +++++=+=?----+++1122111)(λλλ 1122111)(----+++++++?=k k k k j j j Ap Ap Ap X f λλλ
用T j p 左乘上式，根据定理2.1，0)(1=??+j T
j X f p ，再由本定理条件
0121====-++k T j j T j j T j Ap p Ap p Ap p ,故)1,,1
,0(0)(-==??k j X f p k T j 。
定理9.9 对n 元正定二次函数
c X b AX X X f T T ++=2
1
)(，
设110,,,-n p p p 关于A 两两共轭。从任意初始点0X 出发，依次沿110,,,-n p p p 执行一维搜索到n X ，则n X 即为极小点。
证：由定理9.7，110,,,-n p p p 线性无关，即110,,,-n p p p 可作为n R 的一组基，
由定理9.8，)1,,1,0(0)(-==??n j X f p n T j ，从而0)(=?n X f 。 又A 正定，)(X f 为凸函数，由定理9.5，n X 为惟一全局极小点。
仿照0p 与1p 的关系，我们构造下列搜索方向
()()()????
?
??
??
?=-=+-?=-?=----111100)1,,2,1(k T
k k T
k k k k k k Ap p X f A p a n k p a X f p X f p 据此可证明下列定理。
定理9.10 对n 元正定二次函数()c X b AX X x f T T ++=21，从任意初始点
0X 出发，依次按上述搜索方向经n 次迭代下降至n X ，即
n n n X p X X p X p X ??→??→??→?--1121
100
则n X 即为极小点。
证：只须用归纳法证明上述110,,,-n p p p 关于A 两两共轭，再利用定理2.4即可证明本定理。
如果一个算法能用有限步求出二次函数的极小点（从理论上说），则称这个算法具有二阶收敛性或有限步收敛性。
3、一般函数的共轭梯度法
对于一般函数，已无正定矩阵A 和共轭的概念，因此我们必须寻求一种与上述共轭方向表达式等价的形式，其中不含有矩阵A 。
由111---+=k k k k p t X X ，得()11
11----=k k k k X X t A
Ap
()()[]()()[]11
11
11----?-?=
+-+=
k k k k k k X f X f t b AX b AX t ，
从而()()()[]()()[]
111---?-???-???=k k T
k k k k T k X f X f p X f X f X f a 又()()()()0,12211211=?=?=?-=?--------k T
k k T k k T k k k k k X f p X f p X f p p p a X f
故()()()[]()()()12
1--???-?=?-???k k T k k k k T X f X f X f X f X f X f
()()()()2
1212
k k k k k T k X f p p a X f X f ?=-??-?=---
()()[]()1111----??-=?-??k T k k k T k X f p X f X f p
()[]()()2
11211-----?=?+?--=k k T
k k k X f X f p a X f
最终()
()
2
12-??=
k k k X f X f a
综上所述，对于一般目标函数，可按下述规则确定搜索方向：
()()()()????
?
??
??
??=
+-?=-?=--212
100k k k
k k k k X f X f a p a X f p X f p 此方法称为F-R （Fletcher-Reeves ）共轭梯度法。
9.4 拟牛顿法
9.4.1 牛顿法
最速下降法的本质是用线性函数逼近目标函数。因此，要想得到快速算法，需要考虑用高次函数逼近。若采用二次多项式逼近，则称为牛顿法。
对给定点k X ，在这个点附近将)(X f 展为二阶Taylor 展式，即
X X f X X X f X f X f k T k T k ???+??+≈)(2
1
)()()(2
记)(),(2k k k T k X f G X f g ?=?=，则
)(2
1
)()(X X G X X g X f X f k T k k ψ=??+?+≈，
如果k G 正定，则)(X ψ为凸函数，)(X ψ有惟一极小点，满足0)(=ψ?X ，即0)(=-+k k k X X G g ，k k k g G X X 1--=。
若记k k k k k k k g G X X g G p 111,-+--=-=，则k k k p X X +=+1，称之为牛顿迭代，
k p 称为牛顿方向。
牛顿迭代可以理解为从k X 出发，沿牛顿方向k p 取步长1=k λ。显然，对正定二次函数，从任意初始点出发，牛顿迭代一步即可达到最小点。
理论分析表明，当初始点0X 离*X 较近时，牛顿迭代法能以二阶速度收敛到
*X 。但当0X 离*X 较远时，牛顿迭代可能不收敛，甚至迭代过程无法进行，原
因如下：
①当k G 为奇异阵时，1-k G 无意义，迭代无法进行；
②即使k G 非奇异，但1-k G 不一定正定，从而不能保证01<-=-k k T k k T k
g G g p g ，即牛顿方向k p 不一定是下降方向；
③即使1-k G 正定，此时k k k g G p 1--=是下降方向，但牛顿迭代取步长1=k λ，也不能保证()()k k k X f p X f <+。
其实，即便牛顿迭代可以正常进行且收敛，因为它在每次迭代时要计算Hesse 矩阵及其逆，从而得出迭代方向k p ，这使得每次迭代的计算量太大，大大降低了牛顿迭代的实用性。
9.4.2 变尺度法（拟牛顿法）
牛顿法主要缺点是要计算Hesse 矩阵及其逆。一个很自然的想法是不直接计算Hesse 矩阵k G ，也不计算其逆矩阵1-k G ，而设法构造另一个矩阵来直接逼近
1-k G ，这一类算法称为变尺度法或拟牛顿法，其中以DFP 算法和BFGS 算法最为
著名。在所有无约束最优化方法中，若综合考察收敛速度、计算量、适用范围等算法性能，变尺度法是最出色的。
变尺度法的基本思想是在1+k X 处，按某种规则产生一个对称正定矩阵1+k H ，
用111+++-=k k k g H p 作为1+k X 处的搜索方向。显然，取1
11,-++=k k G I H 时，
分别为最速下降方向和牛顿方向。 1、拟Newton 条件
由Taylor 展式)()(1111++++-+-+=k k k k k k k X X o X X G g g ， 得)(111+++-+≈k k k k k X X G g g ，)(111k k k k k X X G g g -≈-+++。
记k k k k k k X X X g g g -=?-=?++11,，则k k k g G X ?≈?-+1
1。
对于二次函数，上式精确成立，我们称k k k g G X ?=?-+1
1为拟Newton 条件。
1+k H 作为1
1-+k G 的近似自然应该满足k k k g H X ?=?+1。
2、DFP 变尺度法
我们的目标是在1+k X 处构造满足拟Newton 条件的对称正定阵1+k H ，为此假设k H 已知（0H 可取为任一对称正定阵，比如I H =0），且k k k H H H ?=-+1。
因k H ?对称，故可令T
k k T k k k v v u u H +=?，其中k k v u ,待定。将其代入拟牛顿
条件得k k T k k T k
k k X g v v u u H ?=?++)(，即()()k k k k k T
k k k T k g H X v g v u g u ?-?=?+?。为使上式成立，只要选择k k v u ,使得
(
)()
??????-=??=?k
k k k T
k k
k k T
k g H v g v X u g u 从()k k k T k X u g u ?=?知，k u 与k X ?共线，故可令k k X a u ?=，代入()k k k T
k
X u g u ?=?得()
k
T
k g X a ??=
1
2
，从而()
()
k
T
k T
k k T k
k g X X X u u ????=
。
类似地可得()()
k
k T
k k
T
k k k T
k k g H g H g g H v v ????-
=。
最终得到()
()
()()
k
k T
k k
T
k k k k
T
k T
k k k k g H g H g g H g X X X H H ????-
????+=+1，称之为DFP 公式。
DFP 算法计算步骤：
①给定初始点0X ，精度ε，取I H =0，0=i ；
②计算梯度)(k k X f g ?=，若ε DFP 方法是一种非常有效的无约束最优化方法，但在有些实际计算中发现其在数值稳定性方面存在一定的问题。如果对数值稳定性要求较高，可采用BFGS 变尺度方法。 定理9.11：如果k H 对称正定，0≠k g ，则()()0,0>??>??k k T k k T k g H g g X 。 证：因为0≠k g ，k k k g H p -=是下降方向，故从k X 到k k k k p t X X +=+1的迭代步 长0>k t ，并且01=+k T k g p 。 ()())()(111k k T k k k k T k k k T k g g p t g g X X g X -=--=??+++ 0>=-=k k T k k k T k k g H g t g p t ())()(11k k k T k k k k T k g g H g g g H g --=??++ 0211111>+=-+=+++++k k T k k k T k k k T k k k T k k k T k g H g g H g g H g g H g g H g 定理9.12：如果0H 对称正定，则由DFP 公式产生的k H 均对称正定。 3、BFGS 变尺度法 DFP 变尺度法是一种非常有效的无约束最优化方法，自从1959年发表以来，大量的计算实践确实反映了这一点。但到了六十年代后期，一方面从计算实践中发现了DFP 算法在数值稳定性方面存在一定的问题，同时在变尺度法理论的研究上也获得了显著的进展，陆续提出了许多变尺度算法。在七十年代初期，从数量繁多的算法中，人们发现一个比DFP 算法具有更好数值稳定性的算法，即BFGS 算法。 与DFP 公式的推导过程类似，可以得到满足拟牛顿条件的一组1+k H () () ()() k k T k k T k k k k T k T k k k k g H g H g g H g X X X H H ????- ????+ =+1 ()()()()??????-??????+k k T k T k k k T k k k T k H g X X X g X g H g β ()()()() ??? ???????+ ??-k T k k k k k T k k T k T k k k H g g H g H g g X X g H 参数β取不同的值就得到不同的公式。例如，0=β就得到了DFP 公式，而若取 ()k T k g X ??=1β，则相应的公式就称为BFGS 公式。BFGS 公式也可记为 ()()()()()()k T k T k k T k T k T k k k k T k T k k k g X X X g X g X I H g X g X I H ????+????????????-??????? ?????-=+1 BFGS 公式可以看做DFP 公式的改进，一般来说，BFGS 公式比DFP 公式有更好的数值稳定性。 在用Matlab 优化工具箱时，要根据具体问题的特点选择不同的优化算法、优化参数和一维搜索方法。Matlab 提供最速下降法、DFP 算法、BFGS 算法等，但缺省设置为BFGS 算法。Matlab 中的一维搜索采用二次或三次插值。 9.5 Powell 方向加速法 前面介绍的共轭梯度法、牛顿法、变尺度法都需要计算目标函数的梯度，这类方法统称为解析法。在实际中有许多问题的目标函数解析表达式很复杂甚至根本没有解析表达式，计算其导数是非常困难的，此时解析方法是不适用的。为此，人们提出了一类不需要计算梯度，仅根据目标函数值来寻找最优点的方法，称之为直接法。 常用的直接法有步长加速法、旋转方向法、方向加速法等。一般来说，直接法不像解析法那样有一套完整、严密的理论体系，它的搜索策略较为模糊。方向加速法中的鲍威尔（Powell ）方向加速法有较严密的理论，其搜索效率高于其它直接法。 Powell 法先对正定二次函数提出一套计算方案，使得经过若干次一维搜索后，算法自动产生一组共轭方向。然后，将这套方案推广到一般目标函数。 下面先介绍与Powell 法相关的定义和定理。 定义9.7将n 维空间n R 的一个子空间V 平移到某一点u 产生的集合 {}V x x u M ∈+=称为一个仿射集。 定理9.13 对n 维正定二次函数c X b AX X X f T T ++= 2 1)(， 若m d d d ,,,21 关于A 两两共轭，则从任意初始点0X 出发，依次沿m d d d ,,,21 执行一维搜索到m X ， 则m X 是)(X f 在仿射集?? ? ???????∈+=∑=R d X M j m j j j λλ10上的极小点。 证：由定理2.3知，()),,2,1(0m j d X f j m T ==??。将)(X f 在m X 处二阶Taylor 展开，因为)(X f 本身即为二次函数，所以余项为零。 )()(21 ))(()()(m T m m m T m X X A X X X X X f X f X f --+-?+= 对任何M X ∈，∑==-m j j j m d X X 1λ，得()0)(=-??m m T X X X f 因此，)()(m X f X f ≥，即m X 是)(X f 在仿射集M 上的极小点。 定理9.14 若n 维正定二次函数c X b AX X X f T T ++= 2 1)(在两个平行的仿射集 ??????????∈+=∑=R d u M j m j j j λλ111，?? ? ???????∈+=∑=R d u M j m j j j λλ122 上分别有极小点1z 和2z ，则21z z -与j d 关于A 共轭。 证：因为1z 是)(X f 在1M 上的极小点，所以1z 也是)(X f 在直线{}j d z λ+1上的极 小点()m j ,,2,1 =，从而 0) (0 1=+=λλ λd d z df j ，即()),,2,1 (01m b Az d T j =+ 同理有()),,2,1(02m b Az d T j =+，两式相减即得()),,2,1(012m z z A d T j =- 即21z z -与j d 关于A 共轭。 下面以三个变量的正定二次函数为例，根据上述定理说明Powell 法的搜索过程。 从任一初始点0X 出发，取初始方向组为三个坐标轴方向{}3210,,e e e D =。先 沿3e 搜索得极小点1z ，接着从1z 出发依次沿321,,e e e 搜索到) 1(3)1(2)1(1,,X X X ，如图。 由于1z 和)1(3X 分别是两个平行集 {}R e X M ∈+=λλ300，{} R e X M ∈+=λλ3) 1(2 1 上的极小点，由定理2.9知，1)1(31z X d -=与3e 关于A 共轭。从方向组0D 中去除 1e 加入1d ，得新方向组{}1321,,d e e D =。 从)1(3X 出发，先沿1d 搜索得极小点2z ，接着从2z 出发依次沿132,,d e e 搜索到 ) 2(3)2(2)2(1,,X X X ，如图。因为1d 与3e 关于A 共轭，由定理2.8，2z 和)2(3X 分别是平 行集 {} R d e X M ∈++=μλμλ,13) 1(20，{} R d e X M ∈++=μλμλ,13)2(11 上的极小点，由定理2.9知，2)2(32z X d -=与3e ，1d 关于A 共轭。从方向组1D 中去除2e 加入2d ，得两两共轭的新方向组{}2132,,d d e D =。 最后从)2(3X 出发，沿方向2d 搜索一次得*X ，由于)(X f 是三个变量的正定二次函数，*X 是从)2(1X 出发沿共轭方向组213,,d d e 搜索而得，故*X 即为)(X f 的极小点。 对一般目标函数，Powell 法的搜索过程是： ①选定初始点0X 、初始方向组（坐标轴方向）n d d d ,,,21 ，误差ε，令1=k ； ②从0X 出发，沿n d 搜索得k z ； ③从k z 出发，依次沿n d d d ,,,21 搜索得) ()(2)(1,,,k n k k X X X ； ④若ε<-0) (X X k n ，则)(*k n X X =，停止。否则，产生新方向k k n z X d -=)(； ⑤构造新方向组d d d d d d d d n n n ====-,,,,13221 ，并令1,) (0+==k k X X k n ，转②。 浅谈最优控制 发表时间：2008-12-10T10:25:09.263Z 来源：《黑龙江科技信息》供稿作者：李晶1 陈思2 [导读] 主要阐述了关于最优控制问题的基本概念，最优控制是最优化方法的一个应用。最优化一般可以分为最优设计、最优计划、最优管理和最优控制四个方面。 摘要：主要阐述了关于最优控制问题的基本概念，最优控制是最优化方法的一个应用。最优化一般可以分为最优设计、最优计划、最优管理和最优控制四个方面。而最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科，解决最优控制问题的主要方法有古典变分法、极大值原理和动态规划。通过以上知识的讲解使初学者能够快速掌握最优控制的问题。关键词：最优化；最优控制；极值 最优控制是最优化方法的一个应用，如果想了解最优控制必须知道什么是最优化方法。所谓最优化方法为了达到最优化目的所提出的各种求解方法。从数学意义上说，最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数达到极值，即最大值或最小值。从经济意义上说，是在一定的人力、物力和财力资源条件下，使经济效果达到最大（如产值、利润），或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。 最优化一般可以分为最优设计、最优计划、最优管理和最优控制四个方面。（1）最优设计:世界各国工程技术界,尤其是飞机、造船、机械、建筑等部门都已广泛应用最优化方法于设计中，从各种设计参数的优选到最佳结构形状的选取等，结合有限元方法已使许多设计优化问题得到解决。一个新的发展动向是最优设计和计算机辅助设计相结合。电子线路的最优设计是另一个应用最优化方法的重要领域，它存在着巨大的开发潜力，尤其是对于学电工学的学生来说。配方配比的优选方面在化工、橡胶、塑料等工业部门都得到成功的应用,并向计算机辅助搜索最佳配方、配比方向发展。（2）最优计划:现代国民经济或部门经济的计划，直至企业的发展规划和年度生产计划，尤其是农业规划、种植计划、能源规划和其他资源、环境和生态规划的制订,都已开始应用最优化方法。一个重要的发展趋势是帮助领导部门进行各种优化决策，使工作结构简单，工作效率最高化，节省了很多时间。（3）最优管理：一般在日常生产计划的制订、调度和运行中都可应用最优化方法。随着管理信息系统和决策支持系统的建立和使用，使最优管理得到迅速的发展。（4）最优控制：主要用于对各种控制系统的优化。下面着重来解释一下最优控制。 最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科。它是现代控制理论的重要组成部分。这方面的开创性工作主要是由贝尔曼（R.E.Bellman）提出的动态规划和庞特里亚金等人提出的最大值原理。这方面的先期工作应该追溯到维纳（N.Wiener）等人奠基的控制论（Cybernetics）。1948年维纳发表了题为《控制论——关于动物和机器中控制与通讯的科学》的论文，第一次科学的提出了信息、反馈和控制的概念，为最优控制理论的诞生和发展奠定了基础。钱学森1954年所著的《工程控制论》（EngineeringCybernetics）直接促进了最优控制理论的发展和形成。 为了解决最优控制问题，必须建立描述受控运动过程的运动方程，即系统的数学模型，给出控制变量的允许取值范围，指定运动过程的初始状态和目标状态，并且规定一个评价运动过程品质优劣的性能指标。通常，性能指标的好坏取决于所选择的控制函数和相应的运动状态。系统的运动状态受到运动方程的约束，而控制函数只能在允许的范围内选取。因此，从数学上看，确定最优控制问题可以表述为：在运动方程和允许控制范围的约束下，对以控制函数和运动状态为变量的性能指标函数（称为泛函）求取极值（极大值或极小值）。解决最优控制问题的主要方法有古典变分法、极大值原理和动态规划。 1 古典变分法 研究对泛函求极值的一种数学方法。古典变分法只能用在控制变量的取值范围不受限制的情况。在许多实际控制问题中，控制函数的取值常常受到封闭性的边界限制，如方向舵只能在两个极限值范围内转动，电动机的力矩只能在正负的最大值范围内产生等。因此，古典变分法对于解决许多重要的实际最优控制问题，是无能为力的。 2 极大值原理 极大值原理，是分析力学中哈密顿方法的推广。极大值原理的突出优点是可用于控制变量受限制的情况，能给出问题中最优控制所必须满足的条件。 3 动态规划 动态规划是数学规划的一种，同样可用于控制变量受限制的情况，是一种很适合于在计算机上进行计算的比较有效的方法。随着社会科技的不断进步,最优控制理的应用领域十分广泛，如时间最短、能耗最小、线性二次型指标最优、跟踪问题、调节问题和伺服机构问题等。但它在理论上还有不完善的地方，其中两个重要的问题就是优化算法中的鲁棒性问题和最优化算法的简化和实用性问题。大体上说，在最优化理论研究和应用方面应加强的课题主要有：（1）适合于解决工程上普遍问题的稳定性最优化方法的研究；（2）智能最优化方法、最优模糊控制器设计的研究；（3）简单实用的优化集成芯片及最优化控制器的开发和推广利用；（4）复杂系统、模糊动态模型的辩识与优化方法的研究；（5）最优化算法的改进。相信随着对这些问题的研究和探索的不断深入，最优控制技术将越来越成熟和实用，它也将给人们带来不可限量的影响。 参考文献 [1]胡寿松.最优控制理论与系统[M].（第二版）北京：科学出版社，2005. [2]阳明盛.最优化原理、方法及求解软件[M].北京：科学出版社，2006. [3]葛宝明.先进控制理论及其应用[M].北京：机械工业出版社，2007. [4]章卫国.先进控制理论与方法导论[M].西安：西北工业大学出版社，2000. 最优化方法及其应用 作者：郭科 出版社：高等教育出版社 类别：不限 出版日期：20070701 最优化方法及其应用 的图书简介 系统地介绍了最优化的理论和计算方法,由浅入深,突出方法的原则,对最优化技术的理论作丁适当深度的讨论,着重强调方法与应用的有机结合,包括最优化问题总论,线性规划及其对偶问题,常用无约束最优化方法,动态规划,现代优化算法简介,其中前八章为传统优化算法,最后一章还给出了部分优化问题的设计实例,也可供一般工科研究生以及数学建模竞赛参赛人员和工程技术人员参考, 最优化方法及其应用 的pdf电子书下载 最优化方法及其应用 的电子版预览 第一章 最优化问题总论1.1 最优化问题数学模型1.2 最优化问题的算法1.3 最优化算法分类1.4 组合优化问題简卉习题一第二章 最优化问题的数学基础2.1 二次型与正定矩阵2.2 方向导数与梯度2.3 Hesse矩阵及泰勒展式2.4 极小点的判定条件2.5 锥、凸集、凸锥2.6 凸函数2.7 约束问题的最优性条件习题二第三章 线性规划及其对偶问题3.1线性规划数学模型基本原理3.2 线性规划迭代算法3.3 对偶问题的基本原理3.4 线性规划问题的灵敏度习题三第四章 一维搜索法4.1 搜索区间及其确定方法4.2 对分法4.3 Newton切线法4.4 黄金分割法4.5 抛物线插值法习题四第五章 常用无约束最优化方法5.1 最速下降法5.2 Newton法5.3 修正Newton法5.4 共轭方向法5.5 共轭梯度法5.6 变尺度法5.7 坐标轮换法5.8 单纯形法习題五第六章 常用约束最优化方法6.1外点罚函数法6.2 內点罚函数法6.3 混合罚函数法6.4 约束坐标轮换法6.5 复合形法习题六第七章 动态规划7.1 动态规划基本原理7.2 动态规划迭代算法7.3 动态规划有关说明习题七第八章 多目标优化8.1 多目标最优化问题的基本原理8.2 评价函数法8.3 分层求解法8.4目标规划法习题八第九章 现代优化算法简介9.1 模拟退火算法9.2遗传算法9.3 禁忌搜索算法9.4 人工神经网络第十章 最优化问题程序设计方法10.1 最优化问题建模的一般步骤10.2 常用最优化方法的特点及选用标准10.3 最优化问题编程的一般过程10.4 优化问题设计实例参考文献 更多 最优化方法及其应用 相关pdf电子书下载 第九章最优化方法的MatIab实现 在生活和工作中，人们对于同一个问题往往会提出多个解决方案，并通过各方面的论证从中提取最佳方案。最优化方法就是专门研究如何从多个方案中科学合理地提取出最佳方案的科学。由于优化问题无所不在，目前最优化方法的应用和研究已经深入到了生产和科研的各个领域，如土木工程、机械工程、化学工程、运输调度、生产控制、经济规划、经济管理等，并取得了显著的经济效益和社会效益。 用最优化方法解决最优化问题的技术称为最优化技术，它包含两个方面的内容： 1）建立数学模型即用数学语言来描述最优化问题。模型中的数学关系式反映了最优化问题所要达到的目标和各种约束条件。 2）数学求解数学模型建好以后，选择合理的最优化方法进行求解。 最优化方法的发展很快，现在已经包含有多个分支，如线性规划、整数规划、非线性规划、动态规划、多目标规划等。 9.1 概述 利用Matlab的优化工具箱，可以求解线性规划、非线性规划和多目标规划问题。 具体而言，包括线性、非线性最小化，最大最小化，二次规划，半无限问题，线性、非线性方程（组）的求解，线性、非线性的最小二乘问题。另外，该工具箱还提供了线性、非线性最小化，方程求解，曲线拟合，二次规划等问题中大型课题的求解方法，为优化方法在工程中的实际应用提供了更方便快捷的途径。 9.1.1优化工具箱中的函数 优化工具箱中的函数包括下面几类： 1 ?最小化函数 2.方程求解函数 3.最小—乘（曲线拟合）函数 4?实用函数 5 ?大型方法的演示函数 6.中型方法的演示函数 9.1.3参数设置 利用OPtimSet函数，可以创建和编辑参数结构；利用OPtimget函数，可以获得o PtiOns优化参数。 ? OPtimget 函数 功能：获得OPtiOns优化参数。 语法： 第九章 最优化方法 本章主要介绍线性规划、0-1规划、非线性规划等问题的MATLAB 求解。 9.1 线性规划（Linear Programming ，简写为LP ）问题 线性规划问题就是求多变量线性函数在线性约束条件下的最优值。满足约束条件的解称为可行解，所有可行解构成的集合称为可行域，满足目标式的可行解称为最优解。 MATLAB 解决的线性规划问题的标准形式为： min z f x ￠ =? .. A x b s t Aeq x beq lb x ub ì祝??? ?í??＃??? 其中,,,,,f x b beq lb ub 为列向量，,A Aeq 为矩阵。 其它形式的线性规划问题都可经过适当变换化为此标准形式。 在MATLAB 中求解线性规划问题函数为linprog ，其使用格式为： [x, fval, exitflag, output, lambda] = linprog(f, A, b, Aeq, beq, lb, ub) 输入部分：其中各符号对应线性规划问题标准形式中的向量和矩阵，如果约束条件中有缺少，则其相应位置用空矩阵[]代替。 输出部分：其中x 为最优解，用列向量表示；fval 为最优值；exitflag 为退出标志，若exitflag=1表示函数有最优解，若exitflag=0表示超过设定的迭代最大次数，若exitflag=-2，表示约束区域不可行，若exitflag=-3，表示问题无解，若exitflag=-4，表示执行迭代算法时遇到NaN ，若exitflag=-5，表示原问题和对偶问题均不可行，若exitflag=-7，表示搜索方向太小，不能继续前进；output 表明算法和迭代情况；lambda 表示存储情况。 例1 用linprog 函数求下面的线性规划问题 作用： ①仿真的过程也是实验的过程，而且还是系统地收集和积累信息的过程。尤其是对一些复杂的随机问题，应用仿真技术是提供所需信息的唯一令人满意的方法。 ②仿真技术有可能对一些难以建立物理模型或数学模型的对象系统，通过仿真模型来顺利地解决预测、分析和评价等系统问题。 ③通过系统仿真，可以把一个复杂的系统化降阶成若干子系统以便于分析，并能指出各子系统之间的各种逻辑关系。 ④通过系统仿真，还能启发新的策略或新思想的产生，或能暴露出在系统中隐藏着的实质性问题。同时，当有新的要素增加到系统中时，仿真可以预先指出系统状态中可能会出现的瓶颈现象或其它的问题。 2.简述两个Wardrop 均衡原理及其适用范围。 答： Wardrop提出的第一原理定义是：在道路的利用者都确切知道网络的交通状态并试图选择最短径路时，网络将会达到平衡状态。在考虑拥挤对行驶时间影响的网络中，当网络达到平衡状态时，每个 OD 对的各条被使用的径路具有相等而且最小的行驶时间；没有被使用的径路的行驶时间大于或等于最小行 驶时间。 Wardrop提出的第二原理是：系统平衡条件下，拥挤的路网上交通流应该按照平均或总的出行成本 最小为依据来分配。 第一原理对应的行为原则是网络出行者各自寻求最小的个人出行成本，而第二原理对应的行为原则是网络的总出行成本最小。 3.系统协调的特点。 答： （1）各子系统之间既涉及合作行为，又涉及到竞争行为。 （2）各子系统之间相互作用构成一个反馈控制系统，通过信息作为“中介”而构成整体 （3）整体系统往往具有多个决策人，构成竞争决策模式。 （4）系统可能存在第三方介入进行协调的可能。 6．对已经建立了概念模型的系统处理方式及其特点、适用范围。答：对系统概念模型有三种解决方式。 1.建立解析模型方式 对简单系统问题，如物流系统库存、城市公交离线调度方案的确定、交通量不大的城市交叉口交通控制等问题，可以运用专业知识建立系统的量化模型（如解析数学模型），然后采用优化方法确定系统解决方案，以满足决策者决策的需要，有关该方面的内容见第四、五章。 在三种方式中，解析模型是最科学的，但仅限于简单交通运输系统问题，或仅是在实际工程中一定的情况下（仅以一定的概率）符合。所以在教科书上很多漂亮的解析模型，无法应用于工程实际中。 2.建立模拟仿真模型方式 对一般复杂系统，如城市轨道交通调度系统、机场调度系统、城市整个交通控制系统等问题，可以对系统概念模型中各个部件等采用变量予以量化表示，并通过系统辨识的方式建立这些变量之间关系的动力学方程组，采用一定的编程语言、仿真技术使其转化为系统仿真模型，通过模拟仿真寻找较满意的优化方案，包括离线和在线均可以，有关该方面的内容见第七章。 模拟仿真模型比解析模型更能反映系统的实际，所以在交通运输系统中被更高层次的所使用，包括 最优化方法与最优控制复习文件 1. 非线性优化的基本概念，最优解的一阶和二阶条件，最速下降方法，拟牛顿法情况，BFGS 修正。 2. 变分问题的最优必要性条件推导，各种情况下的必要性条件，Hamilton 函数、拉格让日 函数。PPT 中讲到的最优控制实例，包括求解过程需要掌握。 3. 极大值原理搞清楚，以及PPT 中的计算实例。 4. 动态规划，原理和简单的求解技术。 5. LQR 问题也要看一下。 除此之外，还有几个作业题目大家做一下，如下所示： 1. 非线性优化中，从直观考虑最速下降法是一种最快速的迭代优化方法，实际过程中为什 么不理想？为什么采用二阶方法？二阶方法中的二阶导数矩阵怎么得到的？有什么要求？ （15分） 2. 对于函数形式为 的优化问题，若采用最速下降法求解，请给出最优搜索方向p k 的表达式。变量初值为X0=[1,1,1]T ，请写出第一步迭代过程，以及得到的X1的关于搜索步长α0表达式，在这种情况下，使得))0()0((F 0p x α+最小的搜索步长α0应该等于多少？（15分） 3. 题目要求如下，采用动态规划方法寻求从A 点到B 点的最小时间路径（A 到B 仅能向前 走），（20分） 4. 对于以下简单的标量非线性系统，请通过求解相关HJB 方程得到其最优反馈控制策略。 提示，HJB 微分方程允许如此形式的解。 5.写出如下优化控制问题的Hamiltonian 函数、优化求解的必须性条件，并通过必要性条 件的求解计算出该优化控制和状态轨线。最小化目标函数 6.根据你对优化控制求解方法的了解，目前对于优化控制问题（或者成为动态优化问题， DAOPs问题）有哪些求解方法， 7. 第九章试验设计与方差分析 在科学试验中我们常常要研究参加试验的各种条件的改变对试验结果的影响，从中选出最好的试验组合，以达到最佳试验结果。试验结果也称试验指标，试验中变化的条件称为因素( facter ) , 因素在试验中所取的每一个状态称为因素的一个水平（level ）。如在考察不同温度对收率有无显著影响的药物生产中，药物收率为试验指标，温度为一个因素，生产中所取的不同温度为水平。“方差分析”是研究各个因素各个水平对试验结果影响大小的一种常用方法。本章将简要介绍试验设计的原则和方法，着重讨论单因素试验，双因素试验，多因素正交试验及其方差分析。 第一节试验设计 一、试验设计原则 任何试验都包含三个基本要素：因素，对象和效应。例如在研究用有机溶液提取中药有效成分的试验中，溶液的种类和浓度，催化剂，温度等可视为因素；所选择的中药样品为对象；而浸出率则可视为效应。根据试验的目的选择参加试验的因素，并从质量或数量上对每个因素确定不同的水平，因素及其水平在试验全过程中应保持不变。试验中选择多一些因素和水平可以提高试验效率，但并不是愈多愈好；试验对象需要具有同质性，如以小白鼠为对象做某种药理试验，小白鼠的年龄，体重及其某些生理条件必须大体相同。效应即试验指标，有数量和非数量的两种，指标要求必须是客观的和精确的。为了准确地考查因素的不同水平所产生的效应，在试验设计中应注意以下基本原则。 1．对照（control ）为了更好地说明试验因素的影响和作用，常在试验中设立对照组。对照的目的在于抵消或减少非试验因素的干扰，以避免对试验效应作出错误的判断。 2．均衡( balance) 通过对照抵消非试验因素干扰的关键是试验设计的均衡性，即在试验中应使试验组和对照组在非试验因素上大致相同。如在考察某种药物疗效的试验中，试验组和对照组的对象（病人）的性别，年龄，病情等应尽量一致，而观察指标，方法，仪器，人员等应相同，以保持试验对象和试验条件的均衡。 3．随机化（randomization ）利用均衡原则还不能使所有非试验因素达到真正均衡。随机化是均衡的一种补救方法，使各对象或试验条件享有均等的机会。以利于非试验因素对结果的影响。随机化的常用工具是随机数字表。 4．重复( replication ) 重复是指在相同条件下对每个个体独立进行多次的试验，它可以避免由于试验次数太少而导致非试验因素的个别极端影响而产 分数: ___________ 任课教师签字：___________ 华北电力大学研究生结课作业 学年学期：2013-2014第二学期 课程名称：优化理论和最优控制 学生姓名： 学号： 提交时间：2014年4月26日 《优化理论和最优控制》结课总结 摘要：最优控制理论是现代控制理论的核心，控制理论的发展来源于控制对象的要求。尽50年来，科学技术的迅速发展，对许多被控对象，如宇宙飞船、导弹、卫星、和现代工业设备的生产过程等的性能提出了更高的要求，在许多情况下要求系统的某种性能指标为最优。这就要求人们对控制问题都必须从最优控制的角度去进行研究分析和设计。最优控制理论研究的主要问题是：根据已建立的被控对象的时域数学模型或频域数学模型，选择一个容许的控制律，使得被控对象按预定要求运行，并使某一性能指标达到最优值[1]。 关键字：最优控制理论，现代控制理论，时域数学模型，频域数学模型，控制率 Abstract： The Optimal Control Theory is the core of the Modern Control Theory，the development of control theory comes from the requires of the controlled objects.During the 50 years， the rapid development of the scientific technology puts more stricter requires forward to mang controlled objects，such as the spacecraft，the guide missile，the satellite，the productive process of modern industrial facilities，and so on，and requests some performance indexes that will be best in mang cases.To the control problem，it requests people to research ,analyse，and devise from the point of view of the Optimal Control Theory. There are mang major problems of the Optimal Control Theory studying,such as the building the time domain’s model or the frenquency domain’s model according to the controlled objects,controlling a control law with admitting, making the controlled objects to work according to the scheduled requires, and making the performance index to reseach to a best optimal value. Keywords: The Optimal Control Theroy， The Modern Control Theroy， The 根据对偶问题的定义知道，原问题与对偶问题是互为对偶的。在给出原问题的对偶问题过程中应注意的几点关系： (1) 原问题各约束条件中的限制符号，必须统一是“≤”或统一为“≥”，不必考虑向量b 的元素是否是正值； (2) 如原问题有等式约束，则将该条件用等价的两个不等式约束条件替换，即“k f =)x (”可改写成两个不等式条件“k f ≤)x (，k f -≤-)x (”； (3) 对偶前后都要求变量是非负的； (4) 对偶关系是，“极大”对“极小”；“≤”对“≥”；向量c 与向量b 对调位置；矩阵A 转置。 例3-14 给出以下线性规划问题的对偶问题 212max x x z += 12321≤+x x ； 521=+x x ； 16421≤+x x ； 21≥x ；02≥x 。 解：原问题的规范形式及对偶形式写在表3-17中。 表3-17 线性规划对偶问题 原问题 对偶问题 min 543212551612w w w w w s --++= max 212x x z += 1354321≥--++w w w w w 12321≤+x x ； 244321≥-++w w w w 16421≤+x x ； 0≥i w ，51≤≤i 。 521≤+x x ； 对偶问题的线性规划标准形式 521-≤--x x ； max 543212551612w w w w w s ++---= 21-≤-x ； 13654321=---++w w w w w w 01≥x ，02≥x 。 2474321=--++w w w w w 0≥i w ，71≤≤i 。 下面介绍线性规划对偶问题的一些性质。 定理3-4 在式(3-23)定义的对偶问题中，若x 和w 分别是原问题和对偶问题的任意可 行解，则一定有 w b x c T T ≤。 (3-24) 证 因为是可行解，必然满足各自的全部约束条件，即 b A ≤x ，0x ≥； c w T ≥A ，0w ≥。 由此导出， b w x w T T ≤A ； c x w x T T T ≥A 。 标量的转置就是标量本身，即 《最优化与最优控制》教学大纲 课程编号：4050141 开课院系：自动化学院控制科学与工程系课程类别：专业选修 适用专业：自动化 课内总学时：32 学分：2 实验学时：0 设计学时：0 上机学时：0 先修课程：数学分析、线性代数、常微分方程、自动控制原理 执笔：邵立珍 审阅：董洁 一、课程教学目的 最优化与最优控制在工程技术，经济，管理等领域有广泛的应用。通过本课程的学习，使学生学会最优化的基本理论和算法，学会最优控制基本概念和理论。 二、课程教学基本要求 1．课程重点： 要求学生掌握典型的最优化算法，了解最优化的基本理论，掌握最优控制基本概念，掌握极大值原理，动态规划法了解典型最优控制问题。 2．课程难点： 极大值原理，动态规划法。 3．能力培养要求： 能够解决一些典型的最优控制问题，首先能够将实际问题，描述为最优控制问题，然后根据问题的条件，选择合适的求解工具并得到正确的答案。 三、课程教学内容与学时 课堂教学（32学时） 1．最优化概论(2学时) 最优化问题的数学模型 最优化方法及其结构 线性搜索 2．无约束最优化方法(4学时) 局部极小的条件 牛顿法 拟牛顿法 共轭梯度法 方向集法 3．约束优化的理论与方法(8学时) 约束问题和Lagrange乘子法 一阶最优条件 二阶最优条件 罚函数与障碍函数 乘子法 4．二次规划(6学时) 等式约束法 Lagrange方法 有效集法 5．最优控制概论(2学时) 经典控制与现代控制理论简介 最优控制问题的产生 最优控制问题的一般提法 最优控制问题分类 6．变分法与最优控制(4学时) 变分法 用变分法解最优控制 7．极大值原理(4学时) 末端自由的极大值原理 末端受约束的极大值原理 时变系统,复合型性能指标问题 8．动态规划法(2学时) 多步决策与动态规划 离散系统动态规划法 连续系统动态规划法 实验（上机、设计）教学（0学时） 四、教材与参考书 教材 1. 王晓陵，陆军编，《最优化方法与最优控制》，哈尔滨工程大学出版社，2008年，第1版 参考书 1. 吴受章编，《最优控制理论与应用》，机械工业出版社，2008年，第1版 2.李国勇编，《最优控制理论与应用》，国防工业出版社，2008年，第1版 3. 赫孝良等编，《最优化与最优控制》，西安交通大学出版社，1992年，第1版 第九章 二次规划 §9.1 二次规划问题 称形如 1m in ()2 T T Q x x H x g x = + 1,,. 1,,T i i e T i i e a x b i m s t a x b i m m ?==??≥=+?? （9.1） 的非线性规划问题为二次规划问题。对二次规划问题，有如下的最优性条件。 定理9.1 设x *是（9.1）的局部极小点，则必存在乘子(1,,)i i m λ*= ，使得 1 0 1,, 0 1,,m i i i T i i i e i e g H x a a x b i m m i m m λλλ**=*** ?+=? ?? ??-==+????≥=+??? ∑ （9.2） 且对于一切满足于： 0, ()T i d a i E I x * =∈ 的n d R ∈，都有0T d Hd ≥。 注：1）上述定理的前后两部分分别对应于一、二阶的必要条件； 2）满足上述条件的d ，都有(,)d S x λ* * ∈； 3）当约束条件均为线性函数时，容易证明： (,)(,) (,F D x X S F D x X L F D x X * * *= =及(,)(,)S x G x λλ**** = 上面给出的是二次规划的必要性条件，下面给出充分性条件。 定理9.2 设x * 是K-T 点，λ* 是相应的Lagrange 乘子，如果对满足 0 0 () 0 () 0 T i T i T i i d a i E d a i I x d a i I x λ* **?=∈?≥∈??=∈>? 且 （9.3） 的一切非零向量n d R ∈，都有0T d Hd >，则x * 是（9.1）的局部严格极小点。 第九章最优化方法的Matlab实现 在生活和工作中，人们对于同一个问题往往会提出多个解决方案，并通过各方面的论证从中提取最佳方案。最优化方法就是专门研究如何从多个方案中科学合理地提取出最佳方案的科学。由于优化问题无所不在，目前最优化方法的应用和研究已经深入到了生产和科研的各个领域，如土木工程、机械工程、化学工程、运输调度、生产控制、经济规划、经济管理等，并取得了显著的经济效益和社会效益。 用最优化方法解决最优化问题的技术称为最优化技术，它包含两个方面的内容：1）建立数学模型即用数学语言来描述最优化问题。模型中的数学关系式反映了最优化问题所要达到的目标和各种约束条件。 2）数学求解数学模型建好以后，选择合理的最优化方法进行求解。 最优化方法的发展很快，现在已经包含有多个分支，如线性规划、整数规划、非线性规划、动态规划、多目标规划等。 9.1 概述 利用Matlab的优化工具箱，可以求解线性规划、非线性规划和多目标规划问题。具体而言，包括线性、非线性最小化，最大最小化，二次规划，半无限问题，线性、非线性方程（组）的求解，线性、非线性的最小二乘问题。另外，该工具箱还提供了线性、 非线性最小化，方程求解，曲线拟合，二次规划等问题中大型课题的求解方法，为优化方法在工程中的实际应用提供了更方便快捷的途径。 9.1.1 优化工具箱中的函数 优化工具箱中的函数包括下面几类： 1．最小化函数 表9-1 最小化函数表 2．方程求解函数 表9-2 方程求解函数表 3．最小二乘（曲线拟合）函数 表9-3 最小二乘函数表 4．实用函数 表9-4 实用函数表 5．大型方法的演示函数 表9-5 大型方法的演示函数表 大学《最优化方法》复习题（含答案） 第一章 概述(包括凸规划) 一、 判断与填空题 1 )].([arg )(arg min max x f x f n n R x R x -=∈∈ √ 2 {}{} .:)(m in :)(m ax n n R D x x f R D x x f ?∈-=?∈ ? 3 设.:R R D f n →? 若n R x ∈*，对于一切n R x ∈恒有)()(x f x f ≤*，则称*x 为最优化问题 )(min x f D x ∈的全局最优解. ? 4 设.:R R D f n →? 若D x ∈*，存在*x 的某邻域)(*x N ε，使得对一切 )(*∈x N x ε恒有)()(x f x f <*，则称*x 为最优化问题)(min x f D x ∈的严格局部最 优解. ? 5 给定一个最优化问题，那么它的最优值是一个定值. √ 6 非空集合n R D ?为凸集当且仅当D 中任意两点连线段上任一点属于D . √ 7 非空集合n R D ?为凸集当且仅当D 中任意有限个点的凸组合仍属于D . √ 8 任意两个凸集的并集为凸集. ? 9 函数R R D f n →?:为凸集D 上的凸函数当且仅当f -为D 上的凹函数. √ 10 设R R D f n →?:为凸集D 上的可微凸函数，D x ∈*. 则对D x ∈?，有).()()()(***-?≤-x x x f x f x f T ? 11 若)(x c 是凹函数，则}0)( {≥∈=x c R x D n 是凸集。 √ 12 设{}k x 为由求解)(min x f D x ∈的算法A 产生的迭代序列，假设算法A 为下降算法， 则对{} ,2,1,0∈?k ，恒有 )()(1k k x f x f ≤+ . 习题六图与网络分析习题及参考答案 .1 十名学生参加六门课程的考试。由于选修内容不同，考试门数也不一样。下表给出了每个学生应参加考试的课程（打⊙的）： 学生考试课程 A B C D E F 1 ⊙⊙⊙ 2 ⊙⊙ 3 ⊙⊙ 4⊙⊙⊙ 5⊙⊙⊙ 6 ⊙⊙ 7⊙⊙⊙ 8 ⊙⊙ 9 ⊙⊙⊙ 10⊙⊙⊙ 规定考试在三天内结束，每天上下午各安排一门。学生希望每人每天最多考一门，又课程A必须安排在第一天上午考，课程F安排在最后一门，课程B只能安排在下午考，试列出一张满足各方面要求的考试日程表。 参考答案 把同一个研究生参加的考试课程用边连接，得图如下。由图看出，课程A只能同E排在一天，B同C排在一天，D同F在一天。再据题意，考试日程表只能是下表： B E 上午下午 第一天 A E A F 第二天 C B 第三天 D F D C 2 求下图的最小生成树和最大生成树： V6 3 需 参考答案 将每小块稻田及水源地各用一个点表示，连接这些点的树图的边数即为至少要挖开的堤埂数。（至少挖开11条） 4. 请用标号法求下图所示的最短路问题，弧上数字为距离： 参考答案 路线为1－2－4－6，距离为9个单位 5 用Dijkstra标号法求下图中始点到各顶点的最短路，弧上数字为距离： v3 3 v5 1 5 4 v1 2 4 v2 2 v4 参考答案 1－2，3，4，5最短路：3*,1*,5*,4* 6最短路问题：某公司使用一种设备，此设备在一定年限内随着时间的推移逐渐损坏。每年购买价格和不同年限的维修使用费如下表所示。假定公司在第一年开始时必须购买一台此设备，请建立此问题的网络图，确定设备更新方案，使维修费和新设备购置费的总数最小。说明解决思路和方法，不必求解。 年份 1 2 3 4 5 价格20 21 23 24 26 使用年限0－1 1－2 2－3 3－4 4－5 费用8 13 19 23 30 参考答案 弧（i，j）的费用或“长度”等于j－i年里的设备维修费加上第i年购买的新设备的价格。例如，弧（1，4）的费用为（8＋13＋19）＋20＝60 《最优化方法》课程教学大纲 课程编号： 英文名称：Optimization Methods 一、课程说明 1. 课程类别 理工科学位基础课程 2. 适应专业及课程性质 理、工、经、管类各专业，必修 文、法类各专业，选修 3.课程目的 （1）使学生掌握最优化问题的建模、无约束最优化及约束最优化问题的理论和各种算法；（2）使学生了解二次规划与线性分式规划的一些特殊算法； （3）提高学生应用数学理论与方法分析、解决实际问题的能力以及计算机应用能力。 4. 学分与学时 学分2，学时40 5. 建议先修课程 微积分、线性代数、Matlab语言 6. 推荐教材或参考书目 推荐教材： （1）《非线性最优化》（第一版）. 谢政、李建平、汤泽滢主编.国防科技大学出版社. 2003年（2）《最优化方法》（第一版）. 孙文瑜、徐成贤、朱德通主编. 高等教育出版社. 2004年参考书目： （1）《最优化原理》（第一版）. 胡适耕、施保昌主编. 华中理工大学出版社. 2000年 （2）《运筹学》》（修订版）. 《运筹学》教材编写组主编. 清华大学出版社. 1990年 7. 教学方法与手段 （1）教学方法：启发式 （2）教学手段：多媒体演示、演讲与板书相结合 8. 考核及成绩评定 考核方式：考试 成绩评定：考试课（1）平时成绩占20%，形式有：考勤、课堂测验、作业完成情况。 （2）考试成绩占80%，形式有：笔试（开卷）。 9. 课外自学要求 （1）课前预习； （2）课后复习； （3）多上机实现各种常用优化算法。 二、课程教学基本内容及要求 第一章最优化问题与数学预备知识 基本内容： （1）最优化的概念； （2）经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）最优化问题的模型及分类； （4）向量函数微分学的有关知识； （5）最优化的基本术语。 已知周期半波余弦信号和周期全波余弦信号的波形如图所示，用MATLAB编程求出它的傅立叶系数，绘出其直流、一次、二次、三次、四次及五次谐波叠加后的波形图，并将其与原周期信号的时域波形进行比较，观察周期信号的分解与合成过程。 % dm09101 % 观察周期方波信号的分解与合成 % m：傅里叶级数展开的项数 display('Please input the value of m (傅里叶级数展开的项数)'); % 在命令窗口显示提示信息 m = input('m = '); % 键盘输入傅里叶级数展开的项数 t = -2*pi:0.01:2*pi; % 时域波形的时间范围-2π~2π，采样间隔0.01 n = round(length(t)/4); % 根据周期方波信号的周期，计算1/2周期的数据点数 f = cos(t).*(t<(-3*pi/2))+cos(t).*((t>(-pi/2))&(t<(pi/2)))+cos(t).*(t>3*pi/2); %构造周期方波信号 y = zeros(m+1,max(size(t))); y(m+1,:) = f'; figure(1); plot(t/pi,y(m+1,:),'LineWidth',2); %绘制方波信号 grid; %在图形中加入栅格 axis([-2 2 -0.5 1.5]); %指定图形显示的横坐标范围和纵坐标范围 title('周期信号'); %给显示的图形加上标题 xlabel('单位pi','Fontsize', 8); %显示横坐标单位 x = zeros(size(t)); kk = '直流分量'; pause; 最优控制 学院 专业 班级 姓名 学号 1948年维纳发表了题为《控制论—关于动物和机器中控制与通讯的科学》的论文，第一次科学的提出了信息、反馈和控制的概念，为最优控制理论的诞生和发展奠定了基础。钱学森1954年所着的《工程控制论》直接促进了最优控制理论的发展和形成。 最优控制理论所研究的问题可以概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标值为最优。这类问题广泛存在于技术领域或社会问题中。 从数学上看，确定最优控制问题可以表述为：在运动方程和允许控制范围的约束下，对以控制函数和运动状态为变量的性能指标函数（称为泛函）求取极值（极大值或极小值）。解决最优控制问题的主要方法有古典变分法（对泛函求极值的一种数学方法）、极大值原理和动态规划。最优控制已被应用于综合和设计最速控制系统、最省燃料控制系统、最小能耗控制系统、线性调节器等。 例如，确定一个最优控制方式使空间飞行器由一个轨道转换到另一轨道过程中燃料消耗最少，选择一个温度的调节规律和相应的原料配比使化工反应过程的产量最多，制定一项最合理的人口政策使人口发展过程中老化指数、抚养指数和劳动力指数等为最优等，都是一些典型的最优控制问题。最优控制理论是50年代中期在空间技术的推动下开始形成和发展起来的。苏联学者Л.С.庞特里亚金1958年提出的极大值原理和美国学者R.贝尔曼1956年提出的动态规划，对最优控制理论的形成和发展起了重要的作用。线性系统在二次型性能指标下的最优控制问题则是R.E.卡尔曼在60年代初提出和解决的。 最优控制理论-主要方法 解决最优控制问题的主要方法 解决最优控制问题，必须建立描述受控运动过程的运动方程 为了解决最优控制问题，必须建立描述受控运动过程的运动方程，给出控制变量的允许取值范围，指定运动过程的初始状态和目标状态，并且规定一个评价运动过程品质优劣的性能指标。通常，性能指标的好坏取决于所选择的控制函数和相应的运动状态。系统的运动状态受到运动方程的约束，而控制函数只能在允许的范围内选取。因此，从数学上看，确定最优控制问题可以表述为：在运动方程和允许控制范围的约束下，对以控制函数和运动状态为变量的性能指标函数（称为泛函）求取极值（极大值或极小值）。解决最优控制问题的主要方法有古典变分法、极大值原理和动态规划。 天津大学《最优化方法》复习题（含答案） 第一章 概述(包括凸规划) 一、 判断与填空题 1 )].([arg )(arg min max x f x f n n R x R x -=∈∈ √ 2 {}{} .:)(m in :)(m ax n n R D x x f R D x x f ?∈-=?∈ ? 3 设.:R R D f n →? 若n R x ∈*，对于一切n R x ∈恒有)()(x f x f ≤*，则称*x 为最优化问题 )(min x f D x ∈的全局最优解. ? 4 设.:R R D f n →? 若D x ∈*，存在*x 的某邻域)(*x N ε，使得对一切 )(*∈x N x ε恒有)()(x f x f <*，则称*x 为最优化问题)(min x f D x ∈的严格局部最 优解. ? 5 给定一个最优化问题，那么它的最优值是一个定值. √ 6 非空集合n R D ?为凸集当且仅当D 中任意两点连线段上任一点属于D . √ 7 非空集合n R D ?为凸集当且仅当D 中任意有限个点的凸组合仍属于D . √ 8 任意两个凸集的并集为凸集. ? 9 函数R R D f n →?:为凸集D 上的凸函数当且仅当f -为D 上的凹函数. √ 10 设R R D f n →?:为凸集D 上的可微凸函数，D x ∈*. 则对D x ∈?，有).()()()(***-?≤-x x x f x f x f T ? 11 若)(x c 是凹函数，则}0)( {≥∈=x c R x D n 是凸集。 √ 12 设{}k x 为由求解)(min x f D x ∈的算法A 产生的迭代序列，假设算法A 为下降算法， 则对{} ,2,1,0∈?k ，恒有 )()(1k k x f x f ≤+ . 第一章 最优化方法的一般概念 人们在处理日常生活、生产过程、经营管理、社会发展等实际问题时，都希望获得最佳的处理结果。在有多种方案及各种具体措施可供选择时，处理结果与所选取方案和具体措施密切相关。获取最佳处理结果的问题称为最优化问题。针对最优化问题，如何选取满足要求的方案和具体措施，使所得结果最佳的方法称为最优化方法。 1-1 目标函数、约束条件和求解方法 目标函数就是用数学方法描述处理问题所能够达到结果的函数，该函数的自变量是表示可供选择的方案及具体措施的一些参数或函数，最佳结果表现为目标函数取极值。在处理实际问题时，通常会受到经济效率、物理条件、政策界限等许多方面的限制，这些限制的数学描述称为最优化问题的约束条件。求解方法是获得最佳结果的必要手段，该方法使目标函数取极值，所得结果称为最优解。针对各种类型的最优化问题，找出可靠、快捷的处理方法是最优化方法(理论)的研究范畴。 目标函数、约束条件和求解方法是最优化问题的三个基本要素。无约束条件的最优化问题称为理想最优化问题，所得结果称为理想最优解。下面用三个简单的例子，说明最优化问题的目标函数和约束条件。 例1-1 有一块薄的塑料板，宽为a ，对称地把两边折起，做成槽(如图1-1)。欲使槽的横截面积S 最大， 1x 、2x 和θ的最优值是多少？ 该问题要找出最优参数1x 、2x 和θ，使槽的横截面积S 最大，所以，目标函数为 θθsin )cos (max 221x x x S ?+=； (1-1) 由于底边与两个斜边的总长度应等于塑料板宽度a ，即约束条件为 a x x =+212。 (1-2) 有许多最优化问题可以方便地将等式约束条件代入目标函数中，使原问题转换为无约束条件的最优化问题，便于求解。例1-1为无约束条件的最优化问题时，目标函数如下 θθsin )cos 2(max 222x x x a S ?+-=。 (1-3) 例1-2 仓库里存有20米长的钢管，现场施工需要100根6米长和80根8米长的钢管，问最少需要领取多少根20米长的钢管？ 用一根20米长的钢管，截出8米管或6米长管的方法只有三种，设：1x —1根长管截 成2根8米管的根数；2x —1根长管截成1根8米管和2根6米管的根数；3x —1根长管 截成3根6米管的根数。该问题的目标函数为 321min x x x n ++=， (1-4) 现场施工需要80根8米长和100根6米长的钢管，即约束条件为 ???≥+≥+,10032,80232 21x x x x 3,2,10=≥i x i (1-5) a 图1-1 横截面积与参数关系图浅谈最优控制
最优化方法及其应用 - 更多gbj149 相关pdf电子书下载
最优化方法的Matlab实现(公式(完整版))
第九章 最优化方法
《最优化方法》期末试题
最优化方法与最优控制复习文件
第九章 试验设计与方差分析
优化理论和最优控制
最优化方法与最优控制5
《最优化与最优控制》教学大纲 - 北京科技大学自动化学院
最优化理论与算法(第九章)
最优化方法的Matlab实现(公式完整版)
天津大学《最优化方法》复习题(含答案)
第六章图与网络分析习题及参考答案案
《最优化方法》课程教学大纲
信号与线性系统分析(根据MATLAB的方法与实现)第九章
最优控制
天津大学《最优化方法》复习题(含答案)
最优化方法与最优控制1