优化设计无约束优化方法第04章-1

αk为阻尼因子，是沿牛顿方向进行一维搜索的最佳步长，
可由下式求得：
三、计算步骤与框图
1、给定初始点x0，收敛精度， k置0；
3、求 其中，αk为沿dk进行一维搜索的 最佳步长。 4、检查收敛精度。若||xk+1xk||<ε，停机；否则，置k←k+1， 回步骤2继续。
牛顿法与阻尼牛顿法统称为 牛顿型方法。
三、用数值计算方法解无约束优化问题
对于无约束优化问题： 可以： （1）用数值计算方法解梯度方程组，即： ▽f =0，然后求 得原优化问题； （2）直接用数值计算方法解无约束优化问题。 这种用数值计算方法直接解无约束优化问题的办法就是搜索 方法，即从给定的初始点x0出发，沿某一搜索方向d0进行搜索， 确定最佳步长α0，使函数值沿d0方向下降最大。 依次方式按下式不断进行，形成迭代的下降算法。
五、梯度法与牛顿法比较
一般迭代式：
梯度法： 牛顿法：
阻尼牛顿法：
概而言之:
x
k 1
x k A f ( x )
k k k
五、梯度法的特点
（1）理论明确，程序简单，对初始点要求不严格； （2）对一般函数而言，梯度法的收敛速度并不快，因为最速 下降方向仅仅是指某点的一个局部性质； （3）梯度法相邻两次搜索方向的正交性，决定了迭代全过程 的搜索路线呈锯齿状，在远离极小点时逼近速度较快，而在接
近极小点时逼近速度较慢；
（4）梯度法的收敛速度与目标函数的性质密切相关。对于等 值线(面)为同心圆（球）的目标函数，一次搜索即可达到极小点。
第三节 牛顿型方法
牛顿法的基本思路就是在某点的邻域附近将目标函数近似地 处理成二次函数，然后将该二次函数的极值点作为下一个迭代 点。 如一维搜索时的迭代式为：
多元函数的处理与此类似 …
一、多元函数的牛顿法
1、基本思想 在xk邻域内用一个二次函数φ(x)来近似代替原目标函数，并 将φ(x)的极小点作为对目标函数f(x)求优的下一个迭代点xk。 经多次迭代，使之逼近目标函数f(x)的极小点。 2、迭代式的导出 将f(x)进行泰勒展开
第四章
第一节 概述 第二节 第三节 第四节 第五节 第六节 第七节 第八节 第九节 最速下降法 牛顿型方法 共轭方向法 共轭梯度法 变尺度法 坐标轮换法 鲍威尔方法 单形替换法
无约束优化方法
无约束优化方法总结
第一节 概述
工程问题 前章所列举的机械优化设计问题，都是在一定的限制条件下 追求某一指标为最小，它们都属于约束优化问题。工程问题大 都如此。 研究无约束优化问题的意义 （1）有些实际问题，其数学模型本身就是一个无约束优化 问题； （2）通过熟悉它的解法可以为研究约束优化问题打下良好 的基础； （3）约束优化问题的求解可以通过一系列无约束优化方法 来达到。所以无约束优化问题的解法是优化设计方法的基本组 成部分，也是优化方法的基础。
即：
一、梯度法搜索原理
多变量最优化迭代解法的一般迭代公式：
x(k+1) = x(k) + αk d(k)
关键是如何确定搜索方向d(k) 可用一维搜索技术解决
瞎子下山（形象比喻）：
x(k)
d(k+1) =－f(x (k+1) )
？
x(k+1) d(k) =－f(x (k) )
x*
由于他看不到哪里是山谷， 不可能沿直接指向山谷的路线 走，而只能在当前位置上，靠 手杖作局部探索，哪里最陡就 往哪里前进一步，然后在新的 位置上再用手杖寻找最陡方向， 再下降一步。
开始
给定 x 0 ,
k 0
d k f ( x k )
k s k : min f ( xk d k )
是
x * x k 1
x k 1 x k k d k
k k 1
x
k 1
x
k

否
结束
二、梯度法算法框图
三、梯点。
一、无约束优化问题的数学模型
求n维设计变量 使目标函数
上述模型也可表述为： 解决这类问题有以下两种方法：
（1）解析法； （2）数值计算方法。
二、用解析法解无约束优化问题
对于无约束优化问题： 可以直接应用极值条件来确定极值点的位置，即： ▽f(x)=0
即求x，使其满足：
解此n个方程构成的方程 组即可求得极值点x； 而非线性方程组一般很 难再用解析法求解。所以， 解析法很难用于实际优化问 题的求解。
设xk+1为φ(x)的极小点 则： 即：
3、迭代式分析 可得多元函数求极值的牛顿法迭代公式
对于二次函数 ，海赛矩阵H，或▽2f(xk)是一个常矩阵，其 中各元素均为常数。因此，无论从任何点出发，只需一步就可 找到极小点。
4、牛顿法例题 求目标函数的极小点，目标函数为： 解：取初始点
经过一次迭代即求得极小点，即x*=x1，
第二节 梯度法
基本思想 函数的负梯度方向是函数值在该点下降最快的方向。将n维 问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题， 称最速下降法（Steep-descend）或梯度法。 梯度法沿革 1847年，Cauchy提出。
迭代公式
搜索方向s取该点的负梯度方向-▽f（x） (最速下降方向) ， 可使函数值在该点附近的范围内下降最快。
引入变换 y2=5x2
将上例中目标函数 y1=x1, 则函数f(X)变为： 其等值线由椭圆变成一簇同心圆。 仍从 此时： 即
出发进行最速下降法寻优。
沿负梯度方向进行一维搜索：
β 为一维搜索最佳步长，可由极值条件：
由
从而算得一步计算后设计点的位置及其目标函数：
经变换后，只需一次迭代，就可找到最优解。 这是因为经过尺度变换：
，则初始点处函数值及梯度分别为
解：取初始点
沿负梯度方向进行一维搜索，有
α0为一维搜索最佳步长，应满足极值必要条件：
算出一维搜索最佳步长
第一次迭代设计点位置和函数值
继续作下去，经10次迭代后，得到最优解：
这个问题的目标函数的等值线为一簇椭圆,迭代点从
走的是一段锯齿形路线。
1
例2
上例作变量替换后再寻优
最速下降法迭代公式 x(k+1) = x(k) －αk f(x(k) )
1、梯度法分析
为了使目标函数值沿搜索方向 -▽f(xk) 能够获得最大的下 降值，其步长因子αk应取一维搜索的最佳步长。即有
根据一元函数极值的必要条件和多元复合函数求导公式， 得：
即：
2、梯度法路径特点
在最速下降法中，相邻 两个迭代点上的函数梯度相 互垂直。 而搜索方向就是负梯度 方向，因此相邻两个搜索方 向互相垂直。这就是说在迭 代点向函数极小点靠近的过 程，走的是曲折的路线，形 成“之”字形的锯齿现象， 而且越接近极小点锯齿越细。
二、阻尼牛顿法
从牛顿法迭代公式的推演中可以看到，迭代点的位置是按照 极值条件确定的，其中并未含有沿下降方向搜寻的概念。 对于非二次函数，如果采用上述牛顿迭代公式，有时会使函 数值上升 。 为避免上述现象，引入数学规划法的搜寻概念，即把迭代式 的第二项看作是搜寻的方向dk，从而获得阻尼牛顿法迭代式，即： 其中：
等值线由椭圆变成圆。
四、梯度法的收敛
1、梯度法的收敛 可用相邻迭代点的目标函数差，或相邻迭代点之间的距离小 于给定的值作为迭代终止的条件。 2、梯度法的收敛速度 梯度法的收敛速度估计式为：
其中，m是f(x)的海赛矩阵的最小特征值；M是其最大特征值。 据此可以认定，梯度法是具有线性收敛速度的迭代法。
四、牛顿型方法的特点
（1） 初始点应选在X*附近，有一定难度；
（2） 尽管每次迭代都不会使函数值上升，但不能保证每次 下降 ；
（3） 若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能 构造牛顿法方向； （4） 不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算 量和存储量大。此外，对于二阶不可微的F(X)也不适用。 虽然阻尼牛顿法有上述缺点，但在特定条件下它具有收敛最 快的优点，并为其他的算法提供了思路和理论依据。
四、搜索算法
搜索公式 是一个通用迭代式。 dk是第k+1次的迭代方向（搜索方向）；
αk是第k+1迭代的步长。
二者的形成和确定方法不同，就派生出不同的n维无约束优 化问题的数值解法。 搜索算法根据是否用到函数的导数信息（梯度、海赛矩阵等） 可以分为间接法和直接法，即： （1）间接法——要使用函数的导数信息，如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。 （2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法、 单形替换法等。效率比前者低，用于n≤20的小型问题，特别适用 于不知道目标函数的数学表达式而仅知其具体算法的情况。