机械优化设计第4章 无约束优化方法Powell例题
(07)第四章-无约束优化方法(鲍威尔法)
《机械优化设计》§4-8 鲍威尔(Powell)方法¾基本思想：把n维无约束优化问题转化为n个沿坐标轴方向e 1,e 2……e n 的一维优化问题来求解。
坐标轮换法坐标轮换法：1e s x¾特点：z 方法简单，思路简明z 收敛速度太慢，效率太低鲍威尔算法的流程图{n次搜索判定并确定下轮方向组{构造新方向并一维搜索{计算条件参数准备信息判断终止条件5. 鲍威尔法的特点：（1）收敛速度快，可靠性高；（2）对非正定函数，也很有效；（3）计算步骤较复杂。
6. 鲍威尔法与坐标轮换法的主要区别：（1）每轮的搜索次数；（2）每轮的搜索方向组的构造方式。
0.01ε=的最优解。
迭代精度。
z例题（书P85）：用改进的鲍威尔法求目标函数22121212(,)10(5)()f x x x x x x =+−+−解：（一）第1轮迭代计算1）从出发，沿e 1方向进行一维搜索：(1)1100/22 4.5455α==得：(1)1[4.54550]T=x 初始点(1)0[00]T=x 12[10];[01]T T ==e e (1)(1)1120(5)20f ααα′=−+=min :(1)1()f x (1)0x (1)(1)(1)1011α=+x x e (1)2(1)2(1)11110(5)()()f ααα=−+=选取基本搜索方向组：(1)(1)1101;000αα⎡⎤⎡⎤⎡⎤=+=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦2）从出发，沿e 2方向进行一维搜索：(1)20.826α=得：(1)2[4.54550.826]T=x (1)(1)2220(0.455)2( 4.545)0f ααα′=−+−=min :(1)(1)2(1)2(1)2222()10(4.5455)(4.545)()f f ααα=+−+−=x (1)1x (1)(1)(1)(1)21222(1)24.5454.5450;01ααα⎡⎤⎡⎤⎡⎤=+=+=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦xx e (1)2()15.215f =x (1)(1)212()()22.72715.2157.512f f Δ=−=−=x x 3）计算函数值以及下降量(1)0()250f =x (1)1()22.727f =x (1)(1)101()()25022.727227.27f f Δ=−=−=x x (1)()if x i Δ4）求最大下降量121max{,}227.723m Δ=ΔΔ=Δ=mΔ5）计算映射点及其函数值(1)()f x (1)x (1)(1)(1)24.545509.09220.82640 1.653⎡⎤⎡⎤⎡⎤=−=−=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦x x x (1)00()250F f ==x (1)()385.239f =x 6）计算判别条件式(1)22()15.215F f ==x (1)3()385.239F f ==x 30?F F <故不满足鲍威尔条件，则下一轮仍用原方向组。
第四章常用的无约束优化方法
教学重点
1．鲍威尔法 2．梯度法 3．牛顿法
2
机械优化设计
概述
一、无约束优化方法的数学模型 有约束优化问题模型
L min F ( X * ) = F ( x1，x2， ，xn ), X ∈ R n D : g j ( X ) ≥ 0 j = 1,2,L, m hk ( X ) = 0 k = 1, 2,L, l
12
机械优化设计
一、Powell基本算法 Powell基本算法 1）开始采用坐标轴方向； 开始采用坐标轴方向； 2）每轮迭代产生一个新方向取代原来的第一 方向， 轮迭代后可产生n个彼此共轭的方向； 方向，n轮迭代后可产生n个彼此共轭的方向； 若目标函数为正定二次函数， 3）若目标函数为正定二次函数，n轮结束后 即可到达最优点。 即可到达最优点。
r (k ) r (k ) r (k ) r (k ) r (k ) r (k ) S 1 , S 2 , . . . , S m -1 , S m + 1 , . . . , S n , S n + 1 ,
22
第k+1环的方向组为：
机械优化设计
给定X 给定 0,Si=ei i=1,2,…n, ε
Powell 修正算法
K=0 i=1 方向搜索得一维最优点X 自Xi-1始，沿Si方向搜索得一维最优点 i
N
若powell法中不 需要换向，则 是否仍为共轭 方向法？ 检查两次前后 sn+1是否对函数 的海塞矩阵共 轭即可。
Y
i< n Xn-X0 ≤ε
i=i+1
Y
输出X*=Xn 输出 F*=F（X*） （ ）
x2
x2
o
x1
(2)等值线为如图脊线时--无效 (2)等值线为如图脊线时--无效 -o
04无约束优化方法
X (k)=X*是准确的，由X (k)出发只要迭代一次可得到极小点。 6
2.特点 (1).收敛的速度快，即使到了
x2
最优点邻域时也很快收敛于函数 的局部最优点。
(2).采用定步长迭代，因而 就不能保证每次迭代中目标函
5
X2
4
X1
D
3
数是下降的。 原因：φ (X)仅为目标函数
E2 B
f(X)在X (k)点附近的近似表达 式。 X(k+1)点是φ (X)在牛顿方
X(2) X(1)2S(2)
③ S(3)X(2)X(0)
fX ( 2 ) 3 S ( 3 ) m fX 2 i n S ( 3 )
④
XX (3()3)XX ((02))S (2) 3 S(S3 )(1)
S (3)
(2)
S
S 3
X0 1S 1
Sˆ2 S3
Xˆ 1
Xˆ 2 Sˆ 3
Sˆ1 S2X22ຫໍສະໝຸດ 2X3 X ˆ0X1
⑤ (3) (2) (0)
S X X
[S3]THX(2)X(3)0
23
三、Powell法存在的问题 (1)、对于非二次函数，用Taylor展开只有接近中心处是椭 圆，故收敛就不是二次收敛，即n次不一定达到最优点。 (2)、共轭方向一定是线性无关的。出现线性相关或近似线 性相关，使一些方向漏掉，降维，称为退化，故对Powell法进 行修改，即不一定固定每次去掉的都是第一个方向，而是“哪 个方向好就朝哪个方向走”，从而避免出现线性相关的“退 化”现象。 (3)、修正方法 增加模式移动：
迭代一轮，求出下一轮的初始点和迭代方向。
六、编程实现Powell算法
28
无约束优化方法
第四章无约束优化方法
解： (1) 第一个搜索方向
对称正定
(0) (3) 从 X1 点沿S1方向求极小点x(1)，即 点沿S 方向求极小点x
17
例
(0) 方向一维搜索求得该方向极小点x (4) 任取另初始点 x2 = 沿S1方向一维搜索求得该方向极小点 (2)
1 1
X(2)= 0.5 (5) 求与 1相共轭的方向 2 求与S 相共轭的方向S S2 =X(2)-X(1)=
x2
X(0)→X0
(1) (1) X1
终止准则: 终止准则:
( ( Xnk) − X0k) ≤ε
(2) X1
(1) (2) X2 →X0
(2) X2 →X0
(3)
( X* ←Xnk)
上式点距准则中的 两点应是一轮 轮 换 法 的 流 程 图
k Xi(−1)
Xi(k)
以最优步长原则确定α 以最优步长原则确定 2，即极小化
按最优步长原则确定步长α 按最优步长原则确定步长 1，即极小化
此问题可用某种一维优化方法求出α 此问题可用某种一维优化方法求出 1。 在这里， 在这里，我们暂且借用微分学求导解出 令其一阶导数为零， ，令其一阶导数为零，α1=5
得α2=4.5， ，
正定
10
4.2
鲍威尔(Powell)法 鲍威尔(Powell)法 (Powell)
鲍威尔法是直接搜索法中一个十分有效的算法。 鲍威尔法是直接搜索法中一个十分有效的算法。该算法是沿着 逐步产生的共轭方向进行搜索的，因此本质上是一种 共轭方向进行搜索的 本质上是一种共轭方向 逐步产生的共轭方向进行搜索的，因此本质上是一种共轭方向 鲍威尔法的收敛速率较快。 法，鲍威尔法的收敛速率较快。 以共轭方向作为搜索方向，不只限于鲍威尔法， 以共轭方向作为搜索方向，不只限于鲍威尔法，也用于其他一 共轭方向法。 些较为有效的方法，可以统称为共轭方向法 因此， 些较为有效的方法，可以统称为共轭方向法。因此，共轭方向 的概念在优化方法研究中占有重要的地位。 的概念在优化方法研究中占有重要的地位。 共轭方向在最优化问题中的应用是基于其具有一个重要性质， 共轭方向在最优化问题中的应用是基于其具有一个重要性质， 重要性质 个互相共轭的向量， 即：设 S1、S2、…、Sn是关于A的n个互相共轭的向量，则对于 、 是关于A 1 T 的极小点， 求正定二次函数 F ( X ) = c + bT X + X AX 的极小点，从任意初始 2…，n)方向进行一维最优化搜 点出发，依次沿S i=1， 点出发，依次沿Si （i=1，2， ，n)方向进行一维最优化搜 至多n步便可以收敛到极小点． 索，至多n步便可以收敛到极小点．
(完整版)机械优化设计习题参考答案孙靖民第四版机械优化设计
2.黄金分割法（0.618法）
原理：提高搜索效率：1）每次只插一个值，利用一个前次的插值；2）每次的缩短率λ相同。左右对称。
程序：p52
（四）插值方法
1.抛物线法
原理：任意插3点：
算得： ； ；
要求：
设函数 用经过3点的抛物线 代替，有
解线代数方程
解得：
程序框图p57
网格法 ，缩小区间，继续搜索。
Monte Carlo方法 ， ，随机数。
比较各次得到的 得解
遗传算法(专题)
（二）区间消去法（凸函数）
1.搜索区间的确定：高—低--高（ ）则区间内有极值。
2.区间消去法原理：在区间[a, b]内插两个点a1, b1保留有极值点区间，消去多余区间。
缩短率：
（三）0.618法
可行方向—约束允许的、函数减小的方向。（图）约束边界的切线与函数等高线的切线方向形成的区域。
数学模型
用内点法或混合法，取 ，
直接方法
（一）随机方向法
1.在可行域产生一个初始点 ，因 （约束），则
--（0，1）的随机数。
2.找k个随机方向，每个方向有n个方向余弦，要产生kn个随机数 ， ， ，随机方向的单位向量为
3.取一试验步长 ，计算每个方向的最优点
4.找出可行域中的最好点 得搜索方向 。以 为起点， 为搜索方向得 。最优点必须在可行域内或边界上，为此要逐步增加步长。
得
穷举下去得递推公式
3.算例
p73
4.框图p72
5.特点
作业：1. 2.
（六）变尺度法
1.引言
坐标变换
二次函数
令 为尺度变换矩阵
最优化方法 powell法求解无约束优化问题
数学与计算科学学院实验报告
实验项目名称powell法求解无约束优化问题
所属课程名称最优化方法
实验类型算法编程
实验日期
班级
学号
姓名
成绩
附录1：源程序
附录2：实验报告填写说明
1．实验项目名称：要求与实验教学大纲一致。
2．实验目的：目的要明确，要抓住重点，符合实验教学大纲要求。
3．实验原理：简要说明本实验项目所涉及的理论知识。
4．实验环境：实验用的软、硬件环境。
5．实验方案（思路、步骤和方法等）：这是实验报告极其重要的内容。
概括整个实验过程。
对于验证性实验，要写明依据何种原理、操作方法进行实验，要写明需要经过哪几个步骤来实现其操作。
对于设计性和综合性实验，在上述内容基础上还应该画出流程图、设计思路和设计方法，再配以相应的文字说明。
对于创新性实验，还应注明其创新点、特色。
6．实验过程（实验中涉及的记录、数据、分析）：写明具体实验方案的具体实施步骤，包括实验过程中的记录、数据和相应的分析。
7．实验结论（结果）：根据实验过程中得到的结果，做出结论。
8．实验小结：本次实验心得体会、思考和建议。
9．指导教师评语及成绩：指导教师依据学生的实际报告内容，给出本次实验报告的评价。
机械优化设计第四章
lim r2 H[hv ( x( k ) )] 0
k
lim [( x ( k ) , r1 , r2 ) f ( x ( k ) )] 0
(k ) (k ) k
分类： 根据约束形式和定义的泛函及罚因子的递推方法等不同，罚函 数法可分为内点法、外点法和混合罚函数法三种。
3. 降低系数 c 的选择：
在构造序列惩罚函数时，惩罚因子r是一个逐次递减到0的数列 ，相邻两次迭代的惩罚因子的关系为 :
r r cr k 1
(k 1,2,...)
式中的c称为惩罚因子的缩减系数，c为小于1的正数。一般的 看法是，c值的大小在迭代过程中不起决定性作用，通常的取值范 围在0.1~0.7之间。 4. 收敛条件：
k
则( x, r (k ) ) f ( x),
2 2 例： 用内点法求 min f ( x) x1 x2
s.t. g ( x) 1 x1 0
的约束最优解。
2 解: 首先构造内点惩罚函数: ( x, r ) x12 x2 r k ln( x1 1)
用解析法求函数的极小值，运用极值条件： 2 x1 r 0 x x1 1 1 k 1 1 2r 联立求解得： x1 (r k ) 2 x 0 2 2 x2 x (r k ) 0 2 1 1 2r x1 (r ) 时不满足约束条件 g ( x) 1 x1 0 应舍去 。 2 * k 1 1 2r k 无约束极值点为： x (r )
ts b
要求：在满足强度、刚度和稳定性等条件下，设计一个最轻结构。
1. 2.
设计分析：（略） 数学模型：
机械优化设计chapter4
内容•单变量优化计算方法；•多变量优化计算的非梯度方法（坐标轮换法；powell法；单纯形法；）•多变量优化计算的梯度法（梯度法；共轭梯度法；牛顿迭代法；变尺度法）4.1 引言nRxxf)(min一、无约束问题的一般形式：求其最优解X*和f(X*)的方法，称为无约束优化计算方法。
4、无约束优化计算方法从第一章列举的机械设计问题，大多数实际问题是约束优化问题。
约束优化问题的求解——转化为一系列的无约束优化问题实现的。
因此，无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。
无约束优化问题的极值条件()*0f x ∇=解析法数值法数学模型复杂时不便求解可以处理复杂函数及没有数学表达式的优化设计问题1k k kk xx a d +=+搜索方向问题是无约束优化方法的关键。
二、无约束优化问题的分类：一般按照是否求梯度分类•梯度法：要计算目标函数一、二阶导数的方法；•非梯度法:仅计算目标函数的值，不必计算其导数两类方法均为迭代方法，只是迭代的格式及其判的方法；定条件有差异。
三、无约束优化问题意义：•约束优化问题可以转化为无约束优化问题求解；•有些约束优化方法，也可以借助于无约束优化问题的策略来构造；4.2 一维搜索优化计算方法一维搜索优化方法（亦称一维搜索法）是指一元函数求极值问题的数值迭代法。
它是优化方法中最简单、最基本的方法。
虽然，在实际优化问题中，设计变量仅有一个的情况并不多，但在求多维优化问题时，很多算法最终都要归结为反复进行一维问题的求解。
因此，一维搜索方法的效率和稳定性对最优化问题整个算法的求解速度和可靠性影响较大。
4.2 一维搜索优化计算方法一、一维搜索优化问题意义及迭代定义：求一维目标函数的极小点和极小值的数值迭代方法称为一维搜索方法。
意义：不仅解决一维目标函数的优化问题，而且更常用于多维优化问题中在既定方向上最优步长的搜索。
在既定的X K 和S K 下寻求最优步长αK ，使迭代产生的新点X K+1的函数值最小，故实质求单变量α，使：()()()()()k k x f sx f k αα+=+min 11k k k k x x a d +=+采用数学规划法求函数极值点的迭代计算：K+1次迭代的搜索方向搜索的最佳步长因子当搜索方向给定，求最佳步长k a kd 就是求一元函数的极值。