第三章-一维优化方法
合集下载
一维优化方法总结
一维优化方法总结第三章：一维优化方法总结1.一维优化方法介绍求解以为目标函数f （x ）最优解的过程，称为一维优化，所使用的方法称为一维优化方法。
一维优化方法是优化方法中最简单、最基本的优化方法。
他不仅用来解决一维目标函数的求最优问题，而且常用于多维优化问题在既定方向上寻求最优步长的一维搜索。
对于任一次迭代计算，总是希望从已知的点()k x 出发，沿给定的方向()k s 搜索该方向上到目标函数值最小的点(1)k +x 。
这种在确定的搜索方向()k s 上按步长因子()k α迭代使得目标函数在该方向上达到极小值的过程称为一维搜索优化计算方法。
一维搜索最优化方法一般需要分两步进行：第一步是在()k s 方向上确定使得目标函数值取得最小值的步长因子()k α所在的区间；第二步是采用不同方法利用步长因子()k α求得近似解。
2.搜索区间的确定及matlab 编程所谓搜索区间就是沿给定的搜索方向()k s 上找出一个单峰区间12[,]αα，即在该区间内目标函数值的变化只有一个峰值。
本文选用进退法进行区间确定。
这里直接以一维函数为例。
设函数为()y f x =，给定初始点1x ，选定恰当的步长为0h ，求其最小点*x 。
进退法分为三步：试探搜索、前进搜索和后退搜索。
第一步：试探搜索由于最小点*x 的位置是未知的，所以首先要试探最小点*x 位于初始点1x 的左方还是右方，然后再确定包含*x 在内的搜索区间[,]a b 。
由初始点1x 沿Ox 轴正向到2x 点，210x x h =+，分别计算两点的函数值11()y f x =，22()y f x =并比较1y 和2y 值的大小，可分为两种情况：（1）若21y y <，则极小点必在点右方，应继续前进搜索；（2）若21y y >，则极小点必在1x 点左方，应反向，即作后退搜索。
第二步：前进搜索由探索后的2x 点，沿Ox 正向继续前进搜索。
令02h h =，取得前进方向的第三个点32x x h =+，对应的函数值33()y f x =，比较后两个点的函数值，有如下两种情况：（1）若23y y <，则三个点123x x x 、、的函数值的关系为123y y y ><。
最优化方法 第三章第二讲 一维搜索
第三次迭代
令 x1 0.538， f1 1.751，取 F3 x2 0.077 (1.462 0.077) 0.846， F4 f 2 1.870。
因为 f 1 f 2 ，所以新区间为 0.077,0.846。
第四次迭代
令 x 2 0.538， f 2 1.751，取 F1 x1 0.077 (0.846 0.077) 0.231， F3 则 f 1 1.822。
设其最优解为 k ，得到 xk 1 xk k pk ，
一维搜索是求解一元函数 ( ) 的最优化问题（也叫 一维最优化问题） ，仍表示为 min f ( x ) 或 min f ( x )。 1
xR
a xb
定义：若在 a, b内 f ( x )有唯一极小点 x* ，在 x* 的左边 f ( x )严格下降，在 x* 的右边 f ( x )严格上升， 则称 f ( x )在区间 a, b上是下单峰函数。
step 6 令 k k 1，若 k n 2，则转 step 5； 若 k n 2，则转 step 7。
step 7 若 f1 f 2 ， 则令 b x2 ，x2 x1 ，f 2 f1 ， 转 step 8； 若 f1 f 2 ，则令 a x1，转 step 8。 step 8 令 x1 x2 0.1(b a ) ， f1 f ( x1 ) 1 * 若 f1 f 2 ，则 x (a x2 )， 2 1 * 若 f1 f 2 ，则 x ( x1 x2 )， 2 1 * 若 f1 f 2 ，则 x ( x1 b ) 。 2
ab step 3 若 b a ，则 x ，停。否则转 step 4。 2
3.3 一维搜索方法 (一维优化)
2 3
并令： h 2h
x3 x 2 h ，求 y3 f ( x3 )
重复上述步骤，直到函数值出现“高-低-高”为止。
4. 若在步骤2中，出现 y1 y 2 (图a虚线)，则应作后退运算: 令：h h0 置换：x3 x1 y 3 y1 ； x1 x2 y1 y2 ；x2 x3 y2 y3 再令：h 2h
2 2 2 2 ( x2 x3 ) f1 ( x3 x12 ) f 2 ( x12 x2 ) f 3 b ( x1 x2 )( x2 x3 )( x3 x1 )
教材中，c的表达式缺-号
c
( x3 x2 ) x2 x3 f1 ( x1 x3 ) x1 x3 f 2 ( x2 x1 ) x1 x2 f 3 ( x1 x2 )( x2 x3 )( x3 x1 )
入口
x
(0),ε
X
(1)=x(0)－f/x(0)/f//x(0)
∣f/x(1)∣≤ε 或∣x(1)－x(0)∣≤ε ?
x
(＊)：=x (1)
x
(0)：=x (1)
出口
4 3 2 例： 试用牛顿法求 f ( x) 1 x 2 x 2 x 7 x 8 4 3 值，已知探索区间为[a,b]=[3,4],ε=0.05。
4、牛顿法的特点 优点：收敛速度较快 缺点： 1）计算f’ 、f’’，计算工作量大。 2）用数值微分计算f’ 、f’’时，舍入误差会影响收敛速度。 3）x0与 x不能离太远，否则会发散或收敛于非极小点。 与0.618法比较： 0.618 法：1）收敛慢 2）对函数要求不严格 牛顿法正好相反。
5、牛顿法的框图
x3 x 2 h
3. 若 y 2 y1 ，应作前进运算(图a实线)：
并令： h 2h
x3 x 2 h ，求 y3 f ( x3 )
重复上述步骤，直到函数值出现“高-低-高”为止。
4. 若在步骤2中，出现 y1 y 2 (图a虚线)，则应作后退运算: 令：h h0 置换：x3 x1 y 3 y1 ； x1 x2 y1 y2 ；x2 x3 y2 y3 再令：h 2h
2 2 2 2 ( x2 x3 ) f1 ( x3 x12 ) f 2 ( x12 x2 ) f 3 b ( x1 x2 )( x2 x3 )( x3 x1 )
教材中，c的表达式缺-号
c
( x3 x2 ) x2 x3 f1 ( x1 x3 ) x1 x3 f 2 ( x2 x1 ) x1 x2 f 3 ( x1 x2 )( x2 x3 )( x3 x1 )
入口
x
(0),ε
X
(1)=x(0)－f/x(0)/f//x(0)
∣f/x(1)∣≤ε 或∣x(1)－x(0)∣≤ε ?
x
(＊)：=x (1)
x
(0)：=x (1)
出口
4 3 2 例： 试用牛顿法求 f ( x) 1 x 2 x 2 x 7 x 8 4 3 值，已知探索区间为[a,b]=[3,4],ε=0.05。
4、牛顿法的特点 优点：收敛速度较快 缺点： 1）计算f’ 、f’’，计算工作量大。 2）用数值微分计算f’ 、f’’时，舍入误差会影响收敛速度。 3）x0与 x不能离太远，否则会发散或收敛于非极小点。 与0.618法比较： 0.618 法：1）收敛慢 2）对函数要求不严格 牛顿法正好相反。
5、牛顿法的框图
x3 x 2 h
3. 若 y 2 y1 ，应作前进运算(图a实线)：
机械优化设计第三章一维搜索方法
(b a)，故
Fn
b
a 。由Fn即可从斐波那契数列表或按F0
F1
1, Fn
Fn1
Fn2 (n
2, 3,
)
推算出相应的n。
3）确定试点并计算相应的函数值，在区间a, b内的两个试点：
x2
a
Fn1 Fn
(b
a),
x1
b
Fn1 Fn
(b
a),
f1 f (x1),
f2 f (x2 )
第三章 一维搜索方法
1.若f (a1) f (b1)，则取[a,b1]为缩短后的搜索区间； 2.若f (a1) f (b1)，则取[a1,b]为缩短后的搜索区间。
第三章 一维搜索方法
第二节 搜索区间的确定与区间消去法原理
间 接
假定在搜索区间[a, b]内取一点x, 并计算它的导数值 f '(x)，可能出现三种情况：
x2 a b x1, f2 f (x2 )
5）检查迭代终止条件：bn1 an1
，若满足，则输出最优解x*
1 (a b), 2
ห้องสมุดไป่ตู้
f*
f (x*)，
若不满足，则转入（4），继续进行迭代。
1. f (a1) f (b1)，由于函数的单峰性， 极小点一定在[a, b1 ]内； 2. f (a1) f (b1)，极小点一定在[a1,b]内； 3. f (a1) f (b1)，极小点一定在[a1,b1]内。
第三章 一维搜索方法
第二节 搜索区间的确定与区间消去法原理
直 接 法
假定在搜索区间[a,b]内任取两点a1和b1，且a1 b1， 并计算f (a1)和f (b1)，可能出现三种情况：
f (x1) f (x) f (x2)
机械优化设计3一维优化方法
2 F ( X ) x12 x2 8 x1 12 x2 52 如：
当
X
(0)
0 0 , S
T
(0)
1 1
T
0 1 X 0 1
则
2 F x12 x2 8 x1 12 x2 52 2 2 20 52
航空航天学院
第三章 一维搜索方法
1）确定初始搜索区间的进退算法；
2）黄金分割法；
3）牛顿法；
4）二次两点插值法；
5）三次两点插值法。
航空航天学院
§3.1
一) 目的
min f (X) X∈Rn
引言
求一组 n 维设计变量 X = [x1,x2 ,…,x n ]T, 使目标函数达到 即求目标函数的最优解：最优点 X* 和最优值 f (X*) 。
确定的搜索区间必定是一个
f (x) f (x)
0
含有最优点α*的单峰区间。
α1
α3 α
0
α1
α3
α
航空航天学院
三) 迭代步骤
给定x1、h0 h=h0
初始进退距
f
y1
y2
y3
y1=f(x1)、x2=x1+h、y2=f(x2) h= -h x3=x1 y3=y1 否 y1≥y2 是 h=2h
f
x1 x2 x3
d
航空航天学院
黄金分割常数用ω表示，我们常常取近似值，记作ω=0.618
怎样用黄金分割常数来缩小变量范围[a,b]，从而找到最佳点呢? 这是要解决的问题.
航空航天学院
把试点安排在黄金分割点来寻找最佳点的方法,就是 黄金分割法.
• 案例 炼钢时通过加入含有特定化学元素的材料,使 炼出来的钢满足一定的指标要求。假设为了炼出某 种特定用途的钢，每吨需要加入某些元素的重量在 1000g到2000g之间，问如何通过试验的方法找到它 的最优加入量。 最朴素的想法是:以1g为间隔,从1001开始,直到 1999,把1000g到2000g的所有情况都做一遍实验, 一定可以得到最优值.
当
X
(0)
0 0 , S
T
(0)
1 1
T
0 1 X 0 1
则
2 F x12 x2 8 x1 12 x2 52 2 2 20 52
航空航天学院
第三章 一维搜索方法
1）确定初始搜索区间的进退算法；
2）黄金分割法；
3）牛顿法；
4）二次两点插值法；
5）三次两点插值法。
航空航天学院
§3.1
一) 目的
min f (X) X∈Rn
引言
求一组 n 维设计变量 X = [x1,x2 ,…,x n ]T, 使目标函数达到 即求目标函数的最优解：最优点 X* 和最优值 f (X*) 。
确定的搜索区间必定是一个
f (x) f (x)
0
含有最优点α*的单峰区间。
α1
α3 α
0
α1
α3
α
航空航天学院
三) 迭代步骤
给定x1、h0 h=h0
初始进退距
f
y1
y2
y3
y1=f(x1)、x2=x1+h、y2=f(x2) h= -h x3=x1 y3=y1 否 y1≥y2 是 h=2h
f
x1 x2 x3
d
航空航天学院
黄金分割常数用ω表示，我们常常取近似值，记作ω=0.618
怎样用黄金分割常数来缩小变量范围[a,b]，从而找到最佳点呢? 这是要解决的问题.
航空航天学院
把试点安排在黄金分割点来寻找最佳点的方法,就是 黄金分割法.
• 案例 炼钢时通过加入含有特定化学元素的材料,使 炼出来的钢满足一定的指标要求。假设为了炼出某 种特定用途的钢，每吨需要加入某些元素的重量在 1000g到2000g之间，问如何通过试验的方法找到它 的最优加入量。 最朴素的想法是:以1g为间隔,从1001开始,直到 1999,把1000g到2000g的所有情况都做一遍实验, 一定可以得到最优值.
机械优化设计-第三章一维优化方法
23
机械优化设计
• 第四次缩小区间： 第四次缩小区间： • 令 x2=x1=0.764, , f2=f1=0.282 • x1=0.472+0.382*(0.944-0.472)=0.652, f1=0.223 • 由于f1<f2, 故新区间 由于f 故新区间[a,b]=[a, x2]=[0.472, 0.764] • 因为 b-a=0.764-0.472=0.292>0.2, 应继续缩小区间。 , 应继续缩小区间。 第五次缩小区间： 第五次缩小区间： f2=f1=0.223 令 x2=x1=0.652, x1=0.472+0.382*(0.764-0.472)=0.584, f1=0.262 由于f 故新区间[a,b]=[x1,b]=[0.584, 0.764] 由于f1>f2, 故新区间 因为 b-a=0.764-0.584=0.18<0.2, 停止迭代。 程序演示 , 停止迭代。 极小点与极小值： 极小点与极小值： x*=0.5*(0.584+0.764)=0.674,
x2 = a + 0.618(b − a), y2 = f ( x2 )
f
b = x2 , x2 = x1, y2 = y1
x1 = a + 0.382(b − a), y1 = f ( x1 )
y1 < y2
否
是
y1 y2
x
b
a = x1 , x1 = x2 , y1 = y2
x2 = a + 0.618(b − a), y2 = f ( x2 )
7
机械优化设计
h0
x2
机械优化设计
2.前进搜索 加大步长 h＝2 h ，产生新点x3= x2+ 2h0 ； （a）如y2<y3，则函数在[x1，x3]内 必有极小点，令a= x1，b= x3搜索 区间为[a，b] ； （b）如y2>y3， 令x1=x2 ，y1=y2 ； x2=x3 ，y2=y3 ； h=2h 重新构造新点x3=x2+h，并比较y2、 y3的大小，直到y2<y3。
机械优化设计
• 第四次缩小区间： 第四次缩小区间： • 令 x2=x1=0.764, , f2=f1=0.282 • x1=0.472+0.382*(0.944-0.472)=0.652, f1=0.223 • 由于f1<f2, 故新区间 由于f 故新区间[a,b]=[a, x2]=[0.472, 0.764] • 因为 b-a=0.764-0.472=0.292>0.2, 应继续缩小区间。 , 应继续缩小区间。 第五次缩小区间： 第五次缩小区间： f2=f1=0.223 令 x2=x1=0.652, x1=0.472+0.382*(0.764-0.472)=0.584, f1=0.262 由于f 故新区间[a,b]=[x1,b]=[0.584, 0.764] 由于f1>f2, 故新区间 因为 b-a=0.764-0.584=0.18<0.2, 停止迭代。 程序演示 , 停止迭代。 极小点与极小值： 极小点与极小值： x*=0.5*(0.584+0.764)=0.674,
x2 = a + 0.618(b − a), y2 = f ( x2 )
f
b = x2 , x2 = x1, y2 = y1
x1 = a + 0.382(b − a), y1 = f ( x1 )
y1 < y2
否
是
y1 y2
x
b
a = x1 , x1 = x2 , y1 = y2
x2 = a + 0.618(b − a), y2 = f ( x2 )
7
机械优化设计
h0
x2
机械优化设计
2.前进搜索 加大步长 h＝2 h ，产生新点x3= x2+ 2h0 ； （a）如y2<y3，则函数在[x1，x3]内 必有极小点，令a= x1，b= x3搜索 区间为[a，b] ； （b）如y2>y3， 令x1=x2 ，y1=y2 ； x2=x3 ，y2=y3 ； h=2h 重新构造新点x3=x2+h，并比较y2、 y3的大小，直到y2<y3。
第三章一维优化方法
p( x )
f ( x)
P3 P2
x
*( k 1) P
*(1) fP
k) x* x*( P
a x1
x2 x1
x *(1) P x2
x3 b x3
25
26
在流程图中有两个判别框的内容需稍加说明。其一是c2=0？若成 立，即：
或写作
这说明三个插值结点P1(x1，f1)、P2(x2，f2)、P3(x3，f3)在同一条直 线上；其二是 * * ( xP -x1)(x3- xP )≤0？ (3.14) * 若成立，则说明 xP 落在区间[x1，x3]之外。
x2 x * p
f 2 f p*
x2 x
* p
f 2 f p*
x2 x * p
f 2 f p*
23
区间的缩短程序框图
24
三、终止准则
x , x , ..., x
x
*( k ) P
P 1
*(1) P
*(2) P
*( k 1) P
, x , ... x
*( k ) P
*
9
3.2 一维搜索的最优化方法
3.2.1 格点法
在区间[a，b]的内部取n个 内等分点： x1，x2，…，xn 区间[a，b]被分成(n+1)等 分，各分点的坐标为:
xk a ba k n 1
f ( x)
逐渐缩小搜索区间
新区间
k 1,2,..., n
o a x1 x2
ym 1 ym
2 2 2 2 ( x2 x3 ) f1 ( x3 x12 ) f 2 ( x12 x2 ) f3 B ( x1 x2 )( x2 x3 )( x3 x1 )
第3章 一维最优化
一维最优化问题： 一维最优化问题：
min s .t .
f ( x) x∈ R
极值点的必要条件： 极值点的必要条件：
f '( x ) = 0
二、 确定搜索区间的方法— 进退法
实际问题 数学模型 数值计算方法
程序设计
上机计算求出结果
数值解法： 数值解法：利用计算机通过反复迭代计 求得实际问题的近似值。 算，求得实际问题的近似值。
[a, b]称为ϕ ( x)的单谷区间。
显然此时x ∗为ϕ ( x)在[a, b]上唯一的极小点。
☺问题：凸函数是不是单谷函数？严格凸函数是 问题：凸函数是不是单谷函数？ 不是单谷函数？单谷函数是不是凸函数？ 不是单谷函数？单谷函数是不是凸函数？
搜索法求解： 搜索法求解： min ϕ (t)
t≥ 0
否
b − x1 ≤ ε
停止，输出 停止，输出x2 是
是
否
停止，输出 停止，输出x1 以[a,x2]为新的搜索区间 为新的搜索区间
三、黄金分割法
f ( a ) = a 2 − 7a + 10 的初始区间， 的初始区间， 例1：用黄金分割法求
设初始点 。= 1 a，初始步长 h 0 = 0 用进退法确定初始区间： 解：用进退法确定初始区间：
ϕ ( x1 )
x1 x2
3
x
2) 第二轮： 第二轮： x2=1.146, x1=0.708
ϕ
ϕ ( x1 ) = −0.0611 ϕ ( x2 ) = 0.2131
x2-0=1.146>0.5 3) 第三轮： 第三轮： x1=0.438, x2=0.708 0
x1 x2
1.854
x
ϕ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在搜索区间[a,b]内适当插入两点x1,x2 ， 并计算其函数值。 x1,x2 将区间分为三段，通 过比较函数值的大小，删除其中的一段，使搜 索区间缩短。然后再在保留下来的区间上作同 样处理，如此迭代下去，使搜索区间无限缩小， 从而得到极小点的近似值。
插入点x1,x2的位置相对于区间[a,b]两 端点有对称性要求，即
第三章-一维优化方法
一维搜索方法概述
x2 (k)S(k)
S(k)
x(k+1) x(k)
x*
F(x(k))
o
F(x(k+1))
x1
二维优化第三章问-一题维优化中方法的一维搜索
初始搜索区间的确定
在一维搜索时，需要确定一个搜索区间[a,b]，
此区间必须包含函数的极小点 x*，因此搜索区间 必须是单峰区间，即该区间内的函数值呈现
有（1- ）/ = 故：1- = 2 2 + -1=0
由此可得： =0.618
黄金分割法可使相邻两次搜索区间都具有相同 的缩短率0.618。
x1=a+ 0.382(b-a) x2=a+ 0.618(b-a)
第三章-一维优化方法
第三章-一维优化方法
格点法
一、格点法的原理
设一维函数为f(x)，搜索区间为[a,b]，一维收敛
精度为。
在区间[a,b]的内部取n个等分点： x1 , x2 , … ,
xn。x区1间被a分为b nn +a11等k分，(个k分点1坐,标2为,...,n)
对应各点的函数值为y1 , y2 , … , yn。比较其大小，取 最小者ym=min{yk , k=1,2,…,n}，则在区间[x m-1 , x m+1]内必包含极小点，取[x m-1 , xm+1]为缩短后新 区间，若新区间满足收敛条件x m+1- x m+1 ，则最 优解为x* xm ， y* ym
2、若y2>y3，则继续后退搜索，各点变换 如下： x1 x2 ，y1 y2
x2 x3 ，y2 y3 然后步长加倍，取新点x3，重复上述比较y2与 y3的大小，直至出现y1> y2<y3时，令a x3， b x1，从而构成搜索区间[a,b]
第三章-一维优化方法
四、进退法确定搜索区间的流程图
第三章-一维优化方法
第三章-一维优化方法
黄金分割法
除对称性要求外，保留的区间内再插入一 点所形成的区间新三段，与原来区间的三段应 具有相同的比例分布。设原区间长度为l如图
3.8所示，保留区间长度为，区间缩短率为 。
进行第二次缩短时，新点为x3 ,设y1>f(x3)则 新区间为[a,x1]为保持相同的区间缩短率，应
一维优化方法
• 一维搜索方法概述 • 初始搜索区间的确定 • 一维搜索的最优化方法
1、格点法 2、黄金分割法 3、二次插值法 教学要求：
1、掌握初始搜索区间的确定方法 2、掌握黄金分割法 3、掌握二次插值法
第三章-一维优化方法
一维搜索方法概述
在优化设计的迭代运算中，在搜索方向
s(k)上寻求最优步长 (k) 的方法称一维搜索法。
1、若y2<y3，则有y1> y2<y3，此时函数 f(x)在[x1,x3]必有极小点，故令a x1，b x3，从而构成搜索区间[a,b]
2、若y2>y3，则继续前进搜索，各点变换 如下： x1 x2 ，y1 y2
x2 x3 ，y2 y3 然后步长加倍，取新点x3，重复上述比较y2与 y3的大小，直至出现y1> y2<y3时，令a x1， b x3，从而构成搜索区间[a,b]
第三章-一维优化方法
第三章-一维优化方法
一维搜索的最优化方法
在确定了搜索区间以后，一维优化的任务 是采用某种方法将此区间逐步缩小，在满足收 敛精度或迭代精度的情况下，使其达到包含极 小点的一个很小的邻域，以取得一个近似的最 优点。
一维优化的方法有如下几种： 1、格点法 2、黄金分割法 3、二次插值法
“高-低-高”的趋势。如图所示，通过将搜索 区间[a,b]逐渐缩小，直至足够小，就可以得到近似
最优点。
第三章-一维优化方法
确定初始搜索区间的进退法
一、试探搜索极小点位置
设函数为 y=f(x) ,给定初始点为x1 ，选定 的初始步长为h0。
由初始点x1沿x轴正向取x2点，x2=x1+h0， 计算x1 、x2的函数值y1 、y2 ，比较y1 、y2 的
若不能满足精度要求，把当前区间作为初始搜索区间， 重复上述步骤直至满足精度为止。
第三章-一维优化方法
格点法
y1
新区间
yn
ym-1
ym
ym+1
a x1
xm-1 xm
xm+1
xn b
格点法的区间缩短 第三章-一ቤተ መጻሕፍቲ ባይዱ优化方法
格点法流程图
第三章-一维优化方法
黄金分割法
黄金分割法适用于[a,b]区间上的任何单 峰函数求极小值问题。对函数除要求单峰外不 作其它要求，甚至可以不连续。因此，这种方 法的适应面相当广。 一、黄金分割法的原理
第三章-一维优化方法
确定初始搜索区间的进退法
三、后退搜索
令h -h0，并将x1与 x2对调，使步长加 倍h2h，取得x3点，x3 x2+h，其函数值 y3与y2比较有如下情况：
1、若y2<y3，则有y1> y2<y3，此时函数 f(x)在[x3,x1]必有极小点，故令a x3，b x1，从而构成搜索区间[a,b]
大小，则极小点的位置有如图所示两种情况
1、若y2 <y1 ，则极小点位于x1点右方，
应继续前进搜索。
2、若y2>y1 ，则极小点位于x1点左方，
应反向后退搜索。
第三章-一维优化方法
确定初始搜索区间的进退法
第三章-一维优化方法
确定初始搜索区间的进退法
二、前进搜索
令h h0，并使步长加倍h2h，取得前 进方向的x3点，x3 x2+h=x2+2h0，其函 数值y3与y2比较有如下情况：
实际上一维搜索法就是一元函数极小化的数值 迭代算法，其求解过程称为一维搜索。
一维搜索法是非线性优化方法的基本算法， 多元函数的迭代算法都可以归结为在一系列逐 步产生的下降方向上的一维搜索。例如：下图 所示的二维优化的例子。
注意：二维优化问题的一维搜索方向s(k)
是由具体的优化方法决定的，迭代公式
x(k+1)=x(k)+(k)s(k) 因此，二维优化问题min f(x1, x2)就可以表示 为一维优化问题min f( )
插入点x1,x2的位置相对于区间[a,b]两 端点有对称性要求，即
第三章-一维优化方法
一维搜索方法概述
x2 (k)S(k)
S(k)
x(k+1) x(k)
x*
F(x(k))
o
F(x(k+1))
x1
二维优化第三章问-一题维优化中方法的一维搜索
初始搜索区间的确定
在一维搜索时，需要确定一个搜索区间[a,b]，
此区间必须包含函数的极小点 x*，因此搜索区间 必须是单峰区间，即该区间内的函数值呈现
有（1- ）/ = 故：1- = 2 2 + -1=0
由此可得： =0.618
黄金分割法可使相邻两次搜索区间都具有相同 的缩短率0.618。
x1=a+ 0.382(b-a) x2=a+ 0.618(b-a)
第三章-一维优化方法
第三章-一维优化方法
格点法
一、格点法的原理
设一维函数为f(x)，搜索区间为[a,b]，一维收敛
精度为。
在区间[a,b]的内部取n个等分点： x1 , x2 , … ,
xn。x区1间被a分为b nn +a11等k分，(个k分点1坐,标2为,...,n)
对应各点的函数值为y1 , y2 , … , yn。比较其大小，取 最小者ym=min{yk , k=1,2,…,n}，则在区间[x m-1 , x m+1]内必包含极小点，取[x m-1 , xm+1]为缩短后新 区间，若新区间满足收敛条件x m+1- x m+1 ，则最 优解为x* xm ， y* ym
2、若y2>y3，则继续后退搜索，各点变换 如下： x1 x2 ，y1 y2
x2 x3 ，y2 y3 然后步长加倍，取新点x3，重复上述比较y2与 y3的大小，直至出现y1> y2<y3时，令a x3， b x1，从而构成搜索区间[a,b]
第三章-一维优化方法
四、进退法确定搜索区间的流程图
第三章-一维优化方法
第三章-一维优化方法
黄金分割法
除对称性要求外，保留的区间内再插入一 点所形成的区间新三段，与原来区间的三段应 具有相同的比例分布。设原区间长度为l如图
3.8所示，保留区间长度为，区间缩短率为 。
进行第二次缩短时，新点为x3 ,设y1>f(x3)则 新区间为[a,x1]为保持相同的区间缩短率，应
一维优化方法
• 一维搜索方法概述 • 初始搜索区间的确定 • 一维搜索的最优化方法
1、格点法 2、黄金分割法 3、二次插值法 教学要求：
1、掌握初始搜索区间的确定方法 2、掌握黄金分割法 3、掌握二次插值法
第三章-一维优化方法
一维搜索方法概述
在优化设计的迭代运算中，在搜索方向
s(k)上寻求最优步长 (k) 的方法称一维搜索法。
1、若y2<y3，则有y1> y2<y3，此时函数 f(x)在[x1,x3]必有极小点，故令a x1，b x3，从而构成搜索区间[a,b]
2、若y2>y3，则继续前进搜索，各点变换 如下： x1 x2 ，y1 y2
x2 x3 ，y2 y3 然后步长加倍，取新点x3，重复上述比较y2与 y3的大小，直至出现y1> y2<y3时，令a x1， b x3，从而构成搜索区间[a,b]
第三章-一维优化方法
第三章-一维优化方法
一维搜索的最优化方法
在确定了搜索区间以后，一维优化的任务 是采用某种方法将此区间逐步缩小，在满足收 敛精度或迭代精度的情况下，使其达到包含极 小点的一个很小的邻域，以取得一个近似的最 优点。
一维优化的方法有如下几种： 1、格点法 2、黄金分割法 3、二次插值法
“高-低-高”的趋势。如图所示，通过将搜索 区间[a,b]逐渐缩小，直至足够小，就可以得到近似
最优点。
第三章-一维优化方法
确定初始搜索区间的进退法
一、试探搜索极小点位置
设函数为 y=f(x) ,给定初始点为x1 ，选定 的初始步长为h0。
由初始点x1沿x轴正向取x2点，x2=x1+h0， 计算x1 、x2的函数值y1 、y2 ，比较y1 、y2 的
若不能满足精度要求，把当前区间作为初始搜索区间， 重复上述步骤直至满足精度为止。
第三章-一维优化方法
格点法
y1
新区间
yn
ym-1
ym
ym+1
a x1
xm-1 xm
xm+1
xn b
格点法的区间缩短 第三章-一ቤተ መጻሕፍቲ ባይዱ优化方法
格点法流程图
第三章-一维优化方法
黄金分割法
黄金分割法适用于[a,b]区间上的任何单 峰函数求极小值问题。对函数除要求单峰外不 作其它要求，甚至可以不连续。因此，这种方 法的适应面相当广。 一、黄金分割法的原理
第三章-一维优化方法
确定初始搜索区间的进退法
三、后退搜索
令h -h0，并将x1与 x2对调，使步长加 倍h2h，取得x3点，x3 x2+h，其函数值 y3与y2比较有如下情况：
1、若y2<y3，则有y1> y2<y3，此时函数 f(x)在[x3,x1]必有极小点，故令a x3，b x1，从而构成搜索区间[a,b]
大小，则极小点的位置有如图所示两种情况
1、若y2 <y1 ，则极小点位于x1点右方，
应继续前进搜索。
2、若y2>y1 ，则极小点位于x1点左方，
应反向后退搜索。
第三章-一维优化方法
确定初始搜索区间的进退法
第三章-一维优化方法
确定初始搜索区间的进退法
二、前进搜索
令h h0，并使步长加倍h2h，取得前 进方向的x3点，x3 x2+h=x2+2h0，其函 数值y3与y2比较有如下情况：
实际上一维搜索法就是一元函数极小化的数值 迭代算法，其求解过程称为一维搜索。
一维搜索法是非线性优化方法的基本算法， 多元函数的迭代算法都可以归结为在一系列逐 步产生的下降方向上的一维搜索。例如：下图 所示的二维优化的例子。
注意：二维优化问题的一维搜索方向s(k)
是由具体的优化方法决定的，迭代公式
x(k+1)=x(k)+(k)s(k) 因此，二维优化问题min f(x1, x2)就可以表示 为一维优化问题min f( )