最优化理论与算法 第9章 一维搜索
合集下载
最优化方法-一维搜索
优点：按Ｆ法确定插入点的位置，所需使用的观测点的个数最少． Ｆ数列各数所表示的物理意义： Fn ：插入n个点后可以缩短为单位长度为一的区间的最大长度．
按任务方式插入n个观测点后，剩下的搜索区间的长度不少于原初始长 度的1／ Fn
令缩短后的长度为Ｓ，有： Ｓ （b-a）/ Fn
• Ｆibonacci数列：
• ＝b- (b-a)=a+(1- )(b-a)
• =a+ (b-a)
•
• 2 0.618法算法
设
值
(t)是单谷函数，［ a
t
与精确极小点
t*
0的，最b大0 ］绝是对初误始差搜t索 区t * 间 ， 要求精确极小点近似
记：a= a0,b= b0 , =0.618.
(1) =a+(1- )(b-a), 1 = ()
进退算法的基本步骤：
（（（t0１ ２ ３点 回）））及升：：：，首若若t则0先［＋tt任t00h0＋＋选点，hh一t的点点n个函］的的初数就函 函始值是数 数点．一值 值个下 上t0搜降 升，索， ，初区继 则始间续 从步，前长t算进0h法点,，进停退直到止到到．t某0t个＋0 －ht，h0点并点．计的算函数值
4= a4 +( F0 / F2
b4
)(
=
b4
3 /a4
=2.5 , 4= 3 = 1.625
)=0.75+1/2*1.75=1.625
这时，
＝
4
，（因为已到k=3=n-2)
4
K=4, 因此
(5取5 =)a=0t5.41＝＝=410.,.6542（(5＝b,515).＋5=6=02a.550,47b+6）50,.＝1＝=2(1.b.05476)2255>＝2(.55 )
按任务方式插入n个观测点后，剩下的搜索区间的长度不少于原初始长 度的1／ Fn
令缩短后的长度为Ｓ，有： Ｓ （b-a）/ Fn
• Ｆibonacci数列：
• ＝b- (b-a)=a+(1- )(b-a)
• =a+ (b-a)
•
• 2 0.618法算法
设
值
(t)是单谷函数，［ a
t
与精确极小点
t*
0的，最b大0 ］绝是对初误始差搜t索 区t * 间 ， 要求精确极小点近似
记：a= a0,b= b0 , =0.618.
(1) =a+(1- )(b-a), 1 = ()
进退算法的基本步骤：
（（（t0１ ２ ３点 回）））及升：：：，首若若t则0先［＋tt任t00h0＋＋选点，hh一t的点点n个函］的的初数就函 函始值是数 数点．一值 值个下 上t0搜降 升，索， ，初区继 则始间续 从步，前长t算进0h法点,，进停退直到止到到．t某0t个＋0 －ht，h0点并点．计的算函数值
4= a4 +( F0 / F2
b4
)(
=
b4
3 /a4
=2.5 , 4= 3 = 1.625
)=0.75+1/2*1.75=1.625
这时，
＝
4
，（因为已到k=3=n-2)
4
K=4, 因此
(5取5 =)a=0t5.41＝＝=410.,.6542（(5＝b,515).＋5=6=02a.550,47b+6）50,.＝1＝=2(1.b.05476)2255>＝2(.55 )
3.3 一维搜索方法 (一维优化)
2 3
并令： h 2h
x3 x 2 h ，求 y3 f ( x3 )
重复上述步骤，直到函数值出现“高-低-高”为止。
4. 若在步骤2中，出现 y1 y 2 (图a虚线)，则应作后退运算: 令：h h0 置换：x3 x1 y 3 y1 ； x1 x2 y1 y2 ；x2 x3 y2 y3 再令：h 2h
2 2 2 2 ( x2 x3 ) f1 ( x3 x12 ) f 2 ( x12 x2 ) f 3 b ( x1 x2 )( x2 x3 )( x3 x1 )
教材中，c的表达式缺-号
c
( x3 x2 ) x2 x3 f1 ( x1 x3 ) x1 x3 f 2 ( x2 x1 ) x1 x2 f 3 ( x1 x2 )( x2 x3 )( x3 x1 )
入口
x
(0),ε
X
(1)=x(0)－f/x(0)/f//x(0)
∣f/x(1)∣≤ε 或∣x(1)－x(0)∣≤ε ?
x
(＊)：=x (1)
x
(0)：=x (1)
出口
4 3 2 例： 试用牛顿法求 f ( x) 1 x 2 x 2 x 7 x 8 4 3 值，已知探索区间为[a,b]=[3,4],ε=0.05。
4、牛顿法的特点 优点：收敛速度较快 缺点： 1）计算f’ 、f’’，计算工作量大。 2）用数值微分计算f’ 、f’’时，舍入误差会影响收敛速度。 3）x0与 x不能离太远，否则会发散或收敛于非极小点。 与0.618法比较： 0.618 法：1）收敛慢 2）对函数要求不严格 牛顿法正好相反。
5、牛顿法的框图
x3 x 2 h
3. 若 y 2 y1 ，应作前进运算(图a实线)：
并令： h 2h
x3 x 2 h ，求 y3 f ( x3 )
重复上述步骤，直到函数值出现“高-低-高”为止。
4. 若在步骤2中，出现 y1 y 2 (图a虚线)，则应作后退运算: 令：h h0 置换：x3 x1 y 3 y1 ； x1 x2 y1 y2 ；x2 x3 y2 y3 再令：h 2h
2 2 2 2 ( x2 x3 ) f1 ( x3 x12 ) f 2 ( x12 x2 ) f 3 b ( x1 x2 )( x2 x3 )( x3 x1 )
教材中，c的表达式缺-号
c
( x3 x2 ) x2 x3 f1 ( x1 x3 ) x1 x3 f 2 ( x2 x1 ) x1 x2 f 3 ( x1 x2 )( x2 x3 )( x3 x1 )
入口
x
(0),ε
X
(1)=x(0)－f/x(0)/f//x(0)
∣f/x(1)∣≤ε 或∣x(1)－x(0)∣≤ε ?
x
(＊)：=x (1)
x
(0)：=x (1)
出口
4 3 2 例： 试用牛顿法求 f ( x) 1 x 2 x 2 x 7 x 8 4 3 值，已知探索区间为[a,b]=[3,4],ε=0.05。
4、牛顿法的特点 优点：收敛速度较快 缺点： 1）计算f’ 、f’’，计算工作量大。 2）用数值微分计算f’ 、f’’时，舍入误差会影响收敛速度。 3）x0与 x不能离太远，否则会发散或收敛于非极小点。 与0.618法比较： 0.618 法：1）收敛慢 2）对函数要求不严格 牛顿法正好相反。
5、牛顿法的框图
x3 x 2 h
3. 若 y 2 y1 ，应作前进运算(图a实线)：
一维搜索的最优方法(黄金分割法)
( 1 )＝ ( 2 )＝0.264， f1＝－1.125
新点 ( 2 )＝a 0.618( b a )＝0.354, f 2＝f ( ( 2 ) ) ＝-1.103 (4) 比较函数值，缩短搜索区间 f1 f 2 a 0.118, b ( 2 ) 0.354 判断迭代终止条件: b - a 0.354 0.118 0.236 继续缩短
区间为[a, b] [－0. 5,0.5]，取迭代精度＝0.15。
解：(1) 在初始区间[a, b]内取点并计算函数值。
( 1 )＝b 0.618( b a )＝ 0.118, f1＝f ( ( 1 ) ) ＝－0.854 ( 2 )＝a 0.618( b a )＝0.118,
( 1 )＝b 0.618( b a ) ( 2 )＝a 0.618( b a )
计算f ( ( 1 ) )和f ( ( 2 ) )，令f ( ( 1 ) ) f1 , f ( ( 2 ) ) f 2
( 2 ) 比较函数值，缩小搜索区间 a. f1 f 2 ,则丢掉区间( ( 2 ) ,b ] 部分，取[ a , ( 2 ) ]为 新区间[ a1 , b1 ],在计算中作置换：
(2)+h (3)。计算（ ），令（ ） f3 f f
(3) (3)
(1) 若f 3 f1，则[a,b]=[(3) ,(2)]，停止计算。 (2) 若f 3 f1，则 2h h，(2) (1)，f 2 f1，
(3) (2)，f 3 f 2 (2) h (3)，计算（ ），令（ ） f3 , f f
h 2 1 2 1＝ 2＝1,
2＝ 3＝2 , 3＝ 2 h＝4
一维搜索-最优化方法
������2=0.538， ƒ2 = 1.751， ������1=������3+������������23 ������3 − ������3 =0.231
则ƒ2 = 1.822， ƒ1 > ƒ2，故得新区间为 [������4，������4]=[0.231， 0.846]
第五次迭代：
取������2=0.538， ƒ2 = 1.751， ������1=������2 − 0.1 ������4 − ������4 =0.477
问题3：按什么方式取点，求n次函数值之后多长的原始区间 缩短为最终区间长度为1？
• １：Ｆibonacci数列：
• F0 =1 ;
F1 = 1 ;
F 迭代公式：Fn2 ＝ Fn1 ＋ n
•
；n 非负整数
n
0
1
2
3
4
5
6
7
…..
1
1
23ຫໍສະໝຸດ 5813 21 …..
Fn
设Ln表示试点个数为n，最终区间长度为1时的原始区间[a ,b] 的最大可能的长度，现在找出Ln的一个上界。设最初的两个 试点为x1,x2,且且x1< x2 。如果极小点位于[a , x1]内，则我们 至多还有n-2个试点，因此x1-a≤Ln-2；如果极小点位于[x1 , b] 内，则包括x2在内还可以有n-1个试点，因此b- x1≦Ln-1。
t （１中）任若设取［两 (a点t,1b)］t1<是<单(tt2谷2) ，函，则数那搜么(索t有) 区的：间一可个缩已短知为搜*［索a区, 间t2］，.在［a,b］
( 2 ) 若 (t1 ) (t2 )，则搜索区间可缩短为［ t1，b］
3一维搜索
三点二次插值法（抛物线法）
利用函数在单谷区间中的三点1 2 3
P a0 a1 a2 2
P 1 a0 a11 a212 y1 f 1
2 P 2 a0 a1 2 a2 2 y2 f 2
牛顿法程序流程：
(1)给定x0、、，令x1 x0 (2)令x0 x1 f ' ( x 0) (3)计算x1 x0 f ' ' ( x 0) (4)判断是否 | f ' ( x1) | 或 1 x0 | |x (5)否，则转(2) (6)结束，结果为x x1
平分法
取具有极小点的单峰函数的搜索区间 a, b 的中点 a b 2 ，计算目标函数在该点的导数来 判断舍去的区间。（函数在极值点导数为零，在 其左侧为负、右侧为正）
格点法（全面搜索法）
插值法 （函数逼近法、曲线拟合法）
在某一确定区间内寻求函数的极小点位置， 可以根据某些点处的函数值，利用插值方法建立函 数的某种近似表达式，进而求出函数的极小点，并 用它作为原来函数极小点的近似值。
1 2 f பைடு நூலகம் f 0 f 0 0 f 0 0 2 1 0
f 0 f 0 1 0 0 f 0 1 0 f 0
f 1 f 2 f 1 1 2 a 解之，得： 1 2 1 2 f 1 f 2 f 1 1 2 1 2 a2 f 1 2 1 2
2 a1 1 f 1 1 2 p 1 2a2 2 f 1 f 2 f 1 1 2 f 1 1 2 1 f 1 f 2 2 f 1 1 2
最优化理论——精选推荐
最优化理论课程名称：最优化理论英文译名：Optimization Theory课程编码：070102X07适用专业：信息与计算科学课程类别：专业选修学时数：64 学分：4编写执笔人：余东明审定人：高仕龙编写日期：2005/04/15一、课程的性质、目的和任务最优化理论是现代应用数学的一个重要分支，是一门应用广泛、实用性强的学科。
它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找出最优方案。
通过最优化理论和方法的学习，使学生得到良好的数学训练，培养学生的抽象思维能力和解决实际问题的能力。
二、课程教学内容及教学基本要求：第一章概述（2学时）1、教学内容：学科简述，线性规划与非线性规划问题。
2、教学目的及要求：了解学科发展历程。
理解优化理论包含的内容。
掌握线性规划与非线性规划的定义，形式和性质。
第2 章凸集与凸函数（4学时）1、教学内容：凸集，凸函数。
2、教学目的及要求：了解本学科的研究内容、重要进展及发展趋势。
理解凸集、凸函数等基本概念，凸集，凸函数的几何意义。
掌握凸集、凸函数等基本概念，定理和判定理。
第3 章线性规划的基本性质（4学时）1、教学内容：标准形式及图解法，基本性质。
2、教学目的及要求：了解线性规划解的方法与计算机实现方法。
理解与线性规划有关的定理，性质。
掌握线性规划的性质，涉及相关的定理，计算方法。
第4章单纯形方法（6学时）1、教学内容：单纯形方法，两阶段法与大M法，退化情形，修正单纯形法，变量有界的情形，分解算法。
2、教学目的及要求：了解解的有效性和时间性。
理解变量有界的情形，分解算法。
掌握线性规划的基本性质、单纯形法、修正单纯形法，对偶理论等线性规划的基本理论和方法。
第5章对偶原理及灵敏度分析（6学时）1、教学内容：线性规划中的对偶理论，对偶单纯形法，原始—对偶算法，灵敏度分析。
2、教学目的及要求：了解对偶理论和灵敏度分析的作用和意义。
理解有关算法收敛性的理论。
掌握线性规划中的对偶理论，对偶单纯形法算法和原始—对偶算法，并能借助算法进行一些计算。
《一维搜索方法》课件
02
线性搜索
线性搜索的定义
线性搜索是一种基本的搜索算法，它 从列表的第一个元素开始，逐个检查 每个元素，直到找到目标元素或遍历 完整个列表。
在线性搜索过程中，我们假设列表中 的元素是按顺序排列的，并且我们不 知道目标元素的确切位置，只知道它 存在于列表中。
线性搜索的步骤
初始化
选择一个起始位置，通常为列表的第一个元素。
抛物线搜索的步骤
3. 比较中间元素与目标值
2. 计算当前区间的中间元 素。
1. 初始化当前搜索区间为 整个数组。
01
03 02
抛物线搜索的步骤
01 如果中间元素等于目标值，返回该位置。
02
如果目标值小于中间元素，将左半部分区 间作为新的当前区间。
03
如果目标值大于中间元素，将右半部分区 间作为新的当前区间。
04
4. 重复步骤2和3，直到找到目标值或当前 区间为空。
抛物线搜索的时间复杂度
最坏情况下，抛物线搜索的时间复杂度为O(n)，其中n为数 组长度。
平均情况下，由于每次比较都可以将搜索区间缩小一半，因 此时间复杂度为O(log n)。
THANKS
THANK YOU FOR YOUR WATCHING
的单峰函数。
一维搜索方法的重要性
解决实际问题
一维搜索方法广泛应用于各种实 际问题中，如参数优化、函数逼 近、插值等。
算法基础
一维搜索方法是许多算法的基础 ，如梯度下降法、牛顿法等都需 要用到一维搜索方法来寻找迭代 步长。
理论分析
一维搜索方法在数学分析中也有 重要应用，如中值定理、单调函 数性质等都需要用到一维搜索方 法。
常用的一维搜索方法
线性搜索
优化 一维搜索
四.一维搜索的分类
1.精确一维搜索 • 二分法，黄金分割法，Fibonacci法（分数法），割线法 成功失败法——不用函数导数的方法 • 牛顿法，插值法（抛物线法，三次插值法）——需要用到 函数导数 2.不精确一维搜索 常用的不精确一维搜索算法包括利用简单准则的后退 方法、经典的Armijo．Goldstein方法、Wolfe-Powell方 法和强Wolfe-Powell方法、以及其后发展起来的利CurryAltman步长律、改进的Curry-Altman步长律、DanilinPshenichuyi步长律、De Leone-G-rippo步长律 Backtracking步长律等的各种方法。
• 有关一维搜索算法的研究历史悠久，研究成果十分丰富。
• 一维搜索既可独立的用于求解单变量最优化问题，同时又 是求解多变量最优化问题常用的手段，虽然求解单变量最 优化问题相对比较简单，但其中也贯穿了求解最优化问题 的基本思想。由于一维搜索的使用频率较高，因此努力提 高求解单变量问题算法的计算效率具有重要的实际意义。
（3）产生新的探测点a3＝a1＋h，y3＝f(a3); （4）比较函数值 y2与y3： （a）如y2<y3, 则初始区间得到； h>0时，[a,b]=[a1,a3];
h<0时，[a,b]=[a3,a1];
（b）如y2>y3, 加大步长 h＝2 h ，a1=a2, a2=a3,转（3）继 续探测。
确定初始单谷区间进退法示意图
3）抛物线法也可称作三点二次插值法，其基本思想与下面 要叙述的牛顿法相同，也是用二次函数近似目标函数，并以 其极小点去近似目标函数的极小点，不同之处是牛顿法是利 用目标函数f(x)在x0 处的二阶Taylor展式来逼近f(x)，而抛 x 物线法则是利用目标函数f(x)在三个点x0 , x1 , 2 处的函数 值构造一个二次函数作为其近似。一般地，抛物线法并不能 保证算法一定收敛，迭代过程中有可能会出现相邻迭代点xk ， xk 1 充分接近,且 xk 1 ，并非函数近似极小点的退化隋况。
一维搜索-最优化方法
∈( a , b ) ; （2） ������1 = ������0 - Ψ’(������0) / Ψ’’(������0) ; （3）若 | Ψ’(������0) | ≤ ε ， 输出 ������0 ，计算停
止 ； 否则 ， ������0 = ������1 ，转（2） 。
例题：用切线法求Ψ(t) =������2-5t+2 , 在定义域 t ∈ ( 0 , 10 ) 上的极小点 ， 要求 ε = 0.2 。
切线法（Newton法）
设Ψ(t)是区间(a , b)上的二次可微的单谷函数，������∗ 是 Ψ(t) 在 (a , b)上的极小值点， ������������ 是 ������∗ 的一个近似点。 目标 函数Ψ(t) 的一阶导数为������ = Ψ’(t) ，过点 (������������, Ψ’(������������) ) 作导函数 Ψ’(t) 的图像的切线，则此切线的方程为
在实践工作中，应根据问题的具体特点以及工作条 件来选用相应的合适算法。不过，从以往的实践中 来看，0.618法和对分法使用的更多一些。
可望达到上述的最小值，
所以有 c-a = b-c ， 即 c = 0.5(b-a)
对分法的步骤
设单谷函数 Ψ（t）存在导函数Ψ’（t），极小值点的初始搜索 区间为(a。，b。），要求极小值点的近似值 ������ҧ 与精确极小值 点 t* 的最大绝对误差 ������ − ������ ∗ ҧ 不超过 ε 。
⑴ 令 a=a。 , b=b。;
⑵ 令 c = 0.5(b-a)，计算Ψ’(c);
⑶ 若 Ψ’(c)ຫໍສະໝຸດ <0 ，令 a=c , 转到⑷
若 Ψ’(c)>0 ，令 b=c ，转到⑷
止 ； 否则 ， ������0 = ������1 ，转（2） 。
例题：用切线法求Ψ(t) =������2-5t+2 , 在定义域 t ∈ ( 0 , 10 ) 上的极小点 ， 要求 ε = 0.2 。
切线法（Newton法）
设Ψ(t)是区间(a , b)上的二次可微的单谷函数，������∗ 是 Ψ(t) 在 (a , b)上的极小值点， ������������ 是 ������∗ 的一个近似点。 目标 函数Ψ(t) 的一阶导数为������ = Ψ’(t) ，过点 (������������, Ψ’(������������) ) 作导函数 Ψ’(t) 的图像的切线，则此切线的方程为
在实践工作中，应根据问题的具体特点以及工作条 件来选用相应的合适算法。不过，从以往的实践中 来看，0.618法和对分法使用的更多一些。
可望达到上述的最小值，
所以有 c-a = b-c ， 即 c = 0.5(b-a)
对分法的步骤
设单谷函数 Ψ（t）存在导函数Ψ’（t），极小值点的初始搜索 区间为(a。，b。），要求极小值点的近似值 ������ҧ 与精确极小值 点 t* 的最大绝对误差 ������ − ������ ∗ ҧ 不超过 ε 。
⑴ 令 a=a。 , b=b。;
⑵ 令 c = 0.5(b-a)，计算Ψ’(c);
⑶ 若 Ψ’(c)ຫໍສະໝຸດ <0 ，令 a=c , 转到⑷
若 Ψ’(c)>0 ，令 b=c ，转到⑷
第九章一维搜索
第九章一维搜索第九章一维搜索本章开始研究非线性规划的具体算法。
本章首先讨论一维搜索问题，又称为线搜索问题，这是以后各章中介绍的各种计算过程中的重要组成部分。
§1 一维搜索概念考虑非线性规划问题：min ().. f s t S∈x x (NP)的一维搜索问题，其中约束集nS X R ??，目标函数:f X R →。
1.1 一维搜索问题来源根据第八章中求解(NP)的基本下降算法的步骤知，已知迭代点k x 和满足条件()0k T k f ?<="" bdsfid="75" p="" s="">的搜索方向ks 后，要求步长k λ>0，使kkS λ+∈x s ，并且()()k k k k f f λ+<="" bdsfid="81" p="" s="" x="">这就是一维搜索问题，又称为线搜索问题。
这时若对所有0λ>，有kkS λ+∈x s ，则称为无限制一维搜索问题(如nS R =时)，否则称为有限制一维搜索问题。
记()()kkf ?λλ=+x s ，则一维搜索问题(1.1.2)等价于确定步长{0|}k kk S λλλ∈≥+∈x s ，使()(0)k ?λ?< (1.1.3)条件(1.1.1)等价于(0)0?'<。
我们称1()()(0)()kk k k D f f ??λ+=-=-x x 为下降量。
1.2 一维搜索分类一维搜索方法可以分成以下三类：1．简单一维搜索，即取k λ=1。
这种方法计算简便，但不一定满足下降条件(1.1.3)。
2．最优一维搜索，即取arg min ()()k k k k k Sf λλ?λλ+∈==+x s x s ，这时称k λ为最优步长。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
单峰函数具有一些很有用的性质:如果f是[a,b] 上单峰函数,则可通过计算此区间内两不同点 的函数值,就能确定一个包含极小点的子区间, 从而缩小了搜索区间.
2020/12/20
最优化理论
9
9. 一维搜索-试探法3
Th9.2.1 设f 是区间[a,b]上的单峰函数, x(1), x(2) [a,b]. 且x(1) x(2) ,则 (1)若f (x(1) ) f (x(2) ),则x [a, x(1) ], f (x) f (x(2) ) (2)若f (x(1) ) f (x(2) ),则x [x(2),b], f (x) f (x(1) ),
•9.2.1, 0.618法
Df 9.2.1设f 是定义在闭区间[a,b] 上的一元实函数, x是f 在[a,b]上 的极小点,且对x(1) , x(2) [a,b], x(1) x(2) ,有
当x(2) x时f (x(1) ) f (x(2) ) 当x x(1)时f (x(1) ) f (x(2) )
证 : 设序列{x(k)}和{d (k)}满足
(x(k ) , d (k ) ) (x, d ); y(k ) y, y(k ) M (x(k ) , d (k ) )
下证 y M (x, d ) , 注意到,对每个k,k 0 , 使
y(k ) x(k ) k d (k )
(9.1.5)
2020/12/20
最优化理论
11
9. 一维搜索-试探法5
0.618法的基本思想:通过取试探点使包含极小点的 区间(不确定区间)不断缩小,当区间长度小到一定 程度时,区间上各点的函数值均接近极小值,此时 该区间内任一点都可以作为极小点的近似值.
设 ( )是搜索区间[a1,b1]上的单峰函数.设在第k次迭代时 搜索区间为[ak ,bk ].取两个试探点k , k [ak ,bk ],k k . 计算(k )和(k ),根据Th1: (1),若(k ) (k ),令ak1 ak ,bk1 k , (2.1) (2),若(k ) (k ),令ak1 k ,bk1 bk , (2.2)
f ( y(k ) ) f (x(k ) k d (k ) )
(9.1.9)
由于f 连续,令k ,则由(9.1.9)得
f ( y) f (x d)
故 f (x d ) min f (x d ) 0
即知 y M (x, d )
2020/12/20
最优化理论
7
9. 一维搜索-试探法1
的极小点.
(9.1.2)
设()的极小点为k ,称k为沿方向d (k)的步长因子
于是f (x)在直线L上的极小点为
x(k1) x(k ) k d (k )
(9.1.3)
2020/12/20
最优化理论
4
9. 一维搜索-概念3
{ 一维
搜索
试探法 函数逼近法/插值法
• 一维搜索算法的闭性பைடு நூலகம்
假设一维搜索是以x为起点,沿方向为d的进行的, 并定义为算法映射M
由d 0,当k充分大时,必有d (k) 0,于是由(9.1.5)
y(k) x(k)
k
d (k)
(9.1.6)
2020/12/20
最优化理论
6
9. 一维搜索-概念5
令k ,则k
yx d
(9.1.7)
(9.1.5)中令k 并注意到(9.1.7),有
y xd
(9.1.8)
根据M的定义,对每个k及k 0 ,有
2020/12/20
最优化理论
10
9. 一维搜索-试探法4
证明:仅证(1),反证,如若不然,存在点x*[a, x(1)],使 f (x*) f (x(2) )
显然x(1)不是极小点.此时要么极小点x [a, x(1) ]
要么x [x(1) ,b].
若x [a, x(1) ],则f (x(1) ) f (x(2) ),矛盾.
最优化理论与算法
§9， 一维搜索
2020/12/20
最优化理论
1
第九章 一维搜索
• 一维搜索的基本概念 • 试探法 • 函数逼近法
2020/12/20
最优化理论
2
9. 一维搜索-概念1
9.1 一维搜索概念
最优化方法的基本结构：
给定初始点x0
(a) 确定搜索方向dk，即按照一定规则，构造f在xk点处的下降
Df 9.1.1 算法映射M : Rn Rn Rn定义为
M (x,d ) {y | y x d, 满足
2020/12/20
f (x d ) min f (x d )} 0 最优化理论
(9.1.4)
5
9. 一维搜索-概念4
Th9.1.1 设f是定义在Rn的连续函数,d0,则(9.1.4) 定义的算法映射M在(x,d)处是闭的
方向 作为搜索方向;
(b)确定步长因子k，使目标函数值有某种意义下的下降;
(c)令
xk+1 = xk +kdk
若xk+1满足某种终止条件 则停止迭代，得到近似最优解xk+1，
否则，重复上述步骤。
注意到上述迭代算法中,当方向确定后,涉及到求一个
步长k ,使得目标函数值减小(极小化问题),这就是在一
直线上求目标函数的极小点,即极小化f (xk kdk ).这称
若x [x(1) , b],则f (x*) f (x(1) ) f (x(2) ),矛盾.
根据以上定理,只需选择两个点就可缩短包含极小点的
区间: (1)若f (x(1) ) f (x(2) ),则极小点x [x(1), b];
(2)若f (x(1) ) f (x(2) ),则极小点x [a, x(2) ].
为 对变量的一维搜索问题,或称为线搜索.
2020/12/20
最优化理论
3
9. 一维搜索-概念2
设目标函数为f (x),过点x(k)沿方向d (k)的直线可用点集 来表示:
L {x | x x(k) d (k),- } (9.1.1)
求f (x)在直线L上的极小点就转化为求
() f (x(k) d (k) )
则称f 是在闭区间[a,b]上的单峰函数.
2020/12/20
最优化理论
8
9. 一维搜索-试探法2
单峰函数的一个等价定义：
设f : R R,[a, b] R,若*[a, b]，使得f ( x)在 [a, *]上严格递减,在[*, b]上严格递增,则称[a, b] 是函数f ( x)的单峰区间, f ( x)是[a, b]上的单峰函数.
2020/12/20
最优化理论
9
9. 一维搜索-试探法3
Th9.2.1 设f 是区间[a,b]上的单峰函数, x(1), x(2) [a,b]. 且x(1) x(2) ,则 (1)若f (x(1) ) f (x(2) ),则x [a, x(1) ], f (x) f (x(2) ) (2)若f (x(1) ) f (x(2) ),则x [x(2),b], f (x) f (x(1) ),
•9.2.1, 0.618法
Df 9.2.1设f 是定义在闭区间[a,b] 上的一元实函数, x是f 在[a,b]上 的极小点,且对x(1) , x(2) [a,b], x(1) x(2) ,有
当x(2) x时f (x(1) ) f (x(2) ) 当x x(1)时f (x(1) ) f (x(2) )
证 : 设序列{x(k)}和{d (k)}满足
(x(k ) , d (k ) ) (x, d ); y(k ) y, y(k ) M (x(k ) , d (k ) )
下证 y M (x, d ) , 注意到,对每个k,k 0 , 使
y(k ) x(k ) k d (k )
(9.1.5)
2020/12/20
最优化理论
11
9. 一维搜索-试探法5
0.618法的基本思想:通过取试探点使包含极小点的 区间(不确定区间)不断缩小,当区间长度小到一定 程度时,区间上各点的函数值均接近极小值,此时 该区间内任一点都可以作为极小点的近似值.
设 ( )是搜索区间[a1,b1]上的单峰函数.设在第k次迭代时 搜索区间为[ak ,bk ].取两个试探点k , k [ak ,bk ],k k . 计算(k )和(k ),根据Th1: (1),若(k ) (k ),令ak1 ak ,bk1 k , (2.1) (2),若(k ) (k ),令ak1 k ,bk1 bk , (2.2)
f ( y(k ) ) f (x(k ) k d (k ) )
(9.1.9)
由于f 连续,令k ,则由(9.1.9)得
f ( y) f (x d)
故 f (x d ) min f (x d ) 0
即知 y M (x, d )
2020/12/20
最优化理论
7
9. 一维搜索-试探法1
的极小点.
(9.1.2)
设()的极小点为k ,称k为沿方向d (k)的步长因子
于是f (x)在直线L上的极小点为
x(k1) x(k ) k d (k )
(9.1.3)
2020/12/20
最优化理论
4
9. 一维搜索-概念3
{ 一维
搜索
试探法 函数逼近法/插值法
• 一维搜索算法的闭性பைடு நூலகம்
假设一维搜索是以x为起点,沿方向为d的进行的, 并定义为算法映射M
由d 0,当k充分大时,必有d (k) 0,于是由(9.1.5)
y(k) x(k)
k
d (k)
(9.1.6)
2020/12/20
最优化理论
6
9. 一维搜索-概念5
令k ,则k
yx d
(9.1.7)
(9.1.5)中令k 并注意到(9.1.7),有
y xd
(9.1.8)
根据M的定义,对每个k及k 0 ,有
2020/12/20
最优化理论
10
9. 一维搜索-试探法4
证明:仅证(1),反证,如若不然,存在点x*[a, x(1)],使 f (x*) f (x(2) )
显然x(1)不是极小点.此时要么极小点x [a, x(1) ]
要么x [x(1) ,b].
若x [a, x(1) ],则f (x(1) ) f (x(2) ),矛盾.
最优化理论与算法
§9， 一维搜索
2020/12/20
最优化理论
1
第九章 一维搜索
• 一维搜索的基本概念 • 试探法 • 函数逼近法
2020/12/20
最优化理论
2
9. 一维搜索-概念1
9.1 一维搜索概念
最优化方法的基本结构：
给定初始点x0
(a) 确定搜索方向dk，即按照一定规则，构造f在xk点处的下降
Df 9.1.1 算法映射M : Rn Rn Rn定义为
M (x,d ) {y | y x d, 满足
2020/12/20
f (x d ) min f (x d )} 0 最优化理论
(9.1.4)
5
9. 一维搜索-概念4
Th9.1.1 设f是定义在Rn的连续函数,d0,则(9.1.4) 定义的算法映射M在(x,d)处是闭的
方向 作为搜索方向;
(b)确定步长因子k，使目标函数值有某种意义下的下降;
(c)令
xk+1 = xk +kdk
若xk+1满足某种终止条件 则停止迭代，得到近似最优解xk+1，
否则，重复上述步骤。
注意到上述迭代算法中,当方向确定后,涉及到求一个
步长k ,使得目标函数值减小(极小化问题),这就是在一
直线上求目标函数的极小点,即极小化f (xk kdk ).这称
若x [x(1) , b],则f (x*) f (x(1) ) f (x(2) ),矛盾.
根据以上定理,只需选择两个点就可缩短包含极小点的
区间: (1)若f (x(1) ) f (x(2) ),则极小点x [x(1), b];
(2)若f (x(1) ) f (x(2) ),则极小点x [a, x(2) ].
为 对变量的一维搜索问题,或称为线搜索.
2020/12/20
最优化理论
3
9. 一维搜索-概念2
设目标函数为f (x),过点x(k)沿方向d (k)的直线可用点集 来表示:
L {x | x x(k) d (k),- } (9.1.1)
求f (x)在直线L上的极小点就转化为求
() f (x(k) d (k) )
则称f 是在闭区间[a,b]上的单峰函数.
2020/12/20
最优化理论
8
9. 一维搜索-试探法2
单峰函数的一个等价定义：
设f : R R,[a, b] R,若*[a, b]，使得f ( x)在 [a, *]上严格递减,在[*, b]上严格递增,则称[a, b] 是函数f ( x)的单峰区间, f ( x)是[a, b]上的单峰函数.