北邮最优化课件 9一维搜索
合集下载
最优化方法课件
证明：设凸规划为 minf(x) s.t h(x)=0; g(x)0 （1）由于h(x),g(x)是凸函数，故它们的凸组合仍是 凸函数，所以可行域是凸集。 （2）由于f(x)是凸函数，任意的对任意的x,yE为 最优解, 任意的a ∈(0,1)都有
23
f (a x+(1-a)y) af(x)+(1-a) f (y) af(x)+(1-a) f (x) =f(x),又x是最优解，所以， f(x) af(x)+(1-a) f (y) ,从而 f(x) = f [ a x+(1-a) y]， 所以a x+(1-a) yE，即最优解为凸集。 （3）设x0是任一个局部最优解，则存在x0的邻域 N(x0,),当xN(x0,),f(x0)f(x). 设x是任意一个可行解，则存在0<a<1,使 a x0+(1-a) x N(x0,),于是 f(x0) f[a x0+(1-a) x ]af(x0)+(1-a) f (x) af(x)+(1a) f (x)=f(x)， 即x0是整体最优解。
最优化方法
南京邮电大学理学院
第2章
线性规划
§2.1 凸集与凸函数
3
凸
集
定义2.1.1 设集合D Rn,若对于任意点x,y∈ D, 及实数aa1,都有 ax+(1-a)y ∈ D, 则称集合D为凸集.
常见的凸集:空集(补充定义),整个欧氏空间Rn, 超平面 H={x∈ Rn|a1x1+a2x2+…anxn=b} 半空间 H+={x∈Rn|a1x1+a2x2+…anxn≥b}
20
二阶条件
设在开凸集D Rn上f(x)可微,则 (i) f(x)是D内的凸函数的充要条件为,在D内任 一点x处, f(x)的Hesse矩阵G(x)半正定,其中
23
f (a x+(1-a)y) af(x)+(1-a) f (y) af(x)+(1-a) f (x) =f(x),又x是最优解，所以， f(x) af(x)+(1-a) f (y) ,从而 f(x) = f [ a x+(1-a) y]， 所以a x+(1-a) yE，即最优解为凸集。 （3）设x0是任一个局部最优解，则存在x0的邻域 N(x0,),当xN(x0,),f(x0)f(x). 设x是任意一个可行解，则存在0<a<1,使 a x0+(1-a) x N(x0,),于是 f(x0) f[a x0+(1-a) x ]af(x0)+(1-a) f (x) af(x)+(1a) f (x)=f(x)， 即x0是整体最优解。
最优化方法
南京邮电大学理学院
第2章
线性规划
§2.1 凸集与凸函数
3
凸
集
定义2.1.1 设集合D Rn,若对于任意点x,y∈ D, 及实数aa1,都有 ax+(1-a)y ∈ D, 则称集合D为凸集.
常见的凸集:空集(补充定义),整个欧氏空间Rn, 超平面 H={x∈ Rn|a1x1+a2x2+…anxn=b} 半空间 H+={x∈Rn|a1x1+a2x2+…anxn≥b}
20
二阶条件
设在开凸集D Rn上f(x)可微,则 (i) f(x)是D内的凸函数的充要条件为,在D内任 一点x处, f(x)的Hesse矩阵G(x)半正定,其中
最优化方法 第三章第二讲 一维搜索
第三次迭代
令 x1 0.538， f1 1.751，取 F3 x2 0.077 (1.462 0.077) 0.846， F4 f 2 1.870。
因为 f 1 f 2 ，所以新区间为 0.077,0.846。
第四次迭代
令 x 2 0.538， f 2 1.751，取 F1 x1 0.077 (0.846 0.077) 0.231， F3 则 f 1 1.822。
设其最优解为 k ，得到 xk 1 xk k pk ，
一维搜索是求解一元函数 ( ) 的最优化问题（也叫 一维最优化问题） ，仍表示为 min f ( x ) 或 min f ( x )。 1
xR
a xb
定义：若在 a, b内 f ( x )有唯一极小点 x* ，在 x* 的左边 f ( x )严格下降，在 x* 的右边 f ( x )严格上升， 则称 f ( x )在区间 a, b上是下单峰函数。
step 6 令 k k 1，若 k n 2，则转 step 5； 若 k n 2，则转 step 7。
step 7 若 f1 f 2 ， 则令 b x2 ，x2 x1 ，f 2 f1 ， 转 step 8； 若 f1 f 2 ，则令 a x1，转 step 8。 step 8 令 x1 x2 0.1(b a ) ， f1 f ( x1 ) 1 * 若 f1 f 2 ，则 x (a x2 )， 2 1 * 若 f1 f 2 ，则 x ( x1 x2 )， 2 1 * 若 f1 f 2 ，则 x ( x1 b ) 。 2
ab step 3 若 b a ，则 x ，停。否则转 step 4。 2
一维搜索-最优化方法
������2=0.538， ƒ2 = 1.751， ������1=������3+������������23 ������3 − ������3 =0.231
则ƒ2 = 1.822， ƒ1 > ƒ2，故得新区间为 [������4，������4]=[0.231， 0.846]
第五次迭代：
取������2=0.538， ƒ2 = 1.751， ������1=������2 − 0.1 ������4 − ������4 =0.477
问题3：按什么方式取点，求n次函数值之后多长的原始区间 缩短为最终区间长度为1？
• １：Ｆibonacci数列：
• F0 =1 ;
F1 = 1 ;
F 迭代公式：Fn2 ＝ Fn1 ＋ n
•
；n 非负整数
n
0
1
2
3
4
5
6
7
…..
1
1
23ຫໍສະໝຸດ 5813 21 …..
Fn
设Ln表示试点个数为n，最终区间长度为1时的原始区间[a ,b] 的最大可能的长度，现在找出Ln的一个上界。设最初的两个 试点为x1,x2,且且x1< x2 。如果极小点位于[a , x1]内，则我们 至多还有n-2个试点，因此x1-a≤Ln-2；如果极小点位于[x1 , b] 内，则包括x2在内还可以有n-1个试点，因此b- x1≦Ln-1。
t （１中）任若设取［两 (a点t,1b)］t1<是<单(tt2谷2) ，函，则数那搜么(索t有) 区的：间一可个缩已短知为搜*［索a区, 间t2］，.在［a,b］
( 2 ) 若 (t1 ) (t2 )，则搜索区间可缩短为［ t1，b］
最优化理论与方法-第七章 一维搜索
7.1.2 黄金分割法基本原理与步骤
1. 在区间[a1, b1]上选择第一个试点 x1，并计算 f (x1)．
第一个试点 x1 怎么选呢？我们希望试点 x1 将总长为 l 的区
间[a1, b1]分为两部分，令长的那一部分长度为 z，则短的那
一段的长度为 l－z，如图 7-2．要求满足 x1
lz z zl
令 新 的 区 间 端 点 ak1 ak ,bk1 xk ．
(2) 判断精度．
若
bk 1 b1
ak1 a1
，则停止计算，可取
x*
1 2
(ak
1
bk1) 为 近 似 极 小
点， f (x*)为近似极小值．否则，转下一步．
(3) 进行保留试点的坐标的变换．
在新区间[ak+1,
bk+1]上，原 试点
13世纪的意大利数学家菲波那契发现了一个神奇数列：1，2， 3，5，8，13，21，34，55，89，144……这些数字的前 两项之和等于后一个数字。如：1+2=3； 2+3=5；……55+89=144…..神奇数列更神奇的是：
1.前一个数字与后一个数字之比，比值趋于0.618034……(无 理数)。如： 1/2=0.5;2/3=0.667;3/5=0.6;5/8=0.625;8/13=0.615;……89 /144=0.618……。
（7-7）
可 以 验 证 ， 在 区 间 [a1, x1]上 ， x1' 又 是 黄 金 分 割 点 ， 在 区 间 [ x1' ，b1]上 ，x1 是 黄 金 分 割 点 的 对 称 点 ．
再 计 算 出 f ( x1' )， 并 令 k = 1．
3. 比较计算 f (xk ) 和 f ( xk ' )．
第三章-一维优化方法
在搜索区间[a,b]内适当插入两点x1,x2 ， 并计算其函数值。 x1,x2 将区间分为三段，通 过比较函数值的大小，删除其中的一段，使搜 索区间缩短。然后再在保留下来的区间上作同 样处理，如此迭代下去，使搜索区间无限缩小， 从而得到极小点的近似值。
插入点x1,x2的位置相对于区间[a,b]两 端点有对称性要求，即
第三章-一维优化方法
一维搜索方法概述
x2 (k)S(k)
S(k)
x(k+1) x(k)
x*
F(x(k))
o
F(x(k+1))
x1
二维优化第三章问-一题维优化中方法的一维搜索
初始搜索区间的确定
在一维搜索时，需要确定一个搜索区间[a,b]，
此区间必须包含函数的极小点 x*，因此搜索区间 必须是单峰区间，即该区间内的函数值呈现
有（1- ）/ = 故：1- = 2 2 + -1=0
由此可得： =0.618
黄金分割法可使相邻两次搜索区间都具有相同 的缩短率0.618。
x1=a+ 0.382(b-a) x2=a+ 0.618(b-a)
第三章-一维优化方法
第三章-一维优化方法
格点法
一、格点法的原理
设一维函数为f(x)，搜索区间为[a,b]，一维收敛
精度为。
在区间[a,b]的内部取n个等分点： x1 , x2 , … ,
xn。x区1间被a分为b nn +a11等k分，(个k分点1坐,标2为,...,n)
对应各点的函数值为y1 , y2 , … , yn。比较其大小，取 最小者ym=min{yk , k=1,2,…,n}，则在区间[x m-1 , x m+1]内必包含极小点，取[x m-1 , xm+1]为缩短后新 区间，若新区间满足收敛条件x m+1- x m+1 ，则最 优解为x* xm ， y* ym
插入点x1,x2的位置相对于区间[a,b]两 端点有对称性要求，即
第三章-一维优化方法
一维搜索方法概述
x2 (k)S(k)
S(k)
x(k+1) x(k)
x*
F(x(k))
o
F(x(k+1))
x1
二维优化第三章问-一题维优化中方法的一维搜索
初始搜索区间的确定
在一维搜索时，需要确定一个搜索区间[a,b]，
此区间必须包含函数的极小点 x*，因此搜索区间 必须是单峰区间，即该区间内的函数值呈现
有（1- ）/ = 故：1- = 2 2 + -1=0
由此可得： =0.618
黄金分割法可使相邻两次搜索区间都具有相同 的缩短率0.618。
x1=a+ 0.382(b-a) x2=a+ 0.618(b-a)
第三章-一维优化方法
第三章-一维优化方法
格点法
一、格点法的原理
设一维函数为f(x)，搜索区间为[a,b]，一维收敛
精度为。
在区间[a,b]的内部取n个等分点： x1 , x2 , … ,
xn。x区1间被a分为b nn +a11等k分，(个k分点1坐,标2为,...,n)
对应各点的函数值为y1 , y2 , … , yn。比较其大小，取 最小者ym=min{yk , k=1,2,…,n}，则在区间[x m-1 , x m+1]内必包含极小点，取[x m-1 , xm+1]为缩短后新 区间，若新区间满足收敛条件x m+1- x m+1 ，则最 优解为x* xm ， y* ym
第3章 一维最优化
一维最优化问题： 一维最优化问题：
min s .t .
f ( x) x∈ R
极值点的必要条件： 极值点的必要条件：
f '( x ) = 0
二、 确定搜索区间的方法— 进退法
实际问题 数学模型 数值计算方法
程序设计
上机计算求出结果
数值解法： 数值解法：利用计算机通过反复迭代计 求得实际问题的近似值。 算，求得实际问题的近似值。
[a, b]称为ϕ ( x)的单谷区间。
显然此时x ∗为ϕ ( x)在[a, b]上唯一的极小点。
☺问题：凸函数是不是单谷函数？严格凸函数是 问题：凸函数是不是单谷函数？ 不是单谷函数？单谷函数是不是凸函数？ 不是单谷函数？单谷函数是不是凸函数？
搜索法求解： 搜索法求解： min ϕ (t)
t≥ 0
否
b − x1 ≤ ε
停止，输出 停止，输出x2 是
是
否
停止，输出 停止，输出x1 以[a,x2]为新的搜索区间 为新的搜索区间
三、黄金分割法
f ( a ) = a 2 − 7a + 10 的初始区间， 的初始区间， 例1：用黄金分割法求
设初始点 。= 1 a，初始步长 h 0 = 0 用进退法确定初始区间： 解：用进退法确定初始区间：
ϕ ( x1 )
x1 x2
3
x
2) 第二轮： 第二轮： x2=1.146, x1=0.708
ϕ
ϕ ( x1 ) = −0.0611 ϕ ( x2 ) = 0.2131
x2-0=1.146>0.5 3) 第三轮： 第三轮： x1=0.438, x2=0.708 0
x1 x2
1.854
x
ϕ
《一维搜索方法》课件
02
线性搜索
线性搜索的定义
线性搜索是一种基本的搜索算法，它 从列表的第一个元素开始，逐个检查 每个元素，直到找到目标元素或遍历 完整个列表。
在线性搜索过程中，我们假设列表中 的元素是按顺序排列的，并且我们不 知道目标元素的确切位置，只知道它 存在于列表中。
线性搜索的步骤
初始化
选择一个起始位置，通常为列表的第一个元素。
抛物线搜索的步骤
3. 比较中间元素与目标值
2. 计算当前区间的中间元 素。
1. 初始化当前搜索区间为 整个数组。
01
03 02
抛物线搜索的步骤
01 如果中间元素等于目标值，返回该位置。
02
如果目标值小于中间元素，将左半部分区 间作为新的当前区间。
03
如果目标值大于中间元素，将右半部分区 间作为新的当前区间。
04
4. 重复步骤2和3，直到找到目标值或当前 区间为空。
抛物线搜索的时间复杂度
最坏情况下，抛物线搜索的时间复杂度为O(n)，其中n为数 组长度。
平均情况下，由于每次比较都可以将搜索区间缩小一半，因 此时间复杂度为O(log n)。
THANKS
THANK YOU FOR YOUR WATCHING
的单峰函数。
一维搜索方法的重要性
解决实际问题
一维搜索方法广泛应用于各种实 际问题中，如参数优化、函数逼 近、插值等。
算法基础
一维搜索方法是许多算法的基础 ，如梯度下降法、牛顿法等都需 要用到一维搜索方法来寻找迭代 步长。
理论分析
一维搜索方法在数学分析中也有 重要应用，如中值定理、单调函 数性质等都需要用到一维搜索方 法。
常用的一维搜索方法
线性搜索
一维搜索-最优化方法
∈( a , b ) ; （2） ������1 = ������0 - Ψ’(������0) / Ψ’’(������0) ; （3）若 | Ψ’(������0) | ≤ ε ， 输出 ������0 ，计算停
止 ； 否则 ， ������0 = ������1 ，转（2） 。
例题：用切线法求Ψ(t) =������2-5t+2 , 在定义域 t ∈ ( 0 , 10 ) 上的极小点 ， 要求 ε = 0.2 。
切线法（Newton法）
设Ψ(t)是区间(a , b)上的二次可微的单谷函数，������∗ 是 Ψ(t) 在 (a , b)上的极小值点， ������������ 是 ������∗ 的一个近似点。 目标 函数Ψ(t) 的一阶导数为������ = Ψ’(t) ，过点 (������������, Ψ’(������������) ) 作导函数 Ψ’(t) 的图像的切线，则此切线的方程为
在实践工作中，应根据问题的具体特点以及工作条 件来选用相应的合适算法。不过，从以往的实践中 来看，0.618法和对分法使用的更多一些。
可望达到上述的最小值，
所以有 c-a = b-c ， 即 c = 0.5(b-a)
对分法的步骤
设单谷函数 Ψ（t）存在导函数Ψ’（t），极小值点的初始搜索 区间为(a。，b。），要求极小值点的近似值 ������ҧ 与精确极小值 点 t* 的最大绝对误差 ������ − ������ ∗ ҧ 不超过 ε 。
⑴ 令 a=a。 , b=b。;
⑵ 令 c = 0.5(b-a)，计算Ψ’(c);
⑶ 若 Ψ’(c)ຫໍສະໝຸດ <0 ，令 a=c , 转到⑷
若 Ψ’(c)>0 ，令 b=c ，转到⑷
止 ； 否则 ， ������0 = ������1 ，转（2） 。
例题：用切线法求Ψ(t) =������2-5t+2 , 在定义域 t ∈ ( 0 , 10 ) 上的极小点 ， 要求 ε = 0.2 。
切线法（Newton法）
设Ψ(t)是区间(a , b)上的二次可微的单谷函数，������∗ 是 Ψ(t) 在 (a , b)上的极小值点， ������������ 是 ������∗ 的一个近似点。 目标 函数Ψ(t) 的一阶导数为������ = Ψ’(t) ，过点 (������������, Ψ’(������������) ) 作导函数 Ψ’(t) 的图像的切线，则此切线的方程为
在实践工作中，应根据问题的具体特点以及工作条 件来选用相应的合适算法。不过，从以往的实践中 来看，0.618法和对分法使用的更多一些。
可望达到上述的最小值，
所以有 c-a = b-c ， 即 c = 0.5(b-a)
对分法的步骤
设单谷函数 Ψ（t）存在导函数Ψ’（t），极小值点的初始搜索 区间为(a。，b。），要求极小值点的近似值 ������ҧ 与精确极小值 点 t* 的最大绝对误差 ������ − ������ ∗ ҧ 不超过 ε 。
⑴ 令 a=a。 , b=b。;
⑵ 令 c = 0.5(b-a)，计算Ψ’(c);
⑶ 若 Ψ’(c)ຫໍສະໝຸດ <0 ，令 a=c , 转到⑷
若 Ψ’(c)>0 ，令 b=c ，转到⑷
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
步4:若 k ak , 停止计算,输出 k ; 否则,令 ak+1 : ak , bk+1 : k , k 1 : k , ( k+1 ) : ( k ), k+1 ak+1 0.382(bk+1 ak+1 )， 计算( k 1 ), 转步5
显然x (1)不是极小点.此时要么极小点x [a, x (1) ] 要么x [ x (1) , b]. 若x [a, x ], 则f ( x ) f ( x ), 矛盾.
(1) (1) (2)
若x [ x (1) ,b], 则f ( x* ) f ( x (1) ) f ( x (2) ), 矛盾.
最优化理论与算法
帅天平
北京邮电大学数学系
§9， 一维搜索
2013-8-6 最优化理论 1
第九章 一维搜索
• 一维搜索的基本概念 • 试探法 • 函数逼近法
2013-8-6
最优化理论
2
9. 一维搜索-概念1
9.1 一维搜索概念
最优化方法的基本结构： 给定初始点x0 (a) 确定搜索方向dk，即按照一定规则，构造f在xk点处的下降 方向 作为搜索方向; (b)确定步长因子k，使目标函数值有某种意义下的下降; (c)令 xk+1 = xk +kdk 若xk+1满足某种终止条件 则停止迭代，得到近似最优解xk+1， 否则，重复上述步骤。
最优化理论 7
9. 一维搜索-试探法1
•9.2.1, 0.618法
Df 9.2.1设f 是定义在闭区间[a, b] 上的一元实函数, x 是f 在[a, b]上 的极小点, 且对x (1) , x (2) [a, b], x (1) x (2) , 有 当x (2) x时f ( x (1) ) f ( x (2) ) 当x x (1)时f ( x (1) ) f ( x (2) ) 则称f 是在闭区间[a, b]上的单峰函数.
由( 2.3)和(2.4)得到
k ak (1 r)(bk ak ) , k ak r (bk ak ),
2013-8-6 最优化理论
(2.5) (2.6)
13
9. 一维搜索-试探法7
今考虑( 2.1)的情形,此时新的搜索区间为 [ak 1 , bk 1 ] [ak , k ] (2.7)
k ak (1
ak
Fn k Fn k 1
)(bk ak )
Fn k 1 Fn k 1 Fn k Fn k 1
(bk ak ), k 1,2,.., n 1 (bk ak ), k 1,2,..., n -1
单峰函数具有一些很有用的性质:如果f是[a,b] 上单峰函数,则可通过计算此区间内两不同点 的函数值,就能确定一个包含极小点的子区间, 从而缩小了搜索区间.
2013-8-6
最优化理论
9
9. 一维搜索-试探法3
Th9.2.1 设f 是区间[a, b]上的单峰函数, x (1) , x (2) [a, b]. 且x (1) x (2) , 则 (1)若f ( x ) f ( x ), 则x [a, x ], f ( x) f ( x )
一维 搜索
{
试探法 函数逼近法/插值法
• 一维搜索算法的闭性
假设一维搜索是以x为起点,沿方向为d的进行的, 并定义为算法映射M Df 9.1.1 算法映射M : R n R n R n定义为
M ( x, d ) { y | y x d , 满足 f ( x d ) min f ( x d )}
2013-8-6 最优化理论
2
(2.11)
15
9. 一维搜索-试探法9
这样,计算公式(2.5)(2.6)可写为
k ak 0.382(bk ak ) , k ak 0.618(bk ak ),
(2.12) (2.13)
由于每次函数计算后极小区间的缩短率为r , 故若 初始区间为 a1 , b1 , 则最终区间长度为r n -1 (b1 a1 ),因此 可知0.618法是线性收敛的。 0.618法也叫黄金分割法,因为缩短率r叫黄金分割 数，它满足比率
9. 一维搜索-试探法5
0.618法的基本思想:通过取试探点使包含极小点的 区间(不确定区间)不断缩小,当区间长度小到一定 程度时,区间上各点的函数值均接近极小值,此时 该区间内任一点都可以作为极小点的近似值.
设 ( )是搜索区间[ a1 , b1 ]上的单峰函数.设在第k次迭代时 搜索区间为[ak , bk ].取两个试探点k , k [ ak , bk ], k k . 计算 (k )和 ( k ), 根据Th1 : (1), 若 (k ) ( k ), 令ak 1 ak , bk 1 k , (2), 若 (k ) ( k ), 令ak 1 k , bk 1 bk ,
y (k ) x(k ) d
(k )
(9.1.5)
由d 0,当k 充分大时, 必有d ( k ) 0, 于是由(9.1.5)
k
2013-8-6
(9.1.6)
最优化理论 6
9. 一维搜Biblioteka -概念5yx 令k ,则k d y x d f ( y ( k ) ) f ( x ( k ) k d ( k ) ) f ( y) f ( x d ) 故 即知
bk+l
ak+l
2013-8-6
k+l
k+l
17
9. 一维搜索-试探法11
算法(0.618法) 步1:选取初始数据,确定初始搜索区间[a1 ,b1 ]和
精度要求>0.计算最初两试探点1，1： 1 a1 0.382(b1 a1 )， 1 a1 0.618(b1 a1 )， 计算(1 )和(1 ).
2013-8-6
(9.1.7)
(9.1.5)中令k 并注意到(9.1.7), 有 (9.1.8) (9.1.9) 根据M的定义,对每个k 及k 0 , 有 由于f 连续, 令k ,则由(9.1.9)得 f ( x d ) min f ( x d )
0
y M ( x, d )
注意到上述迭代算法中,当方向确定后, 涉及到求一个 步长 k , 使得目标函数值减小(极小化问题), 这就是在一 直线上求目标函数的极小点,即极小化f ( xk k d k ).这称 为 对变量的一维搜索问题,或称为线搜索.
2013-8-6 最优化理论 3
9. 一维搜索-概念2
设目标函数为f ( x), 过点x ( k )沿方向d ( k )的直线可用点集 来表示: L {x | x x ( k ) d ( k ) ,- } 求f ( x)在直线L上的极小点就转化为求 (9.1.1) (9.1.2)
根据以上定理,只需选择两个点就可缩短包含极小点的 区间 : (1)若f ( x (1) ) f ( x (2) ), 则极小点x [ x (1) ,b]; (2)若f ( x (1) ) f ( x (2) ), 则极小点x [a, x (2) ].
2013-8-6 最优化理论 11
0
2013-8-6 最优化理论
(9.1.4)
5
9. 一维搜索-概念4
Th9.1.1 设f是定义在Rn的连续函数,d0,则(9.1.4)定 义的算法映射M在(x,d)处是闭的
证 : 设序列{x ( k ) }和{d ( k ) }满足 ( x ( k ) , d ( k ) ) ( x, d ); y ( k ) y, y ( k ) M ( x ( k ) , d ( k ) ) 下证 y M ( x, d ) , 注意到, 对每个k ,k 0 , 使 y ( k ) x ( k ) k d ( k )
( ) f ( x ( k ) d ( k ) )
的极小点.
设 ( )的极小点为k , 称k 为沿方向d ( k )的步长因子 于是f ( x)在直线L上的极小点为 x
2013-8-6
( k 1)
x
(k )
k d
(k )
(9.1.3)
最优化理论 4
9. 一维搜索-概念3
2013-8-6
r 1- r , 1 r
最优化理论
即
1 0。
2
16
9. 一维搜索-试探法10
其几何意义:黄金分割率对应的点在单位长区间[0,1] 中的位置相当于其对称点1-在区间[0,]中的位置
ak Step 2
k
ak+l
k
bk
k+l
bk+l
最优化理论
k+l
Step 3
2013-8-6 最优化理论
(2.1) (2.2)
12
9. 一维搜索-试探法6
我们要求两个试探点k 和 k 满足下列条件 : (1), k 和 k 到搜索区间 ak , bk 的端点等距,即 bk k k ak , (2.3) (2.4)
(2), 每次迭代,搜索区间长度的缩短率相同,即 bk 1 ak 1 r (bk ak ),
最优化理论
14
9. 一维搜索-试探法8
2 1 (2.9) 则 k 1 =ak +(1- )(bk ak ) k
若令 (2.10) 这样新的试探点 k 1就不用重新计算只要取k ,于是 每次迭代中(除第一次)只需取一个试探点. 类似的,如考虑(2.2)的情形,新的试探点k 1 = k , 它也不需重新计算. 解方程(2.9)立得区间长度缩短率 = -1 5 -1+ 5 由于 >0,故取 = 0.618 2
显然x (1)不是极小点.此时要么极小点x [a, x (1) ] 要么x [ x (1) , b]. 若x [a, x ], 则f ( x ) f ( x ), 矛盾.
(1) (1) (2)
若x [ x (1) ,b], 则f ( x* ) f ( x (1) ) f ( x (2) ), 矛盾.
最优化理论与算法
帅天平
北京邮电大学数学系
§9， 一维搜索
2013-8-6 最优化理论 1
第九章 一维搜索
• 一维搜索的基本概念 • 试探法 • 函数逼近法
2013-8-6
最优化理论
2
9. 一维搜索-概念1
9.1 一维搜索概念
最优化方法的基本结构： 给定初始点x0 (a) 确定搜索方向dk，即按照一定规则，构造f在xk点处的下降 方向 作为搜索方向; (b)确定步长因子k，使目标函数值有某种意义下的下降; (c)令 xk+1 = xk +kdk 若xk+1满足某种终止条件 则停止迭代，得到近似最优解xk+1， 否则，重复上述步骤。
最优化理论 7
9. 一维搜索-试探法1
•9.2.1, 0.618法
Df 9.2.1设f 是定义在闭区间[a, b] 上的一元实函数, x 是f 在[a, b]上 的极小点, 且对x (1) , x (2) [a, b], x (1) x (2) , 有 当x (2) x时f ( x (1) ) f ( x (2) ) 当x x (1)时f ( x (1) ) f ( x (2) ) 则称f 是在闭区间[a, b]上的单峰函数.
由( 2.3)和(2.4)得到
k ak (1 r)(bk ak ) , k ak r (bk ak ),
2013-8-6 最优化理论
(2.5) (2.6)
13
9. 一维搜索-试探法7
今考虑( 2.1)的情形,此时新的搜索区间为 [ak 1 , bk 1 ] [ak , k ] (2.7)
k ak (1
ak
Fn k Fn k 1
)(bk ak )
Fn k 1 Fn k 1 Fn k Fn k 1
(bk ak ), k 1,2,.., n 1 (bk ak ), k 1,2,..., n -1
单峰函数具有一些很有用的性质:如果f是[a,b] 上单峰函数,则可通过计算此区间内两不同点 的函数值,就能确定一个包含极小点的子区间, 从而缩小了搜索区间.
2013-8-6
最优化理论
9
9. 一维搜索-试探法3
Th9.2.1 设f 是区间[a, b]上的单峰函数, x (1) , x (2) [a, b]. 且x (1) x (2) , 则 (1)若f ( x ) f ( x ), 则x [a, x ], f ( x) f ( x )
一维 搜索
{
试探法 函数逼近法/插值法
• 一维搜索算法的闭性
假设一维搜索是以x为起点,沿方向为d的进行的, 并定义为算法映射M Df 9.1.1 算法映射M : R n R n R n定义为
M ( x, d ) { y | y x d , 满足 f ( x d ) min f ( x d )}
2013-8-6 最优化理论
2
(2.11)
15
9. 一维搜索-试探法9
这样,计算公式(2.5)(2.6)可写为
k ak 0.382(bk ak ) , k ak 0.618(bk ak ),
(2.12) (2.13)
由于每次函数计算后极小区间的缩短率为r , 故若 初始区间为 a1 , b1 , 则最终区间长度为r n -1 (b1 a1 ),因此 可知0.618法是线性收敛的。 0.618法也叫黄金分割法,因为缩短率r叫黄金分割 数，它满足比率
9. 一维搜索-试探法5
0.618法的基本思想:通过取试探点使包含极小点的 区间(不确定区间)不断缩小,当区间长度小到一定 程度时,区间上各点的函数值均接近极小值,此时 该区间内任一点都可以作为极小点的近似值.
设 ( )是搜索区间[ a1 , b1 ]上的单峰函数.设在第k次迭代时 搜索区间为[ak , bk ].取两个试探点k , k [ ak , bk ], k k . 计算 (k )和 ( k ), 根据Th1 : (1), 若 (k ) ( k ), 令ak 1 ak , bk 1 k , (2), 若 (k ) ( k ), 令ak 1 k , bk 1 bk ,
y (k ) x(k ) d
(k )
(9.1.5)
由d 0,当k 充分大时, 必有d ( k ) 0, 于是由(9.1.5)
k
2013-8-6
(9.1.6)
最优化理论 6
9. 一维搜Biblioteka -概念5yx 令k ,则k d y x d f ( y ( k ) ) f ( x ( k ) k d ( k ) ) f ( y) f ( x d ) 故 即知
bk+l
ak+l
2013-8-6
k+l
k+l
17
9. 一维搜索-试探法11
算法(0.618法) 步1:选取初始数据,确定初始搜索区间[a1 ,b1 ]和
精度要求>0.计算最初两试探点1，1： 1 a1 0.382(b1 a1 )， 1 a1 0.618(b1 a1 )， 计算(1 )和(1 ).
2013-8-6
(9.1.7)
(9.1.5)中令k 并注意到(9.1.7), 有 (9.1.8) (9.1.9) 根据M的定义,对每个k 及k 0 , 有 由于f 连续, 令k ,则由(9.1.9)得 f ( x d ) min f ( x d )
0
y M ( x, d )
注意到上述迭代算法中,当方向确定后, 涉及到求一个 步长 k , 使得目标函数值减小(极小化问题), 这就是在一 直线上求目标函数的极小点,即极小化f ( xk k d k ).这称 为 对变量的一维搜索问题,或称为线搜索.
2013-8-6 最优化理论 3
9. 一维搜索-概念2
设目标函数为f ( x), 过点x ( k )沿方向d ( k )的直线可用点集 来表示: L {x | x x ( k ) d ( k ) ,- } 求f ( x)在直线L上的极小点就转化为求 (9.1.1) (9.1.2)
根据以上定理,只需选择两个点就可缩短包含极小点的 区间 : (1)若f ( x (1) ) f ( x (2) ), 则极小点x [ x (1) ,b]; (2)若f ( x (1) ) f ( x (2) ), 则极小点x [a, x (2) ].
2013-8-6 最优化理论 11
0
2013-8-6 最优化理论
(9.1.4)
5
9. 一维搜索-概念4
Th9.1.1 设f是定义在Rn的连续函数,d0,则(9.1.4)定 义的算法映射M在(x,d)处是闭的
证 : 设序列{x ( k ) }和{d ( k ) }满足 ( x ( k ) , d ( k ) ) ( x, d ); y ( k ) y, y ( k ) M ( x ( k ) , d ( k ) ) 下证 y M ( x, d ) , 注意到, 对每个k ,k 0 , 使 y ( k ) x ( k ) k d ( k )
( ) f ( x ( k ) d ( k ) )
的极小点.
设 ( )的极小点为k , 称k 为沿方向d ( k )的步长因子 于是f ( x)在直线L上的极小点为 x
2013-8-6
( k 1)
x
(k )
k d
(k )
(9.1.3)
最优化理论 4
9. 一维搜索-概念3
2013-8-6
r 1- r , 1 r
最优化理论
即
1 0。
2
16
9. 一维搜索-试探法10
其几何意义:黄金分割率对应的点在单位长区间[0,1] 中的位置相当于其对称点1-在区间[0,]中的位置
ak Step 2
k
ak+l
k
bk
k+l
bk+l
最优化理论
k+l
Step 3
2013-8-6 最优化理论
(2.1) (2.2)
12
9. 一维搜索-试探法6
我们要求两个试探点k 和 k 满足下列条件 : (1), k 和 k 到搜索区间 ak , bk 的端点等距,即 bk k k ak , (2.3) (2.4)
(2), 每次迭代,搜索区间长度的缩短率相同,即 bk 1 ak 1 r (bk ak ),
最优化理论
14
9. 一维搜索-试探法8
2 1 (2.9) 则 k 1 =ak +(1- )(bk ak ) k
若令 (2.10) 这样新的试探点 k 1就不用重新计算只要取k ,于是 每次迭代中(除第一次)只需取一个试探点. 类似的,如考虑(2.2)的情形,新的试探点k 1 = k , 它也不需重新计算. 解方程(2.9)立得区间长度缩短率 = -1 5 -1+ 5 由于 >0,故取 = 0.618 2