最优化方法(一维搜索)
最优化方法-一维搜索
按任务方式插入n个观测点后，剩下的搜索区间的长度不少于原初始长 度的1／ Fn
令缩短后的长度为Ｓ，有： Ｓ （b-a）/ Fn
• Ｆibonacci数列：
• ＝b- (b-a)=a+(1- )(b-a)
• =a+ (b-a)
•
• 2 0.618法算法
设
值
(t)是单谷函数，［ a
t
与精确极小点
t*
0的，最b大0 ］绝是对初误始差搜t索 区t * 间 ， 要求精确极小点近似
记：a= a0,b= b0 , =0.618.
(1) =a+(1- )(b-a), 1 = ()
进退算法的基本步骤：
（（（t0１ ２ ３点 回）））及升：：：，首若若t则0先［＋tt任t00h0＋＋选点，hh一t的点点n个函］的的初数就函 函始值是数 数点．一值 值个下 上t0搜降 升，索， ，初区继 则始间续 从步，前长t算进0h法点,，进停退直到止到到．t某0t个＋0 －ht，h0点并点．计的算函数值
4= a4 +( F0 / F2
b4
)(
=
b4
3 /a4
=2.5 , 4= 3 = 1.625
)=0.75+1/2*1.75=1.625
这时，
＝
4
，（因为已到k=3=n-2)
4
K=4, 因此
(5取5 =)a=0t5.41＝＝=410.,.6542（(5＝b,515).＋5=6=02a.550,47b+6）50,.＝1＝=2(1.b.05476)2255>＝2(.55 )
最优化方法 第1章(4)
最优化问题的分类
对向量x=(1,–2,3)T,有 || x ||1= 6 || x ||2 = 14 ≈ 3.74166 || x ||3 = 3 36 ≈ 3.30193 || x ||∞= 3.
其中||x||p是p的单调递减函数.
根据数学模型中有无约束函数分为：无约束的最优 化问题和有约束的最优化问题.
m
n
∑ ∑ Q =
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
因此,由数据拟合问题得数学模型为
m
n
∑ ∑ min
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
其中xi,yi (i=1,2,…,m) 及 ϕ j (x), j = 1, 2,L, n 已知.
最优化问题的一般形式为:
P: min f ( x) s.t. hi (x) = 0, i = 1, 2,L, m g j (x) ≥ 0, j = 1, 2,L, p
26
可行点列的产生 在xk处求得一个方向pk(下降方向),在射线 xk+αpk (α >0) 上求一点：xk+1=xk+αk pk , 使得 f (xk+1)≤f (xk), 其中αk 称为步长.
定义1.2.1(下降方向) 在点xk处,对于方向pk≠0, 若存在实数b>0,使得任意的α∈(0,b),都有 f (xk+αpk)<f (xk), 则称pk为函数f (x)在点xk处的一个下降方向.
44
则总支出可表示为: S = ∑ ∑ cij xij i=1 j=1
一维搜索最优方法(黄金分割法)
min （）＝f ( X (k) （k) S（k) )
◎在极小点附近，函数呈现“大－小－大”
y
y f (x)
y
y f (x)
一维搜索的思路
（1）确定极小点α*所在的区 间[a, b]，在此区间内，函数呈 现“大－小－大”变化趋势。 搜速区间。
x
（2）在[a, b]内找α*－将区
;f3， 重排顺序
(3) (2), f3 f2 ;
(2)+h (3)。计算（ f ( 3 )），令（ f ） (3) f3 (1) 若f3 f1，则[a,b]=[(3),(2)]，停止计算。 (2) 若f3 f1，则 2h h，(2) (1)，f2 f1，
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
设一元函数f (a )的起始搜索区间为[a ,b], *是
函数的极小点。
在搜索区间[ a,b ]内任取两点 (1)、 ( 2 )。且 a (1) ( 2 ) b,计算f ( (1) )、f ( ( 2 ) )。将f ( (1) )与 f ( ( 2 ) )进行比较，可能出现三种情况：
(3) (2)，f3 f2 (2) h (3)，计算（ f ( 3 )），令（ f ） (3) f3 ,
返回( 1 )重新开始。
进退试算法步骤
step4. 若在步2中，f2 f1，后退运算
以(1)为起始点，步长反号，反方向搜索。
-h
h; (1) (3), (2) (1), f2
f1 f1
1＝2＝1, 2＝3＝2, 3＝2 h＝4
f1 f (1 ) 10 f2 f (2 ) 4
作前进运算
最优化方法实验报告（1）
最优化方法实验报告（1）最优化方法实验报告Numerical Linear Algebra And Its Applications学生所在学院：理学院学生所在班级：计算数学10-1学生姓名：甘纯指导教师：单锐教务处2013年5月实验一实验名称：熟悉matlab基本功能实验时间: 2013年05月10日星期三实验成绩：一、实验目的：在本次实验中，通过亲临使用MATLAB，对该软件做一全面了解并掌握重点内容。
二、实验内容：1. 全面了解MATLAB系统2. 实验常用工具的具体操作和功能实验二实验名称：一维搜索方法的MATLAB实现实验时间: 2013年05月10日星期三实验成绩：一、实验目的：通过上机利用Matlab数学软件进行一维搜索，并学会对具体问题进行分析。
并且熟悉Matlab软件的实用方法，并且做到学习与使用并存，增加学习的实际动手性，不再让学习局限于书本和纸上，而是利用计算机学习来增加我们的学习兴趣。
二、实验背景：(一）0.618法（黄金分割法），它是一种基于区间收缩的极小点搜索算法，当用进退法确定搜索区间后，我们只知道极小点包含于搜索区间内，但是具体哪个点，无法得知。
1、算法原理黄金分割法的思想很直接，既然极小点包含于搜索区间内，那么可以不断的缩小搜索区间，就可以使搜索区间的端点逼近到极小点。
2、算法步骤用黄金分割法求无约束问题min (),f x x R ∈的基本步骤如下：（1）选定初始区间11[,]a b 及精度0ε>，计算试探点：11110.382*()a b a λ=+-11110.618*()a b a μ=+-。
（2）若k k b a ε-<，则停止计算。
否则当()()k k f f λμ>时转步骤（3）。
当()()k k f f λμ≤转步骤（4）。
（3）置11111110.382*()k kk k k k k k k k a b b a b a λλμμ+++++++=??=??=??=+-?转步骤（5）（4）置11111110.382*()k k k k k k k k k k a a b a b a μμλλ+++++++=??=??=??=+-?转步骤（5）（5）令1k k =+，转步骤（2）。
最优化理论
一维搜索:1精确一维搜索精确一维搜索可以分为三类：区间收缩法、函数逼近法（插值法）、以及求根法。
区间收缩法：用某种分割技术缩小最优解所在的区间(称为搜索区间)。
包括：黄金分割法、成功失败法、斐波那契法、对分搜索法以及三点等间隔搜索法等。
优化算法通常具有局部性质，通常的迭代需要在单峰区间进行操作以保证算法收敛。
确定初始区间的方法：进退法①已知搜索起点和初始步长；②然后从起点开始以初始步长向前试探，如果函数值变大，则改变步长方向；③如果函数值下降，则维持原来的试探方向，并将步长加倍。
1.1黄金分割法：黄金分割法是一种区间收缩方法(或分割方法)，其基本思想是通过取试探点和进行函数值比较，使包含极小点的搜索区间不断缩短以逼近极小值点。
具有对称性以及保持缩减比原则。
优点：不要求函数可微，除过第一次外，每次迭代只需计算一个函数值，计算量小，程序简单；缺点：收敛速度慢；函数逼近法（插值法）：用比较简单函数的极小值点近似代替原函数的极小值点。
从几何上看是用比较简单的曲线近似代替原的曲线，用简单曲线的极小值点代替原曲线的极小点。
1.2牛顿法：将目标函数二阶泰勒展开，略去高阶项后近似的替代目标函数，然后用二次函数的极小点作为目标函数的近似极小点。
牛顿法的优点是收敛速度快，缺点是需要计算二阶导数，要求初始点选的好，否则可能不收敛。
1.2抛物线法：抛物线法的基本思想就是用二次函数抛物线来近似的代替目标函数，并以它的极小点作为目标函数的近似极小点。
在一定条件下，抛物线法是超线性收敛的。
1.3三次插值法：三次插值法是用两点处的函数值和导数值来构造差值多项式，以该曲线的极小点来逼近目标函数的极小点。
一般来说，三次插值法比抛物线法的收敛速度要快。
精确一维搜索的方法选择：1如目标函数能求二阶导数：用Newton法，收敛快。
2如目标函数能求一阶导数：1如果导数容易求出，考虑用三次插值法，收敛较快；2对分法、收敛速度慢，但可靠；3只需计算函数值的方法：1二次插值法, 收敛快，但对函数单峰依赖较强；2黄金分割法收敛速度较慢，但实用性强，可靠；4减少总体计算时间：非精确一维搜索方法更加有效。
最优化方法课程实验报告
项目一 一维搜索算法（一）[实验目的]编写加步探索法、对分法、Newton 法的程序。
[实验准备]1．掌握一维收搜索中搜索区间的加步探索法的思想及迭代步骤； 2．掌握对分法的思想及迭代步骤； 3．掌握Newton 法的思想及迭代步骤。
[实验内容及步骤] 编程解决以下问题：1．用加步探索法确定一维最优化问题的搜索区间，要求选取．加步探索法算法的计算步骤： (1)选取初始点，计算．给出初始步长，加步系数，令。
(2) 比较目标函数值．令k k k h t t +=+1，计算 )(11++=k k t ϕϕ，若k k ϕϕ<+1，转(3)，否则转(4)。
(3) 加大探索步长．令，同时，令，转(2)。
(4) 反向探索．若，转换探索方向，令，转（2）。
否则，停止迭代，令。
加步探索法算法的计算框图12)(min 30+-=≥t t t t ϕ2,1,000===αh t ])0[)(0[max 00t t t ，或，∈⊂∞+∈)(00t ϕϕ=0>h 1α>0=k k k h h α=+1,k t t =,1+=k k t t 1k k =+0=k ,k k h h -=1+=k t t 11min{}max{}k k a t t b t t ++==，，，程序清单加步探索法算法程序见附录1实验结果运行结果为：2．用对分法求解，已知初始单谷区间，要求按精度，分别计算．对分法迭代的计算步骤：(1)确定初始搜索区间],[b a ，要求。
(2) 计算],[b a 的中点)(21b ac +=． (3) 若0)(<'c ϕ，则c a = ，转(4)；若0)(='c ϕ，则c t =*，转(5)；若0)(>'c ϕ，则c b = ，转(4)．)2()(min +=t t t ϕ]5,3[],[-=b a 3.0=ε001.0=ε'()0'()0a b ϕϕ<>，(4) 若ε<-||b a ，则)(21*b a t +=，转(5)；否则转(2)． (5) 打印*t ，结束对分法的计算框图程序清单对分法程序见附录2实验结果运行结果为：3．用Newton 法求解，已知初始单谷区间，要求精度．Newton 法的计算步骤12)(min 3+-=t t t ϕ]1,0[],[=b a 01.0=ε(1) 确定初始搜索区间],[b a ，要求 (2) 选定0t(3) 计算(4) 若 ε≥-||0t t ，则t t =0，转（3）；否则转（5）． (5) 打印 ，结束．Newton 法的计算框图程序清单Newton 法程序见附录3实验结果运行结果为：'()0'()0a b ϕϕ<>，000'()/"()t t t t ϕϕ=-()t t ϕ，项目二 一维搜索算法（二）[实验目的]编写黄金分割法、抛物线插值法的程序。
最优化实验报告
《最优化方法及其应用》课 程 实 验 报 告一、 实验内容项目一 一维搜索算法（一） [实验目的]编写加步探索法、对分法、Newton 法的程序。
[实验学时]2学时[实验准备]1．掌握一维收搜索中搜索区间的加步探索法的思想及迭代步骤；2．掌握对分法的思想及迭代步骤；3．掌握Newton 法的思想及迭代步骤。
[实验内容及步骤]编程解决以下问题：1．用加步探索法确定一维最优化问题12)(min 30+-=≥t t t t ϕ的搜索区间，要求选取2,1,000===αh t ．2．用对分法求解)2()(min +=t t t ϕ，已知初始单谷区间]5,3[],[-=b a ，要求按精度3.0=ε，001.0=ε分别计算．3．用Newton 法求解12)(min 3+-=t t t ϕ，已知初始单谷区间]1,0[],[=b a ，要求精度01.0=ε．项目二 一维搜索算法（二）[实验目的]编写黄金分割法、抛物线插值法的程序。
[实验学时]2学时[实验准备]1．掌握黄金分割法的思想及迭代步骤；2．掌握抛物线插值法的思想及迭代步骤。
[实验内容及步骤]编程解决以下问题：1．用黄金分割法求解)2()(min +=t t t ϕ，已知初始单谷区间]5,3[],[-=b a ，要求精度001.0=ε．2．用抛物线插值法求解3728)(min 23+--=x x x x f ，已知初始单谷区间001.0]20[][==ε，，，b a ．项目三 常用无约束最优化方法（一）[实验目的]编写最速下降法、Newton 法（修正Newton 法）的程序。
[实验学时]2学时[实验准备]1．掌握最速下降法的思想及迭代步骤。
2．掌握Newton 法的思想及迭代步骤；3．掌握修正Newton 法的思想及迭代步骤。
[实验内容及步骤]编程解决以下问题：1．用最速下降法求22120min ()25[22]0.01T f X x x X ε=+==，，，．2．用Newton 法求22121212min ()60104f X x x x x x x =--++-，初始点0[00]0.01T X ε==，，． 3．用修正Newton 求221212min ()4(1)2(1)10f X x x x x =++-+++，初始点0[00]0.01T X ε==，，．项目四 常用无约束最优化方法（二）[实验目的]编写共轭梯度法、变尺度法（DFP 法和BFGS 法）程序。
3.一维搜索方法
1.8 12.096 1.9 14.377
1.8 12.096 1.6 8.488
可得初始搜索区间
1.9 1.8
1.6 1.2
14.377 12.096
8.488 4.584
b 0 . 4 ,
1.6 8.488 1.2 4.584 0.4 5.992
1 . 6 .
a ,
y2 > y1
消去区间[a2,b]，新的搜索区间[a,b]的端点 a=-3不变，而b=a2=1.944
21
例题：黄金分割法（二）
• 依次重复黄金分割法的迭代过程，前五次迭代的结果
迭代序号 0 1 2 3 4 5 a -3 -3 -3 -1.832 -1.832 -1.386 a1 0.056 -1.111 -1.832 -1.111 -1.386 -1.111 a2 1.944 0.056 -1.111 -0.665 -1.111 -0.940 b 5 1.944 0.056 0.056 -0.665 -0.665 y1 0.115 -0.987 -0.306 -0.987 -0.851 比较 ＜ ＜ ＞ ＜ ＞ y2 7.667 0.115 -0.987 -0.888 -0.987
) = y1 - y2 ) = y2 - y3
a1 =
2 2 2 2 2 2 ( x 2 - x 3 )y 1 + ( x 3 - x 1 )y 2 + ( x 1 - x 2 )y 3
( x 1 - x 2 )( x 2 - x 3 )( x 3 - x 1 ) ( x 2 - x 3 )y1 + ( x 3 - x1 )y 2 + ( x1 - x 2 )y 3 ( x 1 - x 2 )( x 2 - x 3 )( x 3 - x 1 )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• % 寻找初始分割点 • x1=a+.382*(b-a); • x2=a+.618*(b-a);
• % 搜索主体 • while(abs(b-a)>eps) • % 计算分割点处 的函数值 • f1=fun(x1); • f2=fun(x2);
% 比较判断两个分割点处的 函数值，进而缩短区间长度 if(f1>f2) a=x1; x1=x2; x2=a+.618*(b-a); elseif(f1==f2) a=x1; b=x2; x1=a+.382*(b-a); x2=a+.618*(b-a); else b=x2; x2=x1; x1=a+.382*(b-a); end end % 返回搜索值 20 answ=(a+b)/2;
并假设
f ( x (1) ) f ( x ( 2 ) ),
f ( x ( 2 ) ) f ( x ( 3 ) ).
f ( x)
( x)
x* x (1 )
x
x ( 2)
x ( 3)
30
如何计算函数 ( x ) ?
设
( x ) a bx cx 2 ,
( x ) a bx cx
(1) (1) (1) 2
令
f ( x (1) ) f ( x( 2) ) f ( x( 3) )
( x ) a bx
( 2) ( 3)
( 2)
cx
( 2)2 ( 3)2
( x ) a bx
再求函数 ( x ) 的极小点， 解得
x b 2c
( 2 )2 ( 3 )2
k k k k
p
x
k
k
.
k
min f ( x) s.t . x R
.
一维最优化问题：
极值点的必要条件：
f '( x ) 0
5
1. 下单峰函数 定义：设 f ( x ) 是区间 [ a , b ] 上的一元函数，x 是 f ( x ) 在 [ a , b ] 上的极小点，且对任意的 x1 , x2 [ a , b ], x1 x2 , 有 （a）当 x 2 x 时，f ( x1 ) f ( x2 ); （b）当 x1 x 时，f ( x1 ) f ( x2 ) .
设 f ( x ) 在 [a1 , b1 ] 上单峰，极小点 x [a1 , b1 ]. 假设进行 第 k 次迭代前 x [ak , bk ], 取 k , k [a k , bk ], 规定 k k .
计算 f ( k ) 和 f ( k ) , 分两种情况： 1. 若 f (k ) f ( k ) , 则令 a k 1 k , bk 1 bk ; 2. 若 f ( k ) f ( k ) , 则令 a k 1 a k , bk 1 k . 如何确定 k 与 k？
(k )
( 3) 从 x (1) , x ( 2) , x ( 3)和 x 中选择 f ( x ) 的函数值最小的三个点及其
左、右两点， 重新标记为 x (1) , x ( 2 ) , x ( 3 ) 。 令 k : k 1 。 转（2） 。
(k )
32
作业
• 小结各种精确一维搜索算法
33
不精确一维线搜索
34
为什么不精确的搜索好？
• 距离最优解远的时候，精度太大 算法效率低 • 有些算法的收敛速度不依赖与搜索的精度 • 只要求有充分下降即可 这种类似与“充分”、“足够”等描述词汇， 在与计算相关的描述中，要特别在意，因为， 这里的“充分”，已经不再是理论上的要求， 这里的“充分”必须与“可计算”相关 （到底要多充分，就是这里的非精确搜索的准测） 35
( 3)
cx
解上述方程组，可得逼近函数 ( x ) 的系数b 和 c.
令
( x ) b 2cx 0,
( x x ) f ( x ) ( x x ) f ( x ) ( x x ) f ( x ( 3) ) 2 [ ( x ( 2 ) x ( 3 ) ) f ( x (1) ) ( x ( 3 ) x (1) ) f ( x ( 2 ) ) ( x (1) x ( 2 ) ) f ( x ( 3 ) ) ]
26
( 2) (4) 6. 令 h : h, x( 2) x( 4) , f ( x ) f ( x ),
转 2.
7. 令 x (3) x ( 2 ) , x( 2) x(1) , x(1) x( 4) , 停止计算。
区间 [ x (1) , x ( 3 ) ] 或[ x ( 3 ) , x (1) ] 即为包含极小点的区间。
4. 令 a k 1 a k ,
bk 1 k ,
k 1 k ,
18
k 1 a k 1 0.382(bk 1 a k 1 ), 计算 f (k 1 ), 令 k : k 1, 转 2。
• • • • •
• 一个以前很好的例子 function answ = goldsection(a,b,eps) % 黄金分割法实现一维搜索 % a ---- 搜索区间左端点 % b ---- 搜索区间右端点 % eps ---- 搜索精度
例：
x ( 0) x (1 ) x ( 2) x ( 3)
x(4) x(1) h x (1 ) x ( 2)
x ( 4) x (1 )
h : h x ( 4) x (1 )
x ( 0) x (1 ) x (1 ) x ( 2)
x ( 4) x ( 2) x ( 3)
27
极小点区间 ： [ x ( 3 ) , x ( 1) ]
ak 2 (bk ak )
如果令 2 1 ， 则uk 1 k ,因此 uk 1 不必重新计算 。
5 1 1 0.618 2 (2) 若在第k 次迭代时有f (k ) f ( k ) 。 同理可得。
2
17
算法步骤：
1. 给定初始区间 [a1 , b1 ], 精度要求 0. 令 1 a1 0.382 (b1 a1 ), 1 a1 0.618 (b1 a1 ), 并计算 f (1 ) 与 f ( 1 ). 令 k : 1.
2. 若 bk a k , 停止， 且
bk a k . 否则， 2 当 f ( k ) f ( k ) 时，转 3；当 f ( k ) f ( k ) 时，转 4. x
bk 1 bk ,
3. 令 a k 1 k ,
k 1 k ,
k 1 a k 1 0.618(bk 1 a k 1 ), 计算 f ( k 1 ), 令 k : k 1, 转 2。
15
要求其满足以下两个条 件：
1. bk k k a k
(1)
ak
k
k
bk
2. 每次迭代区间长度缩短比率相同，即 bk 1 a k 1 (bk a k ) ( 0)
( 2)
由式（ 1）与（2）可得：
k ak (1 )(bk ak ) k ak (bk ak )
( 3)
(4)
16
取值的确定？
通过确定 的取值，使上一次迭代剩余的迭代点恰与下一次 迭代的一个迭代点重合，从而减少算法的计算量。
(1) 设在第 k 次迭代时有 f ( k ) f ( uk ) , 则有
[ a k 1 , bk 1 ] [ a k , uk ]。
在第 k 1 次迭代时选取 k 1 , uk 1 , 则由（4）有 uk 1 a k 1 (bk 1 a k 1 )
• % CopyRight@XiaBo • % Date:2008.3.20
• %% 定义搜索函数fun • function f = fun(x) % 这里是一个简单的函数定义， 倘若在一个大型的优化计算中，这个函数一般是和第k 步的迭代点和下降方向有关的 • % 是一个关于步长的函数 • % x --- 待求步长值 • f = x^2-x+2; 19
令 k : k 1.
3. 若 f ( x ( 4 ) ) f ( x (1) ), 4. 令 x ( 2 ) x ( 1 ) ,
则转 4， 否则，转5.
f ( x (1) ) f ( x ( 4 ) ),
x(1) x( 4) , f ( x ( 2 ) ) f ( x (1) ), 令 h : 2h, 转 2. 5. 若 k 1, 则转 6； 否则，转7.
极小点区间： [ x ( 1) , x ( 3 ) ]
平分法 (优点和缺点都突出的方法)
能否看出 优点和缺点？
28
29
5. 抛物线插值
为什么非要是二次三项式？
思想 在极小点附近，用二次三项式 ( x ) 逼近目标函数 f ( x ),
令 ( x ) 与 f ( x ) 在三点 x (1) x ( 2 ) x ( 3 ) 处有相同的函数值，
的三点。一个方向不成功，就退回来，再沿相反方向寻找。
进退法的计算步骤（与教材的算法比较P20）
1. 给定初始点 x ( 0 ) R, 初始步长h0 0, 令 h h0 , x(1) x( 0) ,
计算 f ( x (1) ), 并令 k 0.
2. 令 x ( 4 ) x (1) h, 计算 f ( x ( 4 ) ),
黄金分割法的迭代效果：第k次后迭代后所得区间长度为
初始区间长度的 ( 5 1)k 倍 。
2
作业
21
22