3-1最优化搜索算法的结构

(1/2) ф’’(λk )(λ- λk )2 + o (λ- λk )2 取二次式（略去高阶项）：
qk(λ) = ф(λk) +ф’(λk)(λ-λk) + (1/2)ф’’(λk)(λ-λk)2
3.2 一维搜索
二、牛顿法（Newton）和插值法 1、Newton法：（续）
用qk(λ)作为ф(λ)的近似，当ф″(λk) > 0时，其驻 点为极小点：
，称d 为
在 x点的下降方向。
3.1 常用的搜索算法结构
四、下降算法模型（续） _
△可行方向：设 x∈S，d∈Rn,d≠0,若存
在 _ ，0 使 x_ d S, (0, ) ，称d 为 x点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
3.1 常用的搜索算法结构
3.2 一维搜索
一、缩小区间的精确一维搜索（续）
若对任意λ1 ,λ2, α≤ λ1 < λ2 ≤β满足：
1º若λ2 ≤ λ* ，则φ(λ1) > φ(λ2); 2º若λ1 ≥λ* ，则φ(λ1) <φ(λ2). 则称φ(λ)在[α, β] 上强单峰。
若只有当φ(λ1) ≠φ(λ* )， φ(λ2) ≠φ(λ* )时，上述1º, 2º式才成立，
x(k) || x* ||
1
证明只需注意
| ||x(k+1) –x* || -|| x(k) –x* || |≤ ||x(k+1) –x(k) || ≤ ||x(k+1)
–x* || +|| x(k) –x* || ，除以|| x(k) –x* || 并令k→∞， 利用超线性收敛定义可得结果。
……①
（使“坏”的情况去掉，区间长度不小于“好”的情 况）
2°保持缩减比 t=(保留的区间长度／原区间长度) 不变。
（使每次保留下来的节点， λ或 μ，在下一次的比较中成为 一个相应比例位置的节点 ）。
推导缩减比 t : 如图设第一次保留[α, μ] (去掉[μ, β]),那么第二
次保留的长度为[α, λ],则
模型算法 初始x(1) ∈S, k =1
k=k+1
对x(k)点选择下降 可行方向d(k)
线性搜索求 ，k
新点
x(k 1) x(k ) (k )d (k )
使x(k+1)∈S
no
yes
是否满足停机条件？
停
3.2 一维搜索
一元函数求极小及线性搜索均为一维搜索。常用于求：
min f(x(k)+ d(k))=φ(λ)
注意 上式有 t2=1-t , 故有
μ =α +t(β -α )
λ = α + （1-t）(β -α ) （算法框图见下页）
3.2 一维搜索
一、缩小区间的精确一维搜索 之 黄金分割法（0.618 法）（算法）
初始[α,β], ε>0
t ( 5 1) / 2
λ = α + （1-t）(β -α )
3.1 常用的搜索算法结构
三、二次终结性
▲一个算法用于解正定二次函数的无约束极 小时，有限步迭代可达最优解，则称该算 法具有二次终结性。
▲二次终结性=共轭方向+精确一维搜索。
▲共轭方向
·定义：
∈Rn , d
(1)
≠设0，Adn×(2)n≠对0，称满正足定d，(1)dTA(1d),(d2)=(20) ,
则称φ(λ)在[α, β] 上单峰。
α λ* λ1λ2 β 强单峰
α λ*
β
单峰
3.2 一维搜索
一、缩小区间的精确一维搜索（续）
定理：设Ф：R→R 在[α，β ]上单峰，α≤λ＜μ≤ β 。那么
1°若Ф(λ)≥ Ф(μ)，则Ф(ρ) ≥Ф(μ)， ρ ∈[α，λ]；如左下图
2°若Ф(λ)＜ Ф(μ)，则Ф(ρ)≥Ф(λ)， ρ ∈[μ ， β]；如右下图
3.1 常用的搜索算法结构
四、下降算法模型
考虑（fs）
min f(x)
s.t. x∈S
常用一种线性搜索的方式来求解：迭代中从一
点出发沿下降可行方向找一个新的、性质有 改善的点。
△下降方向 ：
_
设 x∈S，d ∈Rn,d≠0,若存在 ，0
使
_
_
_ f (x d ) f (x), (0, )
d(1),d(2), …,d(m) 线性无关。
proof: 设d= 1 d(1)+ 2d(2)+…+ md(m) =0， j=1,2, …,m， d(j)TAd= jd(j)TAd(j)=0
∵ d(j)TAd(j) >0，故j =0，即线性无关。
超线性收敛和二次终结性常用来讨论算法的优点。
0
解： ф′ (λ) =arctan λ , ф″(λ)=1／(1+ λ2)
迭代公式： λk +1= λk - (1+ λ2) arctan λk 取λ1= 1，计算结果：
k
λk
ф′ (λk)
1
1
0.7854
1／ф″(λk ) 2
2
-0.5708
-0.5187
1.3258
3
0.1169
-0.1164
1.0137
4
-0.001095 -0.001095
λ4≈ λ* =0 取λ1=2，计算结果如下：
3.2 一维搜索
第三章
最优化搜索算法的结构 与
一维搜索
3.1 常用的搜索算法结构 一、收敛性概念： 考虑（fs）
设迭代算法产生点列{x(k)} S. 1. 理想的收敛性：设x*∈S是g.opt.当
x*∈ {x(k)} 或 x(k) ≠ x*， k，满足
lim x(k ) x*
k
时，称算法收敛到最优解 x*。
局部收敛：当x(1) 充分接近解x*时，算法 才收敛。
3.1 常用的搜索算法结构
二、收敛速度
设算法产生点列{x(k)},收敛到解x*,且x(k)≠x*，
k，
1.线性收敛：
|| x(k 1) x* || || x(k ) x* ||
1
当k充分大时成立。
2.超线性收敛： lim || x(k1) x* || 0 k || x(k) x* ||
设ф (λ)在 [α ,β]上可微，且当导数为零时是解。取λ=(α+β) ／
2，那么
ф′ (λ)=0 时， λ为最小点， λ= λ* ； ф′ (λ)>0 时， λ在上升段， λ* < λ，去掉[λ,β] ； ф′ (λ)<0 时， λ在下降段， λ* > λ，去掉[α ,λ] ； (自己画算法框图)
s.t. λ∈S
S有3种情况（-∞，+∞）或（0， +∞ ）或[a,b] 一、缩小区间的精确一维搜索：考虑问题(P)
min φ(λ) s.t. λ ∈[α, β] φ (λ):R→R 1、不确定区间及单峰函数
△不确定区间： [α, β]含φ(λ)的最小点，但不知其位 置
3.2 一维搜索
一、缩小区间的精确一维搜索（续）
α λ μβ
αλ μ
β
3.2 一维搜索
一、缩小区间的精确一维搜索（续）
Proof. 1°反证：设
λ* ∈[α,β]为最小点，γ∈[α,λ]及γ﹤λ﹤λ*，使ф (γ)<ф (μ )<ф (λ)，
若λ* ∈[λ ,β]，由定义ф (γ)>ф (λ)，矛盾（假设）； 若λ* ∈[α ,λ），由定义及μ >λ ≥λ*， ф(μ )>ф (λ),
定义：设φ： [α, β] →R， λ* ∈[α, β] 是φ在
[α, β] 上的最小点 λ2 ≤β满足：
，若对任意λ1
,λ2,
α≤
λ1
<
1º若λ2 ≤ λ* ，则φ(λ1) > φ(λ2);
2º若λ1 ≥λ* ，则φ(λ1) <φ(λ2).
则称φ(λ)在[α, β] 上强单峰。
若述只1º,有2º当式φ才(λ1成) ≠立φ(，λ*则)，称φφ((λλ2))在≠φ[α(λ, *β)]时上，单上峰。
tg α>0
ф′ (λ)
α
α
λ
β
tg α<0
ф′ (λ)
α
α
λ
β
3.2 一维搜索
4、进退法求初始不确定区间
找三点使两端点的函数值大于中间点的函数值。
思路：任取λ0，步长δ >0，取λ1=λ0 + δ ， 1°若ф(λ0 )< ф(λ1), 令δ=2 δ（步长加倍），λ2=λ0 - δ ，
若ф(λ2 )< ф(λ0),则令λ1=λ0 ，λ0=λ2 ,重复 1° 若ф(λ2 )>ф(λ0),则停，α= λ2，β= λ1 (图1)
称
d(1),d(2) 关于矩阵A共轭。
·共轭向量组：d(1),d(2), …,d(m) ∈Rn 均非零， 满足d(i)TAd(j)=0,(i≠j) .
3.1 常用的搜索算法结构
三、二次终结性（续）
·当A=I(单位矩阵)时， d(1)TAd(2)= d(1)Td(2)=0，即正
交关系。
正定
·当d(1),d(2), …,d(m) 关于正定矩阵A两两共轭时，
μ =α +t(β -α )
α λμ β
μβ
Β= μ, μ= λ
λ = α + （1-t）(β -α ) No
yes β -α <ε?
No
Ф（λ）-Ф（μ）>0?
yes
STOP; λ* =(α+β)/2