第八章单变量函数的寻优方法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Hale Waihona Puke Baidu
初始[α,β], ε>0
t ( 51)/2
λ = α + （1-t）(β -α )
μ =α +t(β -α )
α λμ β
μβ
Β= μ, μ= λ
λ = α + （1-t）(β -α ) No
yes β -α <ε?
No
Ф（λ）-Ф（μ）>0?
yes
STOP; λ* =(α+β)/2
α= λ, λ = μ μ =α +t(β -α )
2
f(b1) f(a1)
f(vk) f(uk)
uk=ak+0.382(bk-ak)
a1
uk vk
b1
3
f(b1) f(a1)
f(vk) f(uk)
uk=ak+0.618(bk-ak)
a1
uk vk
b1
4
Step2 若f(uk)>f(vk),则令 ak+1 = uk和bk+1= bk
否则令 ak+1 = ak和bk+1= vk Step3 令k+1 k,转Step1
得到：
λk +1=λk –ф’(λk) /ф’’(λk) 取λk +1为新的迭代点。 以上过程即Newton法。
特点：二阶、局部收敛。 （算法框图见下页）
16
Newton法算法框图：
初始λ1,ε1, ε2 >0 k=1
N
停，失败
︱ ф′ (λk ) ︱<ε1?
y
N
ф″(λk ) >0?
Y
λk +1= λk - ф′ (λk ) ／ ф″(λk )
7
若对任意λ1 ,λ2, α≤ λ1 < λ2 ≤β满足：
1º若λ2 ≤ λ* ，则φ(λ1) > φ(λ2); 2º若λ1 ≥λ* ，则φ(λ1) <φ(λ2). 则称φ(λ)在[α, β] 上强单峰。
若只有当φ(λ1) ≠φ(λ* )， φ(λ2) ≠φ(λ* )时，上述1º, 2º式才成立，
α λμ β αλ
13
8.2牛顿法
牛顿法（切线法）的基本思想是： 在极小点附近用二阶泰勒（Taylor) 多项式近似目标函数，进而求出极小 值点的估计值。
14
一、牛顿法（Newton）基本原理
15
用qk(λ)作为ф(λ)的近似，当ф″(λk) > 0时， 其驻点为极小点：
q′k(λ)= ф′(λk) +ф″(λk)(λ- λk )=0
停；解λk
k=k+1
Y
| λk +1-λk |< ε2
N
17
二、牛顿法（Newton）例题
Ex. 求 min ф(λ)= arctan t d t
0
解： ф′ (λ) =arctan λ , ф″(λ)=1／(1+ λ2)
迭代公式： λk +1= λk - (1+ λ2) arctan λk 取λ1= 1，计算结果：
5
8.1 黄金分割法
一元函数求极小值及线性搜索均为一维搜索。常 用于求：
min f(x(k)+ d(k))=φ(λ)
s.t. λ∈S
S有3种情况（-∞，+∞）或（0， +∞ ）或[a,b] 一、缩小区间的精确一维搜索：考虑问题(P)
min φ(λ) s.t. λ ∈[α, β] φ (λ):R→R 1、不确定区间及单峰函数
矛盾（条件）；
于是结论成立。 2 °的证明类似（略）。
注：上述定理为缩短区间的算法提供了理论根据。
10
2、黄金分割法（0.618 法）
通过上述定理，选二点λ<μ ,比较ф (λ) 与ф (μ ),可去掉[α ,λ]或
者[μ ,β].考虑条件：
1°对称： λ- α= β- μ
……①
（使“坏”的情况去掉，区间长度不小于“好”的情况）
△不确定区间： [α, β]含φ(λ)的最小点，但不知其位 置
6
定义：设φ： [α, β] →R， λ* ∈[α, β] 是φ在
[α, β] 上的极小点 ，若对任意λ1 ,λ2, α≤ λ1 < λ2 ≤β满足： 1º若λ2 ≤ λ* ，则φ(λ1) > φ(λ2); 2º若λ1 ≥λ* ，则φ(λ1) <φ(λ2). 则称φ(λ)在[α, β] 上强单峰。
整理② ： μ =α +t(β -α )
λ = α +t(μ -α )
结合①式：t2+t-1=0
故 t≈0.618
t 1 5(舍去负)值
注意 上式有 t2=1-t , 故有 2
μ =α +t(β -α )
λ = α + （1-t）(β -α )
（算法框图见下页）
12
黄金分割法（0.618 法）（算法）
则称φ(λ)在[α, β] 上单峰。
α λ* λ1λ2 β 强单峰
α λ*
β
单峰 8
定理：设Ф：R→R 在[α，β ]上单峰，α≤λ＜μ≤ β 。那么
1°若Ф(λ)≥ Ф(μ)，则Ф(ρ)≥Ф(μ)， ρ ∈[α，λ]；如左下图
2°若Ф(λ)＜ Ф(μ)，则Ф(ρ)≥Ф(λ)， ρ ∈[μ ， β]；如右下图
α λ μβ
αλ μ
β
9
Proof. 1°反证：设
λ* ∈[α,β]为极小点，γ∈[α,λ]及γ﹤λ﹤λ*，使ф (γ)<ф (μ )<ф (λ)，
若λ* ∈[λ ,β]，由定义ф (γ)>ф (λ)，矛盾（假设）； 若λ* ∈[α ,λ），由定义及μ >λ ≥λ*， ф(μ )>ф (λ),
k
λk
ф′ (λk)
1
1
0.7854
2
-0.5708
-0.5187
3
0.1169
-0.1164
4
-0.001095 -0.001095
λ4≈ λ* =0 取λ1=2，计算结果如下：
1／ф″(λk ) 2
1.3258 1.0137
18
Newton法计算结果：
k
λk
1
2
ф′ (λk) 1.1071
2
-3.5357
第八章单变量函数的寻优方法
黄金分割法（0.618法）
Step0 给定容许最终不确定区间长度 为l >0，初始区间[a1,b1 ],令k=1,进 入Step1
Step1 若 bk- ak<l,则停算,极小点x* [ ak,bk ] 否则计算 f 在 uk=ak+0.382(bk-ak) vk=ak+0.618(bk-ak) 的值。
2°保持缩减比 t=(保留的区间长度／原区间长度) 不变。
（使每次保留下来的节点， λ或 μ，在下一次的比较中成为 一个相应比例位置的节点 ）。
推导缩减比 t : 如图设第一次保留[α, μ] (去掉[μ, β]),那么第二
次保留的长度为[α, λ],则
α
λμ
β t(2)
11
2、黄金分割法（0.618 法）（续）
-1.2952
3
13.95
不收敛。
1／ф″(λk ) 5 13.50
19
8.3 抛物线逼近法
初始[α,β], ε>0
t ( 51)/2
λ = α + （1-t）(β -α )
μ =α +t(β -α )
α λμ β
μβ
Β= μ, μ= λ
λ = α + （1-t）(β -α ) No
yes β -α <ε?
No
Ф（λ）-Ф（μ）>0?
yes
STOP; λ* =(α+β)/2
α= λ, λ = μ μ =α +t(β -α )
2
f(b1) f(a1)
f(vk) f(uk)
uk=ak+0.382(bk-ak)
a1
uk vk
b1
3
f(b1) f(a1)
f(vk) f(uk)
uk=ak+0.618(bk-ak)
a1
uk vk
b1
4
Step2 若f(uk)>f(vk),则令 ak+1 = uk和bk+1= bk
否则令 ak+1 = ak和bk+1= vk Step3 令k+1 k,转Step1
得到：
λk +1=λk –ф’(λk) /ф’’(λk) 取λk +1为新的迭代点。 以上过程即Newton法。
特点：二阶、局部收敛。 （算法框图见下页）
16
Newton法算法框图：
初始λ1,ε1, ε2 >0 k=1
N
停，失败
︱ ф′ (λk ) ︱<ε1?
y
N
ф″(λk ) >0?
Y
λk +1= λk - ф′ (λk ) ／ ф″(λk )
7
若对任意λ1 ,λ2, α≤ λ1 < λ2 ≤β满足：
1º若λ2 ≤ λ* ，则φ(λ1) > φ(λ2); 2º若λ1 ≥λ* ，则φ(λ1) <φ(λ2). 则称φ(λ)在[α, β] 上强单峰。
若只有当φ(λ1) ≠φ(λ* )， φ(λ2) ≠φ(λ* )时，上述1º, 2º式才成立，
α λμ β αλ
13
8.2牛顿法
牛顿法（切线法）的基本思想是： 在极小点附近用二阶泰勒（Taylor) 多项式近似目标函数，进而求出极小 值点的估计值。
14
一、牛顿法（Newton）基本原理
15
用qk(λ)作为ф(λ)的近似，当ф″(λk) > 0时， 其驻点为极小点：
q′k(λ)= ф′(λk) +ф″(λk)(λ- λk )=0
停；解λk
k=k+1
Y
| λk +1-λk |< ε2
N
17
二、牛顿法（Newton）例题
Ex. 求 min ф(λ)= arctan t d t
0
解： ф′ (λ) =arctan λ , ф″(λ)=1／(1+ λ2)
迭代公式： λk +1= λk - (1+ λ2) arctan λk 取λ1= 1，计算结果：
5
8.1 黄金分割法
一元函数求极小值及线性搜索均为一维搜索。常 用于求：
min f(x(k)+ d(k))=φ(λ)
s.t. λ∈S
S有3种情况（-∞，+∞）或（0， +∞ ）或[a,b] 一、缩小区间的精确一维搜索：考虑问题(P)
min φ(λ) s.t. λ ∈[α, β] φ (λ):R→R 1、不确定区间及单峰函数
矛盾（条件）；
于是结论成立。 2 °的证明类似（略）。
注：上述定理为缩短区间的算法提供了理论根据。
10
2、黄金分割法（0.618 法）
通过上述定理，选二点λ<μ ,比较ф (λ) 与ф (μ ),可去掉[α ,λ]或
者[μ ,β].考虑条件：
1°对称： λ- α= β- μ
……①
（使“坏”的情况去掉，区间长度不小于“好”的情况）
△不确定区间： [α, β]含φ(λ)的最小点，但不知其位 置
6
定义：设φ： [α, β] →R， λ* ∈[α, β] 是φ在
[α, β] 上的极小点 ，若对任意λ1 ,λ2, α≤ λ1 < λ2 ≤β满足： 1º若λ2 ≤ λ* ，则φ(λ1) > φ(λ2); 2º若λ1 ≥λ* ，则φ(λ1) <φ(λ2). 则称φ(λ)在[α, β] 上强单峰。
整理② ： μ =α +t(β -α )
λ = α +t(μ -α )
结合①式：t2+t-1=0
故 t≈0.618
t 1 5(舍去负)值
注意 上式有 t2=1-t , 故有 2
μ =α +t(β -α )
λ = α + （1-t）(β -α )
（算法框图见下页）
12
黄金分割法（0.618 法）（算法）
则称φ(λ)在[α, β] 上单峰。
α λ* λ1λ2 β 强单峰
α λ*
β
单峰 8
定理：设Ф：R→R 在[α，β ]上单峰，α≤λ＜μ≤ β 。那么
1°若Ф(λ)≥ Ф(μ)，则Ф(ρ)≥Ф(μ)， ρ ∈[α，λ]；如左下图
2°若Ф(λ)＜ Ф(μ)，则Ф(ρ)≥Ф(λ)， ρ ∈[μ ， β]；如右下图
α λ μβ
αλ μ
β
9
Proof. 1°反证：设
λ* ∈[α,β]为极小点，γ∈[α,λ]及γ﹤λ﹤λ*，使ф (γ)<ф (μ )<ф (λ)，
若λ* ∈[λ ,β]，由定义ф (γ)>ф (λ)，矛盾（假设）； 若λ* ∈[α ,λ），由定义及μ >λ ≥λ*， ф(μ )>ф (λ),
k
λk
ф′ (λk)
1
1
0.7854
2
-0.5708
-0.5187
3
0.1169
-0.1164
4
-0.001095 -0.001095
λ4≈ λ* =0 取λ1=2，计算结果如下：
1／ф″(λk ) 2
1.3258 1.0137
18
Newton法计算结果：
k
λk
1
2
ф′ (λk) 1.1071
2
-3.5357
第八章单变量函数的寻优方法
黄金分割法（0.618法）
Step0 给定容许最终不确定区间长度 为l >0，初始区间[a1,b1 ],令k=1,进 入Step1
Step1 若 bk- ak<l,则停算,极小点x* [ ak,bk ] 否则计算 f 在 uk=ak+0.382(bk-ak) vk=ak+0.618(bk-ak) 的值。
2°保持缩减比 t=(保留的区间长度／原区间长度) 不变。
（使每次保留下来的节点， λ或 μ，在下一次的比较中成为 一个相应比例位置的节点 ）。
推导缩减比 t : 如图设第一次保留[α, μ] (去掉[μ, β]),那么第二
次保留的长度为[α, λ],则
α
λμ
β t(2)
11
2、黄金分割法（0.618 法）（续）
-1.2952
3
13.95
不收敛。
1／ф″(λk ) 5 13.50
19
8.3 抛物线逼近法