无约束非线性规划
合集下载
非线性规划无约束问题.pptx
器在单位时间内的经济效益是最好的？
4
非线性规划
目标函数或约束条件中有非线性函 数的规划问题
5
非线性规划的最优解可能在其可行域中的任 意一点达到
不一定是全局最优解
6
背景 理论计算 相对于计算要求，计算能力仍十分有限
7
8
背景 为加快计算速度，必须明确各种方法的特点，
以针对不同问题选择最合适的方法
f(x2)＞f(x1)，去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x1 x*
b0 x
x1,x2 在x*的左侧
39
f(x2)＝f(x1)： a.去掉[x1,b0]，此时x*[a0,x1] b.去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x* x1 b x x1,x2 在x*的两侧0
2
f
(1.941,
3.854)
31.794 9.764
9.764 4
H
(
x2
)
2
f
(1.053,1.028)
11.194 2.212
2.212 4
H
(
x3
)
2
f
(0.6117,1.4929)
0.519 4.447
4.447
4
31
求得各点的H特征值和稳定点类型如下：
32
33
一维搜索法 多项式近似
斐波那契（Fibonacci）法（分数法） 0.618法 无需求导，根据函数值判断搜索方向 适用于求解已知极值区间的单峰函数
37
一维搜索法（消去法）
f(x2)＜f(x1)，去掉[x1,b0]，此时x*[a0,x1]
4
非线性规划
目标函数或约束条件中有非线性函 数的规划问题
5
非线性规划的最优解可能在其可行域中的任 意一点达到
不一定是全局最优解
6
背景 理论计算 相对于计算要求，计算能力仍十分有限
7
8
背景 为加快计算速度，必须明确各种方法的特点，
以针对不同问题选择最合适的方法
f(x2)＞f(x1)，去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x1 x*
b0 x
x1,x2 在x*的左侧
39
f(x2)＝f(x1)： a.去掉[x1,b0]，此时x*[a0,x1] b.去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x* x1 b x x1,x2 在x*的两侧0
2
f
(1.941,
3.854)
31.794 9.764
9.764 4
H
(
x2
)
2
f
(1.053,1.028)
11.194 2.212
2.212 4
H
(
x3
)
2
f
(0.6117,1.4929)
0.519 4.447
4.447
4
31
求得各点的H特征值和稳定点类型如下：
32
33
一维搜索法 多项式近似
斐波那契（Fibonacci）法（分数法） 0.618法 无需求导，根据函数值判断搜索方向 适用于求解已知极值区间的单峰函数
37
一维搜索法（消去法）
f(x2)＜f(x1)，去掉[x1,b0]，此时x*[a0,x1]
第二章 无约束非线性规划
例3
非线性规划问题
解：为其建立数学模型： 设该公司计划经营第一种设备 x1 件，第二种设备 x2 件，根据题意，其 其数学模型为：
MAX x1 , x2 0
f ( X ) 30x1 450x2
2 2
0.5 x1 2 x2 0.25x 800
非线性规划
T n x ( x ,..., x ) R 1 n 设 ，
x * 是的严格局部最优解或严格局部极小点，称 f ( x
)
极值存在的条件
１必要条件：设Ｒ是 n 维欧氏空间的某 一区域，f(X)为定义在Ｒ上的实值函数， Ｘ＊是区域Ｒ的内点，若f(Ｘ）在Ｘ＊处 可微，且在该点取得局部极小值，则必 有
f ( X *) f ( X *) f ( X *) 0 x1 x2 xn 5.1
f ( x * ) f ( x), x X, x x *
则称 x 是的严格整体最优解或严格整体极小点，称 f ( x * ) 是的严格整体最优值或严格整体极小值。
*
最优解和极小点
定义 5.1.2 对于非线性规划，若 x * X ，并且存在 x 的一
* n * N ( x ) x R x x ( 0, R) ，使 个领域
f ( x); gi ( x), i 1,..., p; hj ( x), j 1,...,q : R R ,
n
如下的数学模型称为非线性规划模型：
m i n f ( x ) s .t . g i ( x ) 0, i 1,..., p h j ( x ) 0, j 1,...,q
通 常 情 况 下 ， 目 标 函 数 f(x) 和 约 束 条 件 hi(X)和gi(X)为自变量Ｘ的非线性函数
第五小组_非线性规划-无约束极值问题
6 12 6 /17 ( , ) 17 17 12 /17 f ( X (1) )T f ( X (1) ) 1 0 = = = -12 f ( X (0) )T f ( X (0) ) 289 (-12, 6) 6 P (1) = -f ( X (1) ) + 0 P (0) f ( X (1) )T P (1) 17 l1 = = (1) T (1) ( P ) AP 10 X (2) = X (1) + l1 P (1) 1 = 1 6 /17 1 12 90 210 = - + = , 12 /17 289 -6 289 289
但P(i) ≠0 ,A为正定，即
a1 p(i )T AP(i ) = 0
p(i )T AP(i ) = 0 故必有ai= 0,i =1,2,L从而P（1）， P（2），… P（n）线性独立
非线性规划：无约束极值问题
梯度法 共轭梯度法 变尺度法 正定二次函数极小问题
二、基本定理
1 T • 无约束极值的一个特殊情形是： min f ( x) = X AX + BT X + c 2
梯度法 共轭梯度法 变尺度法
计算步骤：
（ 计算H ( k )，P k） = - H ( k )f ( X ( k ) ) （ 在P 0） 方向进行一维搜索，确定最佳步长l0
min f ( X ( k ) + lk P ( k ) ) = f ( X ( k ) + lk P ( k ) )
l
则X ( k +1) = X ( k ) + lk P ( k ) 满足精度要求，则停止迭代； 否则则重复上述步骤
非线性-无约束规划
6） 实用收敛性： ）
定义最优解集如下 S* = { x | x 具有某种性质 } 例：S*={x| x---g.opt} S*={x| x---l.opt} S*={x|∇f(x)=0} S*={x| f’(x)≤β} (β为给定实数,称为阈值） 当下列情况之一成立时 当下列情况之一成立时，称算法收敛具有该性质点 之一成立时， 1°∃x(k) ∈S*; ° 2°∀k，{X(k)}任意极限点∈S* ° 任意极限点∈ 任意极限点
* ak 为最优步长。 最优步长。 则称
根据单变量的驻点条件: 根据单变量的驻点条件 d f(xk+akPk)/dak=0 （当ak=ak* 时） 以及复合函数的求导法则可得： 以及复合函数的求导法则可得：
∇f ( x
k +1 T
) P =0
k
2） 缩小区间的非精确一维搜索
（1）单峰的概念 ） 若对任意λ 若对任意 1 ,λ2, α≤ 1º 若α2 ≤
停
11. 最优步长的一维搜索 1) 精确一维搜索（假定求目标函数极小值） 假定求目标函数极小值） * ak 是在给定 k和方向 是目标函数， 设f(X)是目标函数，如果 是在给定X 是目标函数 矢量P 通过f(x)=f(xk+akPk) 的极小化而产生 矢量 k下，通过
ak* = arg ak min f ( x k + ak P k )
∂ u ∂u ∂u ∂u = cos α + cos β + cos γ ∂ l ∂x ∂y ∂r
2. 海瑟矩阵
海瑟矩阵是对称形式：
∂2 f ( X ) ∂x12 ∂2 f ( X ) 2 H ( X ) = ∇ f ( X ) = ∂x2 ∂x1 ...... ∂2 f ( X ) ∂xn ∂x1
非线性-无约束规划
f(x) 为凸集 S 上的严格凸函数。 性质: 当- f(x) 为凸函数（严格凸函数）时，则称
f(x) 为凹函数（严格凹函数）。
严格凸函数
凸函数
严格凹函数
x1
x 2
2.2 凸集、凸函数和凸规划(续)
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
△可行方_ 向：
设 x∈S，d∈Rn, d≠0, 若存在 0
_
使 x d S, (0, ) ，
称d 为该点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
迭代算法的停止标准
1）
|| X k1 X k || 1
或
||
X k 1 || X k
X ||
k
考虑（fs）
s.t. x∈S
常用一种线性搜索的方式构造{xk}序列来求解 迭代中从一点出发沿下降可行方向找一个
新的、更优的点。
△下降方向 ：
设 x _∈S，d ∈Rn,d≠0,若存在 ，0
使 在
_
_
x _f点(x的 下d )降 方f (x向),。 (0, )
，称d 为
4 常用的搜索算法结构
以及
4) 全局收敛： 对任意初始点x(1), 算法均收敛。
5) 局部收敛： 当x(1) 充分接近解x*时，算法才收敛。
2. 实用收敛性：
定义解集
S* = { x | x 具有某种性质 }
例：S*={x|x---g.opt} S*={x|x---l.opt}
S*={x| f(x)=0} S*={x|f′(x)≤β } (β为给定实数,称为阈值
xn2
f(x) 为凹函数（严格凹函数）。
严格凸函数
凸函数
严格凹函数
x1
x 2
2.2 凸集、凸函数和凸规划(续)
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
△可行方_ 向：
设 x∈S，d∈Rn, d≠0, 若存在 0
_
使 x d S, (0, ) ，
称d 为该点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
迭代算法的停止标准
1）
|| X k1 X k || 1
或
||
X k 1 || X k
X ||
k
考虑（fs）
s.t. x∈S
常用一种线性搜索的方式构造{xk}序列来求解 迭代中从一点出发沿下降可行方向找一个
新的、更优的点。
△下降方向 ：
设 x _∈S，d ∈Rn,d≠0,若存在 ，0
使 在
_
_
x _f点(x的 下d )降 方f (x向),。 (0, )
，称d 为
4 常用的搜索算法结构
以及
4) 全局收敛： 对任意初始点x(1), 算法均收敛。
5) 局部收敛： 当x(1) 充分接近解x*时，算法才收敛。
2. 实用收敛性：
定义解集
S* = { x | x 具有某种性质 }
例：S*={x|x---g.opt} S*={x|x---l.opt}
S*={x| f(x)=0} S*={x|f′(x)≤β } (β为给定实数,称为阈值
xn2
无约束非线性规划
常用的确定搜索方向的方法。 最速下降法 共轭梯度法 牛顿法 拟牛顿法（变尺度法）
一、最速下降法
问题：在x (k)处，沿什么方向d (k)，函数f(x)下降最快？
结论：负梯度方向是函数的最速下降方向。
最速下降法就是以x (k)处的负梯度方向作为搜索方向， 即令
d (k) f (x(k) )
求解问题
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
本章仅讨论如下无约束非线性规划问题：
min f (x)
xRn
假定f(x)具有二阶连续偏导数。
一、 无约束极小化问题的最优性条件
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
(k)
(k)
k
当方向d (k)给定，求最佳步长k, 就是求一元函数
() f (x(k) d (k) )
的极小点问题。 这一过程称为一维搜索。
二、一维搜索的方法：
1. 精确线搜索，即解方程： d() 0 d
2. 试探法；按照某种方式找试探点，通过一系列试探 点的比较确定极小点。 3. 函数逼近法：用较简单的曲线近似代替原来的曲线， 用近似曲线的极小点来估计原曲线的极小点。
一、最速下降法
问题：在x (k)处，沿什么方向d (k)，函数f(x)下降最快？
结论：负梯度方向是函数的最速下降方向。
最速下降法就是以x (k)处的负梯度方向作为搜索方向， 即令
d (k) f (x(k) )
求解问题
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
本章仅讨论如下无约束非线性规划问题：
min f (x)
xRn
假定f(x)具有二阶连续偏导数。
一、 无约束极小化问题的最优性条件
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
(k)
(k)
k
当方向d (k)给定，求最佳步长k, 就是求一元函数
() f (x(k) d (k) )
的极小点问题。 这一过程称为一维搜索。
二、一维搜索的方法：
1. 精确线搜索，即解方程： d() 0 d
2. 试探法；按照某种方式找试探点，通过一系列试探 点的比较确定极小点。 3. 函数逼近法：用较简单的曲线近似代替原来的曲线， 用近似曲线的极小点来估计原曲线的极小点。
Chap3无约束非线性规划
3. 置 ak1 k ,bk1 bk , k1 k , 计算 k1 ak1 0.618(bk1 ak1) 及 f (k1), 转5；
4. 置 ak1 ak ,bk1 k , k1 k , 计算 k1 ak1 0.382(bk1 ak1) 及 f (k1), 转5；
根据 Schwartz 不等式，有 f ( x)T d f ( x) d f ( x)
去绝对值，有
f ( x) f ( x)T d f ( x)
由上式可知，当
d f ( x) f ( x)
时左等号成立，且 fd ( x) f ( x)T d 取到最小值。 因此，在点 x 处，沿上式所定义的方向函数变化率最 小，即负梯度方向为最速下降方向。
a) 若H是正定的，则x(0) 是极小值点；
b) 若H是负定的，则x(0) 是极大值点。
其中
2 f
x12
2 f H |x(0) x2x1
2 f
xnx1
2 f x1x2
2 f x22
2 f xnx2
2 f
x1xn
点转化为求一元函数 () f (x(k) d (k) )的极小点。
一维搜索的方法：
• 微分学中求根法：求满足 d() 0 的λ
• 试探法
d
• 函数逼近法
1、平分法（二分法）
对于一元可微函数 f(x)，如果 x*是 极小点，则必有
a. f (x*) 0. b. 当 x < x* 时， f (x) 0. c. 当 x > x* 时， f (x) 0. 平分法的步骤：
怎样选取合适的 k , k 呢？
4. 置 ak1 ak ,bk1 k , k1 k , 计算 k1 ak1 0.382(bk1 ak1) 及 f (k1), 转5；
根据 Schwartz 不等式，有 f ( x)T d f ( x) d f ( x)
去绝对值，有
f ( x) f ( x)T d f ( x)
由上式可知，当
d f ( x) f ( x)
时左等号成立，且 fd ( x) f ( x)T d 取到最小值。 因此，在点 x 处，沿上式所定义的方向函数变化率最 小，即负梯度方向为最速下降方向。
a) 若H是正定的，则x(0) 是极小值点；
b) 若H是负定的，则x(0) 是极大值点。
其中
2 f
x12
2 f H |x(0) x2x1
2 f
xnx1
2 f x1x2
2 f x22
2 f xnx2
2 f
x1xn
点转化为求一元函数 () f (x(k) d (k) )的极小点。
一维搜索的方法：
• 微分学中求根法：求满足 d() 0 的λ
• 试探法
d
• 函数逼近法
1、平分法（二分法）
对于一元可微函数 f(x)，如果 x*是 极小点，则必有
a. f (x*) 0. b. 当 x < x* 时， f (x) 0. c. 当 x > x* 时， f (x) 0. 平分法的步骤：
怎样选取合适的 k , k 呢？
《高级运筹学》无约束非线性规划.ppt
bk ak ,
x*
1 2
(ak
bk
)
(1) 确定初始单谷区间的进退法
基本思想： 对f(x)任选一个初始点a1及初始步长h，通过比较这
两点函数值的大小，确定第三点位置，比较这三点的函 数值大小，确定是否为 “高—低—高” 形态
计算步骤 Step1.选定初始点a1，初始步长h，计算
f 1＝f (a1), f 2＝f (a1 + h) Step2. 比较f 1和f 2。
计算公式：
x(k 1) x(k ) k d (k )
其中:
d k : 搜索方向
k : 步长
不同算法的区别在于得出搜索方向和步长的方式不同。
2. 选择搜索方向和步长的原则： （1） 目标函数值逐次减小，这种算法称为下降算法。
f (x(0) ) f (x(1) ) f (x(k) )
（2） 算法具有收敛性。 即：序列中的某一点，或序列的极限点是函数的极小点。
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
无约束非线性规划
第一节 最优性条件 第二节 一维搜索
第三节 最速下降法和共轭梯度法
第四节 牛顿法和拟牛顿法(变尺度法)
第五节 信赖域法
#
引言
本章讨论如下的优化模型
min f ( x) n
xR
其中
f
是
二阶连续偏导数。
x
的实值连续函数，通常假定具有
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
#
一维搜索——黄金分割法
a
x1
x2
b
如上图所示， [a, b]为搜索区间，黄金分割法首先根据黄金比例 产生两个内点x1 , x2 x1 a 0.382(b a ) x2 a 0.618(b a ) 然后根据f ( x1 ), f ( x2 )的大小来重新选择搜索区间。
(1).若f ( x1 ) f ( x2 ), 则搜索区间变为[x1 , b]; (2).若f ( x1 ) f ( x2 ), 则搜索区间变为[a, x2 ].
例2 借助计算器或计算机用二分法求方程 2x+3x=7 的近似解(精确到0.1).
#
一维搜索——二分法
那么我们一起来总结一下二分法的解题步骤
给定精确度
，用二分法求函数f(x)零点近似解的步骤如下：
x1；
⑴确定区间[a,b],验证 f (a) f (b) 0 ,给定精确度
⑵求区间(a,b)的中点 ⑶计算f( x1)；
f ( x
来终止迭代，其中
(k )
)
0 是给定的精度要求。
#
一维搜索
#
一维搜索——二分法
对于区间[a,b]上连续不断、且f(a)f(b)<0 的函数y=f(x),通过不断地把函数f(x)的零点 所在的区间一分为二，使区间的两个端点 逐步逼近零点，进而得到零点近似值的方 法叫做二分法（bisection）
② 否则，当f (k ) f (k )时转步 ③ 当f (k ) f (k )时转步 ④
#
一维搜索——黄金分割法
ak 1 k b b ③ k 1 k k 1 k k 1 ak 1 0.618(bk 1 ak 1 )
初始点的选取依赖于方法的收敛性ቤተ መጻሕፍቲ ባይዱ。一个算法 称为收敛的，如果算法产生的序列{ x ( k ) }满足
k
lim x ( k ) x 0
其中x 是最优化问题的最优点。一个算法如果对于任意 给定的初始点都能够收敛，就说这个算法全局收敛或整体 收敛。有些算法只有当初始点接近或充分接近最优解时才 有收敛性，称这样的算法为局部收敛的方法。
#
最优性条件
迭代算法的步骤 第一步：给定最优解的一个初始估计，选择初始点x (0)，置k 0； 第二步：如果x ( k )满足最优解估计的终止条件，停止迭代； 第三步：确定下降方向d ( k ) , 使得目标函数f ( x )从x ( k )出发，沿 d ( k )方向，在射线x ( k ) d ( k ) ( 0)上选取步长k，使得 f(x ( k ) k d ( k ) )<f ( x ( k ) ) 则令x ( k 1) x ( k ) k d ( k ) . 第四步：得到最优解的一个更好的估计x ( k 1) x ( k ) k d ( k )，置 k k 1后转步2.
x ( k 1) x (k ) k d (k ) 其中k 称为步长，d ( k )称为搜索方向。通过迭代方式得到点列{x (k ) }使得 f ( x (0) ) f ( x (1) ) ... f ( x (k ) ) ...
#
迭代法
若产生的点列{ x ( k ) }逼近我们要求的极小点x , 则称 这个序列{ x ( k ) }为极小化序列。满足所对应的函数值 f ( x ( k ) )是逐次减小的算法称为下降算法。
⑤ 令k k 1, 转
；
①若f( x1)=0，则 x1 就是函数的零点； ③若 f ( x1 ) f (b) 0 ，则令a=
②若 f (a) f ( x1 ) 0，则令b= x ( 此时零点 x0 (a, x1 ) )； 1
⑷判断是否达到精确度 ：即若|a-b|< 为a(或b);否则重复⑵~⑷
x1 (此时零点 x0 ( x1, b))；
,则得到零点近似值
#
一维搜索——黄金分割法
黄金分割法也叫0.618法，它是基于一种区间 收缩的极小点搜索算法，当确定搜索区间 [a,b]后，我们只知道极小点包含于搜索区间 内，但是具体是哪个点，无法得知。 1.算法原理
黄金分割法的思想很直接，既然极小点包含 于搜索区间内，那么可以不断的缩小搜索区 间，就可以使搜索区间的端点逼近到极小点 。
#
迭代算法
在大多数的算法中，k的选取是使f ( x)下降得最多，即沿射线 x ( k ) d ( k )求f ( x )的极小值，这是单变量的函数求极小点的问题， 称为一维搜索，也称为线搜索。
迭代的终止条件在不同的最优化方法中也是不同的。 理论上，根据最优性的一阶必要条件，以及算法的设 计思想，可以用
#
一维搜索——黄金分割法
2.算法步骤
用黄金分割法求无约束问题 min f ( x )的基本算法步骤如下
xR
选定初始区间[a1 , b1 ]及精度 0，计算试探点:
① 1 a1 0.382(b1 a1 )
1 a1 0.618(b1 a1 )
令 k 1
若bk ak , 则停止计算.
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
迭代法思想：
首先给出f ( x )的极小点一个初始估计x (0) , 通过某种方式产生 一个使目标函数值减小的方向d (0) , 确定一个实数0 , 从而可以确 定新的迭代点x (1) x (0) 0d (0)，这样下去我们由x (1)、d (1)、1可以 确定x (2)，...x ( k ) ......
第一节 最优性条件 第二节 一维搜索
第三节 最速下降法和共轭梯度法
第四节 牛顿法和拟牛顿法(变尺度法)
第五节 信赖域法
#
引言
本章讨论如下的优化模型
min f ( x) n
xR
其中
f
是
二阶连续偏导数。
x
的实值连续函数，通常假定具有
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
#
一维搜索——黄金分割法
a
x1
x2
b
如上图所示， [a, b]为搜索区间，黄金分割法首先根据黄金比例 产生两个内点x1 , x2 x1 a 0.382(b a ) x2 a 0.618(b a ) 然后根据f ( x1 ), f ( x2 )的大小来重新选择搜索区间。
(1).若f ( x1 ) f ( x2 ), 则搜索区间变为[x1 , b]; (2).若f ( x1 ) f ( x2 ), 则搜索区间变为[a, x2 ].
例2 借助计算器或计算机用二分法求方程 2x+3x=7 的近似解(精确到0.1).
#
一维搜索——二分法
那么我们一起来总结一下二分法的解题步骤
给定精确度
，用二分法求函数f(x)零点近似解的步骤如下：
x1；
⑴确定区间[a,b],验证 f (a) f (b) 0 ,给定精确度
⑵求区间(a,b)的中点 ⑶计算f( x1)；
f ( x
来终止迭代，其中
(k )
)
0 是给定的精度要求。
#
一维搜索
#
一维搜索——二分法
对于区间[a,b]上连续不断、且f(a)f(b)<0 的函数y=f(x),通过不断地把函数f(x)的零点 所在的区间一分为二，使区间的两个端点 逐步逼近零点，进而得到零点近似值的方 法叫做二分法（bisection）
② 否则，当f (k ) f (k )时转步 ③ 当f (k ) f (k )时转步 ④
#
一维搜索——黄金分割法
ak 1 k b b ③ k 1 k k 1 k k 1 ak 1 0.618(bk 1 ak 1 )
初始点的选取依赖于方法的收敛性ቤተ መጻሕፍቲ ባይዱ。一个算法 称为收敛的，如果算法产生的序列{ x ( k ) }满足
k
lim x ( k ) x 0
其中x 是最优化问题的最优点。一个算法如果对于任意 给定的初始点都能够收敛，就说这个算法全局收敛或整体 收敛。有些算法只有当初始点接近或充分接近最优解时才 有收敛性，称这样的算法为局部收敛的方法。
#
最优性条件
迭代算法的步骤 第一步：给定最优解的一个初始估计，选择初始点x (0)，置k 0； 第二步：如果x ( k )满足最优解估计的终止条件，停止迭代； 第三步：确定下降方向d ( k ) , 使得目标函数f ( x )从x ( k )出发，沿 d ( k )方向，在射线x ( k ) d ( k ) ( 0)上选取步长k，使得 f(x ( k ) k d ( k ) )<f ( x ( k ) ) 则令x ( k 1) x ( k ) k d ( k ) . 第四步：得到最优解的一个更好的估计x ( k 1) x ( k ) k d ( k )，置 k k 1后转步2.
x ( k 1) x (k ) k d (k ) 其中k 称为步长，d ( k )称为搜索方向。通过迭代方式得到点列{x (k ) }使得 f ( x (0) ) f ( x (1) ) ... f ( x (k ) ) ...
#
迭代法
若产生的点列{ x ( k ) }逼近我们要求的极小点x , 则称 这个序列{ x ( k ) }为极小化序列。满足所对应的函数值 f ( x ( k ) )是逐次减小的算法称为下降算法。
⑤ 令k k 1, 转
；
①若f( x1)=0，则 x1 就是函数的零点； ③若 f ( x1 ) f (b) 0 ，则令a=
②若 f (a) f ( x1 ) 0，则令b= x ( 此时零点 x0 (a, x1 ) )； 1
⑷判断是否达到精确度 ：即若|a-b|< 为a(或b);否则重复⑵~⑷
x1 (此时零点 x0 ( x1, b))；
,则得到零点近似值
#
一维搜索——黄金分割法
黄金分割法也叫0.618法，它是基于一种区间 收缩的极小点搜索算法，当确定搜索区间 [a,b]后，我们只知道极小点包含于搜索区间 内，但是具体是哪个点，无法得知。 1.算法原理
黄金分割法的思想很直接，既然极小点包含 于搜索区间内，那么可以不断的缩小搜索区 间，就可以使搜索区间的端点逼近到极小点 。
#
迭代算法
在大多数的算法中，k的选取是使f ( x)下降得最多，即沿射线 x ( k ) d ( k )求f ( x )的极小值，这是单变量的函数求极小点的问题， 称为一维搜索，也称为线搜索。
迭代的终止条件在不同的最优化方法中也是不同的。 理论上，根据最优性的一阶必要条件，以及算法的设 计思想，可以用
#
一维搜索——黄金分割法
2.算法步骤
用黄金分割法求无约束问题 min f ( x )的基本算法步骤如下
xR
选定初始区间[a1 , b1 ]及精度 0，计算试探点:
① 1 a1 0.382(b1 a1 )
1 a1 0.618(b1 a1 )
令 k 1
若bk ak , 则停止计算.
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
迭代法思想：
首先给出f ( x )的极小点一个初始估计x (0) , 通过某种方式产生 一个使目标函数值减小的方向d (0) , 确定一个实数0 , 从而可以确 定新的迭代点x (1) x (0) 0d (0)，这样下去我们由x (1)、d (1)、1可以 确定x (2)，...x ( k ) ......