第三章无约束非线性规划
合集下载
【课件】运筹学与最优化方法(华南理工)第3章(07-4)
的最优解S(k)和最优值
(k +1) (k ) (k )
q(S(k) )
(k + 1) (k )
) f (X = X + S 若 f (X (3)令 X 取 X * = X (k+1) ,停止,否则转(4) (4)计算 f = f (X (k) ) f (X (k+1) ), q = f (X (k) ) q(S(k) ) 1/ 2k ..若 f < 0.1q 令
第三章
无约束非线性规划
3.4 信赖域法, Matlab解无约束非线性规划
一.信赖域法: 1.思想: 1) 前两节方法的结构原理为用二次模型产生下降方 向,在下降方向上确定可接受的步长,得到新迭代点. 若二次模型不近似原目标函数,则在搜索方向上无 法找到满意的下降迭代点. 能否先指定步长的界,再用二次模型确定方向和步 长? *注:保证在下近似,可使f(x)与 二次模
y(1) = x +α(x xmax )
2 扩展:给定扩展系数 >1,计算.(加速) 扩展:给定扩展系数γ 计算.(加速) 计算.(加速
y(2) = x +γ ( y(1) x)
3.5 直接算法
一, 2,改进单纯形法: (续) ,改进单纯形法: (1)若f(y(1))<f(x min), 则 若 那么y 取代x 否则, 取代x 若f(y(1))> f(y(2)), 那么 (2)取代 max; 否则, y(1)取代 max (2)若max{f(x(i))| x(i) ≠x max } ≥ f(y(1)) ≥ f(x min), y(1)取代 max . 取代x 若 3° 收缩:若f(x max )> f(y(1)) > f(x(i)), x(i) ≠x max ,计算 ° 收缩: 计算
非线性-无约束规划
6） 实用收敛性： ）
定义最优解集如下 S* = { x | x 具有某种性质 } 例：S*={x| x---g.opt} S*={x| x---l.opt} S*={x|∇f(x)=0} S*={x| f’(x)≤β} (β为给定实数,称为阈值） 当下列情况之一成立时 当下列情况之一成立时，称算法收敛具有该性质点 之一成立时， 1°∃x(k) ∈S*; ° 2°∀k，{X(k)}任意极限点∈S* ° 任意极限点∈ 任意极限点
* ak 为最优步长。 最优步长。 则称
根据单变量的驻点条件: 根据单变量的驻点条件 d f(xk+akPk)/dak=0 （当ak=ak* 时） 以及复合函数的求导法则可得： 以及复合函数的求导法则可得：
∇f ( x
k +1 T
) P =0
k
2） 缩小区间的非精确一维搜索
（1）单峰的概念 ） 若对任意λ 若对任意 1 ,λ2, α≤ 1º 若α2 ≤
停
11. 最优步长的一维搜索 1) 精确一维搜索（假定求目标函数极小值） 假定求目标函数极小值） * ak 是在给定 k和方向 是目标函数， 设f(X)是目标函数，如果 是在给定X 是目标函数 矢量P 通过f(x)=f(xk+akPk) 的极小化而产生 矢量 k下，通过
ak* = arg ak min f ( x k + ak P k )
∂ u ∂u ∂u ∂u = cos α + cos β + cos γ ∂ l ∂x ∂y ∂r
2. 海瑟矩阵
海瑟矩阵是对称形式：
∂2 f ( X ) ∂x12 ∂2 f ( X ) 2 H ( X ) = ∇ f ( X ) = ∂x2 ∂x1 ...... ∂2 f ( X ) ∂xn ∂x1
无约束非线性规划求解方法及其实现
无约束非线性规划求解方法及其实现作者：杨玲指导老师：陈素根摘要:非线性规划是具有非线性约束条件或目标函数的数学规划，是运筹学的一个重要分支。
非线性规划属于最优化方法的一种，是线性规划的延伸。
非线性规划研究一个n元实函数在一组灯饰或不等式的约束条件下的极值问题，且目标函数和约束条件至少有一个是未知量的非线性函数。
目标函数和约束条件都是线性函数的情形则属于线性规划。
非线性规划是20世纪50年代才形成的一门新兴学科。
1951年H.W库恩和A.W塔克发表的关于最优性条件的论文是非线性规划正是诞生的一个重要标志。
在50年代还得出了可分离规划和二次规划的n种解法，它们大都是以G.B.丹齐克提出的解线性规划的单纯形法为基础的。
50年代末到60年代末出现了许多解线性规划问题的有效的算法，70年代又得到进一步的发展。
非线性规划在工程，管理，经济，科研，军事等发面都有广泛的应用，为最优设计提供了有力的工具。
20世纪80年代以来，随着计算机技术的快速发展，非线性规划在信赖域法、稀疏牛顿法、并行计算、内点法和有限存储法等领域取得了丰硕的成果，无约束非线性规划问题是非线性规划的一个重要内容，很多学者对非线性规划问题进行了深入且系统的研究，研究成果丰硕。
关键词最优化共轭梯度法非线性无约束1 引言1.1 无约束非线性规划问题是最基本的非线性规划问题，在1959~1963年幼三位数学家共同研究成功求解无约束问题的DFP变尺度法，该算法的研究成功是无约束优化算法的一个大飞跃，引起了一系列的理论工作，并陆续出现了许多新的算法。
20世纪80年代以来，随着计算机技术的快速发展，非线性规划在信赖域法、稀疏牛顿法、并行计算、内点法和有限存储法等领域取得了丰硕的成果。
无约束非线性规划问题是非线性规划的一个重要内容，很多学者对非线性规划问题进行了深入且系统的研究，研究成果丰硕。
1.2 本文主要研究无约束非线性规划问题，将文章分成四个部分，首先会具体介绍无约束非线性规划的相关概念，并在此基础上研究非线性规划的相关理论与基本算法问题，接着详细介绍无约束非线性规划的几种主要的求解方法，最后举例说明他在实际生活中的应用，并编程实现它。
Chap3无约束非线性规划
3. 置 ak1 k ,bk1 bk , k1 k , 计算 k1 ak1 0.618(bk1 ak1) 及 f (k1), 转5；
4. 置 ak1 ak ,bk1 k , k1 k , 计算 k1 ak1 0.382(bk1 ak1) 及 f (k1), 转5；
根据 Schwartz 不等式，有 f ( x)T d f ( x) d f ( x)
去绝对值，有
f ( x) f ( x)T d f ( x)
由上式可知，当
d f ( x) f ( x)
时左等号成立，且 fd ( x) f ( x)T d 取到最小值。 因此，在点 x 处，沿上式所定义的方向函数变化率最 小，即负梯度方向为最速下降方向。
a) 若H是正定的，则x(0) 是极小值点；
b) 若H是负定的，则x(0) 是极大值点。
其中
2 f
x12
2 f H |x(0) x2x1
2 f
xnx1
2 f x1x2
2 f x22
2 f xnx2
2 f
x1xn
点转化为求一元函数 () f (x(k) d (k) )的极小点。
一维搜索的方法：
• 微分学中求根法：求满足 d() 0 的λ
• 试探法
d
• 函数逼近法
1、平分法（二分法）
对于一元可微函数 f(x)，如果 x*是 极小点，则必有
a. f (x*) 0. b. 当 x < x* 时， f (x) 0. c. 当 x > x* 时， f (x) 0. 平分法的步骤：
怎样选取合适的 k , k 呢？
4. 置 ak1 ak ,bk1 k , k1 k , 计算 k1 ak1 0.382(bk1 ak1) 及 f (k1), 转5；
根据 Schwartz 不等式，有 f ( x)T d f ( x) d f ( x)
去绝对值，有
f ( x) f ( x)T d f ( x)
由上式可知，当
d f ( x) f ( x)
时左等号成立，且 fd ( x) f ( x)T d 取到最小值。 因此，在点 x 处，沿上式所定义的方向函数变化率最 小，即负梯度方向为最速下降方向。
a) 若H是正定的，则x(0) 是极小值点；
b) 若H是负定的，则x(0) 是极大值点。
其中
2 f
x12
2 f H |x(0) x2x1
2 f
xnx1
2 f x1x2
2 f x22
2 f xnx2
2 f
x1xn
点转化为求一元函数 () f (x(k) d (k) )的极小点。
一维搜索的方法：
• 微分学中求根法：求满足 d() 0 的λ
• 试探法
d
• 函数逼近法
1、平分法（二分法）
对于一元可微函数 f(x)，如果 x*是 极小点，则必有
a. f (x*) 0. b. 当 x < x* 时， f (x) 0. c. 当 x > x* 时， f (x) 0. 平分法的步骤：
怎样选取合适的 k , k 呢？
《高级运筹学》无约束非线性规划.ppt
bk ak ,
x*
1 2
(ak
bk
)
(1) 确定初始单谷区间的进退法
基本思想： 对f(x)任选一个初始点a1及初始步长h，通过比较这
两点函数值的大小，确定第三点位置，比较这三点的函 数值大小，确定是否为 “高—低—高” 形态
计算步骤 Step1.选定初始点a1，初始步长h，计算
f 1＝f (a1), f 2＝f (a1 + h) Step2. 比较f 1和f 2。
计算公式：
x(k 1) x(k ) k d (k )
其中:
d k : 搜索方向
k : 步长
不同算法的区别在于得出搜索方向和步长的方式不同。
2. 选择搜索方向和步长的原则： （1） 目标函数值逐次减小，这种算法称为下降算法。
f (x(0) ) f (x(1) ) f (x(k) )
（2） 算法具有收敛性。 即：序列中的某一点，或序列的极限点是函数的极小点。
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
第三章 非线性规划无约束问题的最优化方法.ppt
能源与动力工程学院
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
第三章 非线性规划-无约束问题的最优化方法
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
本章主要介绍构造无约束问题(多维 搜索方向的方法 本章主要介绍构造无约束问题 多维)搜索方向的方法。这些方 多维 搜索方向的方法。 法大致可分为两类： 法大致可分为两类：
第一类：直接搜索方法。在搜索过程中， 第一类：直接搜索方法。在搜索过程中，只用到目标函 数值，不需要计算其导数。例如， 数值，不需要计算其导数。例如，变量轮换法 第二类：解析方法。在搜索过程中， 第二类：解析方法。在搜索过程中，要用到目标函数的 导数。例如最速下降法 牛顿法、共轭梯度法等 最速下降法、 导数。例如最速下降法、牛顿法、共轭梯度法等。
第 一 节
一、基本思想
变
量
轮 换
法
认为最有利的搜索方向是各坐标轴的方向， 认为最有利的搜索方向是各坐标轴的方向，因此它轮流 按各坐标的方向搜索最优点。 按各坐标的方向搜索最优点。 过程：从某一个给定点出发，按第 个坐标轴 个坐标轴x 过程：从某一个给定点出发，按第i个坐标轴 i的方向搜 索时，假定有 个变量 则只有x 在变化，其余(n-1)个变量 个变量， 索时，假定有n个变量，则只有 i在变化，其余 个变量 都取给定点的值保持不变。这样依次从 做了n次单变 都取给定点的值保持不变。这样依次从x1到xn做了 次单变 量的一维搜索，完成了变量轮换法的一次迭代。 量的一维搜索，完成了变量轮换法的一次迭代。
第三章无约束非线性规划课件
a = l; l = u; u = a + 0.618*(b - a); else b = u; u = l; l = a + 0.382*(b-a);
end k = k+1; tol = abs(b - a);
end if k == 100000
disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu
引言
本章讨论如下的优化模型
min f (x)
xRn
x 其中 f 是
的实值连续函数，通常假定具有
二阶连续偏导数。
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
step3.令xk 1 =
xk
f (xk ) ； f (xk )
step4.令k k 1,转step2.
end k = k+1; tol = abs(b - a);
end if k == 100000
disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu
引言
本章讨论如下的优化模型
min f (x)
xRn
x 其中 f 是
的实值连续函数，通常假定具有
二阶连续偏导数。
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
step3.令xk 1 =
xk
f (xk ) ； f (xk )
step4.令k k 1,转step2.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
无约束非线性规划
第一节 最优性条件 第二节 一维搜索
第三节 最速下降法和共轭梯度法
第四节 牛顿法和拟牛顿法(变尺度法)
第五节 信赖域法
#
引言
本章讨论如下的优化模型
min f ( x ) n
xR
其中
f
是
二阶连续偏导数。
x
的实值连续函数，通常假定具有
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
迭代法思想：
首先给出f ( x )的极小点一个初始估计x (0) , 通过某种方式产生 一个使目标函数值减小的方向d (0) , 确定一个实数0 , 从而可以确 定新的迭代点x (1) x (0) 0d (0)，这样下去我们由x (1)、d (1)、1可以 确定x (2)，...x ( k ) ......
#
一维搜索——黄金分割法
2.算法步骤
用黄金分割法求无约束问题 min f ( x )的基本算法步骤如下
xR
选定初始区间[a1 , b1 ]及精度 0，计算试探点:
① 1 a1 0.382(b1 a1 )
1 a1 0.618(b1 a1 )
令 k 1
若bk ak , 则停止计算.
⑤ 令k k 1, 转② Nhomakorabeaak 1 ak b k 1 k ④ k 1 k k 1 ak 1 0.382(bk 1 ak 1 )
#
黄金分割法源程序
function [x,minf] = minHJ(f,a,b,eps) format long; if nargin == 3 eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000 fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu a = l; l = u; u = a + 0.618*(b - a); else b = u; u = l; l = a + 0.382*(b-a);
牛顿法 用基本牛顿法求无约束问题 min f ( x), x R的基本算法步骤 step1.给定初始点x0 , 精度 0, 令k 0; step 2.若 | f ( xk ) | , 停止，极小点为xk ; f ( xk ) step3.令xk 1 = xk ； f ( xk ) step 4.令k k 1, 转step 2.
k T
q k (d ) =f ( xk ) + 2 f ( xk )d =0 得 d [ 2 f ( xk )]1 f ( xk )
#
一维搜索——牛顿法
即 d =xk 1 xk = [ 2 f ( xk )]1 f ( xk ) 从而 xk 1 = xk [ 2 f ( xk )]1 f ( xk ) 若f ( x)为一元函数，则有迭代式 f ( xk ) xk 1 = xk f ( xk )
#
• • • • • • • • • • • • • • • • • • • • • • • •
function [x,minf] = minNewton(f,x0,eps) format long; if nargin == 2 eps = 1.0e-6; end df = diff(f); d2f = diff(df); k = 0; tol = 1; while tol>eps dfx = subs(df,findsym(df),x0); if diff(d2f) == 0 d2fx = double(d2f); else d2fx = subs(d2f,findsym(d2f),x0); end x1 = x0 - dfx/d2fx; k = k + 1; tol = abs(dfx); x0 = x1; end x = x1; minf = subs(f,findsym(f),x); format short;
牛顿法程序
#
最速下降法和共轭梯度法
最速下降法是以负梯度方向作为下降方向的极小化 算法，又称梯度法，是1874年法国科学家Cauchy提出的。 最速下降法是无约束最优化中最简单的方法。
设目标函数f(x)在xk附近连续可微，且gk f ( xk ) 0. 将f ( x )在xk 处Taylor 展开,
x ( k 1) x ( k ) k d ( k ) 其中k 称为步长，d ( k ) 称为搜索方向。通过迭代方式得到点列{x ( k ) }使得 f ( x (0) ) f ( x (1) ) ... f ( x ( k ) ) ...
#
迭代法
若产生的点列{ x ( k ) }逼近我们要求的极小点x , 则称 这个序列{ x ( k ) }为极小化序列。满足所对应的函数值 f ( x ( k ) )是逐次减小的算法称为下降算法。
的值越大，函数f ( x )在xk 处下降量越大。由Cauchy Schwartz 不等式：
T |gk d k | ||d k ||||gk || T T 可知，当且仅当d k gk时，gk d k 最小， gk d k 最大，从而
gk 是最速下降方向。以-gk 为下降方向的方法叫最速下降法。
,则得到零点近似值
#
一维搜索——黄金分割法
黄金分割法也叫0.618法，它是基于一种区间 收缩的极小点搜索算法，当确定搜索区间 [a,b]后，我们只知道极小点包含于搜索区间 内，但是具体是哪个点，无法得知。 1.算法原理
黄金分割法的思想很直接，既然极小点包含 于搜索区间内，那么可以不断的缩小搜索区 间，就可以使搜索区间的端点逼近到极小点 。
例2 借助计算器或计算机用二分法求方程 2x+3x=7 的近似解(精确到0.1).
#
一维搜索——二分法
那么我们一起来总结一下二分法的解题步骤
给定精确度
，用二分法求函数f(x)零点近似解的步骤如下：
x1；
⑴确定区间[a,b],验证 f (a) f (b) 0 ,给定精确度
⑵求区间(a,b)的中点 ⑶计算f( x1)；
② 否则，当f (k ) f ( k )时转步 ③ 当f (k ) f (k )时转步 ④
#
一维搜索——黄金分割法
ak 1 k b b ③ k 1 k k 1 k k 1 ak 1 0.618(bk 1 ak 1 )
这就是牛顿法迭代公式。相应的算法成为牛顿法. 令Gk 2 f ( xk ), g k f ( xk ), 则牛顿法迭代公式为 xk 1 = xk Gk 1 g k
#
一维搜索——牛顿法
对于正定二次函数，牛顿法一步即可达到最优解。 对于一般非二次函数，牛顿法并不能保证经过有限次迭 代法求得最优解，但如果初始点充分靠近极小点，牛顿 法的收敛速度一般是很快的。
#
最优性条件
迭代算法的步骤 第一步：给定最优解的一个初始估计，选择初始点x (0)，置k 0； 第二步：如果x ( k )满足最优解估计的终止条件，停止迭代； 第三步：确定下降方向d ( k ) , 使得目标函数f ( x )从x ( k )出发，沿 d ( k )方向，在射线x ( k ) d ( k ) ( 0)上选取步长k，使得 f(x ( k ) k d ( k ) )<f ( x ( k ) ) 则令x ( k 1) x ( k ) k d ( k ) . 第四步：得到最优解的一个更好的估计x ( k 1) x ( k ) k d ( k )，置 k k 1后转步2.
；
①若f( x1)=0，则 x1 就是函数的零点； ③若 f ( x1 ) f (b) 0 ，则令a=
②若 f (a) f ( x1 ) 0，则令b= x ( 此时零点 x0 (a, x1 ) )； 1
⑷判断是否达到精确度 ：即若|a-b|< 为a(或b);否则重复⑵~⑷
x1 (此时零点 x0 ( x1, b))；
#
一维搜索——牛顿法
牛顿法的基本思想是利用目标函数f ( x)在迭代点xk 处的 二次Taylor展开作为模型函数，并用这个二次模型函数 的极小点序列去逼近目标函数的极小点。
设f ( x)二次连续可微，xk R n , Hesse矩阵 2 f ( xk )正 定。我们在xk附近用二次Taylor展开近似f , 1 T 2 f ( xk d ) q (d ) f ( xk ) f ( xk ) d d f ( xk )d 2 其中d x xk , q k (d )为f ( x)的二次近似。将上式极小化, 即
end k = k+1; tol = abs(b - a); end if k == 100000 disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
#
最速下降法
事实上，最速下降方向也可以这样来考虑。因为目标函数 f 沿方向d的变化率是g ( xk )T d , 故最速下降的单位方向d 是问题 min d s.t. 的解。注意到
f ( x
第一节 最优性条件 第二节 一维搜索
第三节 最速下降法和共轭梯度法
第四节 牛顿法和拟牛顿法(变尺度法)
第五节 信赖域法
#
引言
本章讨论如下的优化模型
min f ( x ) n
xR
其中
f
是
二阶连续偏导数。
x
的实值连续函数，通常假定具有
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
迭代法思想：
首先给出f ( x )的极小点一个初始估计x (0) , 通过某种方式产生 一个使目标函数值减小的方向d (0) , 确定一个实数0 , 从而可以确 定新的迭代点x (1) x (0) 0d (0)，这样下去我们由x (1)、d (1)、1可以 确定x (2)，...x ( k ) ......
#
一维搜索——黄金分割法
2.算法步骤
用黄金分割法求无约束问题 min f ( x )的基本算法步骤如下
xR
选定初始区间[a1 , b1 ]及精度 0，计算试探点:
① 1 a1 0.382(b1 a1 )
1 a1 0.618(b1 a1 )
令 k 1
若bk ak , 则停止计算.
⑤ 令k k 1, 转② Nhomakorabeaak 1 ak b k 1 k ④ k 1 k k 1 ak 1 0.382(bk 1 ak 1 )
#
黄金分割法源程序
function [x,minf] = minHJ(f,a,b,eps) format long; if nargin == 3 eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000 fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu a = l; l = u; u = a + 0.618*(b - a); else b = u; u = l; l = a + 0.382*(b-a);
牛顿法 用基本牛顿法求无约束问题 min f ( x), x R的基本算法步骤 step1.给定初始点x0 , 精度 0, 令k 0; step 2.若 | f ( xk ) | , 停止，极小点为xk ; f ( xk ) step3.令xk 1 = xk ； f ( xk ) step 4.令k k 1, 转step 2.
k T
q k (d ) =f ( xk ) + 2 f ( xk )d =0 得 d [ 2 f ( xk )]1 f ( xk )
#
一维搜索——牛顿法
即 d =xk 1 xk = [ 2 f ( xk )]1 f ( xk ) 从而 xk 1 = xk [ 2 f ( xk )]1 f ( xk ) 若f ( x)为一元函数，则有迭代式 f ( xk ) xk 1 = xk f ( xk )
#
• • • • • • • • • • • • • • • • • • • • • • • •
function [x,minf] = minNewton(f,x0,eps) format long; if nargin == 2 eps = 1.0e-6; end df = diff(f); d2f = diff(df); k = 0; tol = 1; while tol>eps dfx = subs(df,findsym(df),x0); if diff(d2f) == 0 d2fx = double(d2f); else d2fx = subs(d2f,findsym(d2f),x0); end x1 = x0 - dfx/d2fx; k = k + 1; tol = abs(dfx); x0 = x1; end x = x1; minf = subs(f,findsym(f),x); format short;
牛顿法程序
#
最速下降法和共轭梯度法
最速下降法是以负梯度方向作为下降方向的极小化 算法，又称梯度法，是1874年法国科学家Cauchy提出的。 最速下降法是无约束最优化中最简单的方法。
设目标函数f(x)在xk附近连续可微，且gk f ( xk ) 0. 将f ( x )在xk 处Taylor 展开,
x ( k 1) x ( k ) k d ( k ) 其中k 称为步长，d ( k ) 称为搜索方向。通过迭代方式得到点列{x ( k ) }使得 f ( x (0) ) f ( x (1) ) ... f ( x ( k ) ) ...
#
迭代法
若产生的点列{ x ( k ) }逼近我们要求的极小点x , 则称 这个序列{ x ( k ) }为极小化序列。满足所对应的函数值 f ( x ( k ) )是逐次减小的算法称为下降算法。
的值越大，函数f ( x )在xk 处下降量越大。由Cauchy Schwartz 不等式：
T |gk d k | ||d k ||||gk || T T 可知，当且仅当d k gk时，gk d k 最小， gk d k 最大，从而
gk 是最速下降方向。以-gk 为下降方向的方法叫最速下降法。
,则得到零点近似值
#
一维搜索——黄金分割法
黄金分割法也叫0.618法，它是基于一种区间 收缩的极小点搜索算法，当确定搜索区间 [a,b]后，我们只知道极小点包含于搜索区间 内，但是具体是哪个点，无法得知。 1.算法原理
黄金分割法的思想很直接，既然极小点包含 于搜索区间内，那么可以不断的缩小搜索区 间，就可以使搜索区间的端点逼近到极小点 。
例2 借助计算器或计算机用二分法求方程 2x+3x=7 的近似解(精确到0.1).
#
一维搜索——二分法
那么我们一起来总结一下二分法的解题步骤
给定精确度
，用二分法求函数f(x)零点近似解的步骤如下：
x1；
⑴确定区间[a,b],验证 f (a) f (b) 0 ,给定精确度
⑵求区间(a,b)的中点 ⑶计算f( x1)；
② 否则，当f (k ) f ( k )时转步 ③ 当f (k ) f (k )时转步 ④
#
一维搜索——黄金分割法
ak 1 k b b ③ k 1 k k 1 k k 1 ak 1 0.618(bk 1 ak 1 )
这就是牛顿法迭代公式。相应的算法成为牛顿法. 令Gk 2 f ( xk ), g k f ( xk ), 则牛顿法迭代公式为 xk 1 = xk Gk 1 g k
#
一维搜索——牛顿法
对于正定二次函数，牛顿法一步即可达到最优解。 对于一般非二次函数，牛顿法并不能保证经过有限次迭 代法求得最优解，但如果初始点充分靠近极小点，牛顿 法的收敛速度一般是很快的。
#
最优性条件
迭代算法的步骤 第一步：给定最优解的一个初始估计，选择初始点x (0)，置k 0； 第二步：如果x ( k )满足最优解估计的终止条件，停止迭代； 第三步：确定下降方向d ( k ) , 使得目标函数f ( x )从x ( k )出发，沿 d ( k )方向，在射线x ( k ) d ( k ) ( 0)上选取步长k，使得 f(x ( k ) k d ( k ) )<f ( x ( k ) ) 则令x ( k 1) x ( k ) k d ( k ) . 第四步：得到最优解的一个更好的估计x ( k 1) x ( k ) k d ( k )，置 k k 1后转步2.
；
①若f( x1)=0，则 x1 就是函数的零点； ③若 f ( x1 ) f (b) 0 ，则令a=
②若 f (a) f ( x1 ) 0，则令b= x ( 此时零点 x0 (a, x1 ) )； 1
⑷判断是否达到精确度 ：即若|a-b|< 为a(或b);否则重复⑵~⑷
x1 (此时零点 x0 ( x1, b))；
#
一维搜索——牛顿法
牛顿法的基本思想是利用目标函数f ( x)在迭代点xk 处的 二次Taylor展开作为模型函数，并用这个二次模型函数 的极小点序列去逼近目标函数的极小点。
设f ( x)二次连续可微，xk R n , Hesse矩阵 2 f ( xk )正 定。我们在xk附近用二次Taylor展开近似f , 1 T 2 f ( xk d ) q (d ) f ( xk ) f ( xk ) d d f ( xk )d 2 其中d x xk , q k (d )为f ( x)的二次近似。将上式极小化, 即
end k = k+1; tol = abs(b - a); end if k == 100000 disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
#
最速下降法
事实上，最速下降方向也可以这样来考虑。因为目标函数 f 沿方向d的变化率是g ( xk )T d , 故最速下降的单位方向d 是问题 min d s.t. 的解。注意到
f ( x