第5章 无约束最优化方法
约束问题的最优化方法
可用于处理等式约束。
§5.3 外点惩罚函数法
三. 几个参数的选择：
r(0) 的选择:
r(0) 过大，会使惩罚函数的等值线变形或偏心，求极值困难。r (0) 过小，迭代次数太多。
建议 ：r0 max ru0 u 1,2,...m
其中：ru0
m gu
0.02 x0 f
x0
x(0) 的选择：
2
若均满足，停止迭代，有约束优化问题的最优点为 x* = xk*； 若有一个准则不满足，则令 x(0) xk * (r(k) ),r(k1) c r(k) , k k 1 并转入第 3 步，继续计算。
§5.2 内点惩罚函数法
算法框图
§5.2 内点惩罚函数法
四. 几个参数的选择： 1. 惩罚因子初始值 r(0) 的选择：
§5.1 引言
有解的条件： ① f(x) 和 g(x) 都连续可微； ② 存在一个有界的可行域； ③ 可行域为非空集； ④ 迭代要有目标函数的下降性和设计变量的可行性。
三. 间接解法的基本思想： 目的：将有约束优化问题转化为无约束优化问题来解决。
方法：以原目标函数和加权的约束函数共同构成一个新的目标函数
（略） 2. 数学模型：
设计变量 ： X x1,x2 T t f ,h T
目标函数 ： min. f x 120x1 x2
单位长度的质量
§5.2 内点惩罚函数法
约束函数 ： g1x x1 0 g 2 x x2 0 g3 x 1 0.25x2 0
g4
x
1
7 45
x1x2
0
g5
x
§5.3 外点惩罚函数法 (衰减函数法）
一. 基本思想：
外点法将新目标函数 Φ( x , r ) 构筑在可行域 D 外， 随着惩罚因子 r(k) 的不断递增， 生成一系列新目标函数 Φ(xk ,r(k))，在可行域外逐步迭 代，产生的极值点 xk*(r(k)) 序 列从可行域外部趋向原目标函 数的约束最优点 x* 。
用最速下降法求解无约束非线性规划问题
运筹学实习报告姓名： xxxxxxxxxx 学号： xxxxxxxxxxx 专业班级： xxxxxxxxxxxx 2 0 1 3年 7 月 0 4 日题目：用最速下降法求解无约束非线性规划问题 摘要：无约束最优化问题的求解方法分为解析法和直接法两大类。
解析法需要计算函数的梯度，其中最速下降法就属于解析法中的一种。
对于一个无约束非线性规划利用最速下降法求解，首先需要确定其优化方向，此优化方向应该选择为f 在当前点处的负梯度方向，利用一维搜索法找出沿此方向上的最小值及其对应点，此后将该点作为新的出发点重复上述过程，直到达到允许的误差为止。
本文通过理论的计算方法，进一步分析，最后用c++编程实现求出允许误差内的最优解。
此编程可用于计算符合下列形式的函数求最优解过程：f(x)=a[0]x1*x1+a[1]x2*x2+a[2]x1*x2+a[3]x1+a[4]x2+a[5]其中：a[i] (i=0,1,2,3,4,5) 为函数的系数。
本文以“ 李占利 主编，中国矿业大学出版社出版”的《最优化理论与方法》 第五章 “无约束最优化方法，5.1 最速下降法 ”例5—1为实例，首先利用上述迭代的方法，计算出各迭代点的函数值，梯度及其模。
然后应用c++语言编程，得到在精度范围内的精确最优解。
C++编程计算的最优解为 : T x x ]0329218.0,00823045.0[)3(*-==。
即转化为分数结果为：⎥⎦⎤⎢⎣⎡-==412432)3(*x x 。
满足精度要求的模为：1010736154.0||||)3(=<=εp 。
关键词：无约束非线性规划 解析法 最速下降法 梯度 模 最优解一、算法思想无约束最优化方法中的最速下降法首先需要确定其优化方向，此优化方向应该选择为f 在当前点处的负梯度方向，利用一维搜索法找出沿此方向上的最小值及其对应点，此后将该点作为新的出发点重复上述过程，直到达到允许的误差为止。
西南交大运筹学《无约束最优化方法》
运筹学Operations Research无约束最优化方法西南交通大学经济管理学院§1.最速下降法§2.Newton法§3.共轭梯度法§4.变尺度法§5.直接法)()()()(0)(,,1,P o P X f X f P X f X f X f P E P T k k k k kn λλλ+∇+=+≠∇=∈非零：处的梯度它在是连续可微的函数即是单位向量设P X f o P X f X f P X f P f P X X f T k T k k k k)()()(lim )()(lim )(00∇=+∇=−+=∂∂→→λλλλλλλ的方向导数为：处关于方向在点k k k k T k kk T k X f P X f P X f P X f P P X f θθθcos )(cos )()()()(∇=⋅∇=∇∇∇之间的夹角，则和为。
记就是使下降最快的方向取最小的使处的最速下降方向。
在点通常把它叫做下降最快的方向。
出发使是从点时，上式最小，所以可知，当k kk k k X f f X X f P )(:−∇==πθ下降的搜索方向。
再去寻找使处不需要在点这时的点局部最优解的必要条件的已是满足的驻点。
是，则若f X X f X X f k k k k ,,)NP (0)(=∇:,)(,,,;,,,,,1的最佳步长，即作为点最小的确定使来的一维搜索即通过在负梯度方向上最佳步长方法采用振荡的情况。
所以一般在极值点附近出现来回则若步长选得大计算次数较多则收敛慢长选得小若步。
选择用固定步长时还要确定步长方向之后在选定了搜索得到下一个近似点为了由点＋kk k k X X f X X λλ))((min ))((0kk k k k X f X f X f X f ∇−=∇−>λλλ§1.最速下降法)()()()()(0)()()()()())(()()()(21)()()())((2k k T k k T k k k k T k k T k k k k k T k kT k k k k X f X H X f X f X f X f X H X f X f X f d X f X df X f X H X f X f X f X f X f X f ∇∇∇∇==∇∇+∇−∇=∇−∇∇+∇∇−≈∇−λλλλλλλλ得：求导并令其等于零，则对§1.最速下降法Step1.。
约束问题的最优化方法
m
⑤ .Φ ( x, r ) = f ( x) − r ∑ ln[− g u ( x)]
(k )
其中：惩罚（加权）因子 降低系数 c：
r ( 0 ) > r (1) > ....r ( k )
0< c <1
r ( k −1) ⋅ c = r ( k )
xk * → x *
当lim r ( k ) → 0
x ∈ D ⊂ Rn s.t. g u ( x ) ≥ 0, u = 1,2,..., p hv ( x ) = 0, v = 1,2,..., q min F ( x )
一. 约束优化问题解法分类： 约束优化方法按求解原理的不同可以分为直接法和间接法两类。
直接解法：随机方向搜索法、复合形法、可行方向法
其中：g u ( x) ≥ 0, u = 1,2,...m
③ .Φ ( x, r ) = f ( x) − ∑ ru ( k )
(k ) u =1
m
1 g u ( x)
④ .Φ ( x, r ) = f ( x) + r
(k )
(k )
(k )
1 ∑ 2 u =1 [ g u ( x )]
m u =1
k →∞
则Φ ( x, r ( k ) ) → f ( x) ,
) x12 + x22 例： 用内点法求 min f ( x=
s.t. g ( x ) = 1 − x1 ≤ 0
的约束最优解。
2 解: 首先构造内点惩罚函数:φ ( x , r ) = x12 + x2 − r k ln( x1 − 1)
(k ) u =1 m
lim r2 H [hv ( x ( k ) )] = 0
无约束问题的最优化条件
即，在算法每次迭代中，求解信赖域子问题：
1 T min (d ) f ( xk ) g k d d Gk d 2
(k ) T
s.t
d hk
在信赖域算法中，信赖域半径 hk 采用自适应方式调整， 若
(k )
(d ) 与 f ( xk d ) 近似程度好，则 hk 尽可能取大，
T (0)
2)方向
d
(0)
(G( x )) f ( x ) 1, 3 2
(0) 1 (0)
T
3)求最优步长
x
(0) dFra bibliotek(0)代入目标函数得：
(1)
1 0 3 3 0 2 2
(0)
三、最速下降算法收敛性定理
定理 5 设 f C1 (一阶连续可微), S x f ( x ) f ( x0 )
有界，则由最速下降法得到的迭代点列 xk 具有如下性质： 1） 数列 f ( xk ) 严格单调下降； 2） xk 的任何极限点（聚点） x 都是 f ( x ) 的驻点，
T k 1
d k 0
5.3 牛顿法
自动化学院
一、牛顿迭代公式
牛顿法的基本思想是利用目标函数在当前迭代点 xk 处 的二次近似的极小点作为 f ( x ) 的近似极小点。
设 xk 是当前迭代点， 2 f ( xk ) 正定，
1 f ( x) f ( xk ) f ( xk ) ( x xk ) ( x xk )T 2 f ( xk )( x xk ) 2 1 (k ) T Q ( x) f ( xk ) f ( xk ) ( x xk ) ( x xk )T 2 f ( xk )( x xk ) 2
运筹学-约束最优化方法
若AT的各个行向量线性无 关.根据Kuhn-Tucker条件, 在该线性规划的最优点y* 处存在乘子向量x*≥0,使得
即Ax*=b 对偶规划约束条件 及(ATy*-c)T x*=0 线性规划互补松弛条件
29
5.1.3 一般约束问题的最优性条件
定理1.3.1 在上述问题中,若 (i)x*为局部最优解, 有效集I*={i|ci(x*)=0,i∈I}; (ii)f(x),ci(x)(1≤i≤m)在x*点可微; (iii)对于i∈E∪I*, 线性无关, 则存在向量l*=(l1*,· · · ,lm*)使得
解:本问题是求点(1,1)T到如图三角形区域的最短 距离.显然唯一最优解为x*=(1/2,1/2)T.
19
例题(Fritz-John条件)
min f(x)=(x1-1)2+(x2-1)2 s.t. c1(x1,x2)=(1-x1-x2)3≥0 c2(x)=x1≥0 c3(x)=x2≥0 即
35
惩罚函数法
惩罚是手段，不是目的
KT条件中li*ci(x*)=0 称为互补松弛条件. 它表明li*与ci(x*)不能 同时不为0.
28
线性规划情形
对于线性规划问题 min f(y)=-bTy s.t. -ATy≥-c 其中 y∈Rm,A∈Rm×n, b∈Rm,c∈Rn 问题有n个约束条件. 各个约束条件关于y 的梯度为-AT的行向 量(-pi).
借助于Farkas引理,可推出存在li*≥0(i∈I*), 使得
类似与Fritz-John条件的证明,可以证明KuhnTucker条件. 有效约束函数的梯度线性无关称为KuhnTucker约束规范. 如果该约束规范不满足,最优点不一定是KT点.
第五章 无约束优化方法
由（5.3）得 X (1) X (0) [H ( X (0) )]1 F ( X (0) ) 0 3 1
S (0) 1 4,10T 0.3714 ,0.9285 T 10.770329
2 2 例 5-3 试用牛顿法求例5-1给出的目标函数 f ( X ) x1 x2 x1 x2 4x1 10x2 60的极小值， ( 0) T 设初始点 X (0) [ x1(0) , x2 ] [0，0]。 2 f 2 f
f ( X ) f ( X ) T 解： f ( X ( 0) ) , 4,10 x 2 x1
(0)
6 8
H 1F
X (k ) X*
X
X (1) 6 8
T
(1)
X
S
( 0)
x1(1) 0 0.3714 0.3714 0.9285 (1) 0 0 . 9285 x2
f ( X ) f ( X ) T 解： f ( X ) , 2 x1 x 2 4,2 x 2 x1 10 x 2 x1 2 2 f ( X ( 0) ) f ( X ( 0) ) ( 0) 2 2 f ( X ) x x (4) (10) 10.770329 1 2
即为最优点，只迭代一次就达到了X*。
图5.8牛顿法的修正
• 5.3.2 牛顿法的特点
由上述可见，当目标函数为二次函数时，收敛很快，属于二阶收敛，是目前算法中最快的 一种。即使目标函数不是二次函数，当初始点选得好时，也会很快收敛。但如果目标函数 非凸，初始点选择不当有可能远离极小点或导致不收敛（图5.8）。基于这种原因，为保 证每次迭代下降，对古典的牛顿法要做些修改，于是便出现了修正牛顿法。其修正方法是 在 X ( k ) 沿牛顿方向做一次一维搜索，避免远离极小点 X (k 1) X (k ) k [H ( X (k ) )]1 F ( X (k ) )
无约束最优化的直接方法 最优化理论与算法 教学PPT课件
y( j1) y( j)
j:= j
3. 若j<n,则置j:=j+1,转步2,否则,进行步4.
22
2. Rosenbrock算法
4.若f ( y(n1) ) f (x(k) ),则令 y(1)= y(n+1)
置j=1,转步2.若 f ( y(n1) ) f ( y(1) ),则进行步5.
24
24
12
1 模式搜索法
j x(k )
y( j) f (y( j))
x(2) 0 (1,1) 0 1 (1,1) 0
2 (1,1)
y( j) + ej f ( y( j) + ej) y( j) - ej f ( y( j) - e j)
(5 ,1) 1165 1.64 4 256
( 3 ,1) 1 5 1.02 4 256
给定初始点x(1),放大因子 1,缩减因子 (1,0)
给定初始搜索方向和步长.
14
2. Rosenbrock算法
设第k次迭代的初始点为x(k) ,搜索方向
d (1) , d (2) ,..., d (n)
它们是单位正交方向,沿各方向的步长为
1, 2 ,..., n
每轮探测的起点和终点用y(1) 和y(n+1) 表示. 令y(1) = x(k) ,开始第1轮探测移动
y(2) y(1) e1
并从y(2)出发,沿e2进行探测.
(1.2)
5
1.模式搜索法
若f ( y(1) e1) f ( y(1) ),则沿 - e1方向的探测失败,令
y(2) y(1)
(1.3)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5.3.2牛顿法的特点与收敛性
牛顿法优点：牛顿法具有二阶收敛速度。对二次正定函数，仅 需一步迭代即可达到最优解，具有二次终结性。
牛顿法缺点：
（1）牛顿法是局部收敛的，即初始点选择不当，可能会导致不 收敛；
（2）牛顿法不是下降算法，当二阶Hesse阵非正定时，不能保证
是下降方向； （3）二阶Hesse阵必须可逆，否则算法将无法进行下去； （4）对函数分析性质要求苛刻，计算量大，仅适合小规模优化 问题。 由于牛顿法有良好收敛速度，人们对它的缺点进行了多方面改 进和修正。
5.2共轭梯度法
共轭梯度法最初由Hesteness和Stiefel于1952年为求解线
首先提出了求解无约束最优化问题的共轭梯度法。
性方程组而提出，1964年Fietcher和Reever在此基础上，
共轭梯度法的基本思想：把共轭性与最速下降法相结 合，利用已知点处的梯度构造一组共轭方向，并沿这 组方向进行一维搜索，求出目标函数的极小点。
模式搜索：沿相邻两个基点连线方向进行，试图顺着“山谷”
5.5.3步长加速法的计算步骤
5.6旋转方向法
5.6.1旋转方向法的基本思想
5.6.2旋转方向法的搜索过程
5.6.3旋转方向法的计算步骤
5.9最小二乘法
5.9.1线性最小二乘问题
5.9.2 非线性最小二乘问题
5.1.3 最速下降法的收敛性
由定理5-1知，在最速下降法中，前后两次的搜
索方向垂直（见图5-1）。
锯齿形的搜索轨迹使最速下降法效率低下。
最速下方向反映了目标函数的一种局部性质。从 局部看，最速下降方向的确是函数值下降最快的 方向，选择这样的方向进行搜索是有利的， 从全局看，由于锯齿现象的出现，当在极小点附 近时，即使向着极小点移动不太大的距离，也要 经历不少的弯路，从而使收敛速度大为减慢。
过比较目标函数值的大小来移动迭代点。
一般来说，无约束最优化问题的求解是通
过一系列一维搜索来实现。
如何选择搜索方向是求解无约束最优化问
题的核心问题，搜索方向的不同选择，形 成不同的求解方法。
5.1最速下降法
5.1.1 最速下降法原理
5.1.2 最速下降法的计算步骤
clear syms x1 x2; %定义符号变量 fx=2*x1^2+x2^2; %定义符号函数 X0=[1,1]; %初值 g=jacobian(fx,[x1,x2]); %求符号函数的梯度 H=jacobian(g,[x1,x2]); %求符号函数的海塞矩阵 x1=X0(1,1);x2=X0(1,2); %赋初值 g0=eval(g);H0=eval(H); %求符号函数在x1=1、x2=1梯度、海塞矩阵 k=0; fprintf('\n') while norm(g0)>eps %停机判断条件 lamda=g0*g0‘/(g0*H0*g0’); %求lamda fprintf(' k=%2d, lamda=%19.16f, x1=%19.16f, x2=%19.16f, fx=%19.16f, norm(p)=%19.16f\n', k,lamda,x1,x2,eval(fx),norm(g0)) X0=X0-lamda*g0; x1=X0(1,1);x2=X0(1,2); g0=eval(g);H0=eval(H); k=k+1; end
5.9.3 非线性最小二乘问题的阻尼Causs-Newton法计 算步骤
基本思想从几何上讲，就是寻找具有较小函数值的“山谷”，
力图使迭代产生的序列沿“山谷”逼近极小点。
5.5.2步长加速法的搜索过程
步长加速法由“探测移动”和“模式搜索”两个交替的动作构 成。
探测移动：依次沿n个坐标轴进行，用以确定新的基点和有
利于函数值下降的方向。
使函数值下降的更快（见图5-4）。
5.2.4 非二次函数的共轭梯度法
5.2.5 共轭梯度法的收敛性
5.3牛顿法
对一维搜索方法中的牛顿法加以推广，就得
到了求解无约束优化问题的牛顿法。
该方法具有收敛速度快的特点，
在牛顿法基础上的改进算法如阻尼牛顿法在
实际中被广泛应用。
5.3.1牛顿法原理
利用二次函数近似目标函数。
该方法具有收敛速度快、存储空间小等特点，尤其是 对于正定二次函数能在有限步内达到极小点，即具有 二次终结性。
5.2共轭梯度法
5.2.1 共轭方向与共轭方向法
你能找到 A共轭方向吗？
P(0)和p(1)正交吗？
（5-2）
5.2.2 正定二次函数的共轭梯度法
5.2.3 共轭梯度法的计算步骤
5.3.3 牛顿法的改进
1. 阻尼（广义）牛顿法
2.Goldstein-Price方法
5.4 变尺度法
5.4 .1 变尺度法原理
5.4 .2 DFP变尺度法
5.4 .3 BFGS变尺度法与初始尺度矩阵的修正
5.4 .4变尺度法的计算步骤
使用MATLAB软件实现DFP算法
最速下降法不仅简单，而且具有全局收敛性，
并且是线性收敛的。
为避免锯齿现象对收敛速度的影响，在计算初 期可使用最速下降法，在迭代一段时间以后， 改用其它更有效的方法，如牛顿法等。
对一般的下降算法，只要搜索方向与迭代点处 的负梯度方向的夹角小于90°，使用精确一维 搜索和不精确一维搜索在一定的条件下，可以 证明下降算法具有全局收敛性。
第5章 无约束最 优化方法
5.1最速下降法
5.2共轭梯度法
主 要 内 容
5.3牛顿法
5.4变尺度法
5.5步长加速法
5.6旋转方向法
5.7方向加速法
5.8信赖域方法
5.9最小二乘法
无约束最优化问题的求解方法：解析法和
直接法。
解析法需要计算函数的梯度，直接法仅通
例5-5 最优解搜索过程
例5-5 三维图
5.4 .5 变尺度法的性质与收敛性
5.5步长加速法
解析法：最速下降法、共轭梯度法 、牛顿法 和变尺度
法需要计算目标函数的梯度。 直接法：不需要求目标函数的梯度。
5.5.1步长加速法的基本思想
又称模式搜索法（Pattern Search Method）。 由胡克（Hooke）和基夫斯（Jeeves）于1961年提出的。 它不仅易于编制计算机程序，而且具有追循谷线加速移向最优 点的性质。