10《运筹学》(第四版)非线性规划无约束优化
合集下载
非线性-无约束规划
6） 实用收敛性： ）
定义最优解集如下 S* = { x | x 具有某种性质 } 例：S*={x| x---g.opt} S*={x| x---l.opt} S*={x|∇f(x)=0} S*={x| f’(x)≤β} (β为给定实数,称为阈值） 当下列情况之一成立时 当下列情况之一成立时，称算法收敛具有该性质点 之一成立时， 1°∃x(k) ∈S*; ° 2°∀k，{X(k)}任意极限点∈S* ° 任意极限点∈ 任意极限点
* ak 为最优步长。 最优步长。 则称
根据单变量的驻点条件: 根据单变量的驻点条件 d f(xk+akPk)/dak=0 （当ak=ak* 时） 以及复合函数的求导法则可得： 以及复合函数的求导法则可得：
∇f ( x
k +1 T
) P =0
k
2） 缩小区间的非精确一维搜索
（1）单峰的概念 ） 若对任意λ 若对任意 1 ,λ2, α≤ 1º 若α2 ≤
停
11. 最优步长的一维搜索 1) 精确一维搜索（假定求目标函数极小值） 假定求目标函数极小值） * ak 是在给定 k和方向 是目标函数， 设f(X)是目标函数，如果 是在给定X 是目标函数 矢量P 通过f(x)=f(xk+akPk) 的极小化而产生 矢量 k下，通过
ak* = arg ak min f ( x k + ak P k )
∂ u ∂u ∂u ∂u = cos α + cos β + cos γ ∂ l ∂x ∂y ∂r
2. 海瑟矩阵
海瑟矩阵是对称形式：
∂2 f ( X ) ∂x12 ∂2 f ( X ) 2 H ( X ) = ∇ f ( X ) = ∂x2 ∂x1 ...... ∂2 f ( X ) ∂xn ∂x1
非线性约束优化.ppt
gi (X *)T Y 0, i 1, 2,..., I
例４２求解不等式约束问题的K-T点，并判断是否为局部极小
例min s.t.
f ( X )(x11)2 x22 g1( X )x1 x22 / 5
解： L( X , ) (x1 1)2 x22 {x1 x22 / 5}
f x1
构造拉日函数：L(X ,, ) f (x)
m i1
i*
gi
(
X
)
l i1
i
hi
(
X
)
如果x*----l.opt. 那么，u*i≥0, 使得
１）驻点条件：f (x)
m i 1
i*gi
(
X
*
)
l j 1
jhj
(
X
*)
0
２）互补条件：
３）非负条件： ui* 0 i 1, 2, , m ４）不等式约束：gi (x) 0 i 1, 2, , m
j 1, 2,..., l
P( X , M k ) f ( X ) (M k , g( X ), h( X ))
m
l
f ( X ) M k { [min(0, gi ( X ))]2 [(hj ( X ))]2}
i 1
j 1
这里(M k , g( X ), h( X ))是惩罚项：M k CM k1
2L( X *, * )
x12
2x2*
41*
4
2L( X *, * )
x1 x2
2x1*
21*
2
2L( X *, * )
x22
0
h1
(
Xx1*) Nhomakorabea4x1*
例４２求解不等式约束问题的K-T点，并判断是否为局部极小
例min s.t.
f ( X )(x11)2 x22 g1( X )x1 x22 / 5
解： L( X , ) (x1 1)2 x22 {x1 x22 / 5}
f x1
构造拉日函数：L(X ,, ) f (x)
m i1
i*
gi
(
X
)
l i1
i
hi
(
X
)
如果x*----l.opt. 那么，u*i≥0, 使得
１）驻点条件：f (x)
m i 1
i*gi
(
X
*
)
l j 1
jhj
(
X
*)
0
２）互补条件：
３）非负条件： ui* 0 i 1, 2, , m ４）不等式约束：gi (x) 0 i 1, 2, , m
j 1, 2,..., l
P( X , M k ) f ( X ) (M k , g( X ), h( X ))
m
l
f ( X ) M k { [min(0, gi ( X ))]2 [(hj ( X ))]2}
i 1
j 1
这里(M k , g( X ), h( X ))是惩罚项：M k CM k1
2L( X *, * )
x12
2x2*
41*
4
2L( X *, * )
x1 x2
2x1*
21*
2
2L( X *, * )
x22
0
h1
(
Xx1*) Nhomakorabea4x1*
运筹学与最优化方法 第5章无约束最优化PPT课件
注意： f(x) ≥f(x*)+ ▽Tf(x*)(x-x*), x. 故 f(x*) ≤f(x)， x. （ 由于▽Tf(x*) =0）
5.2 最速下降法
在迭代点 x(k) 取方向 d(k)= －▽f(x(k) )
精确一维搜索
最 速 下降法：梯度方向函数值变化最快的方
向
3
第五章 无约束最优化
5.2 最速下降法（续）
5
第五章 无约束最优化
Newton法： （续）
当▽2f(x(k)) 正定时，有极小点：
x(k+1)=x(k)-[▽2f(x(k)) ]-1 ▽f(x(k))
——Newton迭代公式
实用中常用 ▽2f(x(k)) S= -▽f(x(k)) 解得s(k)
x(k+1)=x(k)+s(k)
k=k+1
x(1), ε >0, k=1
x(i+1)=x(i)+αid(i) , i=1,2, …,k
求得λk , x(k+1)=x(k)+λkd(k)
特点：可改善局部收敛性，当d(k)为函数上升方向时，可向负方 向搜索，但可能出现± d(k)均非下降方向的情况。
8
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： （续）
(3)Goldstein-Price方法(G-P法)：
主要缺点： (1)局部收敛 (2)用到二阶Hesse阵，且要求正定 (3)需计算Hesse阵逆或解n阶线性方程组，计算量大
7
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： (1)为减小工作量，取m（正整数），使每m次迭代使用同一个
5.2 最速下降法
在迭代点 x(k) 取方向 d(k)= －▽f(x(k) )
精确一维搜索
最 速 下降法：梯度方向函数值变化最快的方
向
3
第五章 无约束最优化
5.2 最速下降法（续）
5
第五章 无约束最优化
Newton法： （续）
当▽2f(x(k)) 正定时，有极小点：
x(k+1)=x(k)-[▽2f(x(k)) ]-1 ▽f(x(k))
——Newton迭代公式
实用中常用 ▽2f(x(k)) S= -▽f(x(k)) 解得s(k)
x(k+1)=x(k)+s(k)
k=k+1
x(1), ε >0, k=1
x(i+1)=x(i)+αid(i) , i=1,2, …,k
求得λk , x(k+1)=x(k)+λkd(k)
特点：可改善局部收敛性，当d(k)为函数上升方向时，可向负方 向搜索，但可能出现± d(k)均非下降方向的情况。
8
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： （续）
(3)Goldstein-Price方法(G-P法)：
主要缺点： (1)局部收敛 (2)用到二阶Hesse阵，且要求正定 (3)需计算Hesse阵逆或解n阶线性方程组，计算量大
7
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： (1)为减小工作量，取m（正整数），使每m次迭代使用同一个
非线性规划-无约束问题的最优化方法
k+ 1 k
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
求解非线性无约束优化问题的两种方法的分析
垫墼兰￡望叁兰堑圭兰垒篁塞１第一章预备知识§１．１共轭梯度方法§１．１．１引言共轭梯度法足最优化中最常用的方法之一。
它具有算法简便，存储需求小等优点，十分适合于大规模优化问题．在石油勘探，大气模拟，航天航空等领域出现的特大规模的优化问题是常常利用共轭梯度法求解。
在所有需要计算导数的优化方法中，最速下降是最简单的，但它速度太慢。
拟牛顿方法收敛速度很快，被广泛认为是非线性规划的最有效的方法。
但拟牛顿法需要存储矩阵以及通过求解线性方程组来计算搜索方向，这对于求解诸如上述问题等一些大规模问题几乎是不太可能办到的，共轭梯度法在算法的简便性，所需存储量等方面均与最速下降法差别不大，而收敛速度比最速下降法要快。
非线性共轭梯度法的收敛性分析的早期工作主要由Ｆｌｅｔｃｈｅｒ，Ｐｏｗｅｌｌ，Ｂｅａｌｅ等学者给出的，近年来，Ｎｏｃｅｄａｌ，Ｇｉｌｂｅｒｔ，Ｎａｚａｒｅｔｈ等学者在收敛性方面得到了不少的结果，使得共轭梯度法的研究由又热了起来．我国的学者也在共轭梯度法的理论研究中也取得了一定的成绩。
例如中科院应用数学所的韩继业，戴口等．§１．１．２共轭方向法共轭梯度法最本质的是共轭性质，共轭性是正交的一种推广。
定义１．１．２．１：设Ｗ∈咿×ｎ对称正定，ｄｌ，ｄ２，…，ｄ。
是咿中的一组非零向量，如果盯Ａｄｊ＝０，（ｉ≠Ｊ）．（１．１）则称ｄ１，ｄ２，…，ｄ。
是相互Ａ一共轭。
显然可见，如果ｄｌ，ｄ２，…，ｄ。
相互Ａ一共轭，则它们是线性无关的。
设Ｊ是单位阵则知，一共轭就是正交。
一般共轭方向法步骤如下：算法１．１．２．１：（一般共轭方向法）给出∞＋的初始点Ｘｌ，步ｌ：计算ｇｌ＝ｇ（Ｘ１）．步２：计算ｄｌ，使（ｆ｛’９ｌ＜０．步３：令女＝１．步４：计算口ｋ和Ｘｋ＋１，使得ｆ（ｘｋ－Ｆ‘１ｋｄｋ）。
Ｉ。
ｊ１１，‰十“呶），Ｘｋ＋１＝Ｘｋ＋ｖ。
ｋｄｋ．步５：计算以＋ｌ使得ｄ矗１Ｇｄｊ＝０，Ｊ＝１，２，…ｋ．步６：令ｋ：＝ｋ＋１，转步４．共轭方向法的一个基本性质是：只要执行精确线性搜索，就能得到二次终止性，这就足下面的共轭方向法基本定理。
第三章 非线性规划无约束问题的最优化方法.ppt
能源与动力工程学院
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
05运筹与优化—非线性规划约束最优化
一、约束优化最优性条件
Page 8
拉格朗日乘子法
定义 n+l 元函数：
l
L(x, )=f(x)- Th(x)=f(x)- ihi(x) i1 为 lagrange 函数，
称 为 lagrange 乘子向量。
例：求解最优化问题
min f x2 y2 xy 3
一、约束优化最优性条件
Page 9
m
f (x ) uigi (x ) 0
i 1
ui* 0 i 1, 2, , m
uigi (x ) 0 i 1, 2, , m
(互补松弛条件)
其中：i I，且满足CQ条件
x*
g2
g1
x
f
g3 g2
f
D
一、约束优化最优性条件
Page 12
3.一般约束的Khun-Tucker条件
定理3： Khun-Tucker条件（KKT条件，K-T条件）
2.不等式约束的最优化条件
考虑不等式约束最优化问题 min f(x),x∈R n s.t. gi(x)≤0
极小值取值特点
（1）极小值点落在可行 域内（不包含边界）
（2）极小值点落在可 行域外（包含边界）
一、约束优化最优性条件
Page 10
定义:若不等式约束问题的一个可行点 x使某个不等式 约束 g j (x)≥0 变成等式，即 g j ( x)=0，则该不等式约束 gj (x)≥0,称为关于 x的有效约束。
运筹与优化— 非线性规划优化方法
Page 2
某金属制品厂要加工一批长方形容器，按规格要求，上 下底的材料为25元/m2，侧面的材料为40元/m2，试确定长、 宽、高的尺寸，在容积一定的情况下（设为90 m3 ），使 这个容器的成本最低。
非线性规划_多维无约束优化_0507
1 1 2 2 f x (0) 2 0
0 1 0 1 100 0 50
0 * x 0 此时 f x 0 ，故迭代结束，一次收敛到最优解
(1)
该二次型函数的梯度和 Hessian 矩阵为： Λ x 2 x1 2 x2 4 2 x1 4 x2 ， H(x)
x Λ x( k ) H x( k ) x x( k ) Λ x( k ) H x ( k ) x x ( k ) 0
为求 x 的极小值，可令 x 0 ，即：
阻尼牛顿法
收敛性质
由于阻尼牛顿法含有一维搜索，故每次迭代的目标函数值一般都会有所下降， 可以证明，阻尼牛顿法在适当的条件下具有全局收敛性，且为二阶收敛，其收敛性 质可以表述为： 若 f x 为二阶连续可微函数，其 Hessian 矩阵 H x 为正定矩阵，且水平集
x | f x f x 有界，则由阻尼牛顿法得到的点列 x 具有如下性质：
牛顿法
迭代步骤
(1) 选取初始点估计值 x (0) ，确定允许误差 ，令 k 0 ； (2) 计算目标函数在 x ( k ) 处的梯度 Λ x ( k ) ； (3) 收敛性检查，若 Λ x( k ) ，则 x* x( k ) ，终止计算，否则继续； (4) 构造 Newton 方向： p ( k ) H 1 x( k ) Λ x( k ) (5) 更新点列 x( k 1) x( k ) p( k ) (6) 令 k k 1，转(2)
最速下降法的特点
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
莫 莉
5.1 无约束优化问题
一、问题的数学描述
无约束非线性规划的数学描述
min f (X ) n
X E
f ( X )为非线性函数.
解析法 用到函数的一、二 阶导数，即函数的 解析性质 只用到函数值，而 不要求函数的解析 性质
莫 莉
迭代法
直接法
水电与数字化工程学院
5.1 无约束优化问题
min
f ( x)
取 p0 f ( x 0 ) (4,100)T 2 4 2 4 0 0 x p 2 100 2 100 f ( x0 p 0 ) (2 4 )2 25(2 100 )2 d 得 0 0.020037 令 f ( x0 p0 ) 0 d 1.919878 1 0 0 所以 x x 0 p 0.003070
第二章 非线性规划(Nonlinear Programming)
主讲人：莫 莉
moli@ 2015 年 5 月
水电与数字化工程学院 莫 莉
前节回顾
温
斐波那契法 黄金分割法
故
无约束优化
知
新
下降迭代算法
最速下降法 共轭方向法 共轭梯度法
水电与数字化工程学院
f ( x * ) 0
则x*是(UP)的全局最优解。
因为 f 是R n上的可微凸函数，定理 3知 f ( x* )T ( x x*) f ( x ) f ( x * ), x R n
由于f ( x * ) 0
f ( x * ) f ( x ), x R n
x*是(UP)的全局最优解。
所以 f ( x tp) f ( x )， t (0, ) 由定义知， p是 f 在点x处的下降方向。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理2 设 f : R n R在点x R n 处可微，若x*是(UP)的 局部最优解，则
f ( x * ) 0
使f ( x ) 0的点x称为函数 f的的驻点。
X
*
X
(k )
X
*
(k ) (k ) 成立，就称 X 收敛的阶为α ，或 X 阶收敛。
当 2 时，称为二阶收敛，也可说 X ( k ) 具有二阶敛速。
当 1 2 时，称超线性收敛。 当 1 ，且 0 1 时，称线性收敛或一阶收敛。
定理 4 设 f : R n R ， x * R n ，f 是 R n 上得可微凸函数。若有 f ( x * ) 0 则 x * 是(UMP)的整体最优解。
水电与数字化工程学院 莫 莉
5.2 最速下降法
设目标函数f(x)一阶连续可微.
基本思想：从当前点xk出发，取函数 f(x)在点 x k处 下降最快的方向为搜索方向 pk，即负梯度方向。
)，则 a1 : a0 , b1 : t1 , t2 : t1 若f ( t 1 ) f ( t 1 Fn 2 并且令 t 2 b1 (a1 b1 ) Fn1 )，则 t1 : a1 , b1 : b0 , t 2 : t1 若f ( t1 ) f ( t1 Fn 2 a1 并且令 t 2 (b1 a1 ) Fn1 水电与数字化工程学院
2 0 0 2 f ( x) 0 8 0 0 0 2 2 f ( x )正定， f ( x )是R n上的凸函数，
x * (1， 0， 0)T 是全局最优解。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理 1 设 f : R n R 在点 x R n 处可微。若存在 p R n ，使 f ( x )T p 0 则向量 p 是 f 在点 x 处的下降方向。
水电与数字化工程学院
莫 莉
5.2 最速下降法
算法步骤： 第1步 选取初始点x0,给定终止误差 ε>0,令k:= 0； 第2步 计算
f ( x k ) 若 || f ( x k ) || ，停止迭代，
输出x k，否则转第3步；
第 3步 第4步 进行一维搜索，求 λk使得 f ( x k k p k ) min f ( x k p k )
(k )
f ( X ( k 1 ) ) f ( X ( k ) ) f (X
(k )
)
其中 1 , 2 , 3 , 4 , 5为事先给定的足够小的 正数.
水电与数字化工程学院 莫 莉
前节回顾
斐波那契法的思路 1. 根据相对精度或绝对精度，确定试点个数； 2. 确定两个试点的位置a1、b1（对称搜索）；
水电与数字化工程学院
莫 莉
前节回顾
温
斐波那契法 黄金分割法
故
无约束优化
知
新
下降迭代算法
最速下降法 共轭梯度法 Newton法
水电与数字化工程学院
莫 莉
第二章 非线性规划
1 2 3 4 5 6
水电与数字化工程学院
基本概念 最优性条件 凸函数和凸规划 一维搜索方法 无约束最优化方法★ 约束最优化方法
水电与数字化工程学院 莫 莉
前节回顾
算法的精度判别
1 绝对误差 X
( k 1 )
0
2 0 相对误差
1) X ( k ) X
(k )
f ( X ( k 1 ) ) f ( X ( k ) ) 2
3 4
30 f ( X )的模 f ( X ） 5
莫 莉
下降迭代算法步骤
前节回顾
确定搜索方向P (k)是关键的一步，各种算法的区 别主要在于确定搜索方向P (k)的方法不同。 步长 k 的选定一般都是以使目标函数在搜索方 向上下降最多为依据的，称为最佳步长，即沿 射线
X X (k ) P(k )
求目标函数的极小值
k : min f ( X (k ) P(k ) )
定理3 设 f : R n R在点x R n 处的Hesse矩阵 2 f ( x* )存在，
若f ( x* ) 0，且 2 f ( x * )正定
则x*是(UP)的严格局部最优解。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理4 设 f : Rn R，x* R n , f 是R n上的可微凸函数，若
经10轮迭代得最优解。 水电与数字化工程学院
莫 莉
5.2 最速下降法
所以令 a : t1 , t1 : t 2 t 2 0.438 0.618(1.146 0.348) 0.876
1 : 2
2 (0.876) 0.0798
(4) 因 1 2 , b t1 1.146 0.708 0.438 0.5 得最优解 ： t 2 0.876
1 令 t n 1 t n
1 (a n 2 bn 2 ) 2
莫 莉
水电与数字化工程学院
前节回顾
黄金分割法
Fn 2 t1 a 0 (b0 a0 ) Fn Fn1 a0 t1 (b0 a0 ) Fn
t1 a0 0.382 (b0 a0 ) b0 0.618 (b0 a0 )
Fn-2
a a1 Fn-1
Fn-1
b1 Fn-2 b
3. 计算函数值和并比较其大小，从而缩减搜索区间； 4. 重复2、3两步，直到得到近似最小点。
水电与数字化工程学院 莫 莉
前节回顾
斐波那契法的步骤
第1步 根据缩短率δ，计算Fn ，求出最小的n。
第2步 由前面公式求前两个测试点 t1 和 t1 ) 第3步 计算 f (t1 ) 和 f (t1
(UP)
其中 x ( x1 ,..., x n )T R n ， f : R n R
无约束问题的最优性条件
最速下降法
共轭方向法 共轭梯度法
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理1 设 f : R n R在点x R n 处可微，若存在 p R n , 使
因 ( t1 ) ( t 2 ), t 2 a 1.854 0 0.5 所以令 b : t 2 , t 2 : t1 , t1 1.854 0.618(1.854 0) 0.708 2 : 1
1 (0.708) 0.0611
水电与数字化工程学院 莫 莉
由于确定步长是通过求以 为变量的一元函数
的极小点来实现的，故称这一过程为一维搜索。
水电与数字化工程学院 莫 莉
前节回顾
算法的收敛速度。
(k ) * 设序列 X 收敛于 X，若存在与迭代次数 k无关的数 0
和 1 使K从某个 k0 0 开始，都有
X
( k 1)
定理 2 设 f : R n R 在点 x R n 处可微。若 x * 是(UMP)的局部最 优解，则 f ( x * ) 0
定理 3 设 f : R n R 在点 x R n 处的 Hesse 矩阵 2 f ( x * ) 存在。 若 f ( x * ) 0 ，并且 2 f ( x * ) 正定 则 x * 是(UMP)的局部最优解。
前节回顾
(2) 因 1 2 , t 2 a 1.146 0.5
所以令 b : t 2 , t 2 : t1
t1 1.146 0.618(1.146 0) 0.438
2 : 1
1 (0.438) 0.2082
(3) 因 1 2 , b t1 0.708 0.5
f ( x )T p 0 则 p是 f 在点x处的下降方向。
5.1 无约束优化问题
一、问题的数学描述
无约束非线性规划的数学描述
min f (X ) n
X E
f ( X )为非线性函数.
解析法 用到函数的一、二 阶导数，即函数的 解析性质 只用到函数值，而 不要求函数的解析 性质
莫 莉
迭代法
直接法
水电与数字化工程学院
5.1 无约束优化问题
min
f ( x)
取 p0 f ( x 0 ) (4,100)T 2 4 2 4 0 0 x p 2 100 2 100 f ( x0 p 0 ) (2 4 )2 25(2 100 )2 d 得 0 0.020037 令 f ( x0 p0 ) 0 d 1.919878 1 0 0 所以 x x 0 p 0.003070
第二章 非线性规划(Nonlinear Programming)
主讲人：莫 莉
moli@ 2015 年 5 月
水电与数字化工程学院 莫 莉
前节回顾
温
斐波那契法 黄金分割法
故
无约束优化
知
新
下降迭代算法
最速下降法 共轭方向法 共轭梯度法
水电与数字化工程学院
f ( x * ) 0
则x*是(UP)的全局最优解。
因为 f 是R n上的可微凸函数，定理 3知 f ( x* )T ( x x*) f ( x ) f ( x * ), x R n
由于f ( x * ) 0
f ( x * ) f ( x ), x R n
x*是(UP)的全局最优解。
所以 f ( x tp) f ( x )， t (0, ) 由定义知， p是 f 在点x处的下降方向。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理2 设 f : R n R在点x R n 处可微，若x*是(UP)的 局部最优解，则
f ( x * ) 0
使f ( x ) 0的点x称为函数 f的的驻点。
X
*
X
(k )
X
*
(k ) (k ) 成立，就称 X 收敛的阶为α ，或 X 阶收敛。
当 2 时，称为二阶收敛，也可说 X ( k ) 具有二阶敛速。
当 1 2 时，称超线性收敛。 当 1 ，且 0 1 时，称线性收敛或一阶收敛。
定理 4 设 f : R n R ， x * R n ，f 是 R n 上得可微凸函数。若有 f ( x * ) 0 则 x * 是(UMP)的整体最优解。
水电与数字化工程学院 莫 莉
5.2 最速下降法
设目标函数f(x)一阶连续可微.
基本思想：从当前点xk出发，取函数 f(x)在点 x k处 下降最快的方向为搜索方向 pk，即负梯度方向。
)，则 a1 : a0 , b1 : t1 , t2 : t1 若f ( t 1 ) f ( t 1 Fn 2 并且令 t 2 b1 (a1 b1 ) Fn1 )，则 t1 : a1 , b1 : b0 , t 2 : t1 若f ( t1 ) f ( t1 Fn 2 a1 并且令 t 2 (b1 a1 ) Fn1 水电与数字化工程学院
2 0 0 2 f ( x) 0 8 0 0 0 2 2 f ( x )正定， f ( x )是R n上的凸函数，
x * (1， 0， 0)T 是全局最优解。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理 1 设 f : R n R 在点 x R n 处可微。若存在 p R n ，使 f ( x )T p 0 则向量 p 是 f 在点 x 处的下降方向。
水电与数字化工程学院
莫 莉
5.2 最速下降法
算法步骤： 第1步 选取初始点x0,给定终止误差 ε>0,令k:= 0； 第2步 计算
f ( x k ) 若 || f ( x k ) || ，停止迭代，
输出x k，否则转第3步；
第 3步 第4步 进行一维搜索，求 λk使得 f ( x k k p k ) min f ( x k p k )
(k )
f ( X ( k 1 ) ) f ( X ( k ) ) f (X
(k )
)
其中 1 , 2 , 3 , 4 , 5为事先给定的足够小的 正数.
水电与数字化工程学院 莫 莉
前节回顾
斐波那契法的思路 1. 根据相对精度或绝对精度，确定试点个数； 2. 确定两个试点的位置a1、b1（对称搜索）；
水电与数字化工程学院
莫 莉
前节回顾
温
斐波那契法 黄金分割法
故
无约束优化
知
新
下降迭代算法
最速下降法 共轭梯度法 Newton法
水电与数字化工程学院
莫 莉
第二章 非线性规划
1 2 3 4 5 6
水电与数字化工程学院
基本概念 最优性条件 凸函数和凸规划 一维搜索方法 无约束最优化方法★ 约束最优化方法
水电与数字化工程学院 莫 莉
前节回顾
算法的精度判别
1 绝对误差 X
( k 1 )
0
2 0 相对误差
1) X ( k ) X
(k )
f ( X ( k 1 ) ) f ( X ( k ) ) 2
3 4
30 f ( X )的模 f ( X ） 5
莫 莉
下降迭代算法步骤
前节回顾
确定搜索方向P (k)是关键的一步，各种算法的区 别主要在于确定搜索方向P (k)的方法不同。 步长 k 的选定一般都是以使目标函数在搜索方 向上下降最多为依据的，称为最佳步长，即沿 射线
X X (k ) P(k )
求目标函数的极小值
k : min f ( X (k ) P(k ) )
定理3 设 f : R n R在点x R n 处的Hesse矩阵 2 f ( x* )存在，
若f ( x* ) 0，且 2 f ( x * )正定
则x*是(UP)的严格局部最优解。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理4 设 f : Rn R，x* R n , f 是R n上的可微凸函数，若
经10轮迭代得最优解。 水电与数字化工程学院
莫 莉
5.2 最速下降法
所以令 a : t1 , t1 : t 2 t 2 0.438 0.618(1.146 0.348) 0.876
1 : 2
2 (0.876) 0.0798
(4) 因 1 2 , b t1 1.146 0.708 0.438 0.5 得最优解 ： t 2 0.876
1 令 t n 1 t n
1 (a n 2 bn 2 ) 2
莫 莉
水电与数字化工程学院
前节回顾
黄金分割法
Fn 2 t1 a 0 (b0 a0 ) Fn Fn1 a0 t1 (b0 a0 ) Fn
t1 a0 0.382 (b0 a0 ) b0 0.618 (b0 a0 )
Fn-2
a a1 Fn-1
Fn-1
b1 Fn-2 b
3. 计算函数值和并比较其大小，从而缩减搜索区间； 4. 重复2、3两步，直到得到近似最小点。
水电与数字化工程学院 莫 莉
前节回顾
斐波那契法的步骤
第1步 根据缩短率δ，计算Fn ，求出最小的n。
第2步 由前面公式求前两个测试点 t1 和 t1 ) 第3步 计算 f (t1 ) 和 f (t1
(UP)
其中 x ( x1 ,..., x n )T R n ， f : R n R
无约束问题的最优性条件
最速下降法
共轭方向法 共轭梯度法
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理1 设 f : R n R在点x R n 处可微，若存在 p R n , 使
因 ( t1 ) ( t 2 ), t 2 a 1.854 0 0.5 所以令 b : t 2 , t 2 : t1 , t1 1.854 0.618(1.854 0) 0.708 2 : 1
1 (0.708) 0.0611
水电与数字化工程学院 莫 莉
由于确定步长是通过求以 为变量的一元函数
的极小点来实现的，故称这一过程为一维搜索。
水电与数字化工程学院 莫 莉
前节回顾
算法的收敛速度。
(k ) * 设序列 X 收敛于 X，若存在与迭代次数 k无关的数 0
和 1 使K从某个 k0 0 开始，都有
X
( k 1)
定理 2 设 f : R n R 在点 x R n 处可微。若 x * 是(UMP)的局部最 优解，则 f ( x * ) 0
定理 3 设 f : R n R 在点 x R n 处的 Hesse 矩阵 2 f ( x * ) 存在。 若 f ( x * ) 0 ，并且 2 f ( x * ) 正定 则 x * 是(UMP)的局部最优解。
前节回顾
(2) 因 1 2 , t 2 a 1.146 0.5
所以令 b : t 2 , t 2 : t1
t1 1.146 0.618(1.146 0) 0.438
2 : 1
1 (0.438) 0.2082
(3) 因 1 2 , b t1 0.708 0.5
f ( x )T p 0 则 p是 f 在点x处的下降方向。