研究生高级运筹学 无约束非线性规划
合集下载
高级运筹学-非线性规划
目标函数或约束函数中至少有一个是非线性的
应用背景
–有着最广泛的应用，应该说所有现实问题都是非线 性的，线性模型都是经过简化而来的。机械、电子 等行业的器件最优设计问题，如飞行器的结构优化。
决策论（decision theory)
著名经济学家西蒙有一句名言：“管理就
模型是现实的近似表达，要能抓住决策
问题的关键，在真实性和可用性之间取 得适当的平衡。
运筹学的分支
数学规划
– 线性规划 √ – 非线性规划 – 整数规划 √ – 动态规划
图与网络流 √ 网络计划 库存论 排队论 对策论 决策论 。。。。。
优化问题的分类
确定性、静态优化问题
1.1 相关的数学知识
四、Hessian 矩阵（二阶导数矩阵） 几个常用的公式 五、正定矩阵 定义 正定二次函数 六、多元函数的Taylor展开
Transportation Science
运筹学软件
LINDO是一种专门用于求解数学规划问题的软件包。由于 LINDO执行速度很快、易于方便输入、求解和分析数学规 划问题。因此在数学、科研和工业界得到广泛应用。 LINDO主要用于解线性规划、非线性规划、二次规划和整 数规划等问题。也可以用于一些非线性和线性方程组的求 解以及代数方程求根等。LINDO中包含了一种建模语言和 许多常用的数学函数，可供使用者建立规划问题时调用。 一般用LINDO（Linear Interactive and Discrete Optimizer） 解决线性规划（LP—Linear Programming）。整数规划（ IP—Integer Programming）问题。其中LINDO 6 .1 学生版 至多可求解多达300个变量和150个约束的规划问题。其正 式版（标准版）则可求解的变量和约束在1量级以上。
应用背景
–有着最广泛的应用，应该说所有现实问题都是非线 性的，线性模型都是经过简化而来的。机械、电子 等行业的器件最优设计问题，如飞行器的结构优化。
决策论（decision theory)
著名经济学家西蒙有一句名言：“管理就
模型是现实的近似表达，要能抓住决策
问题的关键，在真实性和可用性之间取 得适当的平衡。
运筹学的分支
数学规划
– 线性规划 √ – 非线性规划 – 整数规划 √ – 动态规划
图与网络流 √ 网络计划 库存论 排队论 对策论 决策论 。。。。。
优化问题的分类
确定性、静态优化问题
1.1 相关的数学知识
四、Hessian 矩阵（二阶导数矩阵） 几个常用的公式 五、正定矩阵 定义 正定二次函数 六、多元函数的Taylor展开
Transportation Science
运筹学软件
LINDO是一种专门用于求解数学规划问题的软件包。由于 LINDO执行速度很快、易于方便输入、求解和分析数学规 划问题。因此在数学、科研和工业界得到广泛应用。 LINDO主要用于解线性规划、非线性规划、二次规划和整 数规划等问题。也可以用于一些非线性和线性方程组的求 解以及代数方程求根等。LINDO中包含了一种建模语言和 许多常用的数学函数，可供使用者建立规划问题时调用。 一般用LINDO（Linear Interactive and Discrete Optimizer） 解决线性规划（LP—Linear Programming）。整数规划（ IP—Integer Programming）问题。其中LINDO 6 .1 学生版 至多可求解多达300个变量和150个约束的规划问题。其正 式版（标准版）则可求解的变量和约束在1量级以上。
《高级运筹学》非线性规划模型及基本概念
min f ( x1 , x2 ) ( x1 ai ) 2 ( x2 bi ) 2
i 1
m
例3
求表面积为常数6a2 (a>0), 体积最大的长方体体积。
解：设长方体的长、宽、高分别为x1,x2,x3. 则
max f ( x1 , x2 , x3 ) x1 x2 x3 s.t. 2( x1 x2 x1 x3 x2 x3 ) 6a 2 x1 0, x2 0, x3 0
许国志等根据史记中：“运筹于帷幄之中，决 胜于千里之外”将其翻译成“运筹学”
本学期教学内容
非线性规划 第一章：非线性规划模型及基本概念 第二章：无约束非线性规划 第三章：约束非线性规划 第四章：多目标规划 现代优化算法简介
《非线性规划》教学参考书
[1] 施光燕、董加礼,最优化方法 高等教育出版社，2004。 [2] 施光燕、钱伟懿，庞丽萍，最优化方法（第二版）高等 教育出版社，2007。
4. 梯度：
定义: 以f(x) 的n个偏导数为分量的向量称为f(x) 在x处的梯 度，记为
f ( x) f ( x) x1 f ( x) x2 f ( x) xn
T
梯度也可以称为函数 f(x) 关于向量 x 的一阶导数.
5. 梯度和方向导数的关系
f ( x 0 ) f ( x 0 )T e P
SETS: N/1..4/:X; ENDSETS max=@sum(N(i):X(i)^0.5); X(1)<400; 1.1*X(1)-(X(1))^(1/2)+X(2)<440; 1.21*X(1)-1.1*(X(1))^(1/2)+1.1*X(2)-(X(2))^(1/2)+X(3)<484; 1.331*X(1)-1.21*(X(1))^(1/2)+1.21*X(2)-1.1*(X(2))^(1/2)+1.1*X(3)(X(3))^(1/2)+X(4)<532.4;
高级运筹学-非线性规划[1]
![高级运筹学-非线性规划[1]](https://img.taocdn.com/s3/m/48185b2b4b73f242336c5f6d.png)
排队论
银行、医院、机场跑道、港口码头、 银行、医院、机场跑道、港口码头、理 发店、通信设备、 发店、通信设备、交通路口等等的排队 现象； 现象； 排队论是运筹学的又一个分支， 排队论是运筹学的又一个分支，又叫做 随机服务系统理论。它的研究目的是要 随机服务系统理论。 回答如何改进服务机构、 回答如何改进服务机构、或组织被服务 的对象， 的对象，使得某种指标达到最优的问题 比如一个港口应该有多少个码头， 。比如一个港口应该有多少个码头，一 个工厂应该有多少维修人员等 。
目标函数或约束函数中至少有一个是非线性的
应用背景
– 有着最广泛的应用，应该说所有现实问题都是非线 性的，线性模型都是经过简化而来的。机械、电子 等行业的器件最优设计问题，如飞行器的结构优化 设计等；管理科学中的应用问题更是不胜枚举；系 统控制问题。
决策论（decision)
著名经济学家西蒙有一句名言：“管理 就是决策”。 “决策”一词本身是一个广义的概念， 本课程介绍的是针对在不确定或随机环 境下的决策分析方法。 应用背景：产品开发决策问题、风险投 资决策问题、开设连锁店问题等等
最速下降法（梯度法） The Steepest descent method The Gradient Method
基本思想：以负梯度方向作为寻优方向 算法步骤： 特点：
– – – – 迭代过程简单，存储量少，计算量小； 即使是正定二次函数也不能有限步收敛； 相邻两次寻优方向是垂直的; 寻优路线呈锯齿状（Zig-Zag)，在极小点附 近收敛缓慢;
– 可行域
R ={X ∈En | hi (X) = 0, gj (X) ≥ 0;i =12,..., m j =1 l} , ; ,...,
– 特别当R=En, 称为无约束优化问题
非线性-无约束规划
6） 实用收敛性： ）
定义最优解集如下 S* = { x | x 具有某种性质 } 例：S*={x| x---g.opt} S*={x| x---l.opt} S*={x|∇f(x)=0} S*={x| f’(x)≤β} (β为给定实数,称为阈值） 当下列情况之一成立时 当下列情况之一成立时，称算法收敛具有该性质点 之一成立时， 1°∃x(k) ∈S*; ° 2°∀k，{X(k)}任意极限点∈S* ° 任意极限点∈ 任意极限点
* ak 为最优步长。 最优步长。 则称
根据单变量的驻点条件: 根据单变量的驻点条件 d f(xk+akPk)/dak=0 （当ak=ak* 时） 以及复合函数的求导法则可得： 以及复合函数的求导法则可得：
∇f ( x
k +1 T
) P =0
k
2） 缩小区间的非精确一维搜索
（1）单峰的概念 ） 若对任意λ 若对任意 1 ,λ2, α≤ 1º 若α2 ≤
停
11. 最优步长的一维搜索 1) 精确一维搜索（假定求目标函数极小值） 假定求目标函数极小值） * ak 是在给定 k和方向 是目标函数， 设f(X)是目标函数，如果 是在给定X 是目标函数 矢量P 通过f(x)=f(xk+akPk) 的极小化而产生 矢量 k下，通过
ak* = arg ak min f ( x k + ak P k )
∂ u ∂u ∂u ∂u = cos α + cos β + cos γ ∂ l ∂x ∂y ∂r
2. 海瑟矩阵
海瑟矩阵是对称形式：
∂2 f ( X ) ∂x12 ∂2 f ( X ) 2 H ( X ) = ∇ f ( X ) = ∂x2 ∂x1 ...... ∂2 f ( X ) ∂xn ∂x1
第五章 无约束非线性规划[1]
![第五章 无约束非线性规划[1]](https://img.taocdn.com/s3/m/120b97e219e8b8f67c1cb993.png)
凸函数的性质
定理 5.2.1 设 S R n 是非空凸集。 （1） 若 f : Rn R 是 S 上的凸函数， 0 ，则 f 是 S 上 的凸函数； n （2） 若 f 1 , f 2 : R R 都是 S 上的凸函数，则 f 1 f 2 是 S 上的凸函数。
定理 5.2.2 设 S R n 是非空凸集， f : Rn R 是凸函数， c R ，则集合
t
min [ i (c1 c 2 t i e c3t i )]2
i 1
n
例2 构件容积问题
设计一个右图所示的由圆锥和圆柱面 围成的构件，要求构件的表面积为 S， 圆锥部分的高 h 和圆柱部分的高 x2 之 比为 a。确定构件尺寸，使其容积最 大。
x3
x2 x1
max V (1 a / 3)x12 x2 2 s.t. x1 x12 a 2 x2 2x1 x2 x12 S x1 0, x2 0
(5.4)
极值存在的条件
例１ 求目标函数
f ( x) x 2x 3x x x 4x2 x3 x x
4 1 3 2 2 3 2 1 2
2 1 3
的梯度和Hesse矩阵
解:因为 f 3 2 4 x1 2 x1 x2 x3 x1 ,所以
f 2 2 6 x2 x1 4 x3 x2 f 6 x3 4 x2 2 x1 x3 x3
f (2,1) 2 2 8 2 2 1 4 1 20 10
2 2
凸函数和凸规划
凸函数及其性质
凸规划及其性质
凸函数及其性质
定义 5.2.1 设 S R n 是非空凸集， f : S R ，如果对任意的 (0,1)
无约束非线性计划求解方式和其实现
无约束非线性计划求解方式及其实现杨玲指导教师：陈素根摘要:非线性计划是具有非线性约束条件或目标函数的数学计划，是运筹学的一个重要分支。
非线性计划属于最优化方式的一种，是线性计划的延伸。
非线性计划研究一个n元实函数在一组灯饰或不等式的约束条件下的极值问题，且目标函数和约束条件至少有一个是未知量的非线性函数。
目标函数和约束条件都是线性函数的情形那么属于线性计划。
非线性计划是20世纪50年代才形成的一门新兴学科。
1951年库恩和塔克发表的关于最优性条件的论文是非线性计划正是诞生的一个重要标志。
在50年代还得出了可分离计划和二次计划的n种解法，它们多数是以.丹齐克提出的解线性计划的单纯形法为基础的。
50年代末到60年代末显现了许多解线性计划问题的有效的算法，70年代又取得进一步的进展。
非线性计划在工程，治理，经济，科研，军事等发面都有普遍的应用，为最优设计提供了有力的工具。
20世纪80年代以来，随着运算机技术的快速进展，非线性计划在信任域法、稀疏牛顿法、并行计算、内点法和有限存储法等领域取得了丰硕的功效，无约束非线性计划问题是非线性计划的一个重要内容，很多学者对非线性计划问题进行了深切且系统的研究，研究功效丰硕。
关键词最优化共轭梯度法非线性无约束1 引言无约束非线性计划问题是最大体的非线性计划问题，在1959~1963年幼三位数学家一起研究成功求解无约束问题的DFP变尺度法，该算法的研究成功是无约束优化算法的一个大飞跃，引发了一系列的理论工作，并陆续显现了许多新的算法。
20世纪80年代以来，随着运算机技术的快速进展，非线性计划在信任域法、稀疏牛顿法、并行计算、内点法和有限存储法等领域取得了丰硕的功效。
无约束非线性计划问题是非线性计划的一个重要内容，很多学者对非线性计划问题进行了深切且系统的研究，研究功效丰硕。
本文要紧研究无约束非线性计划问题，将文章分成四个部份，第一会具体介绍无约束非线性计划的相关概念，并在此基础上研究非线性计划的相关理论与大体算法问题，接着详细介绍无约束非线性计划的几种要紧的求解方式，最后举例说明他在实际生活中的应用，并编程实现它。
非线性规划-无约束问题的最优化方法
k+ 1 k
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
高级运筹学第9章非线性规划
x’1=a1+(b1-a1) x’2=x1 ⑵ 若求f(x)的极大值点，则
否则，继续缩短区间， 直至满足给定的精度为止。
① f(x2)≥f(x1)，取[a1=a0,b1=x1]
x’1=x2
x’2=b1-(b1-a1)
② f(x2)＜f(x1)，取[a1=x2,b1=b0]
x’1=a1+(b1-a1)
2、寻优方法
① 间接法(解析法)：适应于目标函数有简单明确的数学表达式。
② 直接法(搜索法)：目标函数复杂或无明确的数学表达式。
a.消去法(对单变量函数有效)：
不断消去部分搜索区间，逐步缩小极值点存在的范围。
b.爬山法(对多变量函数有效)：
根据已求得的目标值，判断前进方向，逐步改善目标值。
6
9.2 无约束条件下单变量函数寻优
2、多元函数 y=f(X)=f(x1,x2,…,xn)：在 X0 附近作泰勒展开，得
f (X)
f(X0 )
n i1
f (X0 ) xi
xi
1 n 2f(X0 ) 2 i,j1 xix j
xixj
(X3 ),(xi
xi
x0 )
f (X)
f (X0
)
f (X0
)T
X
1 2
XT
H
X,(X
X
x’1=a1+(b1-a1)
计算n个点后，总缩短率为 En=n-1＜， 可得试点数n。x’2=x1
8
3、计算步骤：求函数f(x)的极值点
第一步：取初始区间[a0,b0]
a0 •
x•2 x•1
• b0
a1 •
•• x’2 x’1
• b1
a1 •
否则，继续缩短区间， 直至满足给定的精度为止。
① f(x2)≥f(x1)，取[a1=a0,b1=x1]
x’1=x2
x’2=b1-(b1-a1)
② f(x2)＜f(x1)，取[a1=x2,b1=b0]
x’1=a1+(b1-a1)
2、寻优方法
① 间接法(解析法)：适应于目标函数有简单明确的数学表达式。
② 直接法(搜索法)：目标函数复杂或无明确的数学表达式。
a.消去法(对单变量函数有效)：
不断消去部分搜索区间，逐步缩小极值点存在的范围。
b.爬山法(对多变量函数有效)：
根据已求得的目标值，判断前进方向，逐步改善目标值。
6
9.2 无约束条件下单变量函数寻优
2、多元函数 y=f(X)=f(x1,x2,…,xn)：在 X0 附近作泰勒展开，得
f (X)
f(X0 )
n i1
f (X0 ) xi
xi
1 n 2f(X0 ) 2 i,j1 xix j
xixj
(X3 ),(xi
xi
x0 )
f (X)
f (X0
)
f (X0
)T
X
1 2
XT
H
X,(X
X
x’1=a1+(b1-a1)
计算n个点后，总缩短率为 En=n-1＜， 可得试点数n。x’2=x1
8
3、计算步骤：求函数f(x)的极值点
第一步：取初始区间[a0,b0]
a0 •
x•2 x•1
• b0
a1 •
•• x’2 x’1
• b1
a1 •
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
四、 黄金分割法 （0.618法）
黄金分割律是公元前六世纪，希腊的大数学家毕达哥拉斯发现 的：如果把一条线段分成两部分，长段和短段的长度之比是 1:0.618，整条线段和长段的比也是1:0.618时，才是和黄金 一样最完美的分割，进行分割的这个点就叫黄金分割点
黄金分割法适用于[a,b]区间上的任何单谷函数求极小值问 题。对函数除要求“单谷”外不作其他要求，甚至可以不连续。 因此，这种方法的适应面相当广.
研究生《高级运筹学》课件
无约束非线性规划
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
本章仅讨论如下无约束非线性规划问题： min f (x)
xRn
假定f(x)具有二阶连续偏导数。
一、 无约束极小化问题的最优性条件
现有多元函数 f(x1,x2,…,xn), 若点 x (0) = (x10, x20,…, xn0)T 存
bk ak ,
x*
1 2
(ak
bk
)
(1) 确定初始单谷区间的进退法
基本思想： 对f(x)任选一个初始点a1及初始步长h，通过比较这两点函数值的大小，
确定第三点位置，比较这三点的函数值大小，确定是否为 “高—低—高” 形态
计算步骤
Step1.选定初始点a1，初始步长h，计算 f 1＝f (a1), f 2＝f (a1 + h)
往化成求解
f (x) 0
即 的问题
f (x)
x1
0
f (x)
x2
0
f (x) xn
0
该方程组很难求解， 一般不采用此法。
二、迭代法
求解无约束非线性规划问题常用数值解法中的迭代法
1. 迭代法的基本思想：
给定f(x)的极小点位置的一个初始估计x (0)，依次计算产生 一系列点x (k) （1,2,…,), 希望点列x (k)的极限x* 就是f(x)的一 个极小点。
黄金分割法也是建立在区间消去法原理基础上的试探方法。 在搜索区间[a,b]内适当插入两点1,2，将区间分成三段； 利用区间消去法，使搜索区间缩小，通过迭代计算，使搜索 区间无限缩小，从而得到极小点的数值近似解
1 2 将区间分成三段
2 1 5 1 0.618
2 黄金分割法还要求在保留下来的区间内再插入一点所形成 的区间新三段，与原来区间的三段具有相同的比例分布
在一邻域(x(0)), 使对任意x (x(0)),均有f (x(0)) f(x), 则称
x (0)是 f(x) 的局部极小点。
无约束极小化问题的最优解必是f(x)的局部极小点。
局部极小点的一阶必要条件：设函数f(x)在点x处可微，且x (0) 为局部极小点，则必有
f (x(0) ) 0
利用局部极小点的一阶必要条件，求多元函数极值问题往
x x d (k1)
(k)
(k)
k
当方向d (k)给定，求最佳步长k, 就是求一元函数
() f (x(k) d (k) )
的极小点问题。 这一过程称为一维Байду номын сангаас索。
二、一维搜索的方法：
1. 精确线搜索，即解方程： d() 0 d
2. 试探法；按照某种方式找试探点，通过一系列试探 点的比较确定极小点。 3. 函数逼近法：用较简单的曲线近似代替原来的曲线， 用近似曲线的极小点来估计原曲线的极小点。
从而确定下一个点 x(k 1) x(k ) k d (k )
(4) 检验新得到的点x (k+1)是否为最优或近似最优，若是则 停止迭代，否则继续迭代。检验方法：
|| f (x(k1) ) ||
第二节：一维搜索
一、一维搜索的定义
在求解无约束非线性规划的算法中，要进行一系列如下格式 的迭代计算:
（a）如f2<f3, 则初始区间得到； h>0时，[a,b]=[a1,a3]; h<0时，[a,b]=[a3,a1];
（b）如f2>f3, 加大步长 h＝2 h ，a1=a2, a2=a3,转step3 继 续探测
(2) 消去法的基本原理
单谷区间确定后，假定在区间内任取两点a1,b1;且 a1 <b1。
3. 迭代法的基本步骤：
(1) 选择初始点x (0) ;
(2) 如已得到的迭代点x (k)不是最优解，确定从x (k)点出发 的搜索方向d (k)，使f(x)沿d (k)方向可以找到x (k+1)，目标函 数有所下降。
(3)在射线x (k) +d (k) (0) 上选取步长k, 使
f (x(k ) k d (k ) ) f (x(k ) )
三、一维搜索的基本思想：
1.单谷(峰）区间 在给定区间内仅有一个谷值(极大或极小)的函数称为单
谷函数，其区间称为单谷区间
函数值：大—小—大
f(x)
图形：高—低—高 单谷区间中一定有极小点
a
x*
b
x
2. 一维搜索的基本思想 （1）确定初始单谷区间 （2）根据区间消去法原理逐步缩小此区间 （3）根据迭代精度要求确定最优解的近似值
Step2. 比较f 1和f 2。 （a）如f 1 > f 2, 向右前进；加大步长 h ＝2 h ，转step3 （b）如f 1 < f 2, 向左后退；h＝- h，转（3）向后探测， （c）如f 1 ＝ f 2 ，极小点在[a1 a1 ＋ h ]之间。
向前探测
Step3. 产生新的探测点 a3＝a1＋h，f3＝f(a3); Step4. 比较函数值 f2与f3：
黄金分割法要求插入两点：
计算公式：
x(k 1) x(k ) k d (k )
其中:
d k : 搜索方向
k : 步长
不同算法的区别在于得出搜索方向和步长的方式不同。
2. 选择搜索方向和步长的原则： （1） 目标函数值逐次减小，这种算法称为下降算法。
f (x(0) ) f (x(1) ) f (x(k) )
（2） 算法具有收敛性。 即：序列中的某一点，或序列的极限点是函数的极小点。
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
四、 黄金分割法 （0.618法）
黄金分割律是公元前六世纪，希腊的大数学家毕达哥拉斯发现 的：如果把一条线段分成两部分，长段和短段的长度之比是 1:0.618，整条线段和长段的比也是1:0.618时，才是和黄金 一样最完美的分割，进行分割的这个点就叫黄金分割点
黄金分割法适用于[a,b]区间上的任何单谷函数求极小值问 题。对函数除要求“单谷”外不作其他要求，甚至可以不连续。 因此，这种方法的适应面相当广.
研究生《高级运筹学》课件
无约束非线性规划
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
本章仅讨论如下无约束非线性规划问题： min f (x)
xRn
假定f(x)具有二阶连续偏导数。
一、 无约束极小化问题的最优性条件
现有多元函数 f(x1,x2,…,xn), 若点 x (0) = (x10, x20,…, xn0)T 存
bk ak ,
x*
1 2
(ak
bk
)
(1) 确定初始单谷区间的进退法
基本思想： 对f(x)任选一个初始点a1及初始步长h，通过比较这两点函数值的大小，
确定第三点位置，比较这三点的函数值大小，确定是否为 “高—低—高” 形态
计算步骤
Step1.选定初始点a1，初始步长h，计算 f 1＝f (a1), f 2＝f (a1 + h)
往化成求解
f (x) 0
即 的问题
f (x)
x1
0
f (x)
x2
0
f (x) xn
0
该方程组很难求解， 一般不采用此法。
二、迭代法
求解无约束非线性规划问题常用数值解法中的迭代法
1. 迭代法的基本思想：
给定f(x)的极小点位置的一个初始估计x (0)，依次计算产生 一系列点x (k) （1,2,…,), 希望点列x (k)的极限x* 就是f(x)的一 个极小点。
黄金分割法也是建立在区间消去法原理基础上的试探方法。 在搜索区间[a,b]内适当插入两点1,2，将区间分成三段； 利用区间消去法，使搜索区间缩小，通过迭代计算，使搜索 区间无限缩小，从而得到极小点的数值近似解
1 2 将区间分成三段
2 1 5 1 0.618
2 黄金分割法还要求在保留下来的区间内再插入一点所形成 的区间新三段，与原来区间的三段具有相同的比例分布
在一邻域(x(0)), 使对任意x (x(0)),均有f (x(0)) f(x), 则称
x (0)是 f(x) 的局部极小点。
无约束极小化问题的最优解必是f(x)的局部极小点。
局部极小点的一阶必要条件：设函数f(x)在点x处可微，且x (0) 为局部极小点，则必有
f (x(0) ) 0
利用局部极小点的一阶必要条件，求多元函数极值问题往
x x d (k1)
(k)
(k)
k
当方向d (k)给定，求最佳步长k, 就是求一元函数
() f (x(k) d (k) )
的极小点问题。 这一过程称为一维Байду номын сангаас索。
二、一维搜索的方法：
1. 精确线搜索，即解方程： d() 0 d
2. 试探法；按照某种方式找试探点，通过一系列试探 点的比较确定极小点。 3. 函数逼近法：用较简单的曲线近似代替原来的曲线， 用近似曲线的极小点来估计原曲线的极小点。
从而确定下一个点 x(k 1) x(k ) k d (k )
(4) 检验新得到的点x (k+1)是否为最优或近似最优，若是则 停止迭代，否则继续迭代。检验方法：
|| f (x(k1) ) ||
第二节：一维搜索
一、一维搜索的定义
在求解无约束非线性规划的算法中，要进行一系列如下格式 的迭代计算:
（a）如f2<f3, 则初始区间得到； h>0时，[a,b]=[a1,a3]; h<0时，[a,b]=[a3,a1];
（b）如f2>f3, 加大步长 h＝2 h ，a1=a2, a2=a3,转step3 继 续探测
(2) 消去法的基本原理
单谷区间确定后，假定在区间内任取两点a1,b1;且 a1 <b1。
3. 迭代法的基本步骤：
(1) 选择初始点x (0) ;
(2) 如已得到的迭代点x (k)不是最优解，确定从x (k)点出发 的搜索方向d (k)，使f(x)沿d (k)方向可以找到x (k+1)，目标函 数有所下降。
(3)在射线x (k) +d (k) (0) 上选取步长k, 使
f (x(k ) k d (k ) ) f (x(k ) )
三、一维搜索的基本思想：
1.单谷(峰）区间 在给定区间内仅有一个谷值(极大或极小)的函数称为单
谷函数，其区间称为单谷区间
函数值：大—小—大
f(x)
图形：高—低—高 单谷区间中一定有极小点
a
x*
b
x
2. 一维搜索的基本思想 （1）确定初始单谷区间 （2）根据区间消去法原理逐步缩小此区间 （3）根据迭代精度要求确定最优解的近似值
Step2. 比较f 1和f 2。 （a）如f 1 > f 2, 向右前进；加大步长 h ＝2 h ，转step3 （b）如f 1 < f 2, 向左后退；h＝- h，转（3）向后探测， （c）如f 1 ＝ f 2 ，极小点在[a1 a1 ＋ h ]之间。
向前探测
Step3. 产生新的探测点 a3＝a1＋h，f3＝f(a3); Step4. 比较函数值 f2与f3：
黄金分割法要求插入两点：
计算公式：
x(k 1) x(k ) k d (k )
其中:
d k : 搜索方向
k : 步长
不同算法的区别在于得出搜索方向和步长的方式不同。
2. 选择搜索方向和步长的原则： （1） 目标函数值逐次减小，这种算法称为下降算法。
f (x(0) ) f (x(1) ) f (x(k) )
（2） 算法具有收敛性。 即：序列中的某一点，或序列的极限点是函数的极小点。