非线性规划-无约束问题
最速下降法 共轭梯度法
牛顿法 拟牛顿法*
无约束问题
一维搜索法
xk 1 xk tk pk
步长tk的选定是由使目标函数值沿搜索方向 下降最多为依据的，因此这一工作变成了求 解以tk为变量的一元函数，故得名一维搜索 法。
适用于某些不能求得一阶导数解析解的问题
n x 如求最小回流比 i j Di R min 1 i 1 ij 其中ij：组分i对组分j的相对挥发度
' 2
F( n 2) F( n 1)
(b1 a1 )
区间变为[t1, b0]
确定n个搜索点以后，每次的区间缩短率为
Fn1 Fn2 Fn3 , , , Fn Fn1 Fn2
F1 , F2
n次计算能得到的区间长度比为
要使精度够大，即
1 Fn
Fn
1
δ ：区间缩短的相对精度
如果至某一步
1 t1 t2 (a b) 2
则可令
1 t2 (a b) 2 t a ( 1 )(b a ) 1 2
0.618法
可以证明对于斐波那契数列，其奇数项和偶 数项都各自收敛于同一极限，该极限值等于
5 1 0.618033988 2
当 ' a a ; b t ; t f (t1 ) f (t2 ) 1 0 1 2 2 t1 F( n 2) ' t1 b1 (b1 a1 ) F( n 1)
区间变为[a0, t2]
反之 f (t1 ) f (t2 )
a1 t1 ; b1 b0 ; t1' t2 t a1
1.941，3.854
f(x)
0.9855
特征值
37.03 0.97
局部极小点
-1.053，1.028
0.6117，1.4929
-0.5134
2.8300
10.50
7.0
3.50
-2.56
（全局）极小点
鞍点
主要方法
Fibonacci法 一维搜索法 多项式近似 0.618法 二次插值法 三次插值法 一阶导数 求导数方法 二阶导数
H为对称矩阵
部分x 0，x Hx 0 H 不定
T
多元函数，如何判断H是否正定？
特征值
f(x)
严格凸函数 凸函数 凹函数 严格凹函数 既凸又凹 非凸非凹
H
正定 半正定 半负定 负定 （线性函数）
特征值 >0 ≥0 ≤0 <0 =0 >0,<0
例 分析函数
指出此函数属于哪种类型
比较得，
第一次搜索 选取两个初始试算点
( x(1,1) ) ( x(1,2) )
可以得到下一次搜索区间
a1 1, b1 x(1,2) 1.472, x(2,2) x(1,1) 0.528
( x(2,2) ) ( x(1,1) ) 1.75078
一维搜索法（消去法）
f(x2)＜f(x1)，去掉[x1,b0]，此时x*[a0,x1]
f(x)
o
a0
x* x2 x1 b0 x x1,x2 在x*的右侧
一维搜索法（消去法）
f(x2)＞f(x1)，去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x1 x*
b0 x
x1,x2 在x*的左侧
( x(3,1) ) ( x(2,2) ) 1.75078
迭代 次数
ak-1
-1 -1
bk-1
3 1.472
x(k,1)
0.528 0.05569 6 0.528 0.30495 6 0.528 0.4427
x(k,2)
1.472 0.528
2
设初始区间为a0=-1.0，b0=3.0，要求剩余 区间长度不大于0.1 解 本例可以通过解析法求得精确解
x 0.5, ( x ) 1.75
* *
x(1,1) a0 0.382(b0 a0 ) 0.528, ( x(1,1) ) 1.75078 x(1,2) a0 0.618(b0 a0 ) 1.472, ( x(1,2) ) 2.69478
0.5 FA0 cA0 xA 50
FA0 600
dcA 2 2 rA 2.0cA0 (1 xA ) dt
非线性规划
目标函数或约束条件中有非线性函
数的规划问题
非线性规划的最优解可能在其可行域中的任
意一点达到
不一定是全局最优解
背景
理论计算
相对于计算要求，计算能力仍十分有限
xk R ：第k轮迭代点 xk 1 Rn ：第k+1轮迭代点 tk：搜索步长 pk：迭代方向
基本概念
f ( x ) : R En
对于 存在ε>0，使
x x* f ( x ) f ( x* )
则称x*为R上的局部极小点，f(x*)称为局部 极小值 →严格局部极小点、严格局部极小值
数列{Fn}为斐波那契数列
Fn 1 Fn
斐波那契分数
n Fn n Fn
0 1 6 13
1 1 7 21
2 2 8 34
3 3 9 55
4 5 10 89
5 8 11 144
计算步骤 选取初始数据，确定单峰区间[a0, b0] 根据缩短率计算Fn，再确定最小n值 计算初值t1和t2，计算f(t1)、f(t2)
f(x2)＝f(x1)： a.去掉[x1,b0]，此时x*[a0,x1] b.去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x*
x1 b x
x1,契（Fibonacci）法
斐波那契数列
F0 F1 1 Fn Fn 2 Fn 1 , n 2,3,,
A的进料速度FA0、初始浓度CA0、反应器体积
V和转化率各取多大，才能使得该反应器在单
位时间内的经济效益是最好的？
max z C3 FB (C1FA0 C2 ) C3 FB (4c FA0 0.4V )
1.4 A0 0.6
FA0 cA0 rAV FA0 cA0 (1 xA )
解方程组得
x1 (1.941,3.854)T , x2 (1.053,1.028)T , x3 (0.6117,1.4929)
T
试判断所得的稳定点是否为最优解 31.794 9.764 2 H ( x1 ) f (1.941,3.854) 9.764 4
xDi：塔顶产品中i组分的组成 ：由Underwood公式确定
i j xFi 1 q i 1 ij
n
用经典的微分 方法很难求解
一维搜索法（消去法）
斐波那契（Fibonacci）法（分数法） 0.618法 无需求导，根据函数值判断搜索方向 适用于求解已知极值区间的单峰函数
f(t1)<f(t2)，取[a1=a0, b1=t2] t’2=t1 t’1=a1+0.382(b1-a1) f(t1)＞f(t2)，取[a1=t1, b1=b0] t’2=a1+ 0.618(b1-a1) a0 t’1=t2
a1
L
t1 t’1
L
t2
b
1
b
0
t’2
a1
t’1
f ( x) 2 x 3x1 x2 2 x
2 1
2 2
f f 4 x1 3x2 3x1 4 x2 x1 x2
f f f 4, 3 2 x1 x1x2 x2 x1
2 2 2
f 4 2 x2
2
4 3 H 3 4
11.194 2.212 H ( x2 ) f (1.053,1.028) 2.212 4
2
0.519 4.447 H ( x3 ) f (0.6117,1.4929) 4.447 4
2
求得各点的H特征值和稳定点类型如下： 稳定点
f ( x ) 0
*
例 求函数 2 f ( x) 4 4.5 x1 4 x2 x12 2 x2 2 x1 x2 x14 2 x12 x2
的所有稳定点
解
f 3 4.5 2 x 2 x 4 x 1 2 1 4 x1 x2 0 x 1 f 4 4 x 2 x 2 x 2 0 2 1 1 x2
第二次搜索 计算试算点
x(2,1) a1 0.382(b1 a1 ) 1 0.382(1.472 1) 0.055696 ( x(2,1) ) ( x(2,2) )
确定下一轮搜索区间
a2 x(2,1) 0.055696, x(3,1) x(2,2) 0.528 b2 b1 1.472
第三章 最优化方法 运筹学
施鹏
第三节 非线性规划
当要求容器的容积一定，求表面积最小，以 使用料最省。
min S 3πx12 2πx1 x2
x1 x2
s.t
2 3 πx1 πx12 x2 V 3
x1≥0，x2≥0
一连续反应器如图所示，进行如下反应
2A B
已知单位体积的液相反应速率为
背景
为加快计算速度，必须明确各种方法的特点，
以针对不同问题选择最合适的方法
求解思路：
迭代
从一个选定的初始点x0出发，按照某种特定
合集下载
第5讲 无约束优化与非线性规划
6
说明: 说明: •fminsearch是用单纯形法寻优. fminunc的算法见以下几点说明： fminsearch是用单纯形法寻优. fminunc的算法见以下几点说明 的算法见以下几点说明： fminsearch是用单纯形法寻优 [1] fminunc为无约束优化提供了大型优化和中型优化算法。 由options中的参数LargeScale控制： LargeScale=’on’(默认值),使用大型算法 LargeScale=’off’(默认值),使用中型算法 [2] fminunc为中型优化算法的搜索方向提供了4种算法，由 options中的参数HessUpdate控制： HessUpdate=’bfgs’（默认值），拟牛顿法的BFGS公式； HessUpdate=’dfp’，拟牛顿法的DFP公式； HessUpdate=’steepdesc’，最速下降法 [3] fminunc为中型优化算法的步长一维搜索提供了两种算法， 由options中参数LineSearchType控制 LineSearchType=’quadcubic’(缺省值)，混合的二次和 三次多项式插值； LineSearchType=’cubicpoly’，三次多项式插值 7
运行结果： xmin = 3.9270 xmax = 0.7854 ymin = -0.0279 ymax = 0.6448
4
例2 对边长为3米的正方形铁板，在四个角剪去相等的正方形以 制成方形无盖水槽，问如何剪法使水槽的容积最大？
解
设剪去的正方形的边长为x，则水槽的容积为： (3 − 2 x) 2 x 建立无约束优化模型为：min y=- (3 − 2 x) 2 x ， 0<x<1.5
无约束优化与非 线性规划
1
6-3无约束非线性规划问题的求解
2. 搜索步长: k 取最优步长 , 即满足 f ( x k k d k ) min f ( x k d k ) 。
梯度法算法步骤：
1. 给定初始点 x 1 R n , 允许误差 0 , 令k 1 。 2. 计算搜索方向 d k f ( x k ) ;
3. 若 || d k || , 则停止计算， x k 为所求极值点； 否则，求最优步长 k
无约束非线性规划问题的求解方法分为解析法和直接 法两类。
解析法
需要计算函数的梯度，本节介绍最速下降法、共轭梯度 法、牛顿法、变尺度法等解析方法
直接法仅通过比较目标函数值的大小来移动迭代点。本章
主要介绍步长加速法等直接方法。
一般来说，无约束非线性规划问题的求解是通过一系 列一维搜索来实现。因此，如何选择搜索方向是解无约 束非线性规划问题的核心问题，搜索方向的不同选择， 形成不同的求解方法。
得最佳步长k
(f ( X k ))T f ( X k ) ( f ( X ( k ) ))T P ( k ) k T (f ( X k )) Af ( X k ) f ( X k )T H ( X k )f ( X k )
H( Xk ) A
若函数f(x)不是二次函数，可用上式得到k的近似值.
2 2 1 min f ( X ) 2 x x 例6-8 用最速下降法求解： ,2 初始点 X 0 1 1
1 精度 10 。
解 因为函数f(x)为二次函数，故可用上述公式计 算最佳步长k
4 x f ( X ) 1 2 x2
4 0 H(X ) 0 2
使得 f ( x k k d k ) min f ( x k d k )。
第五小组_非线性规划-无约束极值问题
6 12 6 /17 ( , ) 17 17 12 /17 f ( X (1) )T f ( X (1) ) 1 0 = = = -12 f ( X (0) )T f ( X (0) ) 289 (-12, 6) 6 P (1) = -f ( X (1) ) + 0 P (0) f ( X (1) )T P (1) 17 l1 = = (1) T (1) ( P ) AP 10 X (2) = X (1) + l1 P (1) 1 = 1 6 /17 1 12 90 210 = - + = , 12 /17 289 -6 289 289
但P(i) ≠0 ,A为正定，即
a1 p(i )T AP(i ) = 0
p(i )T AP(i ) = 0 故必有ai= 0,i =1,2,L从而P（1）， P（2），… P（n）线性独立
非线性规划：无约束极值问题
梯度法 共轭梯度法 变尺度法 正定二次函数极小问题
二、基本定理
1 T • 无约束极值的一个特殊情形是： min f ( x) = X AX + BT X + c 2
梯度法 共轭梯度法 变尺度法
计算步骤：
（ 计算H ( k )，P k） = - H ( k )f ( X ( k ) ) （ 在P 0） 方向进行一维搜索，确定最佳步长l0
min f ( X ( k ) + lk P ( k ) ) = f ( X ( k ) + lk P ( k ) )
l
则X ( k +1) = X ( k ) + lk P ( k ) 满足精度要求，则停止迭代； 否则则重复上述步骤
非线性-无约束规划
6） 实用收敛性： ）
定义最优解集如下 S* = { x | x 具有某种性质 } 例：S*={x| x---g.opt} S*={x| x---l.opt} S*={x|∇f(x)=0} S*={x| f’(x)≤β} (β为给定实数,称为阈值） 当下列情况之一成立时 当下列情况之一成立时，称算法收敛具有该性质点 之一成立时， 1°∃x(k) ∈S*; ° 2°∀k，{X(k)}任意极限点∈S* ° 任意极限点∈ 任意极限点
* ak 为最优步长。 最优步长。 则称
根据单变量的驻点条件: 根据单变量的驻点条件 d f(xk+akPk)/dak=0 （当ak=ak* 时） 以及复合函数的求导法则可得： 以及复合函数的求导法则可得：
∇f ( x
k +1 T
) P =0
k
2） 缩小区间的非精确一维搜索
（1）单峰的概念 ） 若对任意λ 若对任意 1 ,λ2, α≤ 1º 若α2 ≤
停
11. 最优步长的一维搜索 1) 精确一维搜索（假定求目标函数极小值） 假定求目标函数极小值） * ak 是在给定 k和方向 是目标函数， 设f(X)是目标函数，如果 是在给定X 是目标函数 矢量P 通过f(x)=f(xk+akPk) 的极小化而产生 矢量 k下，通过
ak* = arg ak min f ( x k + ak P k )
∂ u ∂u ∂u ∂u = cos α + cos β + cos γ ∂ l ∂x ∂y ∂r
2. 海瑟矩阵
海瑟矩阵是对称形式：
∂2 f ( X ) ∂x12 ∂2 f ( X ) 2 H ( X ) = ∇ f ( X ) = ∂x2 ∂x1 ...... ∂2 f ( X ) ∂xn ∂x1
非线性-无约束规划
f(x) 为凸集 S 上的严格凸函数。 性质: 当- f(x) 为凸函数（严格凸函数）时，则称
f(x) 为凹函数（严格凹函数）。
严格凸函数
凸函数
严格凹函数
x1
x 2
2.2 凸集、凸函数和凸规划(续)
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
△可行方_ 向：
设 x∈S，d∈Rn, d≠0, 若存在 0
_
使 x d S, (0, ) ，
称d 为该点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
迭代算法的停止标准
1）
|| X k1 X k || 1
或
||
X k 1 || X k
X ||
k
考虑（fs）
s.t. x∈S
常用一种线性搜索的方式构造{xk}序列来求解 迭代中从一点出发沿下降可行方向找一个
新的、更优的点。
△下降方向 ：
设 x _∈S，d ∈Rn,d≠0,若存在 ，0
使 在
_
_
x _f点(x的 下d )降 方f (x向),。 (0, )
，称d 为
4 常用的搜索算法结构
以及
4) 全局收敛： 对任意初始点x(1), 算法均收敛。
5) 局部收敛： 当x(1) 充分接近解x*时，算法才收敛。
2. 实用收敛性：
定义解集
S* = { x | x 具有某种性质 }
例：S*={x|x---g.opt} S*={x|x---l.opt}
S*={x| f(x)=0} S*={x|f′(x)≤β } (β为给定实数,称为阈值
xn2
f(x) 为凹函数（严格凹函数）。
严格凸函数
凸函数
严格凹函数
x1
x 2
2.2 凸集、凸函数和凸规划(续)
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
△可行方_ 向：
设 x∈S，d∈Rn, d≠0, 若存在 0
_
使 x d S, (0, ) ，
称d 为该点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
迭代算法的停止标准
1）
|| X k1 X k || 1
或
||
X k 1 || X k
X ||
k
考虑（fs）
s.t. x∈S
常用一种线性搜索的方式构造{xk}序列来求解 迭代中从一点出发沿下降可行方向找一个
新的、更优的点。
△下降方向 ：
设 x _∈S，d ∈Rn,d≠0,若存在 ，0
使 在
_
_
x _f点(x的 下d )降 方f (x向),。 (0, )
，称d 为
4 常用的搜索算法结构
以及
4) 全局收敛： 对任意初始点x(1), 算法均收敛。
5) 局部收敛： 当x(1) 充分接近解x*时，算法才收敛。
2. 实用收敛性：
定义解集
S* = { x | x 具有某种性质 }
例：S*={x|x---g.opt} S*={x|x---l.opt}
S*={x| f(x)=0} S*={x|f′(x)≤β } (β为给定实数,称为阈值
xn2
非线性规划—无约束问题
2 12x 12 4x 2 8x 1x 2 并且 H (X ) 2 2 4x 1 12x 2 8x 1x 2 0 0 所以 H (X ) ＝ 0 0 H (X )不是正定矩阵，但f(X )在X 处取得最小值，
即X 为f (X ) 的严格局部极小点。
解：设该公司计划经营 第一种设备为 x1件，第二种设备为 x2 件 根据题意 max f ( x1 , x2 ) 30x1 450x2 0.5 x1 (2 0.25x2 ) x2 800 x1 , x2 0
第 4页
由这两个例子可以看出，这两个例子在高等数学中 代表了两类不同类型的极值问题。例1是无条件极值； 例2是有条件极值。
第15页
例： min f(X ) x x
2 1
3 2 2 T 2
解：因为f(X ) (2x 1 , 3x )
T 令f(X ) 0,得X (0, 0)
2 0 2 0 H (X ) ,H (X ) 0 0 0 6x 2 H (X )是半正定矩阵，但在X的任意邻域
X(2) X(1）
X
(1)
X(2)
(1) ( 2) (1 ） X ( 1 ) X X
(1 ) X
( 2)
凸函数
ห้องสมุดไป่ตู้
凹函数
即函数图形上任意两点的连线处处不在这个函数图 形的下方，称它为凸函数，下凸的。 线性函数既是凸函数，又是凹函数。
第19页
凸函数的性质
性质1：设f(X )是凸集上的凸函数，X 1 ,X 2 , ,X k ,
自变量。若某个约束条 件是“”的不等式，不等式 两边乘以“1”。
第 5页
非线性规划的图解问题
即X 为f (X ) 的严格局部极小点。
解：设该公司计划经营 第一种设备为 x1件，第二种设备为 x2 件 根据题意 max f ( x1 , x2 ) 30x1 450x2 0.5 x1 (2 0.25x2 ) x2 800 x1 , x2 0
第 4页
由这两个例子可以看出，这两个例子在高等数学中 代表了两类不同类型的极值问题。例1是无条件极值； 例2是有条件极值。
第15页
例： min f(X ) x x
2 1
3 2 2 T 2
解：因为f(X ) (2x 1 , 3x )
T 令f(X ) 0,得X (0, 0)
2 0 2 0 H (X ) ,H (X ) 0 0 0 6x 2 H (X )是半正定矩阵，但在X的任意邻域
X(2) X(1）
X
(1)
X(2)
(1) ( 2) (1 ） X ( 1 ) X X
(1 ) X
( 2)
凸函数
ห้องสมุดไป่ตู้
凹函数
即函数图形上任意两点的连线处处不在这个函数图 形的下方，称它为凸函数，下凸的。 线性函数既是凸函数，又是凹函数。
第19页
凸函数的性质
性质1：设f(X )是凸集上的凸函数，X 1 ,X 2 , ,X k ,
自变量。若某个约束条 件是“”的不等式，不等式 两边乘以“1”。
第 5页
非线性规划的图解问题
第三章 非线性规划无约束问题的最优化方法.ppt
能源与动力工程学院
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
第三章 非线性规划-无约束问题的最优化方法
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
本章主要介绍构造无约束问题(多维 搜索方向的方法 本章主要介绍构造无约束问题 多维)搜索方向的方法。这些方 多维 搜索方向的方法。 法大致可分为两类： 法大致可分为两类：
第一类：直接搜索方法。在搜索过程中， 第一类：直接搜索方法。在搜索过程中，只用到目标函 数值，不需要计算其导数。例如， 数值，不需要计算其导数。例如，变量轮换法 第二类：解析方法。在搜索过程中， 第二类：解析方法。在搜索过程中，要用到目标函数的 导数。例如最速下降法 牛顿法、共轭梯度法等 最速下降法、 导数。例如最速下降法、牛顿法、共轭梯度法等。
第 一 节
一、基本思想
变
量
轮 换
法
认为最有利的搜索方向是各坐标轴的方向， 认为最有利的搜索方向是各坐标轴的方向，因此它轮流 按各坐标的方向搜索最优点。 按各坐标的方向搜索最优点。 过程：从某一个给定点出发，按第 个坐标轴 个坐标轴x 过程：从某一个给定点出发，按第i个坐标轴 i的方向搜 索时，假定有 个变量 则只有x 在变化，其余(n-1)个变量 个变量， 索时，假定有n个变量，则只有 i在变化，其余 个变量 都取给定点的值保持不变。这样依次从 做了n次单变 都取给定点的值保持不变。这样依次从x1到xn做了 次单变 量的一维搜索，完成了变量轮换法的一次迭代。 量的一维搜索，完成了变量轮换法的一次迭代。
非线性规划—无约束问题
则称X * 为f(X )在上的全局极小点。 f(X *)为全局极小值。 若对于所有 X X * ，且X ，都有
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向 ，即可得到局部极 大值与全局极大值的定 义。
第11页
定理1：极值存在的必要条件
两边乘以“1”。 第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f (X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
( x1 ,
x2 )
50 x1x2
80[
1 x1x2
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元， 第二种设备每件售价为450元，根据统计，售出一件 第一种设备所需营业时间平均为0.5小时，第二种设备 为（2＋0.25x2）小时，其中x2是第二种设备的售出数 量，已知该公司在这段时间内的总营业时间为800小 时，试决定使其营业额最大的营业计划。
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向 ，即可得到局部极 大值与全局极大值的定 义。
第11页
定理1：极值存在的必要条件
两边乘以“1”。 第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f (X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
( x1 ,
x2 )
50 x1x2
80[
1 x1x2
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元， 第二种设备每件售价为450元，根据统计，售出一件 第一种设备所需营业时间平均为0.5小时，第二种设备 为（2＋0.25x2）小时，其中x2是第二种设备的售出数 量，已知该公司在这段时间内的总营业时间为800小 时，试决定使其营业额最大的营业计划。
e第六章 非线性规划-无约束极值
C＝{x：x，f(X)C}是凸集。
iii) 凸函数的判定（略）
§3 解和算法的基本性质 （9）
④凸规划定义：已知非线性规划：
min f(X) gj(X)≥0
若 f(X) 为凸函数， gj(X) 为凹函数，则称该规划为凸规划。 凸规划的局部极值点即为全局极值点。
线性规划为凸规划。 2．下降算法的收敛性问题（定性分析）（略） 迭代法，一维搜索概念的引出
表4-1
n Fn
0 1
1 1
2 2
3 3
4 5
5 8
… …
Fn又称为斐波那契常数，其含义是经过n次计算后，区间 缩短率为1/Fn，采用斐波那契常数进行一维寻优称为斐波 那契法。用该法寻优收敛快。计算次数少，然而每步取 点繁琐，且各步缩短率不同。为此，引出黄金分割法。
§1 一维最优化方法 （8）
黄金分割法与斐波那契法思路完全相同，仅仅是在区间内 的取点方式简单化，现不加推导的引出该法的区间内取点 规则。
1．极小点、凸集及其关系
①极小点定义 i) 对于X* Q，如果存在一个 >0，使所有与X*的距离
小于 的X Q（即X Q，且|X－X*|<）都满足不等式
f(X)≥f(X*)，则称X*为f在Q上的一个相对极小点或局部极 小点。若对于所有X Q，X≠X*且与X*距离小于 ，有 f(X)>f(X*)，则称X*为f在Q上的一个严格相对极小点。
区间[a0，b1]中只需取点b2，使 a0 b2 0.382a0 b，便又可 1
进行下一步计算。该法每迭代一次，使区间缩小到原来 的0.618倍，故又称0.618法。
§1 一维最优化方法 （10）
二、其它有关方法概述
1．牛顿切线法 2．抛物线拟合法