第五章 无约束非线性规划[1]
凸函数的性质
定理 5.2.1 设 S R n 是非空凸集。 （1） 若 f : Rn R 是 S 上的凸函数， 0 ，则 f 是 S 上 的凸函数； n （2） 若 f 1 , f 2 : R R 都是 S 上的凸函数，则 f 1 f 2 是 S 上的凸函数。
定理 5.2.2 设 S R n 是非空凸集， f : Rn R 是凸函数， c R ，则集合
t
min [ i (c1 c 2 t i e c3t i )]2
i 1
n
例2 构件容积问题
设计一个右图所示的由圆锥和圆柱面 围成的构件，要求构件的表面积为 S， 圆锥部分的高 h 和圆柱部分的高 x2 之 比为 a。确定构件尺寸，使其容积最 大。
x3
x2 x1
max V (1 a / 3)x12 x2 2 s.t. x1 x12 a 2 x2 2x1 x2 x12 S x1 0, x2 0
(5.4)
极值存在的条件
例１ 求目标函数
f ( x) x 2x 3x x x 4x2 x3 x x
4 1 3 2 2 3 2 1 2
2 1 3
的梯度和Hesse矩阵
解:因为 f 3 2 4 x1 2 x1 x2 x3 x1 ,所以
f 2 2 6 x2 x1 4 x3 x2 f 6 x3 4 x2 2 x1 x3 x3
f (2,1) 2 2 8 2 2 1 4 1 20 10
2 2
凸函数和凸规划
凸函数及其性质
凸规划及其性质
凸函数及其性质
定义 5.2.1 设 S R n 是非空凸集， f : S R ，如果对任意的 (0,1)
f (x 1 (1 ) x 2 ) f ( x 1 ) (1 ) f ( x 2 ) ， x 1 , x 2 S 有
， 则称 x * 是(MP)的严格局部最优解或严格局部极小点， f ( x * ) 是(MP)的严格局部最优值或严格局部极小点。 称
f ( x ) f ( x), x N ( x ) X , x x
* *
*
极值存在的条件
１必要条件：设Ｒ是n维欧氏空间的某 一区域，f(X)为定义在Ｒ上的实值函数， Ｘ＊是区域Ｒ的内点，若f(Ｘ）在Ｘ＊处 可微，且在该点取得局部极小值，则必 有
当p=0,q=0时，称为无约束非线性规划或者无约束最优 化问题。
否则，称为约束非线性规划或者约束最优化问题。
最优解和极小点
定义 5.1.1 对于非线性规划(MP)，若 x * X ，并且有 f ( x * ) f ( x), x X 则称 x * 是(MP)的整体最优解或整体极小点，称 f ( x * ) 是 (MP)的整体最优值或整体极小值。如果有 f ( x * ) f ( x), x X, x x * 则称 x * 是(MP)的严格整体最优解或严格整体极小点，称 * f ( x ) 是(MP)的严格整体最优值或严格整体极小值。
第五章 无约束非线性规划
(Nonlinearly Unconstrained Programming)
非线性函数和非线性规划的概念（理 解） 最优性条件(掌握） 一维搜索（掌握） 最速下降法与共轭梯度法（掌握） 牛顿法与拟牛顿法（掌握）
一非线性函数和非线性规划的概念
线性函数:(1) f(kx)=kf(x) (2) f(x1+x2)=f(x1)+f(x2) 则非线性函数就是不满足以上两个条件的函 数．
f ( X *) f ( X *) f ( X *) 0 x1 x2 xn 5.1
或
f ( x*) 0
5.2
极值存在的条件
其中，
f ( X *) f ( X *) f ( X *) 0 f ( x*) , , , x x2 xn 1
通 常 情 况 下 ， 目 标 函 数 f(x) 和 约 束 条 件 hi(X)和gi(X)为自变量Ｘ的非线性函数
非线性规划
g ( x) 0, i 1,..., p 约束集或可行域 n i X x R h j ( x) 0, j 1,...,q
所以
2 f 4, x2 x3
2 f 6 2 x1 2 x3
12x12 2 x2 2 f ( x) 2 x1 2 x3
2 x1 12x2 4
2 x3 4 6 2 x1
即为Hesse矩阵
极值存在的条件
例 2 试 研 究 函 数 f(x1,x2)=x22-x1 ２ 的 驻 点． f ( x1 , x2 ) 解：令
则称 f 是 S 上的凸函数，或 f 在 S 上是凸的。如果对于任意的 (0,1) 有
f (x (1 ) x ) f ( x ) (1 ) f ( x ) ，
1 2 1 2
x1 x 2 则称 f 是 S 上的严格凸函数，或 f 在 S 上是严格凸的。
若- f 是 S 上的（严格）凸函数，则称 f 是 S 上的（严格） 凹函数，或 f 在 S 上是（严格）凹的。
非线性规划：如果目标函数或约束条件中， 有一个或多个是变量的非线性函数，就称为 非线性规划．
非线性规划问题
例1 曲线的最优拟合问题
已知某物体的温度 与时间 t 之间有如下形 式的经验函数关系： c1 c2 t e c3t (*) 其中 c1 ， c2 ， c3 是待定参数。现通过测试获 得 n 组 与 t 之间的实验数据 ( t i , i ) ，i=1， 2，…,n。试确定参数 c1 ， c2 ， c3 ，使理论 曲线(*)尽可能地与 n 个测试点 ( t i , i ) 拟 合。
最优解和极小点
定义 5.1.2 对于非线性规划(MP)，若 x * X ，并且存在 x 的一个领域
*
N ( x * ) x R n x x * ( 0, R) ，使
f ( x* ) f ( x), x N ( x* ) X ，
x * 是(MP)的局部最优解或局部极小点，称 f ( x * ) 是 则称 (MP)的局部最优值或局部极小点。如果有
故驻点（０，０）不是极值点，而是一个鞍点
极值存在的条件
例3 试求函数f(x1,x2)=2x12-8x1+2x2２-4x2+20的 极值和极值点． 解：令
f ( x1 , x2 ) 4 x1 8 0 x1 f ( x1 , x2 ) 4 x2 4 0 x2
得（2,1）点为驻点
例3
非线性规划问题
某公司经营两种设备，第一种设备每 件售件 30 元，第二种设备每件售件 450 元，根据统计，售出一件第一种 设备所需要的营业时间平均是 0.5 小 时，第二种设备是（2+0.25x2）小 2 时，其中 x 是第二种设备的售出数 量。已知该公司在这段时间内的总营 业时间为 800 小时，试决定使其营业 额最大的营业计划。
4 x13 2 x1 x2 x32 2 2 f ( x) 6 x2 x1 4 x3 6 x3 4 x2 2 x1 x3
极值存在的条件
又因为 2
f 2 f 2 f 12x12 2 x2 , 2 x1 , 2 x3 2 x1 x2 x1 x3 x1 2 f 12x2 , 2 x2
H S ( f , c) x S f ( x) c
是凸集。
凸函数的判定
定理 5.2.3 设 S R n 是非空开凸集， f : S R 可微，则 （1） f 是 S 上的凸函数的充要条件是 f ( x 1 )T ( x 2 x 1 ) f ( x 2 ) f ( x 1 ) ， x 1 , x 2 S f ( x 1 ) f ( x 1 ) T ,...., ) 是函数 f 在点 x 1 处的一阶 其中 f ( x 1 ) ( x 1 x n 导数或梯度。 （2） f 是 S 上的严格凸函数的充要条件是 f ( x 1 )T ( x 2 x 1 ) f ( x 2 ) f ( x 1 ) ， x 1 , x 2 S , x 1 x 2
x1 2 x1 0 f ( x1 , x2 ) 2 x2 0 x2
得无 函 数 f(x1,0)=-x12的极大点，而x2=0却是一元函数 f(0,x2)=x22的极小点，即：
f ( x1,0) f (0,0) f (0, x2 )
f ( x); gi ( x), i 1,..., p; hj ( x), j 1,...,q : Rn R ,
如下的数学模型称为非线性规划模型 (UMP)：
m i n f ( x ) s .t . g i ( x ) 0, i 1,..., p h j ( x ) 0, j 1,...,q
2 f ( x1 , x2 ) 4 0, 2 x1 2 f ( x1 , x2 ) 4 2 x2 2 f ( x1 , x2 ) 2 f ( x1 , x2 ) 0 x1x2 x1x2
极值存在的条件
其海赛矩阵之行列式
4 0
0 4
16 0
可知（2,1）点为极小点,其极小值为:
例3
非线性规划问题
解：为其建立数学模型： 设该公司计划经营第一种设备 x1 件，第二种设备 x2 件，根据题意，其 其数学模型为：
MAX x1 , x2 0
f ( X ) 30x1 450x2
2 2
0.5 x1 2 x2 0.25x 800
非线性规划
x ( x1 ,..., xn )T R n ， 设
合集下载
05-非线性规划-无约束问题 共95页PPT文档
则称f(x)为F上的凸函数
若
f [ x1 (1 )x2 ] f (x1) (1 ) f (x2 )
则称f(x)为严格凸函数
凸函数 凸规划
y
y=f(x)
f (x1) (1 ) f (x2 ) f [ x1 (1 )x2 ]
o
x1
(x2-x1)
凸性和凹性的判定（二阶条件）
Hessian矩阵
H为对称矩阵
H (x) H 2 f (x)
x 0, xT Hx 0 H半正定
x 0, xT Hx 0 H正定
x 0, xT Hx 0 H半负定
x 0, xT Hx 0 H负定
部分x 0，xT Hx 0 H不定
器在单位时间内的经济效益是最好的？
max z C3FB (C1FA0 C2 )
C3FB (4c1A.40FA0 0.4V 0.6 )
rA
dcA dt
2.0cA2 0 (1 xA )2
FA0cA0 rAV FA0cA0 (1 xA )
0.5FA0cA0 xA 50
4x2
2 f
2 f
2 f
x12
4, x1x2
x2x1
3
2 f x22
4
4 3
H
3
4
4 3
H E
0
3 4
1,7 0
H正定，f(x)为严格凸函数
无约束问题
极值存在的必要条件和充分条件
对于一元函数f(x)
值 →严格全局极小点、严格全局极小值
凸函数 凸规划
若
f [ x1 (1 )x2 ] f (x1) (1 ) f (x2 )
则称f(x)为严格凸函数
凸函数 凸规划
y
y=f(x)
f (x1) (1 ) f (x2 ) f [ x1 (1 )x2 ]
o
x1
(x2-x1)
凸性和凹性的判定（二阶条件）
Hessian矩阵
H为对称矩阵
H (x) H 2 f (x)
x 0, xT Hx 0 H半正定
x 0, xT Hx 0 H正定
x 0, xT Hx 0 H半负定
x 0, xT Hx 0 H负定
部分x 0，xT Hx 0 H不定
器在单位时间内的经济效益是最好的？
max z C3FB (C1FA0 C2 )
C3FB (4c1A.40FA0 0.4V 0.6 )
rA
dcA dt
2.0cA2 0 (1 xA )2
FA0cA0 rAV FA0cA0 (1 xA )
0.5FA0cA0 xA 50
4x2
2 f
2 f
2 f
x12
4, x1x2
x2x1
3
2 f x22
4
4 3
H
3
4
4 3
H E
0
3 4
1,7 0
H正定，f(x)为严格凸函数
无约束问题
极值存在的必要条件和充分条件
对于一元函数f(x)
值 →严格全局极小点、严格全局极小值
凸函数 凸规划
用最速下降法求解无约束非线性规划问题
运筹学实习报告姓名： xxxxxxxxxx 学号： xxxxxxxxxxx 专业班级： xxxxxxxxxxxx 2 0 1 3年 7 月 0 4 日题目：用最速下降法求解无约束非线性规划问题 摘要：无约束最优化问题的求解方法分为解析法和直接法两大类。
解析法需要计算函数的梯度，其中最速下降法就属于解析法中的一种。
对于一个无约束非线性规划利用最速下降法求解，首先需要确定其优化方向，此优化方向应该选择为f 在当前点处的负梯度方向，利用一维搜索法找出沿此方向上的最小值及其对应点，此后将该点作为新的出发点重复上述过程，直到达到允许的误差为止。
本文通过理论的计算方法，进一步分析，最后用c++编程实现求出允许误差内的最优解。
此编程可用于计算符合下列形式的函数求最优解过程：f(x)=a[0]x1*x1+a[1]x2*x2+a[2]x1*x2+a[3]x1+a[4]x2+a[5]其中：a[i] (i=0,1,2,3,4,5) 为函数的系数。
本文以“ 李占利 主编，中国矿业大学出版社出版”的《最优化理论与方法》 第五章 “无约束最优化方法，5.1 最速下降法 ”例5—1为实例，首先利用上述迭代的方法，计算出各迭代点的函数值，梯度及其模。
然后应用c++语言编程，得到在精度范围内的精确最优解。
C++编程计算的最优解为 : T x x ]0329218.0,00823045.0[)3(*-==。
即转化为分数结果为：⎥⎦⎤⎢⎣⎡-==412432)3(*x x 。
满足精度要求的模为：1010736154.0||||)3(=<=εp 。
关键词：无约束非线性规划 解析法 最速下降法 梯度 模 最优解一、算法思想无约束最优化方法中的最速下降法首先需要确定其优化方向，此优化方向应该选择为f 在当前点处的负梯度方向，利用一维搜索法找出沿此方向上的最小值及其对应点，此后将该点作为新的出发点重复上述过程，直到达到允许的误差为止。
第五小组_非线性规划-无约束极值问题
6 12 6 /17 ( , ) 17 17 12 /17 f ( X (1) )T f ( X (1) ) 1 0 = = = -12 f ( X (0) )T f ( X (0) ) 289 (-12, 6) 6 P (1) = -f ( X (1) ) + 0 P (0) f ( X (1) )T P (1) 17 l1 = = (1) T (1) ( P ) AP 10 X (2) = X (1) + l1 P (1) 1 = 1 6 /17 1 12 90 210 = - + = , 12 /17 289 -6 289 289
但P(i) ≠0 ,A为正定，即
a1 p(i )T AP(i ) = 0
p(i )T AP(i ) = 0 故必有ai= 0,i =1,2,L从而P（1）， P（2），… P（n）线性独立
非线性规划：无约束极值问题
梯度法 共轭梯度法 变尺度法 正定二次函数极小问题
二、基本定理
1 T • 无约束极值的一个特殊情形是： min f ( x) = X AX + BT X + c 2
梯度法 共轭梯度法 变尺度法
计算步骤：
（ 计算H ( k )，P k） = - H ( k )f ( X ( k ) ) （ 在P 0） 方向进行一维搜索，确定最佳步长l0
min f ( X ( k ) + lk P ( k ) ) = f ( X ( k ) + lk P ( k ) )
l
则X ( k +1) = X ( k ) + lk P ( k ) 满足精度要求，则停止迭代； 否则则重复上述步骤
第5讲 非线性规划
例1
min
f
x1
2x2
1 2
x12
1 2
x22
2x1 3x2 6
s.t.
x1
4x2
5
x1, x2 0
1.写成标准形式： min
f
x1
2 x2
1 2
x12
1 2
x22
2x1 3x2 6 0 x1 4x2 5 0
s.t. 0 x1 0 x2
例1
min
f
x1
2）当用新建原料场时,决策变量为：xij，xj，yj
1.使用临时原料场
模型求解
使用两个临时原料场A(5,1)，B(2,7). 求从料场j 向使用单位i 的运送量
xij，在各建筑工地使用量必须满足和各料场运送量不超过日储量的条件下，
使总的吨千米数最小，此时由于ai，bi 、xj，yj都是已知的，故这是一个线性
输出极值点 M文件 迭代的初值
(6) [x,fval]= fmincon(...) (7) [x,fval,exitflag]= fmincon(...) (8) [x,fval,exitflag,output]= fmincon(...)
变量上下限
参数说明
注意：
[1] fmincon函数提供了大型优化算法和中型优化算法。默认 时，若在fun函数中提供了梯度（options参数的GradObj设置 为’on’），并且只有上下界存在或只有等式约束，fmincon函 数将选择大型算法。当既有等式约束又有梯度约束时，使用 中型算法。 [2] fmincon函数的中型算法使用的是序列二次规划法。在每 一步迭代中求解二次规划子问题，并用BFGS法更新拉格朗日 Hessian矩阵。 [3] fmincon函数可能会给出局部最优解，这与初值X0的选取 有关。
第5章 无约束优化及非线性优化
3．拟牛顿法
为克服牛顿法的缺点，同时保持较快收敛速度的优点，利用第 k 步
和第 k+1 步得到的 X k ， X k1 ，f ( X k ) ，f ( X k1 ) ，构造一个正定
矩阵 G k1 近似代替 2 f ( X k ) ,或用H k1 近似代替( 2 f ( X k )) 1 ，将
基本函数名 x=fminbnd(‘F’,x1,x2)
X=fminunc(‘F’,X0) X=fminsearch(‘F’,X0)
X=linprog(c,A,b)
X=quadprog(H,c,A,b)
X=fmincon(‘FG’,X0) X=fgoalattain(‘F’,x,goal,w)
X=fminimax(‘FG’,x0)
(f k )T X k
(f k )T H k f k
计算时可置H 1 I （单位阵），对于给出的 X 1 利
用上面的公式进行递推.这种方法称为拟牛顿法.
返回
Matlab优化工具箱简介
1.MATLAB求解优化问题的主要函数
类型
一元函数极小 无约束极小
线性规划
二次规划 约束极小 （非线性规划） 达到目标问题
变量
描述
由优化函数求得的值.若exitflag>0,则x
x
为解;否则,x不是最终解,它只是迭代制止
时优化过程的值
fval
解x处的目标函数值
exitflag output
描述退出条件: exitflag>0,表目标函数收敛于解x处 exitflag=0,表已达到函数评价或迭代
的最大次数 exitflag<0,表目标函数不收敛
(2) 求f X k , 2 f X k 1 ,检验：若 f X k ,则
非线性-无约束规划
6） 实用收敛性： ）
定义最优解集如下 S* = { x | x 具有某种性质 } 例：S*={x| x---g.opt} S*={x| x---l.opt} S*={x|∇f(x)=0} S*={x| f’(x)≤β} (β为给定实数,称为阈值） 当下列情况之一成立时 当下列情况之一成立时，称算法收敛具有该性质点 之一成立时， 1°∃x(k) ∈S*; ° 2°∀k，{X(k)}任意极限点∈S* ° 任意极限点∈ 任意极限点
* ak 为最优步长。 最优步长。 则称
根据单变量的驻点条件: 根据单变量的驻点条件 d f(xk+akPk)/dak=0 （当ak=ak* 时） 以及复合函数的求导法则可得： 以及复合函数的求导法则可得：
∇f ( x
k +1 T
) P =0
k
2） 缩小区间的非精确一维搜索
（1）单峰的概念 ） 若对任意λ 若对任意 1 ,λ2, α≤ 1º 若α2 ≤
停
11. 最优步长的一维搜索 1) 精确一维搜索（假定求目标函数极小值） 假定求目标函数极小值） * ak 是在给定 k和方向 是目标函数， 设f(X)是目标函数，如果 是在给定X 是目标函数 矢量P 通过f(x)=f(xk+akPk) 的极小化而产生 矢量 k下，通过
ak* = arg ak min f ( x k + ak P k )
∂ u ∂u ∂u ∂u = cos α + cos β + cos γ ∂ l ∂x ∂y ∂r
2. 海瑟矩阵
海瑟矩阵是对称形式：
∂2 f ( X ) ∂x12 ∂2 f ( X ) 2 H ( X ) = ∇ f ( X ) = ∂x2 ∂x1 ...... ∂2 f ( X ) ∂xn ∂x1
非线性-无约束规划
f(x) 为凸集 S 上的严格凸函数。 性质: 当- f(x) 为凸函数（严格凸函数）时，则称
f(x) 为凹函数（严格凹函数）。
严格凸函数
凸函数
严格凹函数
x1
x 2
2.2 凸集、凸函数和凸规划(续)
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
△可行方_ 向：
设 x∈S，d∈Rn, d≠0, 若存在 0
_
使 x d S, (0, ) ，
称d 为该点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
迭代算法的停止标准
1）
|| X k1 X k || 1
或
||
X k 1 || X k
X ||
k
考虑（fs）
s.t. x∈S
常用一种线性搜索的方式构造{xk}序列来求解 迭代中从一点出发沿下降可行方向找一个
新的、更优的点。
△下降方向 ：
设 x _∈S，d ∈Rn,d≠0,若存在 ，0
使 在
_
_
x _f点(x的 下d )降 方f (x向),。 (0, )
，称d 为
4 常用的搜索算法结构
以及
4) 全局收敛： 对任意初始点x(1), 算法均收敛。
5) 局部收敛： 当x(1) 充分接近解x*时，算法才收敛。
2. 实用收敛性：
定义解集
S* = { x | x 具有某种性质 }
例：S*={x|x---g.opt} S*={x|x---l.opt}
S*={x| f(x)=0} S*={x|f′(x)≤β } (β为给定实数,称为阈值
xn2
f(x) 为凹函数（严格凹函数）。
严格凸函数
凸函数
严格凹函数
x1
x 2
2.2 凸集、凸函数和凸规划(续)
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
△可行方_ 向：
设 x∈S，d∈Rn, d≠0, 若存在 0
_
使 x d S, (0, ) ，
称d 为该点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
迭代算法的停止标准
1）
|| X k1 X k || 1
或
||
X k 1 || X k
X ||
k
考虑（fs）
s.t. x∈S
常用一种线性搜索的方式构造{xk}序列来求解 迭代中从一点出发沿下降可行方向找一个
新的、更优的点。
△下降方向 ：
设 x _∈S，d ∈Rn,d≠0,若存在 ，0
使 在
_
_
x _f点(x的 下d )降 方f (x向),。 (0, )
，称d 为
4 常用的搜索算法结构
以及
4) 全局收敛： 对任意初始点x(1), 算法均收敛。
5) 局部收敛： 当x(1) 充分接近解x*时，算法才收敛。
2. 实用收敛性：
定义解集
S* = { x | x 具有某种性质 }
例：S*={x|x---g.opt} S*={x|x---l.opt}
S*={x| f(x)=0} S*={x|f′(x)≤β } (β为给定实数,称为阈值
xn2
无约束非线性规划求解方法及其实现
无约束非线性规划求解方法及其实现作者：杨玲指导老师：陈素根摘要:非线性规划是具有非线性约束条件或目标函数的数学规划，是运筹学的一个重要分支。
非线性规划属于最优化方法的一种，是线性规划的延伸。
非线性规划研究一个n元实函数在一组灯饰或不等式的约束条件下的极值问题，且目标函数和约束条件至少有一个是未知量的非线性函数。
目标函数和约束条件都是线性函数的情形则属于线性规划。
非线性规划是20世纪50年代才形成的一门新兴学科。
1951年H.W库恩和A.W塔克发表的关于最优性条件的论文是非线性规划正是诞生的一个重要标志。
在50年代还得出了可分离规划和二次规划的n种解法，它们大都是以G.B.丹齐克提出的解线性规划的单纯形法为基础的。
50年代末到60年代末出现了许多解线性规划问题的有效的算法，70年代又得到进一步的发展。
非线性规划在工程，管理，经济，科研，军事等发面都有广泛的应用，为最优设计提供了有力的工具。
20世纪80年代以来，随着计算机技术的快速发展，非线性规划在信赖域法、稀疏牛顿法、并行计算、内点法和有限存储法等领域取得了丰硕的成果，无约束非线性规划问题是非线性规划的一个重要内容，很多学者对非线性规划问题进行了深入且系统的研究，研究成果丰硕。
关键词最优化共轭梯度法非线性无约束1 引言1.1 无约束非线性规划问题是最基本的非线性规划问题，在1959~1963年幼三位数学家共同研究成功求解无约束问题的DFP变尺度法，该算法的研究成功是无约束优化算法的一个大飞跃，引起了一系列的理论工作，并陆续出现了许多新的算法。
20世纪80年代以来，随着计算机技术的快速发展，非线性规划在信赖域法、稀疏牛顿法、并行计算、内点法和有限存储法等领域取得了丰硕的成果。
无约束非线性规划问题是非线性规划的一个重要内容，很多学者对非线性规划问题进行了深入且系统的研究，研究成果丰硕。
1.2 本文主要研究无约束非线性规划问题，将文章分成四个部分，首先会具体介绍无约束非线性规划的相关概念，并在此基础上研究非线性规划的相关理论与基本算法问题，接着详细介绍无约束非线性规划的几种主要的求解方法，最后举例说明他在实际生活中的应用，并编程实现它。
第5章 非线性规划
(水力约束) (水力摩阻系数约束)
KD GC
L (热力约束)
(粘温关系约束)
(工艺要求约束) (管道强度约束)
在目标函数中，f1(TR)、f2(Pd)一般为非线性函数，约束条 件中亦存在不少非线性函数，显然是一个NLP问题。
非线性规划的基本概念和定理
例3：最小二乘问题：该问题大量存在于工业生产和科学 实验的数据处理中。例如原油的粘度可以表示为：
凹函数的几何意义：
对 于 一 元 函 数 f(x) ， 若
函数曲线上任意两点之 间的连线永远不在曲线
的 上 方 ， 则 f(x) 为 凹 函
数(参见右图) 。
非线性规划的基本概念和定理 f(X)
f [X 1 (1 ) X 2 ]
对于二元函数 f(x1,x2)， 若函数曲面上任意两点 之间的连线永远不在曲 面的上方，则f(x1,x2)为 凹函数(参见右图)。
1、一元函数：
①必要条件：f(x)在x*处取得极值的必要条件是f'(x*)＝0；
②充分条件：若f"(x*)＜0，则x*为极大点； 若f"(x*)＞0，则x*为极小点。 2、多元函数： ①必要条件： f(X)在D域内存在极值点X*的必要条件为 * f ( X ) 0 (即f(X)在X*处的所有一阶偏导数等于0)。
非线性规划的基本概念和定理
根据定义，线性函数既是凸函数，又是凹函数。 凸函数的几何意义： 对 于 一 元 函 在曲线的下方， 则 f(x) 为 凸 函 数 ( 参 见 右
图) 。
非线性规划的基本概念和定理 f(X)
f ( X 1 ) (1 ) f ( X 2 )
§5.1 非线性规划的基本概念和定理
一、什么是非线性规划?
第五章 非线性规划
• 由于 g x1, x2 0，故有
dg1 g1 g1 dy 0 dx1 x1 x2 dx1
g1 x1 dy g1 dx1 x2
17
等式约束的极值问题
dZ 0 dx1
g1 dZ f f x1 0 g1 dx1 x1 x2 x2 g1 x1 , x2 0
0
• 仿照一元函数，凡能使一阶偏导数同时为零的点， 均称为函数的驻点.
驻点
极值点
• 需要对该函数的海瑟矩阵进行判断
27
柯恩-塔克（K-T）最优性条件
• 思考题：
– 约束最优化问题的极小值是否满足必要性条件？原因? – 如何建立约束最优化问题局部极小值的必要性条件？ （借鉴可行性方向法）
• 约束最优化问题局部最优点的判别条件： Kuhn-Tucker最优性条件
i 1, 2,, n
1
L g j S2 0 j j
j 1, 2,, m
2
L 2 j S j 0 S j
3
式中共有n+2m个方程式和n+2m个未知量 式（2）保证了gj≤0 式（3）表明λj和Sj至少有一个应为零
24
不等式约束的极值问题
•
由等式约束可以得出
x2 y x1
2
• 将其带入原问题，得 min Z f x1, y x1 • 原问题转化为无约束极值问题
16
等式约束的极值问题
• 目标函数
Z f x1, y x1
存在极值的必要条件
dZ f f dy 0 dx1 x1 x2 dx1
(k )
(k ) T T (k ) (k ) (k ) j