《最优化方法》非线性规划的基本概念

非线性规划问题的数学模型
（1）数学规划模型的一般形式：
min f ( x) s.t. gi ( x) 0, i 1,, p hi ( x) 0, j 1,,q
其中, x (x1, x2,, xn )T , f (x), gi (x),hj (x)为x的实值函数，
称pk为第k轮搜索方向，tk为第k轮沿pk方向的步长。 产生tk和pk的不同方法，形成了不同的算法。
2019/7/30
最优化方法
15
下降方向
设f :Rn R1, xRn , pRn , p 0,若存在 0，使 f ( x tp) f ( x), t(0, )
则称向量p是函数f ( x) 在点x处的下降方向。 若f ( x)在x可导，则-f ( x)就是 f ( x)在x处下降最快的方向。
否则称为约束非线性规划或约束最优化问题。
2019/7/30
最优化方法
7
min f ( x)

s.t .
gi ( x) 0, i 1,, p

hi ( x) 0, j 1,, q
（4）可行域和可行解：
称
X

x
Rn
gi ( x) hi ( x)
0, i 1,, p
若 f ( x), gi ( x), hj ( x) 为线性函数，即为线性规划(LP).
若 f ( x), gi ( x), hj ( x) 至少一个为非线性, 即为非线性规划(NLP)；
对于非线性规划，若没有 gi ( x), hj ( x) ,即X=Rn,称为 无约束非线性规划或无约束最优化问题；
最优化方法
21
一维最优化问题
下降迭代算法中最优步长的确定
f
(xk

kd
k
)

min
f
(xk

d k
)
dk
.
xk .
k
一维最优化问题： min f ( x)
s.t. x R
解析的方法（极值点的必要条件） f '( x) 0
2019/7/30
最优化方法
22
单峰函数
• 如果函数f(x)在区间[a, b]上只有唯一的最大值点(或 最小值点)C，而在最大值点(或最小值点)C的左侧，函 数单调增加(减少)；在点C的右侧，函数单调减少(增 加)，则称这个函数为区间[a, b]上的单峰函数.
t1 a 0.382(b a) b 0.618(b a) t2 a 0.618(b a)
0,
j

1,,
q

为NLP问题的约束集或可行域。
若x在X内，称x为NLP的可行解或者可行点。
2019/7/30
最优化方法
8
（5）最优解和极小点
定 对于非线性规划（MP），若 x* X ，并且有
义
f ( x* ) f ( x), x X
则称x*是（MP）的整体最优解或整体极小点，
称f ( x* )是（MP）的整体最优值或整体极小值。 如果有 f ( x* ) f ( x), x X , x x*
最优化方法
13
数值方法的基本思路：迭代
给定初始点x0
根据x0,依次迭代产生点列{xk}
{xk}有限
{xk}无限
{xk}的最后一点为最优解
{xk}收敛于最优解
2019/7/30
最优化方法
14
迭代格式
xk pk
xk+1
x k
xk1 xk xk
xk tk pk
xk1 xk xk
函数(t) 称为在[a,b]上是单谷的，如果存在一个 t * [a, b] ，使得(t) 在[a, t * ]上严格递减，且在[t * , b] 上严格递增。区间[a,b]称为(t) 的单 谷区间。
第 1 步 确定单谷区间[a,b]，给定最后区间精度 0 ; 第 2 步 计算最初两个探索点
存储容量。
n
zij ai , i 1,2,, m
j1
（2）每个市场从各仓库得到的货物量之和应等于它的
需要量。
m
zij bj , j 1,2,, n
i 1
（3）运输量不能为负数
2019/7/30
zij 0, i 1,2,, m, j 1,2,, n
最优化方法 4
例：试求目标函数 f x1, x2 3x12 4x1x2 x22 在点 x =[0,1]T
处的最速下降方向，并求沿这个方向移动一个单位长度后
新点的目标函数值。
解： 由于
f x1 6x1 4x2 ,
f x2 4x1 2x2
则函数在 x =[0,1]T 处的最速下降方向是

3 x12
4 x1 x2

x22
|x1
26 5
2
5
2019/7/30
最优化方法
12
非线性规划方法概述
微分学方法的局限性
实际的问题中，函数可能是不连续或者不可微的。 需要解复杂的方程组，而方程组到目前仍没有有效 的算法。 实际的问题可能含有不等式约束，微分学方法不易 处理。
2019/7/30
（5）判断 xk 是否满足停止条件。是则停止，否则转第2步。
搜索步长确定方法：
f
(xk
kd k )

min

f (xk
d k )
称 k 为最优步长，且有对k的梯度
2019/7/30
f ( xk d 最优化k方法k )T d k 0
19
终止条件
① xk1 xk 1
• 例如，图中的两个函数f(x)，g(x)就是单峰函数
• 通过计算区间 [a, b] 内两个不同点的函数值，就可
以确定一个包含极值点的子区间。
2019/7/30
最优化方法
23
搜索法求解
min ( x ) 或
min ( x)
x0
0 x xmax
基本过程：
给出[a,b],使得x*在[a,b]中。[a,b]称为搜索区间。 迭代缩短[a,b]的长度。 当[a,b]的长度小于某个预设的值，或者导数的绝对 值小于某个预设的正数，则迭代终止。
仓库到第 j 个市场的距离为
dij ( xi p j )2 ( yi q j )2 ,
2019/7/30
最优化方法
3
目标函数
min
mn
mn
zijdij
zij ( xi p j )2 ( yi q j )2 ,
i1 j1
i1 j1
约束条件
（1）每个仓库向各市场提供的货物量之和不能超过它的
非线性规划的基本概念
非线性规划问题 非线性规划数学模型 解非线性规划方法概述 一维最优化方法
2019/7/30
最优化方法
1
如果目标函数和（或）约束条件中包含有自变量的非线性函
数，则这样的规划问题就属于非线性规划。
非线性规划是运筹学的重要分支之一。最近30多年来发展很 快，不断提出各种算法，而其应用范围也越来越广泛。比如在各 种预报、管理科学、最优设计、质量控制、系统控制等领域得到 广泛且不短深入的应用。
x x
最优化方法
2
42
22


2
5 1
5


5
5
11
例：试求目标函数 f x1, x2 3x12 4x1x2 x22 在点x =[0,1]T
处的最速下降方向，并求沿这个方向移动一个单位长度后 新点的目标函数值。
解： 由于

s.t .
gi ( x) 0, i 1,, p

hi ( x) 0, j 1,, q
min f ( x)
s.t. g( x) 0

h( x) 0
2019/7/30
min f ( x)
xX
最优化方法 6
（3）数学规划问题的分类：
min f ( x) s.t. g( x) 0 h( x) 0
2019/7/30
最优化方法
16
可行下降方向
设X Rn , x X , pRn , p 0,若存在t 0，使得
x tp X 则称向量p是点x处 关于X的可行方向。
解非线性规划问题，关键在于找到某个方向，使得在 此方向上，目标函数得到下降，同时还是可行方向。 这样的方向称为可行下降方向。
2019/7/30
最优化方法
5
(2) 简记形式： 引入向量函数符号：
h( x)(h1( x),,hq ( x))T g( x)( g1( x),,g p( x))T
X

x
Rn
gi ( x) hi ( x)

0, 0,
i j

1,, 1,,
p q
min f ( x)
e
f x f x

4 2
42 22


2
5 1
5


5
5
新点是： x1

x

e

0 1


2
5 1
5
5


5

1521
5


5
Байду номын сангаас 5
函数值：
f
x1
2019/7/30
最优化方法
24