第一次基础知识

2. 发展简况 经典最优化理论的研究已有很久，最早可追溯到 Fermat时代。 1940年前，对多变量函数的数值最优化方法知之 甚少，但当时已发现了若干最小二乘法和在物理上 应用的最速下降法，多变量的牛顿法也很著名。 40年代与50年代：线性规划（LP）的发展。 二战以后，爬山法得到发展与应用（实用，粗糙）。 1959年，W-C.Davidon的一个报告引入了变尺度方 法。
f


2
f
x1 x n
2

f
x2xn


2
f
2
xn
2 f x x i
j
n n
（3）其它
c1 cn 0
1 x I 1
T
3. Hesse矩阵
（1）雅可比矩阵：设
g1 ( x ) g( x) gm ( x)
g1 ( x ) g1 ( x ) x1 xn g( x) gm ( x ) gm ( x ) x1 xn
例3. 运输问题（TP） 已知有m个生产点Bi，可供应某种物质量分别为 b i ( i 1 , 2 , , m )
n个销地 C j ，需求量为 c j ( j 1 , 2 , , n )
. 从 B i 到 C j 的单
位运价为 a ij 。问：应如何安排运输方案才能使总运费最小？
运费
f (x) x
2
a1 f ( x ) a 2 f ( x )
，则称 f 为X上的（严格）
水平集：D
{x | f (x) , x X , f
是凸函数}。
性质：水平集一定是凸集。 3. 凸函数的性质 定理. 凸函数的局部极小点就是全局极小点。 4. 凸函数的判断条件 定理1.
最优化方法
1.教 材：最优化理论与方法 陈宝林，清华大学出版社
2.参考书：最优化原理与方法 薛嘉庆，冶金工业出版社
基本知识
一.引言 二.最优化问题实例 三.最优化问题及基本概念 四.极值最优化问题的经典方法 五.图解法 六.梯度与Hesse阵 七.Taylor展开式 八.凸集与凸函数 九.极小点的判定条件 十.算法及相关概念 十一.中止条件 十二.收敛速度
模型： max f (x)
n
a1n a2n
1 资 2 源 … … … … m am1 am 2 … 单位 利润
c1 c2

j1
n
cjx
j
…
a mn
…
bm
…
cn
n a ij x s .t . j 1 x 0 j
j
bi
i j
1 , 2 ,..., m 1 , 2 ,..., n
f (x)
是凸集X上的凸函数的充要条件是 x 1 , x 2
2 1 1 T 2 1
X
，有
f (x ) f (x ) f (x ) (x x )
.
定理2.设
f (x)
在凸集X上有二阶连续偏导数，则 f ( x ) 是凸
X
函数的充要条件是 x 例：正定二次函数
f (x)
，有 2 f ( x ) 半正定。
3.应用领域
工程设计、军事科学、自动控制、空间技术、资源 分配、计算机科学等等。例如：
①桥梁结构设计； ②运输问题； ③参数拟合； ④多波形信号发生仪中正弦波形逼近的优化设计， 在
0, 2
中找 n 个分点，使过这些分点的折线和
正弦函数曲线的误差最小。
4.包含内容：
最优化又称数学规划： LP、NLP、DP、IP 5.分类：
i 1
x2 的函数关系为：R x 1 exp t x 3

t 和 R 的 15 组数
ti
50
Ri
34780
2
3 。。。 15
55
60 。。。 120
28610
23650 。。。 3307
利用最小二乘思想，可将其化为三维空间的无约束最优化 问题，即： 2
min x2 R x exp f ( x1 , x 2 , x 3 ) 1 t x i 3 i i1
x R R n l
f x 0 1 f 0 x n
L( x , ) f ( x )

i1
l
i h（ x ) i
L x f ( x ) h( x ) 0 L h( x ) 0
一. 引言
1. 最优化定义
最优化是从所有可行方案中选择最合理方案以达到最优目标
的一门学科。
（1） 达到最优目标的方案：最优方案（最优解） （2） 搜寻最优方案的方法：最优化方法 最优化问题：寻求某些变量的取值使其符合某些限制条件， 并使某个目标函数达到最大值或最小值的问题。 一般的数学形式为：
min f (x) , s .t . x D D 上的函数 其中 f ( x ) 为定义在集合
2.解法分类 解析方法：利用函数的解析性质去构造迭代公式使之收敛 到最优解（如牛顿法）。 直接方法：它对函数的解析性质如可微性没有要求，而是 根据一定的数学原理来确定（如0.618法）。
3.全局最优解与局部最优解
最优点： x
* *
最优值： f ( x
*
)
*
最优解：( x , f ( x
))
min
x R
f (x) f (x) 0
n
grange 乘子法
min f ( x 1 , x 2 , x n ) h1 ( x 1 , x 2 , x n ) 0 s .t . h ( x , x , x ) 0 1 2 n l min
1
销 2
a 12
a 22
地 …
产量
n
a1n a2n b1 b2
1 产 2 地 … m
销量
a 11
a 21
…
am1 c1
…
am 2
c2
… … … … …
…
a mn
…
bm
cn
在产销平衡条件下，要求得总运费最小的调运方案，可得如下 模型：
设
x ij
表示从第i个产地向第j个销地的运量，则有
z
min

T 2
八. 凸集与凸函数
1.凸集 （1）凸组合：已知 X R n , 任取k个点 k k ( i 1 , 2 , , k ) ， a i 1 ，使得 a i x i ai 0 i 1
i1
x X
i

x
如果存在常数 ， ，则称 x 为 x i
( i 1 , 2 , , k )

2
，
gi x j
mn
（2）海赛（Hesse） 矩阵：

2
2 x1 2 f f ( x ) ( f ( x )) x 2 x 1 2 f x x n 1
i 1 j1
m
n
a ij x ij
s .t .
n i 1 , 2 ,..., m x ij b i j1 m j 1 , 2 ,..., n x ij c j i1 i 1 ,..., m x ij 0 j 1 ,..., n
静态问题 单目标 动态问题 多目标 无约束问题 有约束问题 线性规划 非线性规划
最优化问题
二. 最优化问题实例
例1：多参数曲线拟合问题
已知热电阻 R 依赖于温度 t 其中 x 1 , x 2 和 x 3是待定参数。通过试验，得到
五. 图解法
等值线（面）的特点：
1.不同值的等值线不相交 ; 2.除极值点外，等值线是连续曲线 ; 3.等值线稠密处导数变化快，稀疏处变化慢 ;
六. 梯度与Hesse阵
1. 梯度
f (X ) ( f x1 , f x2 ,..., f xn )
T
性质1：函数在某点的梯度若不为0， 则必与过该点的等值线 （面）垂直。
▽f(X0)
X0 0 x
L L
f(X)=f(X0)
性质2：梯度方向是函数值具有最大变化率的方向，即函数值 上升最快的方向。
2. 方向导数和下降（上升）方向 （1）方向导数：
f ( x0 ) p lim
t 0
f ( x0 t p) f ( x0 )

t || p ||
函数 f ( x ) 在点
x0
处沿着方向p 的方向导数。
（2）给定函数 f ( x ) 和方向p，如果存在实数 t 0 ，使得对 于任意的 ( 0 , t ) ，都有 f ( x o p ) f ( x 0 ) ，则称p为 f ( x ) 在 点 x 0 处的下降方向。 （3） 性质 (a) (b)
f ( x0 ) p f ( x0 ) p f ( x0 )
T
p || p ||
.
f ( x0 ) p 0

0

p是下降方向;
p是上升方向。
(c) f ( x 0 ) T
p 0
p是下降方向。
（4）常用梯度公式
c 0,
(b x ) b , ( x x ) 2 x ,
T
T