现代设计方法课件PPT 第2章 优化设计的数学基础
合集下载
02-优化的设计数学基础
22
2.7 最优解与最优解条件
1.无约束优化设计问题的最优解条件
无约束优化问题的最优解的实质是求目 标函数的最 min f (X ) f (X *) X En
小值:
对一维问题
数x*等为于极零值的点ff ''的'((xx**)必)00要极条大件点 f’(x)=0。一阶导
点为驻点，极f '值'(x*点) 是0 极驻小点点 ，但驻点不一定
1
2
x1
x1(k ) ,
x2
x2(k ) ,,
xn
x(k) n
2 f (X (k x12
2 f (X (k x2x1
) )
) )
, ,
2 f (X (k x1x2 2 f (X (k
x22
) )
) )
,, ,,
2 f (X (k x1xn 2 f (X (k x2xn
) )
) )
x1 x2
x(k) 1
x(k) 2
.
2 f (X (k))
xnx1
,
2 f (X (k)) xnx2
,,
2
f (X xn2
(
k
)
)
xn
xn(k )
f ( X (k) ) f ( X (k) )T ( X X (k) ) 1 ( X X (k) )T 2 f ( X (k) )(X X (k) ) 2
2 f (X (k x2x1
)
)
,
2
f (X x22
(k
)
)
,,
2 f (X (k x2xn
)
)
,,
2 f (X (k)
现代设计理论与方法(优化设计第二章)
证明：作变换 X Y Q b 式中： (Y ) f (Y Q 1b)
1
致 1 结论：Q为正定矩阵的二次型 Y QY 的等值面是以 Y 0知 2 的同心椭球面族。原二次函数就是以 X Q b 为中 力 行 心的同心椭球面族，椭圆中心为极小值点。
0
f x2
f xn x
T
0
明 德x0
f i 1 xi
n
cos i f ( x0 )T d f ( x0 ) cos(f , d )
x0
多元函数的梯度的模：
f 1/ 2 f ( x0 ) [ ( ) ] i 1 xi x0
x2 1
该方向上的单位向量为
4 2 2 5 0 5 f ( x ) e 0 2 2 1 f ( x ) 4 (2) 5 5
2 2 1 0 5 5 5 5 新点 x x1 x 0 e 1 1 1 5 1 5 5 5
明 德 任 责
Q为对称矩阵，f ( X ) X T QX
二次型
f ( X ) 致 2QX
知 力 行
第二节 多元函数的泰勒展开
1、一元函数
f x 在
x x0
点处的泰勒展开为：
1 x0 x f x0 x 2 f x f x0 f 2
f x1 x x2 x 2 0
2 f x1x2 x1 2 x f 2 致 2 知 x2 x
0
明 德 任 责
力 行
2 f x12 令 G ( x0 ) 2 f x x 2 1
1
致 1 结论：Q为正定矩阵的二次型 Y QY 的等值面是以 Y 0知 2 的同心椭球面族。原二次函数就是以 X Q b 为中 力 行 心的同心椭球面族，椭圆中心为极小值点。
0
f x2
f xn x
T
0
明 德x0
f i 1 xi
n
cos i f ( x0 )T d f ( x0 ) cos(f , d )
x0
多元函数的梯度的模：
f 1/ 2 f ( x0 ) [ ( ) ] i 1 xi x0
x2 1
该方向上的单位向量为
4 2 2 5 0 5 f ( x ) e 0 2 2 1 f ( x ) 4 (2) 5 5
2 2 1 0 5 5 5 5 新点 x x1 x 0 e 1 1 1 5 1 5 5 5
明 德 任 责
Q为对称矩阵，f ( X ) X T QX
二次型
f ( X ) 致 2QX
知 力 行
第二节 多元函数的泰勒展开
1、一元函数
f x 在
x x0
点处的泰勒展开为：
1 x0 x f x0 x 2 f x f x0 f 2
f x1 x x2 x 2 0
2 f x1x2 x1 2 x f 2 致 2 知 x2 x
0
明 德 任 责
力 行
2 f x12 令 G ( x0 ) 2 f x x 2 1
现代设计方法-优化设计
T
19
ADM
1.3.4 多元函数极值
第一章 优化设计的数学基础
( X 0 ) 内，若
X0为严格极大值点； X0为严格极小值点；
极值定义：在X0点的某邻域
F(X0) F(X ) F(X0) F(X )
极值存在的必要条件：梯度为[0]T向量
F ( X 0 ) 0
极值存在的充分条件：
1.3 多元函数
1.3.1 梯度：函数增加最快的方向
F F ( X ) , i 1,2,..., n xi
T
18
ADM
第一章 优化设计的数学基础
1.3.2 多元函数的二阶偏导与海赛矩阵
2F H , i, j 1,2,..., n xi x j
22
ADM
6. 例
第二章 优化设计的基本概念
x2 g2(X) g1(X)
min F ( X ) x x 4 x1 4
2 1 2 2
X*
g1 ( X ) x1 x2 2 0 g 2 ( X ) x12 x2 1 0 g 3 ( X ) x1 0 g 4 ( X ) x2 0
1.1. 2 n维矢量
O
x1
X OP [ x1 , x2 ,..., xn ]T
14
ADM
1.2 矩阵
1.2.1 定义
第一章 优化设计的数学基础
由一组数按一定次序排列成的具有m行n列的表
a11 a12 ... a1n a a22 ... a2 n 21 A ... am1 am 2 ... amn
目 录
4.1.2 几何方程
4.1.3 物理方程 4.2 三角形截面环单元 4.3 轴对称问题的有限元矩阵表达式 4.3.1 单元刚度矩阵 4.3.2 组装总体刚度矩阵 4.3.3 单元等效节点力
19
ADM
1.3.4 多元函数极值
第一章 优化设计的数学基础
( X 0 ) 内，若
X0为严格极大值点； X0为严格极小值点；
极值定义：在X0点的某邻域
F(X0) F(X ) F(X0) F(X )
极值存在的必要条件：梯度为[0]T向量
F ( X 0 ) 0
极值存在的充分条件：
1.3 多元函数
1.3.1 梯度：函数增加最快的方向
F F ( X ) , i 1,2,..., n xi
T
18
ADM
第一章 优化设计的数学基础
1.3.2 多元函数的二阶偏导与海赛矩阵
2F H , i, j 1,2,..., n xi x j
22
ADM
6. 例
第二章 优化设计的基本概念
x2 g2(X) g1(X)
min F ( X ) x x 4 x1 4
2 1 2 2
X*
g1 ( X ) x1 x2 2 0 g 2 ( X ) x12 x2 1 0 g 3 ( X ) x1 0 g 4 ( X ) x2 0
1.1. 2 n维矢量
O
x1
X OP [ x1 , x2 ,..., xn ]T
14
ADM
1.2 矩阵
1.2.1 定义
第一章 优化设计的数学基础
由一组数按一定次序排列成的具有m行n列的表
a11 a12 ... a1n a a22 ... a2 n 21 A ... am1 am 2 ... amn
目 录
4.1.2 几何方程
4.1.3 物理方程 4.2 三角形截面环单元 4.3 轴对称问题的有限元矩阵表达式 4.3.1 单元刚度矩阵 4.3.2 组装总体刚度矩阵 4.3.3 单元等效节点力
第2章 优化方法的数学基础
X ∈ D 对满足 ,
F ( X ) ( X X * ) ≥ 0
*
T
注意: 注意:
不论是无约束或有约束的优化问题,在实际应用中, 不论是无约束或有约束的优化问题,在实际应用中,要证明一个 优化问题是否为凸规划,一般比较困难, 优化问题是否为凸规划,一般比较困难,有时甚至比求解优化问题本 身还要麻烦.尤其对一些工程问题,由于其数学模型的性态都比较复 身还要麻烦.尤其对一些工程问题, 杂,更难实现.因此,在优化设计的求解中,就不必花精力进行求证, 更难实现.因此,在优化设计的求解中,就不必花精力进行求证, 而通常是从几个初始点出发,找出几个局部最优解, 而通常是从几个初始点出发,找出几个局部最优解,从中选择目标函 数值最好的解. 数值最好的解.
2 2
设: 则有
cos θ1 s≡ 为单位向量. 为单位向量. cos θ 2 F = F ( x0 )T s = F ( x0 ) cos(F , s ) x s 0
梯度方向是函数值变化最快的方向,而梯度的模 梯度方向是函数值变化最快的方向, 就是函数变化率的最大值 .
x2 x0
-f(x0) 最速下降方向 下降方向 变化率为零的方向 上升方向 f(x 0) 最速上升方向
凸规划的一些性质: 凸规划的一些性质: 1)可行域 D = X g j ( X ) ≤ 0
{
j = 1, 2, , m
}
为凸集; 为凸集;
2)凸规划问题中的任何局部最优解都是全局最优解; 凸规划问题中的任何局部最优解都是全局最优解; 为凸规划问题 最优解的充分必要条件 规划问题的 可微, 3 ) 若 F ( X ) 可微 , 则 X* 为凸规划问题的 最优解的充分必要条件 为: 对任意
0
现代设计方法-优化设计-数学基础
2 f x1xn 2 f x2 xn 2 f xn xn X X ( 0 )
f x 1 f f ( X (0) ) x2 f xn ( 0 ) X X
g1 ( X ) 0
g 2 ( X * )
g2 (X ) 0
X*
g1 ( X * )
0
x1
以上两点可以统一用一个条件来表示：
K-T（Kuhn-Tucker)条件：
设g i ( X ) 0(i I k )是点X ( k )的n个起作用约束，且X ( k )是极值点， 则必有 f ( X ( k ) ) i g i ( X ( k ) ) 0 iI k 0 i
令L( X , ) 0，即可得到
f ( X * ) v hv ( X * ) 0
v 1 p
这就是等式约束问题在点X*取得极值的必要条件，
它的含义是： 在等式约束问题的极值点上，目标函数的负梯
度等于诸约束函数在该点梯度的线性组合。
不等式约束的极值条件 对于不等式约束问题
1 (0) (0) 2 f ( x) f ( x ) f '( x )( x x ) f ''( x )( x x ) 2
(0) (0) (0)
函数的泰勒展开
（2）二元函数f(x1，x2) 的泰勒展开：
x1 X x2
f x f ( X ( 0 ) ) 1 f x2 X X ( 0 )
2 f ( x(0) ) :目标函数f(x)在点x(0)的所有二阶偏导数组成
的矩阵 (二阶导数矩阵或海色矩阵，记作 H(x)），n×n阶对称矩阵
现代设计理论与方法 优化设计
第2章 优化设计
主要内容： 了解优化设计； 会建立优化设计的数学模型； 了解优化设计的数学基础知识； 掌握一维优化方法； 了解多维优化方法。
1
2.1 概述
2.1.1 优化设计的概念
优化设计是借助最优化数值计算方法和计算 机技术，求取工程问题的最优设计方案。
即：进行最优化设计时，首先必须将实际问 题加以数学描述，形成一组由数学表达式组成 的数学模型，然后选择一种最优化数值计算方 法和计算机程序，在计算机上运算求解，得到 一组最佳的设计参数。
D X | gu( X ) 0，hv ( X ) 0,(u 1,2,, m；v 1,2,, p)
19
2.1.3 优化设计的数学模型
3）约束条件
（2）可行域
g1 ( x1 , x2 ) 9 x1 4 x2 360 g1 ( x1 , x2 ) 9 x1 4 x2 360 0
连续变量 可以在实数范围内连续取值的变量。 离散变量 只在给定数列或集合中取值的变量。
6
2.1.3 优化设计的数学模型
1）设计变量
（3） 设计空间
若n个设计变量x1,x2,…xn相互独立，则由它们形 成的向量X=[x1,x2,…xn]T的全体集合构成的一个n维 实欧氏空间，称为设计空间，记Rn。
设计变量的个数n称为优化设计的维数。
g5 ( x1 , x2 ) x2 0 20 g5 ( x1 , x2 ) x2 0
4
2.1.3 优化设计的数学模型 1）设计变量
设计变量是指在设计过程中可以进行调整 和优选的独立参数。
（1）设计变量的选择： 应该选择那些与目标函数和约束函数密切
相关的，能够表达设计对象特征的基本参数。
应注意各设计变量应相互独立，否则会给 优化带来困难。
主要内容： 了解优化设计； 会建立优化设计的数学模型； 了解优化设计的数学基础知识； 掌握一维优化方法； 了解多维优化方法。
1
2.1 概述
2.1.1 优化设计的概念
优化设计是借助最优化数值计算方法和计算 机技术，求取工程问题的最优设计方案。
即：进行最优化设计时，首先必须将实际问 题加以数学描述，形成一组由数学表达式组成 的数学模型，然后选择一种最优化数值计算方 法和计算机程序，在计算机上运算求解，得到 一组最佳的设计参数。
D X | gu( X ) 0，hv ( X ) 0,(u 1,2,, m；v 1,2,, p)
19
2.1.3 优化设计的数学模型
3）约束条件
（2）可行域
g1 ( x1 , x2 ) 9 x1 4 x2 360 g1 ( x1 , x2 ) 9 x1 4 x2 360 0
连续变量 可以在实数范围内连续取值的变量。 离散变量 只在给定数列或集合中取值的变量。
6
2.1.3 优化设计的数学模型
1）设计变量
（3） 设计空间
若n个设计变量x1,x2,…xn相互独立，则由它们形 成的向量X=[x1,x2,…xn]T的全体集合构成的一个n维 实欧氏空间，称为设计空间，记Rn。
设计变量的个数n称为优化设计的维数。
g5 ( x1 , x2 ) x2 0 20 g5 ( x1 , x2 ) x2 0
4
2.1.3 优化设计的数学模型 1）设计变量
设计变量是指在设计过程中可以进行调整 和优选的独立参数。
（1）设计变量的选择： 应该选择那些与目标函数和约束函数密切
相关的，能够表达设计对象特征的基本参数。
应注意各设计变量应相互独立，否则会给 优化带来困难。
最优化_第2章 优化设计的数学基础
(0) (0) f ( x1(0) , x2 x2 ) f ( x1(0) , x2 ) f ( x) lim x2 X ( 0) x2 0 x2
分别表示沿坐标轴x1和x2方向在X (0)处的f(X)变化率。
§2.1
多元函数的导数与梯度
(0) (0) f x1(0) x1 , x2 x2 f x1(0) , x2 f lim d X ( 0 ) d 0 d (0) (0) (0) f x1 x1 , x2 f x1(0) , x2 x1 lim d 0 x1 d
n元函数极值充分条件:海塞矩阵为正定。
2 f 2 x 1 2 f x2 x1 (0) G( X ) 2 f xn x1
2 f xn x2
§2.4
凸集、凸函数与凸规划
f X f X*
函数f(X)在X*附近的一切X均满足不等式
2.二阶导数（ Hessian矩阵)判断
Hessian矩阵G(X)在R上处处半正定。
(0) 1 (0) 2
X (0)
x2
§2.2
多元函数的泰勒展开
二元函数泰勒展开矩阵形式:
f x1 , x2 f X
(0)
f ( X
(0) T
1 ) X X TG ( X (0) )X 2
2 f x 2 1 其中: G ( X (0) ) 2 f x2 x1
2 2
2 5 5 5 1 5 1 5 5
f
X
(1)
26 3x 4 x1 x2 x |X ( 0 ) 5 2 5
2 1
现代设计理论与方法-优化设计.ppt
变异运算用来模拟生物在自然的遗传环境 中由于各种偶然因素引起的基因突变，它以很 小的概率随机地改变遗传基因（表示染色体的 符号串的某一位）的值。在染色体以二进制编 码的系统中，它随机地将染色体的某一个基因 由1变为0，或由0变为1。
若只有选择和交叉，而没有变异，则无法在 初始基因组合以外的空间进行搜索，使进化过 程在早期就陷入局部解而进入终止过程，从而 影响解的质量。为了在尽可能大的空间中获得 质量较高的优化解，必须采用变异操作。
可见，这是一个三维非线形规划问题。为了
简化问题，可根据等式约束条件消去一个设计变
ቤተ መጻሕፍቲ ባይዱ量：
h = 3 /（ l ·w）
则该问题从原来的三维问题转化为二维问题。
4．建立数学模型的一般过程 1）分析设计问题，初步建立数学模型 即使是同一设计对象，如果设计目标和设计
条件不同，数学模型也会不同。因此，要首先弄 清问题的本质，明确要达到的目标和可能的条件， 选用或建立适当的数学、物理、力学模型来描述 问题
交叉体现了自然界中信息交换的思想。交叉 有单点交叉、多点交叉、还有一致交叉、顺序 交叉和周期交叉。单点交叉是最基本的方法， 应用较广。它是指染色体切断点有一处，例：
A:101100 1110 101100 0101
B : 001010 0101001010 1110
（3）变异 (Mutation Operator)
3．约束条件 1）概念 为产生一个可接受的设计，设计变量本身或
相互间应该遵循的限制条件，称为约束条件。
2）表示方法
约束条件一般可表示为设计变量的不等式约束函数 形式和等式约束函数形式，即
gi（χ）= gi（χ1，χ2，…，χn）≤0 或者 gi（χ）= gi（χ1，χ2，…，χn）≥0
若只有选择和交叉，而没有变异，则无法在 初始基因组合以外的空间进行搜索，使进化过 程在早期就陷入局部解而进入终止过程，从而 影响解的质量。为了在尽可能大的空间中获得 质量较高的优化解，必须采用变异操作。
可见，这是一个三维非线形规划问题。为了
简化问题，可根据等式约束条件消去一个设计变
ቤተ መጻሕፍቲ ባይዱ量：
h = 3 /（ l ·w）
则该问题从原来的三维问题转化为二维问题。
4．建立数学模型的一般过程 1）分析设计问题，初步建立数学模型 即使是同一设计对象，如果设计目标和设计
条件不同，数学模型也会不同。因此，要首先弄 清问题的本质，明确要达到的目标和可能的条件， 选用或建立适当的数学、物理、力学模型来描述 问题
交叉体现了自然界中信息交换的思想。交叉 有单点交叉、多点交叉、还有一致交叉、顺序 交叉和周期交叉。单点交叉是最基本的方法， 应用较广。它是指染色体切断点有一处，例：
A:101100 1110 101100 0101
B : 001010 0101001010 1110
（3）变异 (Mutation Operator)
3．约束条件 1）概念 为产生一个可接受的设计，设计变量本身或
相互间应该遵循的限制条件，称为约束条件。
2）表示方法
约束条件一般可表示为设计变量的不等式约束函数 形式和等式约束函数形式，即
gi（χ）= gi（χ1，χ2，…，χn）≤0 或者 gi（χ）= gi（χ1，χ2，…，χn）≥0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 [ X X (1) ]T 2 f ( X (1) )[ X X (1) ] 2
3x2 6 6(x1 1)2 6x12 12x1 3x2
将 X (点 X (1) 的值相等。
重庆大学机械工程学院
5
现代设计方法——第2章 优化设计的数学基础
分析式（2-9）中的取值对方向导数 f ( X k) ) / S 影响，可知，在设计空间
中，凡是与梯度方向成锐角的方向函数值都增加；凡是与梯度方向成钝角的方
向函数值都减小；梯度 f (X ) 的方向为函数 f(X) 过 X (k) 点的等值线（或等值面）
的外法线方向。
Δ Δ Δ
x2
变化率为零的方向
下降方向
将代数式（2-6）写成矩阵形式，则有
f
(X (k) S
)
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
f ( X (k) )
x1
f ( X (k) ) cos1
x2
cos
2
f ( X (k) )
令
f ( X (k) )
x1
,
f ( X (k) )
S
cos1 cos2
当 X (k) 为函数的极小点时，有 f (X ) f (X (k) ) 0 ，故必有
[ X X (k) ]T 2 f ( X (k) )[ X X (k) ] 0
根据线性代数的二次型有关知识，上式说明函数的二阶导数矩阵必 须是正定的，这就是多元函数极小值的充分条件。故，多元函数在点 X (k) 取得极小值的充分必要条件是：函数在该点的梯度为零，海赛矩阵（二 阶导数矩阵）正定，即
求展开式的二次项
1 [ X X ] (1) T 2 f ( X (1) )[ X X (1) ] 2
1 2
[
x1
1
x2
1]
12
0
0 0
x1 x2
1 1
6(
x1
1)2
代入式（2-1）得简化的二次函数
f ( X ) f ( X (1) ) [f ( X (1) )]T [ X X (1) ]
梯度的概念可以推广到多元函数中去，对于 n 元函数 f (X ) ，梯度可记为
f
(
X
)
f (X x1
)
,
f ( X ) ,
x2
f ( X ) T
,
xn
（2-12）
它是一个向量，沿此方向函数的变化率最大，亦即梯度 f (X )的方向是函
数 f (X ) 的最速上升方向，负梯度 f (X ) 则为函数 f (X ) 的最速下降方向。
重庆大学机械工程学院
13
现代设计方法——第2章 优化设计的数学基础
例2-3 求函数 f (x1, x2 ) x12 x22 4x1 2x2 5 的极值。
解：根据极值存在的必要条件
f
(
X
)
f ( X x1
)
,
f ( X ) T
x2
0
f ( X x1
)
2 x1
4
0
f ( X x2
)
2 x2
解：分别求函数在点 X (1)的函数值、梯度和海赛矩阵
f ( X (1) ) 3
f
(X
(1) )
3x132 x226x61 x291
0 3
1
2
f
(
X
(1)
)
6
x1 0
6
0 12
6x2
6 1
0
0 0
1
X
X
(1)
x1
x2
1 1
x1 1
x2
1
重庆大学机械工程学院
4
现代设计方法——第2章 优化设计的数学基础
x2
则方向导数 f (X k) ) 可用矢量的内积形式表示如下：
S
f ( X (K ) ) f ( X (K ) )T S f ( X (K ) ) S cos S
S 1 由（2-9）知：方向导数等于梯度在该方向的投影
重庆大学机械工程学院
（2-8） （2-9）
9
现代设计方法——第2章 优化设计的数学基础
数矩阵或海赛（Hessian）矩阵，经常记作 H (X (k) ) 。二阶偏导数矩阵的组
成形式如下：
2 f (X (k))
x12
2 f (X (k))
H
(
X
(k
)
)
2
f
(
X
(k
)
)
x2x1
2 f (X (k))
xnx1
2 f (X (k)) x1x2
2 f (X (k)) x22
2 f (X (k)) xnx2
2
0
联立求解得驻点 X * [2,1]T 。
重庆大学机械工程学院
14
现代设计方法——第2章 优化设计的数学基础
现考察该驻点是否满足极值点的充分条件，函数在该点的海赛矩阵
2 f (X ) 2 f (X )
H(X*)
x12
2 f (X )
x2x1
x1x2
2 f (X )
x22
x*
2 0
2.2 函数的方向导数和梯度
我们需要研究寻找极值点的途径，即研究在设计空间中沿什么方 向才能迅速地越过不同的等值线达到等值线族的中点——极值点。显 然，函数值下降最大的方向才是向极值点逼近最快的方向。为此，首 先应研究函数的变化率。
2.2.1方向导数
由多元函数的微分学知，对于一个连续可微多元函数 f (X ) ，
在某一点 X (k) 的一阶偏导数为
f ( X (k) ) , f ( X (k) ) ,
x1
x2
, f ( X (k) ) xn
（2-4）
简记为
f ( X (k) ) ,
i 1, 2,
,n
xi
（2-5）
重庆大学机械工程学院
6
现代设计方法——第2章 优化设计的数学基础
它即是该函数 f (X ) 在 X (k) 点沿各坐标轴
x1 , x2(k )
x2 ) x1
f
(x1(k ) , x2(k )
x 2 )
x1 S
f
(
x(k) 1
,
x(k) 2
x2 ) x2
f
(x1(k )
,
x(k) 2
)
x2 S
（2-6）
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
重庆大学机械工程学院
7
现代设计方法——第2章 优化设计的数学基础
解：由于函数变化率最大的方向是梯度方向，这里用单位向量 p表示，
函数变化率最大的数值是梯度的模 f (X (1)) 。则由梯度的定义式可求得
f (X )
f
(
X
(1)
)
x1 f (X
)
2 x1 2x2
4 2
X
(1)
4 2
x2 X (1)
f ( X (1) ) 的模为
2
2
f ( X (1) )
对于任何一个单值、连续并可微的一元函数 f (x) ，在点 x(k ) 取得极值 的必要条件是函数在该点的一阶导数为零，充分条件是对应的二阶导数不 为零，即
f '(x(k ) ) 0
f "(x(k) ) 0
当 f "(x(k) ) 0时，则函数f (x)在点x(k )取得极小值；当 f "(x(k) ) 0 时，则 函数f (x)在点 x(k ) 取得极大值。其极值点和极值分别记作 x* x(k)和 f * f (x*)。
f ( X ) f ( X (k) ) [f ( X (k) )]T [ X X (k ) ] 1 [ X X (k ) ]T 2 f ( X (k ) )[ X X (k ) ] 2
（2-1）
此式称为函数 f (X ) 的泰勒二次近似式。其中，2 f (X (k)) 是由函数在
点 X (0) 的所有二阶偏导数组成的矩阵，称为函数 f (X ) 在点 X (k) 的二阶偏导
- f(x (k))
最速下降方向
f(x (k ))最速上升方向
X (k) 上升方向
f( (k)) f(X)= 0
o
x1
图2-2 梯度方向与等值线的关系
重庆大学机械工程学院
图2-3 方向导数与等值面的关系 10
现代设计方法——第2章 优化设计的数学基础
例2-2 求函数 f ( X ) (x1 2)2 (x2 1)2在点 X (1) [0 0]T 处函数变化率最 大的方向和数值。
式（2-7）表明，在同一点，函数沿不同的方向的方向导数值是不等的， 亦即函数沿不同的方向上有不同的变化率。我们把函数在某点沿某给定方
向的变化率称为函数在该点沿此方向的方向导数，其值为正，表明函数在
该点沿此方向增加；为负，则减小。
重庆大学机械工程学院
8
现代设计方法——第2章 优化设计的数学基础
2.2.2 梯度
f (X )
x1
f (X x2
)
42 22 2 5
该梯度的单位向量p 为
f ( X (1) ) 1 4 1 2
p
f ( X (1) )
2
5 2
5 1
重庆大学机械工程学院
11
现代设计方法——第2章 优化设计的数学基础
2.3 无约束优化问题的极值条件
无约束优化问题求解的实质是求解目标函数 f (X ) 在n 维空间 Rn 中的极 值点和极值。
3x2 6 6(x1 1)2 6x12 12x1 3x2
将 X (点 X (1) 的值相等。
重庆大学机械工程学院
5
现代设计方法——第2章 优化设计的数学基础
分析式（2-9）中的取值对方向导数 f ( X k) ) / S 影响，可知，在设计空间
中，凡是与梯度方向成锐角的方向函数值都增加；凡是与梯度方向成钝角的方
向函数值都减小；梯度 f (X ) 的方向为函数 f(X) 过 X (k) 点的等值线（或等值面）
的外法线方向。
Δ Δ Δ
x2
变化率为零的方向
下降方向
将代数式（2-6）写成矩阵形式，则有
f
(X (k) S
)
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
f ( X (k) )
x1
f ( X (k) ) cos1
x2
cos
2
f ( X (k) )
令
f ( X (k) )
x1
,
f ( X (k) )
S
cos1 cos2
当 X (k) 为函数的极小点时，有 f (X ) f (X (k) ) 0 ，故必有
[ X X (k) ]T 2 f ( X (k) )[ X X (k) ] 0
根据线性代数的二次型有关知识，上式说明函数的二阶导数矩阵必 须是正定的，这就是多元函数极小值的充分条件。故，多元函数在点 X (k) 取得极小值的充分必要条件是：函数在该点的梯度为零，海赛矩阵（二 阶导数矩阵）正定，即
求展开式的二次项
1 [ X X ] (1) T 2 f ( X (1) )[ X X (1) ] 2
1 2
[
x1
1
x2
1]
12
0
0 0
x1 x2
1 1
6(
x1
1)2
代入式（2-1）得简化的二次函数
f ( X ) f ( X (1) ) [f ( X (1) )]T [ X X (1) ]
梯度的概念可以推广到多元函数中去，对于 n 元函数 f (X ) ，梯度可记为
f
(
X
)
f (X x1
)
,
f ( X ) ,
x2
f ( X ) T
,
xn
（2-12）
它是一个向量，沿此方向函数的变化率最大，亦即梯度 f (X )的方向是函
数 f (X ) 的最速上升方向，负梯度 f (X ) 则为函数 f (X ) 的最速下降方向。
重庆大学机械工程学院
13
现代设计方法——第2章 优化设计的数学基础
例2-3 求函数 f (x1, x2 ) x12 x22 4x1 2x2 5 的极值。
解：根据极值存在的必要条件
f
(
X
)
f ( X x1
)
,
f ( X ) T
x2
0
f ( X x1
)
2 x1
4
0
f ( X x2
)
2 x2
解：分别求函数在点 X (1)的函数值、梯度和海赛矩阵
f ( X (1) ) 3
f
(X
(1) )
3x132 x226x61 x291
0 3
1
2
f
(
X
(1)
)
6
x1 0
6
0 12
6x2
6 1
0
0 0
1
X
X
(1)
x1
x2
1 1
x1 1
x2
1
重庆大学机械工程学院
4
现代设计方法——第2章 优化设计的数学基础
x2
则方向导数 f (X k) ) 可用矢量的内积形式表示如下：
S
f ( X (K ) ) f ( X (K ) )T S f ( X (K ) ) S cos S
S 1 由（2-9）知：方向导数等于梯度在该方向的投影
重庆大学机械工程学院
（2-8） （2-9）
9
现代设计方法——第2章 优化设计的数学基础
数矩阵或海赛（Hessian）矩阵，经常记作 H (X (k) ) 。二阶偏导数矩阵的组
成形式如下：
2 f (X (k))
x12
2 f (X (k))
H
(
X
(k
)
)
2
f
(
X
(k
)
)
x2x1
2 f (X (k))
xnx1
2 f (X (k)) x1x2
2 f (X (k)) x22
2 f (X (k)) xnx2
2
0
联立求解得驻点 X * [2,1]T 。
重庆大学机械工程学院
14
现代设计方法——第2章 优化设计的数学基础
现考察该驻点是否满足极值点的充分条件，函数在该点的海赛矩阵
2 f (X ) 2 f (X )
H(X*)
x12
2 f (X )
x2x1
x1x2
2 f (X )
x22
x*
2 0
2.2 函数的方向导数和梯度
我们需要研究寻找极值点的途径，即研究在设计空间中沿什么方 向才能迅速地越过不同的等值线达到等值线族的中点——极值点。显 然，函数值下降最大的方向才是向极值点逼近最快的方向。为此，首 先应研究函数的变化率。
2.2.1方向导数
由多元函数的微分学知，对于一个连续可微多元函数 f (X ) ，
在某一点 X (k) 的一阶偏导数为
f ( X (k) ) , f ( X (k) ) ,
x1
x2
, f ( X (k) ) xn
（2-4）
简记为
f ( X (k) ) ,
i 1, 2,
,n
xi
（2-5）
重庆大学机械工程学院
6
现代设计方法——第2章 优化设计的数学基础
它即是该函数 f (X ) 在 X (k) 点沿各坐标轴
x1 , x2(k )
x2 ) x1
f
(x1(k ) , x2(k )
x 2 )
x1 S
f
(
x(k) 1
,
x(k) 2
x2 ) x2
f
(x1(k )
,
x(k) 2
)
x2 S
（2-6）
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
重庆大学机械工程学院
7
现代设计方法——第2章 优化设计的数学基础
解：由于函数变化率最大的方向是梯度方向，这里用单位向量 p表示，
函数变化率最大的数值是梯度的模 f (X (1)) 。则由梯度的定义式可求得
f (X )
f
(
X
(1)
)
x1 f (X
)
2 x1 2x2
4 2
X
(1)
4 2
x2 X (1)
f ( X (1) ) 的模为
2
2
f ( X (1) )
对于任何一个单值、连续并可微的一元函数 f (x) ，在点 x(k ) 取得极值 的必要条件是函数在该点的一阶导数为零，充分条件是对应的二阶导数不 为零，即
f '(x(k ) ) 0
f "(x(k) ) 0
当 f "(x(k) ) 0时，则函数f (x)在点x(k )取得极小值；当 f "(x(k) ) 0 时，则 函数f (x)在点 x(k ) 取得极大值。其极值点和极值分别记作 x* x(k)和 f * f (x*)。
f ( X ) f ( X (k) ) [f ( X (k) )]T [ X X (k ) ] 1 [ X X (k ) ]T 2 f ( X (k ) )[ X X (k ) ] 2
（2-1）
此式称为函数 f (X ) 的泰勒二次近似式。其中，2 f (X (k)) 是由函数在
点 X (0) 的所有二阶偏导数组成的矩阵，称为函数 f (X ) 在点 X (k) 的二阶偏导
- f(x (k))
最速下降方向
f(x (k ))最速上升方向
X (k) 上升方向
f( (k)) f(X)= 0
o
x1
图2-2 梯度方向与等值线的关系
重庆大学机械工程学院
图2-3 方向导数与等值面的关系 10
现代设计方法——第2章 优化设计的数学基础
例2-2 求函数 f ( X ) (x1 2)2 (x2 1)2在点 X (1) [0 0]T 处函数变化率最 大的方向和数值。
式（2-7）表明，在同一点，函数沿不同的方向的方向导数值是不等的， 亦即函数沿不同的方向上有不同的变化率。我们把函数在某点沿某给定方
向的变化率称为函数在该点沿此方向的方向导数，其值为正，表明函数在
该点沿此方向增加；为负，则减小。
重庆大学机械工程学院
8
现代设计方法——第2章 优化设计的数学基础
2.2.2 梯度
f (X )
x1
f (X x2
)
42 22 2 5
该梯度的单位向量p 为
f ( X (1) ) 1 4 1 2
p
f ( X (1) )
2
5 2
5 1
重庆大学机械工程学院
11
现代设计方法——第2章 优化设计的数学基础
2.3 无约束优化问题的极值条件
无约束优化问题求解的实质是求解目标函数 f (X ) 在n 维空间 Rn 中的极 值点和极值。