第二章优化设计的理论与数学基础
合集下载
机械优化设计总复习
机械优化设计总复习
1
第一章 机械优化设计的基本概念和理论
机械优化设计过程包括： (1) 将实际问题加以数学描述，形成数学模型； (2) 选用适当的一种最优化数值方法和计算程序运
算求解。
2
• 建立最优化问题数学模型的三要素：
• （1）设计变量和参数。
•
设计变量是由数学模型的解确定的未知数。
• （2）约束或限制条件。
解析解法 图解法 数值解法
8
第二章 优化设计的数学基础
多元函数的梯度
f
x1
f
X
f xf2
f X
x1
xn
f X
x2
f X
xn
T
9
例1：求二次函数 fx 1 , x 2 x 1 2 x 2 2 4 x 1 4 在点 3,2T
处的梯度。
解：
f
f
(
x)
x1 f
x2x1
2 f
xn
x1
2 f
x1x2
2 f x22
2 f xnx2
2 f
x1xn
2 f
x2xn
2 f
xn2
x
海色（Hessian）矩阵 H ( x ) 正定，即各阶主 子式均大于零，则X*为极小点。
15
4、凸规划
对于约束优化问题
min f X
s .t . gj X 0 (j1,2,3,,m) 若 f X g j X 都为凸函数，
则称此问题为凸规划。
16
六、不等式约束优化问题的极值条件
对于多元函数不等式的约束优化取得极值的条 件：
库恩—塔克条件
f x m xi j 1
1
第一章 机械优化设计的基本概念和理论
机械优化设计过程包括： (1) 将实际问题加以数学描述，形成数学模型； (2) 选用适当的一种最优化数值方法和计算程序运
算求解。
2
• 建立最优化问题数学模型的三要素：
• （1）设计变量和参数。
•
设计变量是由数学模型的解确定的未知数。
• （2）约束或限制条件。
解析解法 图解法 数值解法
8
第二章 优化设计的数学基础
多元函数的梯度
f
x1
f
X
f xf2
f X
x1
xn
f X
x2
f X
xn
T
9
例1：求二次函数 fx 1 , x 2 x 1 2 x 2 2 4 x 1 4 在点 3,2T
处的梯度。
解：
f
f
(
x)
x1 f
x2x1
2 f
xn
x1
2 f
x1x2
2 f x22
2 f xnx2
2 f
x1xn
2 f
x2xn
2 f
xn2
x
海色（Hessian）矩阵 H ( x ) 正定，即各阶主 子式均大于零，则X*为极小点。
15
4、凸规划
对于约束优化问题
min f X
s .t . gj X 0 (j1,2,3,,m) 若 f X g j X 都为凸函数，
则称此问题为凸规划。
16
六、不等式约束优化问题的极值条件
对于多元函数不等式的约束优化取得极值的条 件：
库恩—塔克条件
f x m xi j 1
机械优化设计-数学基础
ε高级无穷小量 有： z Δ
P0 P
= f x′ ( x0 , y0 )
Δx P0 P
′ + f y ( x0 , y 0 )
Δy P0 P
+
ε
P0 P
对上式取极限得：
∂z ′ = f x′ ( x0 , y0 ) cos α + f y ( x0 , y0 ) sin α ∂α
∂z 点P0切线方向导数 ∂t
写成矩阵形式
∂f ( x0 , y0 ) ∂f ( x0 , y0 ) ⎡ Δx ⎤ f ( x , y ) = f ( x0 , y 0 ) + [ , ]⎢ ⎥ ∂x ∂y ⎣ Δy ⎦ ⎡ ∂ 2 f ( x0 , y 0 ) ⎢ 1 ∂x 2 + [ Δx , Δy ]⎢ 2 ⎢ ∂ f ( x0 , y 0 ) 2! ⎢ ∂x∂y ⎣ ∂ 2 f ( x0 , y 0 ) ⎤ ⎥ Δx ∂x∂y ⎥⎡ ⎤ + ∂ 2 f ( x0 , y0 ) ⎥ ⎢ Δy ⎥ ⎣ ⎦ ⎥ 2 ∂y ⎦ ⎡ Δx ⎤ 1 ⎡ Δx ⎤ 2 T = f ( x0 , y0 ) + ∇ f ( x0 , y0 ) ⎢ ⎥ + [ Δx Δy ]∇ f ( x0 , y0 ) ⎢ ⎥ + ⎣ Δy ⎦ 2 ⎣ Δy ⎦
f ( x0 + Δx , y0 + Δy ) − f ( x0 , y0 ) P0 P
lim P P →0
0
存在，此极限称为函数沿 方向d的导数，记为：
∂z , α = 0, 偏导数 ∂x
∂z ( ) P0 , 或 f d′ ( x0 , y0 ) ∂d
由于
∂z π ,α= 2 ∂y
现代设计理论与方法(优化设计第二章)
证明：作变换 X Y Q b 式中： (Y ) f (Y Q 1b)
1
致 1 结论：Q为正定矩阵的二次型 Y QY 的等值面是以 Y 0知 2 的同心椭球面族。原二次函数就是以 X Q b 为中 力 行 心的同心椭球面族，椭圆中心为极小值点。
0
f x2
f xn x
T
0
明 德x0
f i 1 xi
n
cos i f ( x0 )T d f ( x0 ) cos(f , d )
x0
多元函数的梯度的模：
f 1/ 2 f ( x0 ) [ ( ) ] i 1 xi x0
x2 1
该方向上的单位向量为
4 2 2 5 0 5 f ( x ) e 0 2 2 1 f ( x ) 4 (2) 5 5
2 2 1 0 5 5 5 5 新点 x x1 x 0 e 1 1 1 5 1 5 5 5
明 德 任 责
Q为对称矩阵，f ( X ) X T QX
二次型
f ( X ) 致 2QX
知 力 行
第二节 多元函数的泰勒展开
1、一元函数
f x 在
x x0
点处的泰勒展开为：
1 x0 x f x0 x 2 f x f x0 f 2
f x1 x x2 x 2 0
2 f x1x2 x1 2 x f 2 致 2 知 x2 x
0
明 德 任 责
力 行
2 f x12 令 G ( x0 ) 2 f x x 2 1
1
致 1 结论：Q为正定矩阵的二次型 Y QY 的等值面是以 Y 0知 2 的同心椭球面族。原二次函数就是以 X Q b 为中 力 行 心的同心椭球面族，椭圆中心为极小值点。
0
f x2
f xn x
T
0
明 德x0
f i 1 xi
n
cos i f ( x0 )T d f ( x0 ) cos(f , d )
x0
多元函数的梯度的模：
f 1/ 2 f ( x0 ) [ ( ) ] i 1 xi x0
x2 1
该方向上的单位向量为
4 2 2 5 0 5 f ( x ) e 0 2 2 1 f ( x ) 4 (2) 5 5
2 2 1 0 5 5 5 5 新点 x x1 x 0 e 1 1 1 5 1 5 5 5
明 德 任 责
Q为对称矩阵，f ( X ) X T QX
二次型
f ( X ) 致 2QX
知 力 行
第二节 多元函数的泰勒展开
1、一元函数
f x 在
x x0
点处的泰勒展开为：
1 x0 x f x0 x 2 f x f x0 f 2
f x1 x x2 x 2 0
2 f x1x2 x1 2 x f 2 致 2 知 x2 x
0
明 德 任 责
力 行
2 f x12 令 G ( x0 ) 2 f x x 2 1
优化设计的数学基础
a11 a12 a11 0, a11 a12 a21 a22 0, , a21 a22 an1 an 2
a1n a2 n ann 0
即矩阵A的各阶主子式均大于零。当矩阵A为正定时，其对应的二次型 为正定二次型。 如果实二次型 XTAX 中的矩阵A的各阶主子式负、正相间（即所 有奇数阶主子式小于零，而所有偶数阶主子式大于零），即
■ 函数的泰勒近似展开式和黑塞矩阵 ■ 无约束优化问题的极值条件 ■ 凸函数与凸规划 ■
约束优化问题的极值条件
2.1 二次型与正定矩阵
在介绍优化方法时，常常是将二次型函数作为对象。其原因除了 二次型函数在工程优化问题中有较多的应用且比较简单之外，还因为 任何一个复杂的多元函数都可采用泰勒二次展开式做局部逼近，使复 杂函数简化为二次函数。因此，需要讨论有关二次型函数的问题。
A 称为二次型矩阵，因为 aij = aji ，所以 A =AT，称为对称矩阵，
因此二次型矩阵都是对称矩阵。
2. 正定矩阵
在采用泰勒二次近似展开式讨论函数的极值时，常要分析二次型 函数是否正定或负定。二次型的正定与负定的定义简述如下： 如果对于任意的非零向量 X = [x1, x2, …，xn]T，即x1，x2，…，xn 不全为零，若有 XTAX > 0，则称此二次型 f (X)=XTAX 是正定二次 型， 其对应的矩阵A 称为正定矩阵； 若有 XTAX ≥0，则称此二次型 f (X) = XTAX 为半正定二次型，并称 其相应的矩阵A为半正定矩阵； 若有XTAX < 0，则称此二次型 f (X)=XTAX 为负定二次型，其对应 的矩阵A为负定矩阵。 矩阵A的正定与负定的判别，可用矩阵A的各阶顺序主子式的正负 来判别。矩阵A的正定条件是：
a1n a2 n ann
第2章 优化方法的数学基础
X ∈ D 对满足 ,
F ( X ) ( X X * ) ≥ 0
*
T
注意: 注意:
不论是无约束或有约束的优化问题,在实际应用中, 不论是无约束或有约束的优化问题,在实际应用中,要证明一个 优化问题是否为凸规划,一般比较困难, 优化问题是否为凸规划,一般比较困难,有时甚至比求解优化问题本 身还要麻烦.尤其对一些工程问题,由于其数学模型的性态都比较复 身还要麻烦.尤其对一些工程问题, 杂,更难实现.因此,在优化设计的求解中,就不必花精力进行求证, 更难实现.因此,在优化设计的求解中,就不必花精力进行求证, 而通常是从几个初始点出发,找出几个局部最优解, 而通常是从几个初始点出发,找出几个局部最优解,从中选择目标函 数值最好的解. 数值最好的解.
2 2
设: 则有
cos θ1 s≡ 为单位向量. 为单位向量. cos θ 2 F = F ( x0 )T s = F ( x0 ) cos(F , s ) x s 0
梯度方向是函数值变化最快的方向,而梯度的模 梯度方向是函数值变化最快的方向, 就是函数变化率的最大值 .
x2 x0
-f(x0) 最速下降方向 下降方向 变化率为零的方向 上升方向 f(x 0) 最速上升方向
凸规划的一些性质: 凸规划的一些性质: 1)可行域 D = X g j ( X ) ≤ 0
{
j = 1, 2, , m
}
为凸集; 为凸集;
2)凸规划问题中的任何局部最优解都是全局最优解; 凸规划问题中的任何局部最优解都是全局最优解; 为凸规划问题 最优解的充分必要条件 规划问题的 可微, 3 ) 若 F ( X ) 可微 , 则 X* 为凸规划问题的 最优解的充分必要条件 为: 对任意
0
机械优化设计第二章
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
二次n维函数用向量和矩阵的表示方法：
若f ( x)是n维函数，则可按下式化为向量及矩阵形式： f ( x) f ( x1 , x2 , , xn ) aij xi x j bk xk c
i 1 j 1 k 1 n n n
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
一个多元函数可用偏导数的概念来研究函数沿各坐标方向 的变化率。 二元函数的偏导数： 一个二元函数f ( x1 , x2 )在点x0 ( x10 , x20 )处的偏导数是
f x1 f x2 f x10 x1 , x20 f x10 , x20 lim x1 0 x1 f x10 , x20 x2 f x10 , x20 lim x2 0 x2
向量d1的方向为：1 2 向量d 2的方向为：1
4
，
3
， 2
6
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
f T x f f 梯度： 二元函数f ( x1 , x2 )在点x0处的梯度是f ( x 0 ) 1 , f x1 x2 x0 x 2 x
d 0
偏导数与方向导数之间的数量关系：
f d lim
x0
f x10 x1 , x20 x2 f x10 , x20 d
d 0
lim lim f x1
d 0
f x10 x1 , x20 x2 f ( x10 x1 , x20 ) x2 x2 cos 1
Kuhn-Tucker条件
f x1, x2 4x12 5x22 的极值点坐标。
第六节 不等式约束优化问题的极值条件
在工程中大多数优化问题，可表示为不等式约束 条件的优化问题。
有必要引出非线性优化问题的重要理论，是不等式 约束的多元函数的极值的必要条件。
库恩-塔克（Kuhn-Tucker）条件
一、一元函数在给定区间上的极值条件
h1 x, a1 g1 x a12 a x a12 0 h2 x,b1 g2 x b12 x b b12 0
则该问题的拉格朗日函数
F x, a1,b1, 1, 2 f x 1h1 x, a1 2h2 x,b1
f x 1 a x a12 2 x b b12
微函数f(x)在某一点 x(k )的一阶偏导数为：
f (xk ) ，f (xk ) ，… ，f (xk )
x1
x2
xn
它表示函数f(x)值在x(k )点沿各坐标轴方向的变
化率。
有一个二维函数，如图2-1所示。
图2-1 函数的方向导数
其函数在 x0点沿d方向的方向导数为
f x0
f
x (0) 1
f x0 T
f x0
,
,...
x1
x2
xn
沿d方向的方向向量
cos1
d
cos
2
...
cos
n
即
f d
x0
f
x 0 T
d
f x 0 T
cosf ,d
图2-5 梯度方向与等值面的关系
第二节 多元函数的泰勒展开
若目标函数f(x)处处存在一阶导数，则极值点 的必要条件一阶偏导数等于零，即
对于二维函数 f x1, x2 在 x0 点处的梯度
第六节 不等式约束优化问题的极值条件
在工程中大多数优化问题，可表示为不等式约束 条件的优化问题。
有必要引出非线性优化问题的重要理论，是不等式 约束的多元函数的极值的必要条件。
库恩-塔克（Kuhn-Tucker）条件
一、一元函数在给定区间上的极值条件
h1 x, a1 g1 x a12 a x a12 0 h2 x,b1 g2 x b12 x b b12 0
则该问题的拉格朗日函数
F x, a1,b1, 1, 2 f x 1h1 x, a1 2h2 x,b1
f x 1 a x a12 2 x b b12
微函数f(x)在某一点 x(k )的一阶偏导数为：
f (xk ) ，f (xk ) ，… ，f (xk )
x1
x2
xn
它表示函数f(x)值在x(k )点沿各坐标轴方向的变
化率。
有一个二维函数，如图2-1所示。
图2-1 函数的方向导数
其函数在 x0点沿d方向的方向导数为
f x0
f
x (0) 1
f x0 T
f x0
,
,...
x1
x2
xn
沿d方向的方向向量
cos1
d
cos
2
...
cos
n
即
f d
x0
f
x 0 T
d
f x 0 T
cosf ,d
图2-5 梯度方向与等值面的关系
第二节 多元函数的泰勒展开
若目标函数f(x)处处存在一阶导数，则极值点 的必要条件一阶偏导数等于零，即
对于二维函数 f x1, x2 在 x0 点处的梯度
最优化_第2章 优化设计的数学基础
(0) (0) f ( x1(0) , x2 x2 ) f ( x1(0) , x2 ) f ( x) lim x2 X ( 0) x2 0 x2
分别表示沿坐标轴x1和x2方向在X (0)处的f(X)变化率。
§2.1
多元函数的导数与梯度
(0) (0) f x1(0) x1 , x2 x2 f x1(0) , x2 f lim d X ( 0 ) d 0 d (0) (0) (0) f x1 x1 , x2 f x1(0) , x2 x1 lim d 0 x1 d
n元函数极值充分条件:海塞矩阵为正定。
2 f 2 x 1 2 f x2 x1 (0) G( X ) 2 f xn x1
2 f xn x2
§2.4
凸集、凸函数与凸规划
f X f X*
函数f(X)在X*附近的一切X均满足不等式
2.二阶导数（ Hessian矩阵)判断
Hessian矩阵G(X)在R上处处半正定。
(0) 1 (0) 2
X (0)
x2
§2.2
多元函数的泰勒展开
二元函数泰勒展开矩阵形式:
f x1 , x2 f X
(0)
f ( X
(0) T
1 ) X X TG ( X (0) )X 2
2 f x 2 1 其中: G ( X (0) ) 2 f x2 x1
2 2
2 5 5 5 1 5 1 5 5
f
X
(1)
26 3x 4 x1 x2 x |X ( 0 ) 5 2 5
2 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Fx"1 x1 A, Fx"1 x 2 B, Fx"2 x 2 C
Fx"1 x1 Fx"1 x 2 Fx"1 x1 0 AC B 0 0 * " " B C Fx 2 x1 Fx 2 x 2 H(X ) " Fx 2 x1 " A0 Fx1 x1 0
梯度是一个向量,其方向是函 (K ) 数在 X 点处数值增长最快的 方向.
7
2.2 目标函数的等值线(面)
8
9
2.3 无约束目标函数极值点存在条件
函数的极值与极值点
10
极值点存在条件
一元函数的情况 极值点存在的必要条件
F ' ( x*) 0
的点称为驻点，极值点必为驻点，但驻 点不一定为极值点。 极值点存在的充分条件 若在驻点附近 F '' ( x * ) 0
T 1 F ( X ) Fk F X X T H k X 2
X [x1 , x2 , xn ]T
Fx"1 x1 " (k ) Fx 2 x1 Hk H ( X ) ... " Fxnx1 Fx"1 x 2 Fx"2 x 2 ...
第二篇 机械优化设计
第二章 优化设计的理论与数学基础
2.1 2.2 2.3 2.4 2.5 目标函数的泰勒(Taylor)展开式 目标函数的等值线(面) 无约束目标函数极值点存在条件 凸集与凸函数
约束极值点条件 2 .6 优化计算的数值解法及收敛条件
1
二次函数的矩阵表示方法(补充)
2 二元二次函数 F ( X ) F ( x1 , x2 ) ax12 bx1 x2 cx2 dx1 ex2 f
(二阶偏导数矩阵) n×n阶的对称方阵
6
一阶偏导数矩阵 称为函数在K点的梯度：
F
" xixj
ห้องสมุดไป่ตู้
F
" xjxi
F ( X
(K )
F ( X ) x1
(K )
) F ( X , x2
(K )
)
F ( X , xn
(K )
)
T
) F ( X (K ) ) 称为函数在 X ( K点的梯度.
F ' ( x*) 0
则x *点为极大点
则x *点为极小点
11
F '' ( x * ) 0
二元函数的情况
多元函数的情况:
(一)极值存在的必要条件: 各一阶偏导数等于零
Fx' 1 0 ' * Fx 2 0 H F ( X ) ... ... ' Fxn 0
2
A B
Fx"1 x 2 正定 " Fx 2 x 2
15
小结:无约束目标函数极值点存在条件
极值存在的必要条件: 各一阶偏导数等于零
Fx' 1 0 ' * Fx 2 0 H F ( X ) ... ... ' Fxn 0
的极值点必须满足
f ( X ) 4 x1 2 x3 0 x1
f ( X ) 10 x2 2 x3 6 0 x2
f ( X ) 2 x1 2 x2 2 x3 0 x3
解此联立方程得：
x1 1,
x2 1,
x3 2
X * [1 ,1 ,2]T 即点 此驻点是否为极值点。
各阶主子行列式均 大于零→正定
16
例题
2 试判断X0=[2 4]T是否为下面函数的极小点：F ( X ) x14 2 x12 x2 x12 x2 4 x1 5
解：
Fx' 1 4 x13 4 x1 x2 2 x1 4 0 F ( X 0 ) ' 2 2 x1 2 x2 0 Fx 2 满足极值存在的必要条件
*
T 1 F ( X ) F ( X ) F X X T H ( X * )X 2
*
若：
=0
二次型>0
处处F(X) >F(X*), 故点X*为极小点
13
什么是矩阵正定、负定、不定？
a11 a12 a 21 a22 A ... ... an1 an 2 ... a1n ... a2 n ... ... ... ann a11 a21 ... a12 a22 ... ... a1n ... a2 n ... ... 0
f "( x* ) 0
Fx"1 x1 0
F
" x1 x1
f "( x* ) 0
Fx"1 x1 0
F
2 " x1 x 2
F
" x2x2
0
《高等数学》：设函数F(X)=F(x1,x2)在点X*的某邻域内连续且有一阶及二 阶连续偏导数，在点X*有F'x1=0、 F'x2=0，令：
为一驻点。再利用海赛矩阵的性质来判断 18
2 f ( X (*) ) x x 1 1 2 f ( X (*) ) (*) H(X ) x2 x1 2 f ( X (*) ) xn x1
a11 a21
①若各阶主子行列式均大于零→正定
a11 a11 0
a11 a12 a11 a22 a12 a21 0
a21 a22
an1 an 2 ... ann
②若各阶主子行列式如下→负定
a11 0
a11 a12 a21 a22 0
a11 a31 a12 a32 a13 a23 0 a33
驻点
极值存在的充分条件: 海赛矩阵H(X*)正定→点X*为极小点
Fx"1 x1 " (k ) Fx 2 x1 H(X ) ... " Fxnx1 Fx"1 x 2 Fx"2 x 2 ...
" Fxnx 2
... Fx"1 xn " ... Fx 2 xn ... ... " ... Fxnxn
验证:
2a b x1 d 2ax1 bx2 d F ( X ) AX B x e bx 2cx e 2 b 2c 2 1 2
二次函数的矩阵表示方法(补充)
例题:将F(X)=x12-2x1x2+x22-8x1+9x2+10写成矩阵表示式，并求其梯度。 解:
x1 2a b X , A 令: b 2c , x2
则: 梯度:
d B , e
C f
1 T F ( X ) X AX BT X C 2
F ( X ) AX B
F x 2ax bx d 2 其中：: F ( X ) 1 1 F bx1 2cx2 e x 2
2 2 x1 8 2 x1 2 x2 8 F ( X ) AX B x 9 2 x 2 x 9 2 2 2 1 2
Fx' 1 2 x1 2 x2 8 验证: F ( X ) ' Fx 2 2 x1 2 x2 9
" Fxnx 2
F x 1 F x T 2 F F F F ( X ) , x1 x2 xn F xn
... Fx"1 xn " ... Fx 2 xn ... ... " ... Fxnxn
3
2.1 目标函数的泰勒(Taylor)展开式
工程实际中的优化设计问题，常常是多维且非线性函数形式，一般较为复杂。 为便于研究函数极值问题，需用简单函数作局部逼近，通常采用泰勒展开 式作为函数在某点附近的近似表达式，以近似于原函数。 一元函数f(x)在x(k)点的泰勒展开式：
二元函数F(X)= F(x1,x2)=在X(k)=[x1(k) x2(k) ]T点的泰勒展开式为：
4
' ' F ( X ) F ( X ( k ) ) Fx1 ( X ( k ) ) x1 Fx 2 ( X ( k ) ) x2
1 " 2 2 (k ) " (k ) " (k ) Fx1 x1 ( X ) x1 2Fx1 x 2 ( X ) x1x2 Fx 2 x 2 ( X ) x2 2
即:
T 1 F ( X ) Fk F X X T H k X 2
其中:
H(X
(K )
Fx"1 x1 ) " Fx 2 x1
Fx"1 x 2 Fx"2 x 2
5
海赛矩阵
多元函数F(X)在X(k)=[x1(k) x2(k) xn(k) ]T点的泰勒展开式为： 同上： 但其中：
14
a21 a22
...... 0
②不是正定或负定→不定
2.3 无约束目标函数极值点存在条件
必要条件 充分条件 极 小 H(X*)正定 极 大 H(X*)负定
函数极值
一元函数 二元函数
F ( X ) H
Fx"1 x1 Fx"1 x 2 Fx"1 x1 0 AC B 0 0 * " " B C Fx 2 x1 Fx 2 x 2 H(X ) " Fx 2 x1 " A0 Fx1 x1 0
梯度是一个向量,其方向是函 (K ) 数在 X 点处数值增长最快的 方向.
7
2.2 目标函数的等值线(面)
8
9
2.3 无约束目标函数极值点存在条件
函数的极值与极值点
10
极值点存在条件
一元函数的情况 极值点存在的必要条件
F ' ( x*) 0
的点称为驻点，极值点必为驻点，但驻 点不一定为极值点。 极值点存在的充分条件 若在驻点附近 F '' ( x * ) 0
T 1 F ( X ) Fk F X X T H k X 2
X [x1 , x2 , xn ]T
Fx"1 x1 " (k ) Fx 2 x1 Hk H ( X ) ... " Fxnx1 Fx"1 x 2 Fx"2 x 2 ...
第二篇 机械优化设计
第二章 优化设计的理论与数学基础
2.1 2.2 2.3 2.4 2.5 目标函数的泰勒(Taylor)展开式 目标函数的等值线(面) 无约束目标函数极值点存在条件 凸集与凸函数
约束极值点条件 2 .6 优化计算的数值解法及收敛条件
1
二次函数的矩阵表示方法(补充)
2 二元二次函数 F ( X ) F ( x1 , x2 ) ax12 bx1 x2 cx2 dx1 ex2 f
(二阶偏导数矩阵) n×n阶的对称方阵
6
一阶偏导数矩阵 称为函数在K点的梯度：
F
" xixj
ห้องสมุดไป่ตู้
F
" xjxi
F ( X
(K )
F ( X ) x1
(K )
) F ( X , x2
(K )
)
F ( X , xn
(K )
)
T
) F ( X (K ) ) 称为函数在 X ( K点的梯度.
F ' ( x*) 0
则x *点为极大点
则x *点为极小点
11
F '' ( x * ) 0
二元函数的情况
多元函数的情况:
(一)极值存在的必要条件: 各一阶偏导数等于零
Fx' 1 0 ' * Fx 2 0 H F ( X ) ... ... ' Fxn 0
2
A B
Fx"1 x 2 正定 " Fx 2 x 2
15
小结:无约束目标函数极值点存在条件
极值存在的必要条件: 各一阶偏导数等于零
Fx' 1 0 ' * Fx 2 0 H F ( X ) ... ... ' Fxn 0
的极值点必须满足
f ( X ) 4 x1 2 x3 0 x1
f ( X ) 10 x2 2 x3 6 0 x2
f ( X ) 2 x1 2 x2 2 x3 0 x3
解此联立方程得：
x1 1,
x2 1,
x3 2
X * [1 ,1 ,2]T 即点 此驻点是否为极值点。
各阶主子行列式均 大于零→正定
16
例题
2 试判断X0=[2 4]T是否为下面函数的极小点：F ( X ) x14 2 x12 x2 x12 x2 4 x1 5
解：
Fx' 1 4 x13 4 x1 x2 2 x1 4 0 F ( X 0 ) ' 2 2 x1 2 x2 0 Fx 2 满足极值存在的必要条件
*
T 1 F ( X ) F ( X ) F X X T H ( X * )X 2
*
若：
=0
二次型>0
处处F(X) >F(X*), 故点X*为极小点
13
什么是矩阵正定、负定、不定？
a11 a12 a 21 a22 A ... ... an1 an 2 ... a1n ... a2 n ... ... ... ann a11 a21 ... a12 a22 ... ... a1n ... a2 n ... ... 0
f "( x* ) 0
Fx"1 x1 0
F
" x1 x1
f "( x* ) 0
Fx"1 x1 0
F
2 " x1 x 2
F
" x2x2
0
《高等数学》：设函数F(X)=F(x1,x2)在点X*的某邻域内连续且有一阶及二 阶连续偏导数，在点X*有F'x1=0、 F'x2=0，令：
为一驻点。再利用海赛矩阵的性质来判断 18
2 f ( X (*) ) x x 1 1 2 f ( X (*) ) (*) H(X ) x2 x1 2 f ( X (*) ) xn x1
a11 a21
①若各阶主子行列式均大于零→正定
a11 a11 0
a11 a12 a11 a22 a12 a21 0
a21 a22
an1 an 2 ... ann
②若各阶主子行列式如下→负定
a11 0
a11 a12 a21 a22 0
a11 a31 a12 a32 a13 a23 0 a33
驻点
极值存在的充分条件: 海赛矩阵H(X*)正定→点X*为极小点
Fx"1 x1 " (k ) Fx 2 x1 H(X ) ... " Fxnx1 Fx"1 x 2 Fx"2 x 2 ...
" Fxnx 2
... Fx"1 xn " ... Fx 2 xn ... ... " ... Fxnxn
验证:
2a b x1 d 2ax1 bx2 d F ( X ) AX B x e bx 2cx e 2 b 2c 2 1 2
二次函数的矩阵表示方法(补充)
例题:将F(X)=x12-2x1x2+x22-8x1+9x2+10写成矩阵表示式，并求其梯度。 解:
x1 2a b X , A 令: b 2c , x2
则: 梯度:
d B , e
C f
1 T F ( X ) X AX BT X C 2
F ( X ) AX B
F x 2ax bx d 2 其中：: F ( X ) 1 1 F bx1 2cx2 e x 2
2 2 x1 8 2 x1 2 x2 8 F ( X ) AX B x 9 2 x 2 x 9 2 2 2 1 2
Fx' 1 2 x1 2 x2 8 验证: F ( X ) ' Fx 2 2 x1 2 x2 9
" Fxnx 2
F x 1 F x T 2 F F F F ( X ) , x1 x2 xn F xn
... Fx"1 xn " ... Fx 2 xn ... ... " ... Fxnxn
3
2.1 目标函数的泰勒(Taylor)展开式
工程实际中的优化设计问题，常常是多维且非线性函数形式，一般较为复杂。 为便于研究函数极值问题，需用简单函数作局部逼近，通常采用泰勒展开 式作为函数在某点附近的近似表达式，以近似于原函数。 一元函数f(x)在x(k)点的泰勒展开式：
二元函数F(X)= F(x1,x2)=在X(k)=[x1(k) x2(k) ]T点的泰勒展开式为：
4
' ' F ( X ) F ( X ( k ) ) Fx1 ( X ( k ) ) x1 Fx 2 ( X ( k ) ) x2
1 " 2 2 (k ) " (k ) " (k ) Fx1 x1 ( X ) x1 2Fx1 x 2 ( X ) x1x2 Fx 2 x 2 ( X ) x2 2
即:
T 1 F ( X ) Fk F X X T H k X 2
其中:
H(X
(K )
Fx"1 x1 ) " Fx 2 x1
Fx"1 x 2 Fx"2 x 2
5
海赛矩阵
多元函数F(X)在X(k)=[x1(k) x2(k) xn(k) ]T点的泰勒展开式为： 同上： 但其中：
14
a21 a22
...... 0
②不是正定或负定→不定
2.3 无约束目标函数极值点存在条件
必要条件 充分条件 极 小 H(X*)正定 极 大 H(X*)负定
函数极值
一元函数 二元函数
F ( X ) H