优化设计的数学基础.ppt
合集下载
现代设计理论与方法(优化设计第二章)
证明：作变换 X Y Q b 式中： (Y ) f (Y Q 1b)
1
致 1 结论：Q为正定矩阵的二次型 Y QY 的等值面是以 Y 0知 2 的同心椭球面族。原二次函数就是以 X Q b 为中 力 行 心的同心椭球面族，椭圆中心为极小值点。
0
f x2
f xn x
T
0
明 德x0
f i 1 xi
n
cos i f ( x0 )T d f ( x0 ) cos(f , d )
x0
多元函数的梯度的模：
f 1/ 2 f ( x0 ) [ ( ) ] i 1 xi x0
x2 1
该方向上的单位向量为
4 2 2 5 0 5 f ( x ) e 0 2 2 1 f ( x ) 4 (2) 5 5
2 2 1 0 5 5 5 5 新点 x x1 x 0 e 1 1 1 5 1 5 5 5
明 德 任 责
Q为对称矩阵，f ( X ) X T QX
二次型
f ( X ) 致 2QX
知 力 行
第二节 多元函数的泰勒展开
1、一元函数
f x 在
x x0
点处的泰勒展开为：
1 x0 x f x0 x 2 f x f x0 f 2
f x1 x x2 x 2 0
2 f x1x2 x1 2 x f 2 致 2 知 x2 x
0
明 德 任 责
力 行
2 f x12 令 G ( x0 ) 2 f x x 2 1
1
致 1 结论：Q为正定矩阵的二次型 Y QY 的等值面是以 Y 0知 2 的同心椭球面族。原二次函数就是以 X Q b 为中 力 行 心的同心椭球面族，椭圆中心为极小值点。
0
f x2
f xn x
T
0
明 德x0
f i 1 xi
n
cos i f ( x0 )T d f ( x0 ) cos(f , d )
x0
多元函数的梯度的模：
f 1/ 2 f ( x0 ) [ ( ) ] i 1 xi x0
x2 1
该方向上的单位向量为
4 2 2 5 0 5 f ( x ) e 0 2 2 1 f ( x ) 4 (2) 5 5
2 2 1 0 5 5 5 5 新点 x x1 x 0 e 1 1 1 5 1 5 5 5
明 德 任 责
Q为对称矩阵，f ( X ) X T QX
二次型
f ( X ) 致 2QX
知 力 行
第二节 多元函数的泰勒展开
1、一元函数
f x 在
x x0
点处的泰勒展开为：
1 x0 x f x0 x 2 f x f x0 f 2
f x1 x x2 x 2 0
2 f x1x2 x1 2 x f 2 致 2 知 x2 x
0
明 德 任 责
力 行
2 f x12 令 G ( x0 ) 2 f x x 2 1
现代设计方法课件PPT 第2章 优化设计的数学基础
1 [ X X (1) ]T 2 f ( X (1) )[ X X (1) ] 2
3x2 6 6(x1 1)2 6x12 12x1 3x2
将 X (点 X (1) 的值相等。
重庆大学机械工程学院
5
现代设计方法——第2章 优化设计的数学基础
分析式（2-9）中的取值对方向导数 f ( X k) ) / S 影响，可知，在设计空间
中，凡是与梯度方向成锐角的方向函数值都增加；凡是与梯度方向成钝角的方
向函数值都减小；梯度 f (X ) 的方向为函数 f(X) 过 X (k) 点的等值线（或等值面）
的外法线方向。
Δ Δ Δ
x2
变化率为零的方向
下降方向
将代数式（2-6）写成矩阵形式，则有
f
(X (k) S
)
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
f ( X (k) )
x1
f ( X (k) ) cos1
x2
cos
2
f ( X (k) )
令
f ( X (k) )
x1
,
f ( X (k) )
S
cos1 cos2
当 X (k) 为函数的极小点时，有 f (X ) f (X (k) ) 0 ，故必有
[ X X (k) ]T 2 f ( X (k) )[ X X (k) ] 0
根据线性代数的二次型有关知识，上式说明函数的二阶导数矩阵必 须是正定的，这就是多元函数极小值的充分条件。故，多元函数在点 X (k) 取得极小值的充分必要条件是：函数在该点的梯度为零，海赛矩阵（二 阶导数矩阵）正定，即
求展开式的二次项
3x2 6 6(x1 1)2 6x12 12x1 3x2
将 X (点 X (1) 的值相等。
重庆大学机械工程学院
5
现代设计方法——第2章 优化设计的数学基础
分析式（2-9）中的取值对方向导数 f ( X k) ) / S 影响，可知，在设计空间
中，凡是与梯度方向成锐角的方向函数值都增加；凡是与梯度方向成钝角的方
向函数值都减小；梯度 f (X ) 的方向为函数 f(X) 过 X (k) 点的等值线（或等值面）
的外法线方向。
Δ Δ Δ
x2
变化率为零的方向
下降方向
将代数式（2-6）写成矩阵形式，则有
f
(X (k) S
)
f
(X (k) x1
)
cos1
f
(X (k) x2
)
cos2
f ( X (k) )
x1
f ( X (k) ) cos1
x2
cos
2
f ( X (k) )
令
f ( X (k) )
x1
,
f ( X (k) )
S
cos1 cos2
当 X (k) 为函数的极小点时，有 f (X ) f (X (k) ) 0 ，故必有
[ X X (k) ]T 2 f ( X (k) )[ X X (k) ] 0
根据线性代数的二次型有关知识，上式说明函数的二阶导数矩阵必 须是正定的，这就是多元函数极小值的充分条件。故，多元函数在点 X (k) 取得极小值的充分必要条件是：函数在该点的梯度为零，海赛矩阵（二 阶导数矩阵）正定，即
求展开式的二次项
最优化_第2章 优化设计的数学基础
(0) (0) f ( x1(0) , x2 x2 ) f ( x1(0) , x2 ) f ( x) lim x2 X ( 0) x2 0 x2
分别表示沿坐标轴x1和x2方向在X (0)处的f(X)变化率。
§2.1
多元函数的导数与梯度
(0) (0) f x1(0) x1 , x2 x2 f x1(0) , x2 f lim d X ( 0 ) d 0 d (0) (0) (0) f x1 x1 , x2 f x1(0) , x2 x1 lim d 0 x1 d
n元函数极值充分条件:海塞矩阵为正定。
2 f 2 x 1 2 f x2 x1 (0) G( X ) 2 f xn x1
2 f xn x2
§2.4
凸集、凸函数与凸规划
f X f X*
函数f(X)在X*附近的一切X均满足不等式
2.二阶导数（ Hessian矩阵)判断
Hessian矩阵G(X)在R上处处半正定。
(0) 1 (0) 2
X (0)
x2
§2.2
多元函数的泰勒展开
二元函数泰勒展开矩阵形式:
f x1 , x2 f X
(0)
f ( X
(0) T
1 ) X X TG ( X (0) )X 2
2 f x 2 1 其中: G ( X (0) ) 2 f x2 x1
2 2
2 5 5 5 1 5 1 5 5
f
X
(1)
26 3x 4 x1 x2 x |X ( 0 ) 5 2 5
2 1
现代设计理论与方法-优化设计.ppt
变异运算用来模拟生物在自然的遗传环境 中由于各种偶然因素引起的基因突变，它以很 小的概率随机地改变遗传基因（表示染色体的 符号串的某一位）的值。在染色体以二进制编 码的系统中，它随机地将染色体的某一个基因 由1变为0，或由0变为1。
若只有选择和交叉，而没有变异，则无法在 初始基因组合以外的空间进行搜索，使进化过 程在早期就陷入局部解而进入终止过程，从而 影响解的质量。为了在尽可能大的空间中获得 质量较高的优化解，必须采用变异操作。
可见，这是一个三维非线形规划问题。为了
简化问题，可根据等式约束条件消去一个设计变
ቤተ መጻሕፍቲ ባይዱ量：
h = 3 /（ l ·w）
则该问题从原来的三维问题转化为二维问题。
4．建立数学模型的一般过程 1）分析设计问题，初步建立数学模型 即使是同一设计对象，如果设计目标和设计
条件不同，数学模型也会不同。因此，要首先弄 清问题的本质，明确要达到的目标和可能的条件， 选用或建立适当的数学、物理、力学模型来描述 问题
交叉体现了自然界中信息交换的思想。交叉 有单点交叉、多点交叉、还有一致交叉、顺序 交叉和周期交叉。单点交叉是最基本的方法， 应用较广。它是指染色体切断点有一处，例：
A:101100 1110 101100 0101
B : 001010 0101001010 1110
（3）变异 (Mutation Operator)
3．约束条件 1）概念 为产生一个可接受的设计，设计变量本身或
相互间应该遵循的限制条件，称为约束条件。
2）表示方法
约束条件一般可表示为设计变量的不等式约束函数 形式和等式约束函数形式，即
gi（χ）= gi（χ1，χ2，…，χn）≤0 或者 gi（χ）= gi（χ1，χ2，…，χn）≥0
若只有选择和交叉，而没有变异，则无法在 初始基因组合以外的空间进行搜索，使进化过 程在早期就陷入局部解而进入终止过程，从而 影响解的质量。为了在尽可能大的空间中获得 质量较高的优化解，必须采用变异操作。
可见，这是一个三维非线形规划问题。为了
简化问题，可根据等式约束条件消去一个设计变
ቤተ መጻሕፍቲ ባይዱ量：
h = 3 /（ l ·w）
则该问题从原来的三维问题转化为二维问题。
4．建立数学模型的一般过程 1）分析设计问题，初步建立数学模型 即使是同一设计对象，如果设计目标和设计
条件不同，数学模型也会不同。因此，要首先弄 清问题的本质，明确要达到的目标和可能的条件， 选用或建立适当的数学、物理、力学模型来描述 问题
交叉体现了自然界中信息交换的思想。交叉 有单点交叉、多点交叉、还有一致交叉、顺序 交叉和周期交叉。单点交叉是最基本的方法， 应用较广。它是指染色体切断点有一处，例：
A:101100 1110 101100 0101
B : 001010 0101001010 1110
（3）变异 (Mutation Operator)
3．约束条件 1）概念 为产生一个可接受的设计，设计变量本身或
相互间应该遵循的限制条件，称为约束条件。
2）表示方法
约束条件一般可表示为设计变量的不等式约束函数 形式和等式约束函数形式，即
gi（χ）= gi（χ1，χ2，…，χn）≤0 或者 gi（χ）= gi（χ1，χ2，…，χn）≥0
《设计优化教程》课件
1 定义
设计变量和目标函数在优化中的作用和定义。
2 相关数学基础
了解优化中所涉及的相关数学知识和基础概念。
章节三：响应面分析法
1 基本原理
响应面分析法的基本原理和优化思路。
2 响应面设计
如何设计有效的响应面实验来收集数据。
3 响应面模型的构建
4 响应面优化
如何构建和优化响应面模型以预测设计结果。
通过响应面模型优化设计变量以题。
章节七：工程案例分析
1 优化案例
通过上述算法优化工程设 计案例的介绍。
2 对比分析
对比优化前后设计方案差 异和改善情况。
3 总结
总结优化效果、局限性和 进一步的优化方向。
《设计优化教程》PPT课 件
本课程为《设计优化教程》PPT课件，旨在分享设计优化的概述、流程和常用 的优化方法，帮助读者了解优化设计的目标和意义。
章节一：设计优化概述
1 定义
设计优化的概念和基本定义。
2 流程概述
设计优化的基本流程及其各个阶段。
3 目标和意义
设计优化的目标和对工程和创新的重要性。
章节二：设计变量与目标函数
章节四：遗传算法
1 基本原理
2 流程
遗传算法的基本原理和模拟自然进化的思路。
遗传算法的基本流程，包括选择、交叉、变 异等操作。
3 应用场景
遗传算法在工程设计和优化中的应用场景。
4 问题
遗传算法存在的一些局限性和问题。
章节五：蚁群算法
1 基本原理
蚁群算法的基本原理和模拟蚂蚁寻找食物的 行为。
2 流程
蚁群算法的基本流程，包括信息素和路径选 择机制。
3 应用场景
蚁群算法在优化问题中的应用。
设计变量和目标函数在优化中的作用和定义。
2 相关数学基础
了解优化中所涉及的相关数学知识和基础概念。
章节三：响应面分析法
1 基本原理
响应面分析法的基本原理和优化思路。
2 响应面设计
如何设计有效的响应面实验来收集数据。
3 响应面模型的构建
4 响应面优化
如何构建和优化响应面模型以预测设计结果。
通过响应面模型优化设计变量以题。
章节七：工程案例分析
1 优化案例
通过上述算法优化工程设 计案例的介绍。
2 对比分析
对比优化前后设计方案差 异和改善情况。
3 总结
总结优化效果、局限性和 进一步的优化方向。
《设计优化教程》PPT课 件
本课程为《设计优化教程》PPT课件，旨在分享设计优化的概述、流程和常用 的优化方法，帮助读者了解优化设计的目标和意义。
章节一：设计优化概述
1 定义
设计优化的概念和基本定义。
2 流程概述
设计优化的基本流程及其各个阶段。
3 目标和意义
设计优化的目标和对工程和创新的重要性。
章节二：设计变量与目标函数
章节四：遗传算法
1 基本原理
2 流程
遗传算法的基本原理和模拟自然进化的思路。
遗传算法的基本流程，包括选择、交叉、变 异等操作。
3 应用场景
遗传算法在工程设计和优化中的应用场景。
4 问题
遗传算法存在的一些局限性和问题。
章节五：蚁群算法
1 基本原理
蚁群算法的基本原理和模拟蚂蚁寻找食物的 行为。
2 流程
蚁群算法的基本流程，包括信息素和路径选 择机制。
3 应用场景
蚁群算法在优化问题中的应用。
优化设计基础PPT讲稿
其中，x1 x1 x10，x2 x2 x20
二元函数泰勒展开式的矩阵形式：
f
x
f
x0
f x1
f x2
x0
x1
x2
1 2
x1
2 f
x2
x12 2 f
x2x1
f
x0
f
T
1T
x0 x x G
x0
x …
2
2 f
x1x2 2 f x22
x0
例：设目标函数f (x)
f (x1, x2 ) 4
x12 x2 , 求点x0
[1
1]T 处沿
d1和d2两个方向的方向导数。
向量d1的方向为：1
2
，
4
向量d2的方向为：1
3
，2
6
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
f
梯度：二元函数f
(x1, x2 )在点x0处的梯度是f
优化设计基础课件
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
一个多元函数可用偏导数的概念来研究函数沿各坐标方向 的变化率。
二元函数的偏导数：
一个二元函数f (x1, x2 )在点x0 (x10 , x20 )处的偏导数是
f lim f x10 x1, x20 f x10 , x20
(x0 )
x1
f
x2
x0
f
x1
T
f
,
x2
x0
方向导数与梯度的关系： f f (x0 )T d f (x0 ) cos(f , d) d x0
二元函数f
(
x1,
x2
2优化设计的数学基础
第二章 优化设计的数学基础优化设计中绝大多数是多变量有约束的非线性规划问题，即是求解多变量非线性函数的极值问题。
由此可见，优化设计是建立在多元函数的极值理论基础上的，对于无约束优化问题为数学上的无条件极值问题，而对于约束优化问题则为数学上的条件极值问题。
本章主要叙述与此相关的数学基础知识。
第一节 函数的方向导数与梯度一、函数的方向导数一个二元函数()21,x x F 在点()02010,x x X 处的偏导数，即函数沿坐标轴方向的变化率定义为：而沿空间任一方向S 的变化率即方向导数为：方向导数与偏导数之间的数量关系为依此类推可知n维函数()n xxxF,,,21在空间一点()210,,,n xxxX沿S方向的方向导数为二、函数的梯度函数()XF在某点X的方向导数表明函数沿某一方向S的变化率。
—般函数在某一确定点沿不同方向的变化率是不同的。
为求得函数在某点X的方向导数为最大的方向，引入梯度的概念。
仍以二元函数()21,xxF为例进行讨论，将函数沿方向S的方向导数写成如下形式令：图2-1 二维空间中的方向图2-2 三维空间中的方向称为()21,xxF在点X处的梯度()XFgrad，而同时设S为单位向量于是方向导数可写为：此式表明，函数()XF沿S方向的方向导数等于向量()XF∇在S 方向上的投影。
且当()()1,cos=∇SXF，即向量()XF∇与S的方向相向时，向量()XF∇在S方向上的投影最大，其值为()XF∇。
这表明梯度()XF∇是函数()XF在点X处方向导数最大的方向，也就是导数变化率最大的方向。
上述梯度的定义和运算可以推广到n维函数中去，即对于n元函数()n xxxF,,,21，其梯度定义为由此可见，梯度是一个向量，梯度方向是函数具有最大变化率的方向。
即梯度()XF∇方向是函数()XF的最速上升方向，而负梯度()XF∇-方向则为函数()XF的最速下降方向。
例2-1求二元函数()2214xxFπ=X在[]T1,10=X点沿⎩⎨⎧===44211πθπθS和⎩⎨⎧===63212πθπθS的方向导数。
机械优化设计ppt课件第二章机械优化设计的数学基础
f(x)f(x(k))f(x(k))(xx(k))1f(x(k))(xx(k))2 2
f(x(k))f(x(k))x1f(x(k)) x2 2
二元函数f (x1，x2)的泰勒展开：
f(x1,x2)f(X(k))fx1(X(k))(x1x1(k))fx2(X(k))(x2x2(k))
1 2[fx12(X(k))(x1x1(k))22fx1x2(X(k))(x1x1(k))(x2x2(k))
f (X (k))
ds X (k ) min
df
f (X (k))
ds X (k ) max
精选课件ppt
11
所以，目标函数在某一点的最速下降方向为 负梯度方向
与负梯度方向成锐角的方向为目标函数 值的下降方向，成钝角的方向为目标函 数值的增加方向。
• 目标函数的梯度方向是目标函数等值线 （面）在同一点的法向矢量方向。
一个点集（或区域），如果连接其中任
意两点的线段都全部包含在该点集内，则 称该点集为凸集。否则，称为非凸集。
• 凸函数（见图2M10）
设函数f (X)定义域为凸集G，X(1)、X(2)
为凸集G上的任意两点，若函数f (X)在线段
X(1)X(2)上的函数值总小于或等于用f (X(1))及
f (X(2))作线性内插所得的值，则称函数f (X)
6
• 目标函数的等值线（面）
• 可计算函数与等值面
给定一组设计变量的值，就对应一个确
定的目标函数值f(X)=C，具有这种性质的 函数叫可计算函数。反之，给定目标函数 f(X)的值C，即f(X)=C，那么将有无限多个 设计点X使该式成立，这些设计点在n维设 计空间中将组成一个点集，称之为等值曲 面（三维空间）或等值超曲面（n>3），通 称等值面。在二维平面中为等值线。若给
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
hk (x) = 0 (k = 1, 2,L ,l )
引入拉格郎日乘子 l 函数
k
(k
=
1, 2,L ,l )
构成一个新的目标
l
å F (x, l ) = f (x ) + l khk (x )
k=1
将其作为一个新的无约束条件的目标函数来求解它 的极值点，所得结果就是原等式约束问题的极值点。
新的目标函数具有极值点的必要条件为
海赛矩阵
轾 犏 抖2 f 犏 犏 犏 犏 ¶抖x2 f12 G (x0 ) = 犏 犏 犏 犏抖x2Mx1 犏 犏 犏 犏 臌抖x抖n2 f x 1
2f
抖x1 x2
2f
¶
x
2 2
M
2f 抖xn x2
?2f L 抖x1 xn
?2f L 抖x2 xn MM
?2f
L
¶
x
2 n
x0
例题（一）
求二元函数f (x1, x2 ) =
x0
=
轾 犏 犏 臌抖抖xf1
fT x2 x0
称为函数f (x1, x2 )在x0 (x10, x20 ) 处的梯度
d
=
轾 犏cos q1 犏 犏 臌cos q2
称为d 方向单位向量
¶f ¶d
x0
=
?
f (x 0 )T d
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
¶F = 0 (i = 1, 2,L , n)
¶ xi
¶F ¶l k
=
hk (x ) =
0
(k
=
1, 2,L ,l)
一共可得n+l个方程，从而可解得(x,)共n+l个未知
变量的值。由上述方程组求得的x*即为原等式约束
优化问题的极值点。
x * = [x1* x2* L xn* ]T
等效证明： 二维问题
n
0
)
T
处
沿各坐标轴的一阶偏导数或变化率分别为
( ) ( ) ( ) 抖f x(0) f x(0)
?f x(0)
抖x1 ， x2 ，L ， ?xn
2) 二元函数的方向导数
即沿某一方向d 的变
化率，定义为
x2
d
?f
3.方关向系导数与偏导数的 禗d x0
=
lim f (x10
Dd? 0
D x1, x20 + D x2 ) - f (x10, x20 ) d
第二章 优化设计的数学基础
机械优化设计是建立在多元函数的极值理论基 础上
无约束优化问题就是数学上的无条件极值问题 约束优化问题则是数学上的条件极值问题
一.多元函数的方向导数与梯度
1. 方向导数
1)函数的偏导数就是这个函数对自变量的变化率。
二元函数f (x1, x2 ) 在 X 0 (x10, x20 ) 处的偏导数定义为
?f 禗x1 x0
=
lim f (x10
Dx1? 0
D x1, x20 ) - f (x10, x20 ) x1
?f 禗x2 x0
=
lim f (x10, x20
Dx2? 0
D x2 ) - f (x10, x20 ) x2
n 元函数f (X ) 在X 0 = 轾 犏 臌x1(0)
x
(0 2
)
L
x
(
x12
+
x
2 2
-
4x1
- 2x2
+
5在x0 =
轾 犏 臌0
T
0
处
函数变化率最大的方向和数值
函数的梯度方向和模 ? f (x0 )
轾 犏¶ f 犏 犏¶ x1 犏¶ f 犏 臌¶ x2
=
轾 犏2x1 犏 臌2x2 -
4 2
x0
=
轾 犏 犏 臌-- 42
? f (x0 )
骣 珑 珑 桫抖抖xf1
2
鼢 鼢+
2. 用矩阵形式表示以上函数，并写出海赛阵。
三.优化的极值条件
1. 无约束优化的极值条件 2. 等式约束优化的极值条件 3. 不等式约束优化的极值条件
2019/12/25
18
1. 无约束优化问题的极值条件
极值条件就是指目标函数取得极小值时极值点所 应满足的条件
任何一个单值、连续、可微分的不受任何约束的 一元函数f(x)在点(x0)处有极值的充分必要条件是
?2f L 抖x1 xn
?2f L 抖x2 xn MM
正定
?2f
L
¶ x22 x0
即其各阶主子式均大于零
2. 等式约束优化问题的极值条件
(1) 求解等式约束优化问题
min f (x1, x2,L , xn ) hk (x) = 0 (k = 1, 2,L ,l )
(2) 思路：将其转化为无约束优化问题，有两种 常用的方法:
f x2
轾 犏D x1 x0 犏 犏 臌D x2
+
1 2!
轾 犏 臌D
x
1
轾 犏 抖2 f D x2 犏 犏 犏 犏¶抖x2f12
犏 臌抖x2 x1
2f
抖x1 x2 2f
轾 犏 犏 犏 臌DD
x1 x2
+L
¶
x
2 2
x0
(2) 若f(x1,x2)在(x10,x20)处取得极小值，则要求其附近的一切点 均须满足
(1) 消元法（降维法） (2) 拉格朗日乘子法（升维法）
①消元法（降维法）
对于n维问题，可由l个约束方程将n个变量中的前l 个变量用其余n－l个变量表示，即有
x1 = j 1 (xl+ 1, xl+ 2,L , xn )
x2 = j 2 (xl+ 1, xl+ 2,L , xn )
M
M
xl = j l (xl+ 1, xl+ 2,L , xn )
将这些函数关系代入到目标函数中，从而得到只
含 xl+1,xl+ 2,L ,xn 的共n－l个变量的函数
F(xl+ 1, xl+ 2,L , xn )
就可以利用无约束优化问题的极值条件求解。
通过增加变量将等式约束优化问题变成无约束优化 问题。所以又称作升维法
对于具有l个约束的N维问题 min f (x1, x2,L , xn )
0轾 犏 犏 犏 臌DDDxxx211D+x 2L+
2 ÷÷÷÷÷ 抖2f ? 2抖f x1 x2
Dx x22 x0
= x220÷÷÷÷÷÷+
2f 抖x2 x1 L
x0
其中Dx1 ? x1
犏 臌抖x1x0， 2 xD1x2
?¶
x
2 22
xx020
G (x0 )矩阵为对称矩阵
= f (x 0 ) + 袲f (x 0 )T
¶ 2f ¶ x12 x0 > 0
G (x0 ) =
轾 犏 犏 犏¶抖x2 f12 犏 犏 犏 臌抖x抖22 fx 1
2f
抖x1 x2 > 0 2f
¶
x
2 2
x0
(4) 二元函数在某点处取得极值的充分条件是要求在 该点处的海赛矩阵为正定
多元函数取得极值的充要条件
以此类推，对于多元函数f (x1, x2,L , xn )，若在点(x *)处取得极值，
f (x1, x2 ) - f (x10, x20 ) > 0
1 2
轾 犏 臌D
x1
轾 犏 抖2 f
Dx2
犏 犏¶ x12 犏 犏 犏 臌抖x抖22 fx 1
2f
抖x1 x2 2f
轾 犏D x1 犏 犏 臌D x2
>
0
¶
x
2 2
x0
抖2 f 抖x12
D
x
2 1
+
2
2f 抖x1 x2
D x1D x2
+
x20
抖f
f
?f
抖d x0 =
x1
cos q1 +
x0
?x2
cos q2
x0
O
x
d
x2
x0
2
x1
1
x10
x1
n元函数的方向导数 二维空间中的方向
å 抖f
f
抖f
f
n ?f
抖d x0 =
x1
cos q1 +
x0
抖x2
cos q2
x0
+
L
+
xn
cos qn
x0
=
i=1 ?xi
cos qi
x0
2. 二元函数的梯度
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
x2
f(x0)
最速上升方向
x0
－f(x0) 最速下降方向
下降方向
上升方向 变化率为零的方向
O
x1
梯度方向与等值线的关系
3.多元函数的梯度
将二元函数推广到多元函数，对于多元函数 f(x)在X0处的梯度，可表示为
1 轾 犏 犏 犏 臌20
G(x0 )(x - x0 )
0 2
轾 犏x1 犏 犏 臌x2 -
2 1
=
(x1 -
2)2 + (x2 -
1)2
课堂作业
1. 计算 f ( X ) x13 x1x22 5x1 6 在 X 0 1,1 T沿 s [1,2]T
引入拉格郎日乘子 l 函数
k
(k
=
1, 2,L ,l )
构成一个新的目标
l
å F (x, l ) = f (x ) + l khk (x )
k=1
将其作为一个新的无约束条件的目标函数来求解它 的极值点，所得结果就是原等式约束问题的极值点。
新的目标函数具有极值点的必要条件为
海赛矩阵
轾 犏 抖2 f 犏 犏 犏 犏 ¶抖x2 f12 G (x0 ) = 犏 犏 犏 犏抖x2Mx1 犏 犏 犏 犏 臌抖x抖n2 f x 1
2f
抖x1 x2
2f
¶
x
2 2
M
2f 抖xn x2
?2f L 抖x1 xn
?2f L 抖x2 xn MM
?2f
L
¶
x
2 n
x0
例题（一）
求二元函数f (x1, x2 ) =
x0
=
轾 犏 犏 臌抖抖xf1
fT x2 x0
称为函数f (x1, x2 )在x0 (x10, x20 ) 处的梯度
d
=
轾 犏cos q1 犏 犏 臌cos q2
称为d 方向单位向量
¶f ¶d
x0
=
?
f (x 0 )T d
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
¶F = 0 (i = 1, 2,L , n)
¶ xi
¶F ¶l k
=
hk (x ) =
0
(k
=
1, 2,L ,l)
一共可得n+l个方程，从而可解得(x,)共n+l个未知
变量的值。由上述方程组求得的x*即为原等式约束
优化问题的极值点。
x * = [x1* x2* L xn* ]T
等效证明： 二维问题
n
0
)
T
处
沿各坐标轴的一阶偏导数或变化率分别为
( ) ( ) ( ) 抖f x(0) f x(0)
?f x(0)
抖x1 ， x2 ，L ， ?xn
2) 二元函数的方向导数
即沿某一方向d 的变
化率，定义为
x2
d
?f
3.方关向系导数与偏导数的 禗d x0
=
lim f (x10
Dd? 0
D x1, x20 + D x2 ) - f (x10, x20 ) d
第二章 优化设计的数学基础
机械优化设计是建立在多元函数的极值理论基 础上
无约束优化问题就是数学上的无条件极值问题 约束优化问题则是数学上的条件极值问题
一.多元函数的方向导数与梯度
1. 方向导数
1)函数的偏导数就是这个函数对自变量的变化率。
二元函数f (x1, x2 ) 在 X 0 (x10, x20 ) 处的偏导数定义为
?f 禗x1 x0
=
lim f (x10
Dx1? 0
D x1, x20 ) - f (x10, x20 ) x1
?f 禗x2 x0
=
lim f (x10, x20
Dx2? 0
D x2 ) - f (x10, x20 ) x2
n 元函数f (X ) 在X 0 = 轾 犏 臌x1(0)
x
(0 2
)
L
x
(
x12
+
x
2 2
-
4x1
- 2x2
+
5在x0 =
轾 犏 臌0
T
0
处
函数变化率最大的方向和数值
函数的梯度方向和模 ? f (x0 )
轾 犏¶ f 犏 犏¶ x1 犏¶ f 犏 臌¶ x2
=
轾 犏2x1 犏 臌2x2 -
4 2
x0
=
轾 犏 犏 臌-- 42
? f (x0 )
骣 珑 珑 桫抖抖xf1
2
鼢 鼢+
2. 用矩阵形式表示以上函数，并写出海赛阵。
三.优化的极值条件
1. 无约束优化的极值条件 2. 等式约束优化的极值条件 3. 不等式约束优化的极值条件
2019/12/25
18
1. 无约束优化问题的极值条件
极值条件就是指目标函数取得极小值时极值点所 应满足的条件
任何一个单值、连续、可微分的不受任何约束的 一元函数f(x)在点(x0)处有极值的充分必要条件是
?2f L 抖x1 xn
?2f L 抖x2 xn MM
正定
?2f
L
¶ x22 x0
即其各阶主子式均大于零
2. 等式约束优化问题的极值条件
(1) 求解等式约束优化问题
min f (x1, x2,L , xn ) hk (x) = 0 (k = 1, 2,L ,l )
(2) 思路：将其转化为无约束优化问题，有两种 常用的方法:
f x2
轾 犏D x1 x0 犏 犏 臌D x2
+
1 2!
轾 犏 臌D
x
1
轾 犏 抖2 f D x2 犏 犏 犏 犏¶抖x2f12
犏 臌抖x2 x1
2f
抖x1 x2 2f
轾 犏 犏 犏 臌DD
x1 x2
+L
¶
x
2 2
x0
(2) 若f(x1,x2)在(x10,x20)处取得极小值，则要求其附近的一切点 均须满足
(1) 消元法（降维法） (2) 拉格朗日乘子法（升维法）
①消元法（降维法）
对于n维问题，可由l个约束方程将n个变量中的前l 个变量用其余n－l个变量表示，即有
x1 = j 1 (xl+ 1, xl+ 2,L , xn )
x2 = j 2 (xl+ 1, xl+ 2,L , xn )
M
M
xl = j l (xl+ 1, xl+ 2,L , xn )
将这些函数关系代入到目标函数中，从而得到只
含 xl+1,xl+ 2,L ,xn 的共n－l个变量的函数
F(xl+ 1, xl+ 2,L , xn )
就可以利用无约束优化问题的极值条件求解。
通过增加变量将等式约束优化问题变成无约束优化 问题。所以又称作升维法
对于具有l个约束的N维问题 min f (x1, x2,L , xn )
0轾 犏 犏 犏 臌DDDxxx211D+x 2L+
2 ÷÷÷÷÷ 抖2f ? 2抖f x1 x2
Dx x22 x0
= x220÷÷÷÷÷÷+
2f 抖x2 x1 L
x0
其中Dx1 ? x1
犏 臌抖x1x0， 2 xD1x2
?¶
x
2 22
xx020
G (x0 )矩阵为对称矩阵
= f (x 0 ) + 袲f (x 0 )T
¶ 2f ¶ x12 x0 > 0
G (x0 ) =
轾 犏 犏 犏¶抖x2 f12 犏 犏 犏 臌抖x抖22 fx 1
2f
抖x1 x2 > 0 2f
¶
x
2 2
x0
(4) 二元函数在某点处取得极值的充分条件是要求在 该点处的海赛矩阵为正定
多元函数取得极值的充要条件
以此类推，对于多元函数f (x1, x2,L , xn )，若在点(x *)处取得极值，
f (x1, x2 ) - f (x10, x20 ) > 0
1 2
轾 犏 臌D
x1
轾 犏 抖2 f
Dx2
犏 犏¶ x12 犏 犏 犏 臌抖x抖22 fx 1
2f
抖x1 x2 2f
轾 犏D x1 犏 犏 臌D x2
>
0
¶
x
2 2
x0
抖2 f 抖x12
D
x
2 1
+
2
2f 抖x1 x2
D x1D x2
+
x20
抖f
f
?f
抖d x0 =
x1
cos q1 +
x0
?x2
cos q2
x0
O
x
d
x2
x0
2
x1
1
x10
x1
n元函数的方向导数 二维空间中的方向
å 抖f
f
抖f
f
n ?f
抖d x0 =
x1
cos q1 +
x0
抖x2
cos q2
x0
+
L
+
xn
cos qn
x0
=
i=1 ?xi
cos qi
x0
2. 二元函数的梯度
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
2)二元函数梯度的几何解释
x2
f(x0)
最速上升方向
x0
－f(x0) 最速下降方向
下降方向
上升方向 变化率为零的方向
O
x1
梯度方向与等值线的关系
3.多元函数的梯度
将二元函数推广到多元函数，对于多元函数 f(x)在X0处的梯度，可表示为
1 轾 犏 犏 犏 臌20
G(x0 )(x - x0 )
0 2
轾 犏x1 犏 犏 臌x2 -
2 1
=
(x1 -
2)2 + (x2 -
1)2
课堂作业
1. 计算 f ( X ) x13 x1x22 5x1 6 在 X 0 1,1 T沿 s [1,2]T