最优化计算方法(工程优化)第4章
第4章 用最优化方法解决参数估计问题
= =
a0 a0
+ +
a1 x1 a1 x2
+
a2
x
2 1
+
a2
x
2 2
⎫ ⎪ ⎬
P(x3 )
=
a0
+
a1 x3
+
a
2
x
2 3
⎪ ⎭
插值法
对多项式求导数，并令其为零，得
P' (x) = a1 + 2a2 x = 0
x min
=
− a1 2a2
上式就是计算近似极小点的公式。为了确定这个极
小点只需算出a1和a2。
此时，若在 xk−1与 xk 之间的中点进行第k+1点的计 算，即取 x k +1 = ( x k −1 + x k ) / 2
这样共得四个等间距的点 xk−2 , xk−1, xk , xk+1 ,它们之 间的间距为 d 当 Q(x1) > Q(x2 ) 时 d = 2 k −3 h ;当 时 Q(x1) < Q(x2 ) ，d = 2k−4 h。比较这四个点的函数 值，取函数值最小的xb,则 xa = xb − d , xc = xb + d ， 这样就可以得三点x a , x b , x c ，以便于构成二次插
x1 x2
= =
a0 b0
+ −
λ (b0 λ (b0
− −
a0 a0
)⎫ )⎭⎬
分割法
且希望经过分割后其保留点仍处于留下区间的相应位置
上，即 x1在 [a 0 , b0 ]中的位置与x2在[a1,b1 ]中相仿,且比值相等
(6.2.2)
最优化设计 课后习题答案
最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P27习题2、4、643第三章最速下降法和牛顿法P41习题1，2，374第四章共轭梯度法P51习题1，3，6(1)105第五章拟牛顿法P73-2126第六章信赖域方法P86-8147第七章非线性最小二乘问题P98-1，2，6188第八章最优性条件P112-1，2,5,6239第九章罚函数法P132，1-(1)、2-(1)、3-(3),62610第十一章二次规划习题11P178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4 1.验证下列各集合是凸集:(1)S={(x1,x2)|2x1+x2≥1,x1−2x2≥1};需要验证：根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1−λ)y∈S.即,(λx1+(1−λ)y1,λx2+(1−λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，{2x1+x2≥1,x1−2x2≥12y1+y2≥1,y1−2y2≥1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1−λ,然后再相加，即得λ(2x1+x2)+(1−λ)(2y1+y2)≥1,λ(x1−2x2)+(1−λ)(y1−2y2)≥1(2)合并同类项，2(λx1+(1−λ)y1)+(λx2+(1−λ)y2)≥1,(λx1+(1−λ)y1)−2(λx2+(1−λ)y2)≥1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x)=x21−2x1x2+x22+2x1+3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。
工程优化方法及应用 第四章1-2节
2 x x -0f x 1/2
1 0 0
Page 8
第2次迭代：
-1 f x , -2
1
|| f x1 || 5 0.5,
1
2+1 x x -1f x = 1/2+2 1 ( )=f x1 -f x1 =f 2+ ,1/2+2
2、其基本思想和逻辑结构可以推广到约束问题；
3、约束问题可以转化成无约束问题求解。
f ( x), x D min f ( x) min F ( x), 其中F ( x) n xD 类
解析法：对简单问题，求解必要条件或充分条件； 零阶法：只需计算函数值 f(x) 迭代算法 一阶法：需计算 ▽f(x) 梯度法 二阶法：需计算 ▽2f(x) 建立迭代算法的关键：确定迭代格式
3
5/2+22 3 x x -2f ( x )= = ， 3/2 2 5/4
继续迭代可得到函数的近似最优解。
Page 10
2 2 例 用最速下降法求函数 f ( x1 , x2 )＝x1 的极小点（迭代两 4 x2 T 次）。 并验证相邻两个搜索方向是正交的。初始点 x 0 1,1 。
No
Page 6
Yes stop. x* =xk
dk= －▽f(xk ) min f(xk+λdk) s.t. λ >0 得最佳步长因子λk 令： xk+1=xk+λkdk 解
最速下降法的算例
取 x 0 1,1T , =0.5. 解：函数的梯度为
Page 7
2 2 min f ( x ) x 2 x 例 利用最速下降法求解 1 2 2 x1 x2 4 x1 ,
最优化方法 第四章(遗传算法)
一、遗传算法简介
达尔文 (Darwin) 的进化论：自然选择原理
自然选择就是指生物由于环境中某些因素的影响而使得
有利于一些个体的生存，而不利于另外一些个体生存的
演化过程：物竞天择，适者生存 遗传：子代和父代具有相同或相似的性状，保证物种的 稳定性； 变异：子代与父代，子代不同个体之间总有差异，是生 命多样性的根源；
选择运算 个体评价 交叉运算
变异运算
群体p(t+1)
解
码
解集合
二、标准遗传算法
标准遗传算法的主要步骤
Step1 根据优化问题的特点对优化变量进行编码，随机产 生一组初始个体构成初始种群,并评价每一个个体的适配值; Step2 判断算法收敛准则是否满足。若满足则输出搜索结果； 否则执行以下步骤; Step3 根据适配值大小以一定方式进行复制(选择)操作; Step4 按交叉概率 pc 执行交叉操作; Step5 按变异概率 pm 执行变异操作; Step6 更新种群，返回Step2.
二、标准遗传算法
标准遗传算法算例---手工计算
max
s .t.
2 f x1 , x2 x12 x2
x1 0,1 7 x2 0,1 7
编码：二进制编码 基因型X= 1 0 1 1 1 0 对应的表现型是：X= 5, 6
二、标准遗传算法 ① ② 个体编号 初始群体 i P(0) 1 2 3 4 011101 101011 011100 111001 ③ x1 3 5 3 7 ④ x2 5 3 4 1 ⑤ f(x1,x2) 34 ∑fi=143 34 fmax=50 25 f=35.75 50 ⑥ f i/ ∑ f i 0.24 0.24 0.17 0.35
最优化计算方法(工程优化)第1章
最优化在物质运输、自动控制、机械设计、采矿冶金、经 济管理等科学技术各领域中有广泛应用。下面举几个简单的实 例。
例1：把半径为1的实心金属球熔化后，铸成一个实心圆柱体， 问圆柱体取什么尺寸才能使它的表面积最小？
解：决定圆柱体表面积大小有两个决策变量：圆柱体底面半 径r、高h。
问题的约束条件是所铸圆柱体重量与球重相等。即
优化模型的分类
根据问题的不同特点分类
一般的约束优化问题
标准形式
min
xRn
f
x
s.t. gi x 0, i 1, 2, , m
1） gi x 0 -gi x 0
2）
hi
x
0
hi x 0
-hi
x
0
优化模型的分类
根据函数类型分类
线性规划：目标函数、约束条件都是线性的 非线性规划：目标函数、约束条件中的函数不全是线性
yi
a1
1
a3
ln 1
a2 exp
xi
a4 a5
最优化问题举例
例3已：知有从一v旅i 到行团v j从的v旅0费出为发要cij遍，游问城应市如何v1安, v排2 行,..程.,使vn总 ，
费用最小？
模型：
变量—是否从i第个城市到第j个城市
xij 1, 0;
约束—每个城市只能到达一次、离开一次
因此，我们在学习本课程时要尽可能了解如何 由实际问题形成最优化的数学模型。
数学模型: 对现实事物或问题的数学抽象或描述。
最优化问题的数学模型与分类
数学模型的建立
建立数学模型时要尽可能简单，而且要能完整地描 述所研究的系统。
过于简单的数学模型所得到的结果可能不符合实际情 况；而过于详细复杂的模型又给分析计算带来困难。
最优化计算方法课后习题答案----高等教育出社。施光燕
习题二包括题目： P36页 5（1）（4）5（4）习题三包括题目：P61页 1(1)(2); 3; 5; 6; 14；15(1) 1(1)(2)的解如下3题的解如下5,6题14题解如下14. 设22121212()(6)(233)f x x x x x x x =+++---, 求点在(4,6)T-处的牛顿方向。
解：已知 (1)(4,6)T x=-，由题意得121212212121212(6)2(233)(3)()2(6)2(233)(3)x x x x x x x f x x x x x x x x +++-----⎛⎫∇= ⎪+++-----⎝⎭∴ (1)1344()56g f x -⎛⎫=∇=⎪⎝⎭21212122211212122(3)22(3)(3)2(233)()22(3)(3)2(233)22(3)x x x x x x x f x x x x x x x x +--+--------⎛⎫∇= ⎪+--------+--⎝⎭∴ (1)2(1)1656()()564G x f x --⎛⎫=∇=⎪-⎝⎭(1)11/8007/400()7/4001/200G x --⎛⎫= ⎪--⎝⎭∴ (1)(1)11141/100()574/100d G x g -⎛⎫=-=⎪-⎝⎭15（1）解如下15. 用DFP 方法求下列问题的极小点（1）22121212min 353x x x x x x ++++解：取 (0)(1,1)T x=，0H I =时，DFP 法的第一步与最速下降法相同2112352()156x x f x x x ++⎛⎫∇= ⎪++⎝⎭， (0)(1,1)T x =，(0)10()12f x ⎛⎫∇= ⎪⎝⎭(1)0.07800.2936x -⎛⎫= ⎪-⎝⎭， (1)1.3760() 1.1516f x ⎛⎫∇= ⎪-⎝⎭以下作第二次迭代(1)(0)1 1.07801.2936x x δ-⎛⎫=-= ⎪-⎝⎭， (1)(0)18.6240()()13.1516f x f x γ-⎛⎫=∇-∇= ⎪-⎝⎭0110111011101T T T TH H H H H γγδδδγγγ=+- 其中，111011126.3096,247.3380T T TH δγγγγγ===111.1621 1.39451.3945 1.6734Tδδ⎛⎫= ⎪⎝⎭ ， 01101174.3734113.4194113.4194172.9646T TH H γγγγ⎛⎫== ⎪⎝⎭所以10.74350.40560.40560.3643H -⎛⎫= ⎪-⎝⎭(1)(1)1 1.4901()0.9776dH f x -⎛⎫=-∇= ⎪⎝⎭令 (2)(1)(1)1xx d α=+ ， 利用 (1)(1)()0df x d d αα+=，求得 10.5727α=-所以 (2)(1)(1)0.77540.57270.8535xx d⎛⎫=-= ⎪-⎝⎭ ， (2)0.2833()0.244f x ⎛⎫∇= ⎪-⎝⎭以下作第三次迭代(2)(1)20.85340.5599x x δ⎛⎫=-= ⎪-⎝⎭ ， (2)(1)2 1.0927()()0.9076f x f x γ-⎛⎫=∇-∇= ⎪⎝⎭22 1.4407T δγ=- ， 212 1.9922T H γγ=220.72830.47780.47780.3135T δδ-⎛⎫=⎪-⎝⎭1221 1.39360.91350.91350.5988T H H γγ-⎛⎫= ⎪-⎝⎭所以22122121222120.46150.38460.38460.1539T T T TH H H H H δδγγδγγγ-⎛⎫=+-= ⎪-⎝⎭(2)(2)20.2246()0.1465d H f x ⎛⎫=-∇= ⎪-⎝⎭令 (3)(2)(2)2xxdα=+ ， 利用(2)(2)()0df x d d αα+=，求得 21α=所以 (3)(2)(2)11x x d ⎛⎫=+=⎪-⎝⎭， 因为 (3)()0f x ∇=，于是停止 (3)(1,1)T x =-即为最优解。
工程优化方法-第1章 极值理论与最优化问题的数学表达
f ( X *) 0
展开式：
f ( X * X ) f ( X *) f ( X *)T X 1 X T H ( X *)X 2
f ( X * X ) f (X *) 1 X T H (X *)X 0 2
f ( X * X ) f ( X *)
可见，通过梯度为零点的海辛矩阵是否是正定可 以判别是否是极小点。
j
h11, h12,
H
hn1, hn2,
, h1n
, hnn
nn
nn
hij x j xi
hij x j xi
[ i1 j1
, i1 j1
,
x1
x2
nn
hij x j xi
, i1 j1
]T
xn
n
n
n
n
n
n
[ h1 j x j hi1xi , h2 j x j hi2xi , , hnj x j hin xi ]T
j 1
(1 5)
L( X ,W ,) xi
f ( X ) xi
m
j
j 1
g j ( X ) xi
0
L( X ,W ,)
w j
2 jwj
0
L( X ,W
j
,)
g
j(X
)
w2j
0
由上式可推导：
f ( X )
xi
jg j(X )
m
j
j 1
0
g j ( X xi
)
0
j 0
(1 6)
求极小问题的 j 取值推导：
梯度方向是函数值变化率最大方向证明：
证明：设X为任意迭代点，设沿任意迭代方向移动到新点：
最优化方法(刘)第四章
阻尼牛顿法收敛定理
定理2: 设 f ( x) 二阶连续可微， 又设对任意的x0 ∈Rn , 存在常数m > 0, 使得 f ( x) 在 L ={x f (x) ≤ f (x0 )} 2 T 2 上满足： ∇ f ( x)µ ≥ m µ ,∀ ∈Rn , x∈L( x0 ) µ µ 则在精确线搜索条件下， 阻尼牛顿法产生的点列 {xk } 满足： (1) 当{xk } 是有限点列时， 其最后一个点为 f ( x) 的唯一极小点． (2)当{xk } 是无限点列时， 收敛到 f (x) 的唯一极小点．
) x0 = (9,1
T
g0 = ∇ ( x0 ) = (9,9) f
T
T 7.2 7.2 g0 g0 x = x0 − T g0 = 1 −0.8 g1 = −7.2 g0 G 0 g T 9×0.82 g1 g1 x2 = x − T g1 = 1 2 (−1 ×0.82 g1 G 1 g )
9 1 0 x = x0 −G g0 = − 1 1 0 9
1 − 0 −1
9 0 = = x* 9 0
牛顿法收敛定理
定理1: 设 f ( x) 二次连续可微， *是 f ( x) 的局 x 部极小点， f (x* ) 正定． 假定 f ( x) 的海色阵 ∇
gk →0 .
证明： 对于最速下降法， k = 0, 由以上定理立得． θ
收敛性分析
定理2: 设 f ( x) 二次连续可微， ∇2 f ( x) ≤ M, 且 其中 M是个正常数， 对任何给定的初始点 x0, 最速下降算法或有限终止， 或者lim f ( xk ) = −∞ ,
k→ ∞
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
• 但对一般n元函数 f(x) 来说，由条件 f (x) 0 得到的是一个
非线性方程组，解它相当困难。
这里用到的一阶必要条件就是最优性条件。
所谓最优性条件，是指最优化问题的最优解所要满足的 必要条件或充分条件。
这些条件对于最优化算法的建立和最优化理论的推导都是 至关重要的。
无约束优化的最优性条件----一阶必要条件
定理(一阶必要条件)
设 f : Rn R ，若 x 为 f (x) 的局部极小点，且在 N (x*)
最速下降法的迭代格式
(1) 选定某一初始点 x1 ， 0 并令 k: 1 (2) 若 f (xk ) , x* xk，否则转（3）；
f
(x)
，此时由f
(x)T
p
f
(x)
可得
p
f (x) f (x)
最速下降法
最速下降法是求多元函数极值的最古老的数值算 法，早在1847年法国数学家Cauchy提出该算法，后来 Curry作了进一步的研究。
该方法直观，简单，计算方便，而且后来的一些新的 有效的方法大多数是对它的改进，或受它的启发而得到 的。
• 为此，常直接使用迭代法。
根据迭代点是否 沿某个方向产生
线搜索方法：迭代点沿某方向产生 信赖域方法：迭代点在某区域内搜索产生
线搜索迭代法的步骤
(1) 选定某一初始点 x1 ，并令 k: 1.
(2) 确搜索方向 d k .
(3) 从 xk 出发，沿方向 d k 求步长 k ，以产生下一个迭代点
xk +1. (4) 检查得到的新点 xk +1是否为极小点或近似极小点。
若是，则停止迭代。
否则，令k: k 1，转(2)继续进行迭代。
在以上步骤中，选取步长可选用精确一维搜索或者非精确一 维搜索，
下降方向的选取正是下面我们要介绍的，下降方向选取的不 同，得到不同的算法。
最速下降法
负梯度方向
这是函数值减少 最快的方向
假设 f 连续可微，
d k f (xk )
f
(xk
k d k )
min 0
f
(xk
dk )
步长 k由精确一维搜索得到。
从而得到第 k+1次迭代点，即
xk1 xk +k d k xk kf (xk )
最速下降法 负梯度方向d k f (xk )是函数值减少最快的方向 ？
令 p 是单位长度的向量， p 1, 0,
第4章 无约束最优化方法
• 最优性条件 • 最速下降法 • 牛顿法及其阻尼牛顿法 • 共轭方向法 • 共轭梯度法 • 变尺度法（DFP算法和BFGS算法）
无约束最优化问题：
min f (x) f : Rn R
(1)
目的是找 Rn 中的一点 x* ，使对x Rn ，均有 f (x*) f (x) ，称 x * 为(1)的全局极小点。
无约束优化方法
本章介绍解析法
收敛速度快，需要计算梯度或者Hesse矩阵
可求得目标函数的梯度时使用解析法
直接法：仅利用函数值的信息，寻找最优解
不涉及导数，适用性强，但收敛速度慢
在不可能求得目标函数的梯度或偏导数时使用直接法
最优性条件(Optimality Conditions)
解析法要用到目标函数的梯度或者Hesse矩阵，容易想到 利用一阶必要条件将无约束优化问题转化成一个梯度为0确定 的方程组。
在点 x1, x2, x3, x4 处的Hesse阵依次为：
2
f
x1
2 0
02 ,
2
f
x2
2 0
0
2
,
2
f
x3
2 0
0 2
,2
f
x4
2 0
0 2 .
1
1 1 1
x1
0
,
x2
2
,
x3
0
,
x4
2
.
无约束优化的最优性条件
2
f
x1
2 0
0 2 ,
2
f
x4
定理(一阶必要条件)
设 f : Rn R 是严格凸函数且在 x 处连续可微，若 f (x*) 0, 则 x 为 f (x) 的唯一全局极小点。
无约束优化的最优性条件
例： 利用最优性条件求解下列问题：
解：
min
f
x
1 3
x13
1 3
x23
x22
x1
f x1
x12 1,
f x2
x22 2x2,
求解 (1)的计算方法称为无约束最优化方法。
最优化方法中的基本方法---无约束优化方法
无约束最优化方法应用广泛，理论也比较成熟； 可将约束优化问题转化为无约束优化问题来处理；
min
xD
f
(x)
min
xRn
F ( x),
其中F ( x)
f (x), x D
,
others.
解析法：利用函数的一阶或二阶导数的方法
内连续可微，则
f (x*) 0.
无约束优化的最优性条件----二阶必要条件
定理（二阶必要条件）
若 x*为f x的局部极小点，且在 N x* 内 f x 二次连续
可微，则f (x*) 0,2 f (x*) 半正定。
无约束优化的最优性条件----二阶充分条件
定理(二阶充分条件)
设 f : Rn R ，若在 N (x*) 内 f (x) 二次连续可微，且