最优化方法课件s

合集下载

最优化方法(凸集与凸函数)

{ {
} }
{
}
+ D1 ⊂ H 0 = x ∈ R n | a T x > β
− D2 ⊂ H 0
{ = {x ∈ R
n
| aT
} x < β}
+ − 则称超平面 H 严格分离 D1 和 D2 ，其中 H 0 和 H 0 分别表示
H + 和 H − 的内部
7
点到凸集的投影
是凸集，设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则的距离最小，（1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
α 1 x (1) + α 2 x ( 2 ) ――― α 1 x (1) + α 2 x ( 2 ) + α 3 x ( 3 )
α 1 x (1) + α 2 x ( 2 ) ――― α 1 x (1) + α 2 x ( 2 ) + α 3 x ( 3 )
4
是凸集，设 D ⊂ R n 是凸集，则任意 m 个点 x ( i ) ∈ D( i = 1,2,⋯ , m ) 的凸组合仍即有：属于 D ，即有：
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
证明：（1）证明：）（令 S = x ∈ R n | x ≤ 1 则取充分大的 µ > 0 使得
Ds = D ∩ ( y + µS ) ≠ φ
因此连续函数 f ( x ) = x − y 在 D s 上必定可以取到极小点存在性证明完毕

最优化理论与方法概述

第一页，编辑于星期五：十点四分。
1. 最优化问题
最优化问题：求一个一元函数或多元函数的极值。在微积分中，我们曾经接触过一些比较简单的极值问题。下面通过具体例子来看看什么是最优化问题。
第二页，编辑于星期五：十点四分。
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相等
、大豆粉的量（磅）。
min Z 0.0164x1 0.0463x2 0.1250x3 s.t. x1 x2 x3 100
0.380 0.380
x1 x1
0.001x2 0.001x2
Байду номын сангаас
0.002x3 0.002x3
0.012 100 0.008100
0.09x2 0.50x3 0.22100
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
解：因为
则又因为：
f X
x1
2
x1
2
x2
f X
x2
2x2
2
x1
2 x3
3
f X 2x1 2x2, 2x2 2x1 2x3 3, 2x3 2x2 T
f X
x3
2
x3
恒有 f x* f x 则称 x*是最优化问题的整体最优解。
定义2：局部最优解：若 x* D，存在某邻域 N ( x*，) 使得对于
一切 x N ( x* ) D ，恒有 f x* f x 则称 x *是最优化问题
的局部最优解。其中 N ( x* ) { x | x x* , 0}
配料
每磅配料中的营养含量
钙
蛋白质
纤维

最优化方法第1章(4)

最优化问题的分类
对向量x=(1,–2,3)T,有 || x ||1= 6 || x ||2 = 14 ≈ 3.74166 || x ||3 = 3 36 ≈ 3.30193 || x ||∞= 3.
其中||x||p是p的单调递减函数.
根据数学模型中有无约束函数分为：无约束的最优化问题和有约束的最优化问题.
m
n
∑ ∑ Q =
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
因此,由数据拟合问题得数学模型为
m
n
∑ ∑ min
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
其中xi,yi (i=1,2,…,m) 及 ϕ j (x), j = 1, 2,L, n 已知.
最优化问题的一般形式为:
P: min f ( x) s.t. hi (x) = 0, i = 1, 2,L, m g j (x) ≥ 0, j = 1, 2,L, p
26
可行点列的产生在xk处求得一个方向pk(下降方向),在射线 xk+αpk (α >0) 上求一点：xk+1=xk+αk pk , 使得 f (xk+1)≤f (xk), 其中αk 称为步长.
定义1.2.1(下降方向) 在点xk处,对于方向pk≠0, 若存在实数b>0,使得任意的α∈(0,b),都有 f (xk+αpk)<f (xk), 则称pk为函数f (x)在点xk处的一个下降方向.
44
则总支出可表示为: S = ∑ ∑ cij xij i=1 j=1

最优化方法第二讲单纯形法

XB,XN 0
令 xˆ x d ，其中 0 ，取搜索方向 d (B1Am ,0, ,0,1,0, ,0) (a1k , amk ,0, ,0,1,0, ,0) 其非基变量（自由求知量）中第 k 个非基变量取值为 1，其它为 0。故 xˆ x d = B1b a jk , 由于 x 0 ，可知 xˆ 0 为可行解。当时，目标值 cxˆ cB1b k 。
17
换入变量和换出变量的确定：
换入变量的确定— 最大减小原则
假设检验向量 N CN CBB1N ( m1, m2,, n )
若其中有两个以上的检验数为负，那么为了使目标函数值下降得快些，通常要用“最大减小原则”，即选取最小负检验数所对应的非基变量为换入变量，即若
min j j 0, m 1 j n mk
0, 1
i
m
( B1b)l ( B1Pmk )l
则选取对应的基变量 Xl 为换出变量。
19
4. 用初等变换求改进了的基本可行解——旋转运算
假设Ｂ是线性规划 min z CX , AX b, X 的0 可行基，则
AX
b
(B
N )
XB XN
b
(I , B1N )
XB XN
B1b
令非基变量 XN 0 ，则基变量 XB B1b。
。
（3）移至目标函数值有所改善的另一个基本
可行解，然后转会到步骤（2）。
3
其步骤如下：找出一个初始可行解
是否最优
是
最优解
循
环
否
结束
转移到另一个目标函数（找更小的基本可行解）
直到找出为止，核心是：变量迭代
4
1 确定初始的基本可行解
确定初始的基本可行解等价于确定初始的可行基，一旦初始的可行基确定了，那么对应的初始基本可行解也就唯一确定.

第一次最优化方法

最优化研究什么？
• 有选择的地方就有优化：田忌赛马 • 讨论在众多的方案中什么样的方案
最优以及怎样找出最优方案
➢ 城建规划：如何安排工厂、机关、学
校、商店、医院、住户和其他单位的布局，方能方便群众，利于城市的房展 ➢食谱问题：保证营养要求条件下最经济
1
课本与教辅材料：
• 陈宝林，最优化理论与算法(第二版)，清华大学出版社
先修课程：线性代数，高等数学，最好会某种高级语言
15
Chap 1 预备知识
一、最优化问题的一般形式：
minf(x)
xRn
s.t.ci(x)0, i 1,...m, e;
(p)
ci(x)0, i me 1,...m, .
决策变量，目标函数，约束函数（等式，不等式）。
16
二、可行点与可行域称满足约束条件的点为可行点称可行点全体组成的集合为可行域, 记为D
变量：
的产品数量
6
目标函数：产量约束：销量约束：非负约束：
问题中目标和约束函数都是线性函数, 称此类型的问题为线性规划问题.
7
优化实例2：选址问题(facility location problem) 已知：有n个市场 j，个第市场的位 (aj,置 bj )为 ,
对某种货物的 q需j(j要 1,量 2,是 ,n) 计划 m 个建货立 i个栈货，栈第 ci(i的 1,2, 容 ,m ).量
n
s.t.
W ijci, i1,2 ,m
j1
m
Wij qj, j1,2,n
i1
货栈的容量市场的需要量
W i j0 , i 1 ,2 ,m ;j 1 ,2 n

最优化方法第三章(罚函数法)

这种惩罚策略，对于在无约束的求解过程中企图违反约
束的迭代点给予很大的目标函数值，迫使无约束问题的极小点或者无限地向可行域D靠近，或者一直保持在可行域D内移动，直到收敛到原来约束最优化问题的极小点。
不改变可行域局部极小值，可以将约束域之外的局部极小值变大。
p ( x) 0, x D p ( x) 0, x D
k k
k 1
k 1
xk 1是F x, M k 1 的最优解.
k 1 k k 1 k 0 M k 1 M k p ( x ) p ( x ) p ( x ) p ( x )
M k 1 M k
(3) f ( x k 1 ) M k p( x k 1 ) F ( x k 1 , M k ) F ( x k , M k ) f ( x k ) M k p( x k )
gi ( x) gi ( x) max gi ( x), 0 = 罚函数p(x)的构造 2 m l p( x) (max gi ( x), 0) 2 h 2 j ( x)
i 1 j 1
(1) p(x)连续 (2) p( x) 0, x D (3) p( x) 0, x D
二、外点法外点罚函数法算法步骤 1：给定初始点 x 0 ，初始罚因子M1 0 (可取M1 1 ), 精度 0, k : 1. 2：以 x k 1初始点，求解无约束优化问题
min F ( x, M k ) f ( x) M k p( x)
得到极小点 x* ( M k )，记为 x k ，其中
p( x) (max gi ( x), 0) h 2 j ( x)
2 i 1 j 1 m l

多目标优化方法及实例解析ppt课件

mZ a x(X ) （1）
s.t. (X )G（2）
是与各目标函数相关的效用函数的和函数。
在用效用函数作为规划目标时，需要确定一组权值 i
来反映原问题中各目标函数在总体目标中的权重，即：
k
maxii
i1
i ( x 1 , x 2 , x n ) g i ( i 1 , 2 , , m )
1(X)
g1
s .t.
( X)
2(X)
G
g2
m(X)
gm
式中： X [x 1 ,x 2 , ,x n ] T为决策变量向量。
缩写形式：
max(Zm Fi(n X)) （1） s.t. (X )G （2）
有n个决策变量，k个目标函数， m个约束方程，则：
Z=F(X) 是k维函数向量， (X)是m维函数向量； G是m维常数向量；
在图1中，max(f1, f2) .就方案①和②来说，①的 f2 目标值比②大，但其目标值 f1 比②小，因此无法确定这两个方案的优与劣。
在各个方案之间，显然：④比①好，⑤比 ④好, ⑥比②好, ⑦比 ③好……。
在整堂课的教学中，刘教师总是让学生带着问题来学习，而问题的设置具有一定的梯度，由浅入深，所提出的问题也很明确
8
二多目标规划求解技术简介
为了求得多目标规划问题的非劣解，常常需要将多目标规划问题转化为单目标规划问题去处理。实现这种转化，有如下几种建模方法。
✓ 效用最优化模型 ✓ 罚款模型 ✓ 约束模型 ✓ 目标达到法 ✓ 目标规划模型
方法一效用最优化模型（线性加权法）
思想：规划问题的各个目标函数可以通过一定的方式进行求和运算。这种方法将一系列的目标函数与效用函数建立相关关系，各目标之间通过效用函数协调，使多目标规划问题转化为传统的单目标规划问题：

最优化方法及其应用

最简单的最优化问题实际上在高等数学中已遇到，这就是所谓函数极值，我们习惯上又称之为经典极值问题．
例1.1 对边长为a的正方形铁板，在四
个角处剪去相等的正方形以制成方形无盖水槽，问如何剪法使水槽的容积最大？
一最优化问题总论
解设剪去的正方形边长为x，由题意易知，与
此相应的水槽容积为
f (x) (a 2x)2 x
小点（无约束或约束极小点）的过程比喻为向“山” 的顶峰攀登的过程，始终保持向“高”的方向前进，直至达到“山顶”．当然“山顶”可以理解
为目标函数的极大值，也可以理解为极小值，前者称为上升算法，后者称为下降算法．这两种算法都有一个共同的特点，就是每前进一步都应该使目标函数有所改善，同时还要为下一步移动的搜索方向提供有f用(X的0 ) 信f息(X．1) 如果是f (下Xk 降) 算f (法Xk，1) 则序列
一最优化问题总论
例1.3 某单位拟建一排四间的停车房，平面位置如图1.1所示．由于资金及材料的限制，围墙和隔墙的总长度不能超过 40m，为使车房面积最大，应如何选择长、宽尺寸？
x1
x2
一最优化问题总论
解设四间车房长为 x1，宽为 x2．由题意可
知面积为 f (x1, x2 ) x1 x2 且变量 x1 ，x2 ，应满足
(1.2)
X0
一最优化问题总论
Xk1 Xk tk Pk， k 0，1，2，
式中,
X
k
——前一次已取得的迭代点，在开始计算时为迭代初始点 X0；
X k1 ——新的迭代点；
Pk ——第k次迭代计算的搜索方向；
t k ——第k次迭代计算的步长因子．
一最优化问题总论
按照式（1.2）进行一系列迭代计算所根据的思想是所谓的“爬山法”，就是将寻求函数极

最优化方法Lecture2_LP基本性质

"" " "设P1, P2 , , Pk线性无关, 则k m.
P1 x1 P2 x2 Pk xk b
若k m,则B P1, P2 , , Pk 就是基.
若k m,则可从其余列向量中再挑出m k个列向量Pk1,
使P1, P2 , , Pk , , Pm线性无关。令B P1, P2 , , Pm
j 1
j 0, j 1, , l.
代入标准形
min
k
l
jcx j jcd j f x
j 1
j 1
k
s.t.
j 1, j 0, j 1, , k
j 1
j 0, j 1, , l.
1
若存在j, 使得cd j
0，则f
x
,即该问题无界.
2 对任意j, cd j 0,令 j 0, j 1, ,l得
4
5 2 5
基本解为x1
24 5
,
2 5
,
0,
0
T
.
或 B1 X B1 b
1 1
3
-2
x1 x2
6 增广矩阵
4
1 1
3 -2
6 4
初等变换
1
0
3 -5
6 -2
1 3
0
1
6 2
5
1
0
0 1
24 5 2 5
x1 24 5
x2
2 5
x(1)
24 5
x3
令
x1
x | 2
x
|
x2
|
x
| x 2
x3
y | 2
y|
x4
|

最优化方法三分法+黄金分割法+牛顿法

最优化⽅法三分法+黄⾦分割法+⽜顿法最优化_三等分法+黄⾦分割法+⽜顿法⼀、实验⽬的1. 掌握⼀维优化⽅法的集中算法；2. 编写三分法算法3. 编写黄⾦分割法算法4. 编写⽜顿法算法⼆、系统设计三分法1.编程思路：三分法⽤于求解单峰函数的最值。

对于单峰函数，在区间内⽤两个mid将区间分成三份，这样的查找算法称为三分查找,也就是三分法。

在区间[a,b]内部取n=2个内等分点，区间被分为n+1=3等分，区间长度缩短率=1 3 .各分点的坐标为x k=a+b−an+1⋅k (k=1,2) ，然后计算出x1,x2,⋯;y1,y2,⋯;找出y min=min{y k,k=1,2} ，新区间(a,b)⇐(x m−1,x m+1) .coding中，建⽴left,mid1,mid2,right四个变量⽤于计算，⽤新的结果赋值给旧区间即可。

2.算法描述function [left]=gridpoint(left,right,f)epsilon=1e-5; %给定误差范围while((left+epsilon)<right) %检查left,right区间精度margin=(right-left)/3; %将区间三等分,每⼩段长度=marginm1=left+margin; %left-m1-m2-right，三等分需要两个点m2=m1+margin; %m2=left+margin+marginif(f(m1)<=f(m2))right=m2; %离极值点越近，函数值越⼩(也有可能越⼤，视函数⽽定)。

else %当f(m1)>f(m2),m2离极值点更近。

缩⼩区间范围，逼近极值点left=m1; %所以令left=m1.endend %这是matlab的.m⽂件，不⽤写return.黄⾦分割法1.编程思路三分法进化版，区间长度缩短率≈0.618.在区间[a,b]上取两个内试探点，p i,q i要求满⾜下⾯两个条件：1.[a i,q i]与[p i,b i]的长度相同，即b i−p i=q i−a i;2.区间长度的缩短率相同，即b i+1−a i+1=t(b i−a i)]2.算法描述⾃⼰编写的：function [s,func_s,E]=my_golds(func,left,right,delta)tic%输⼊: func:⽬标函数，left,right:初始区间两个端点% delta：⾃变量的容许误差%输出: s,func_s:近似极⼩点和函数极⼩值% E=[ds,dfunc] ds,dfunc分别为s和dfunc的误差限%0.618法的改进形式：每次缩⼩区间时，同时⽐较两内点和两端点处的函数值。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

1 最优化篇开篇有益

优化模型实际问题中，人们经常遇到一类决策问题：在一系列客观或主观限制条件下，寻求使所关注的某个或多个指标达到最大（或最小）的决策。这种决策问题通常称为优化问题。解决这类问题的方法称为最优化方法，又称数学规划，它是运筹学里一个十分重要的分支。最优化问题的数学模型的一般形式为：

xfzopt （1）

sk

iRDxnkxtmjxglixhts ,,1,0 ,,1,0 ,,1,0 ..



（2）

opt（optimize）是最优化的意思，可以使求最小min（minimize）或求最大max（maximize），s.t.（subject to）是“受约束于”。

模型包含三个要素：决策变量decision bariable，目标函数objective function，约束条件constraints。（2）所确定的x的范围称为可行域feasible region，满足（2）的解x称为可

行解feasible solution，同时满足（1）（2）的解x称为最优解Optimal solution，整个可行域上的最优解称为全局最优解global optimal solution，可行域中某个领域上的最优解称为局部最优解local optimal solution。最优解所对应的目标函数值称为最优值optimum。不同优化模型的求解方法以及求解难度有很大的不同，可按如下方法对模型进行分类：（一）按有无约束条件（2）可分为： 1.无约束优化unconstrained optimization。这类问题蕴含了重要的寻优计算方法。 2.约束优化constrained optimization。大部分实际问题都是约束优化问题。（二）按决策变量取值是否连续可分为： 1.数学规划mathematical programming或连续优化continuous optmization。可继续划分为线性规划(LP)Linear programming和非线性规划(NLP) Nonlinear programming。在非线性规划中有一种规划叫做二次规划(QP)Quadratic programming，二次规划问题的目标为二次函数，约束为线性函数。 2.离散优化d-iscrete optimization或组合优化combinatorial optimization。这类优化问题中包含一种常用的优化：整数规划(IP)Integer programming，整数规划中又包含很重要的一类规划：0-1（整数）规划Zero-one programming，这类规划问题的决策变量只取0或者1。在求解组合优化问题中，出现了很多现代优化计算方法。 2

（三）按目标的多少可分为： 1.单目标规划。 2.多目标规划。（四）按模型中参数和变量是否具有不确定性可分为： 1.确定性规划。 2.不确定性规划。（五）按问题求解的特性可分为： 1.目标规划。 2.动态规划。 3.多层规划。 4.网络优化。 5.……等等。

求解软件对优化问题的求解常用的是LINGO软件和MATLAB软件，本篇的程序编写基本都是用这两个软件完成的。对于LINGO软件，线性优化求解程序通常使用单纯形法simplex method，单纯形法虽然在实际应用中是最好最有效的方法，但对某些问题具有指数阶的复杂性，为了能解大规模问题，也提供了内点算法interior point method备选（LINGO中一般称为障碍法，即barrier），非线性优化求解程序采用的是顺序线性规划法，也可用顺序二次规划法，广义既约梯度法，另外可以使用多初始点（LINGO中称multistart）找多个局部最优解增加找全局最优解的可能，还具有全局求解程序—分解原问题成一系列的凸规划。关于软件的使用方法可以参考ppt课件《LINGO软件武功秘籍》以及实验书籍《数学软件与数学实验》。对于MATLAB软件，有MATLAB优化工具箱，线性规划大型问题使用内点算法（也是默认算法），单纯形法和积极集法根据实际情况来解中小型问题。对于非线性规划问题，基本函数用信赖域等方法的结合来求解不同规模的问题。

本篇导读第一章无约束优化寻优经典计算算法,matlab实现第二章线性规划完备的线性规划求解与应用第三章非线性规划非线性模型的建立与求解第四章多目标规划多目标决策的理论与方法第五章随机规划随机规划的理论与方法第六章目标规划目标规划的理论与方法第七章动态规划动态规划的理论与方法 3

第八章多层规划？？第九章网络优化图论方法及其他网络方法第十章组合优化算法禁忌搜索算法，模拟退火算法，遗传算法，蚁群优化算法，人工神经网络 4 第三章非线性规划理论印象将非线性规划模型可以更具体的表示为如下形式：

xfzmin



iRxmjxglixhts ,,1,0 ,,1,0 ..



如果只有等约束ih，则可以用拉格朗日乘数法构造拉格朗日函数： 

miiixhxfxL1,（i为参数），然后求解非线性方程组







00

iiL

即可。

对上述模型，通过讨论x的可行方向与下降方向，可以得到如下的KKT条件（Karush-Kuhn-Tucker条件）（具体可微等条件略）：局部最优解x满足







0011xgxgxhxf

ljjim

iii





，0,ii。

对等约束模型构造拉格朗日函数： 

ljjjmiiixgxhxfxL11,,

KKT条件中的公式刚好就是函数L对x的导数（梯度）等于0.,通常称为拉格朗日乘子。

3.1 二次规划理论印象目标函数为二次函数，约束为线性函数的优化问题称为二次规划。二次规划模型的一般形式：

xcHxxxfTT21min

bAxts .. nnRH为对称矩阵。特别的，当H正定时，模型称为凸二次规划。凸二次 5

规划局部最优解（KKT点）就是全局最优解。对等约束的凸二次规划，构造拉格朗日函数：

bAxxcHxxxLTTT21,

求导得如下方程组：

00bAxAcHx



解方程组即得最优解。有效集方法：对于存在不等式约束的二次规划，将等约束（对应有效集）与不等约束分开，将非有效约束去掉，通过解一系列等式约束的二次规划来实现不等式约束的优化。

例1 投资组合问题某三支股票在12年的价格如下：年份股票A 股票B 股票C 股票指数 1943 1.300 1.225 1.149 1.258997 1944 1.103 1.290 1.260 1.197526 1945 1.216 1.216 1.419 1.364361 1946 0.954 0.728 0.922 0.919287 1947 0.929 1.144 1.169 1.057080 1948 1.056 1.107 0.965 1.055012 1949 1.038 1.321 1.133 1.187925 1950 1.089 1.305 1.732 1.317130 1951 1.090 1.195 1.021 1.240164 1952 1.083 1.390 1.131 1.183675 1953 1.035 0.928 1.006 0.990108 1954 1.176 1.715 1.908 1.526236 解决如下问题：（1）如果在1955年你有一笔资金投资这三种股票，并期望年收益率至少达到15%，那么你应当如何投资？分析投资组合与回报率以及风险的关系。 6

（2）如果还可以投资国库券，年收益率为5%，如果投资呢？（3）如果幂目前持有的股票比例为：A占50%，B占35%，C占15%，买卖股票按交易额的1%收取交易费，你会怎么办？

对问题1 问题分析1 投资股票的收益是不确定的，因而是一个随机变量，我们可以用期望值来表示。风险可以用方差来衡量，方差越大，风险越大。期望与协方差可由上表求得。

符号说明 321,,RRR：A,B,C三种股票的收益率,是随机变量。

321,,xxx：A,B,C三种股票的投资比例。模型建立1 目标：332211minRxRxRxD，即3131,covminjijijiRRxx

约束：15.0332211ERxERxERx

0,,,1321321xxxxxx

这是一个二次规划问题。 LINGO程序编写 MODEL: Title 投资组合模型; SETS: YEAR/1..12/; STOCKS/ A, B, C/: Mean,X; link(YEAR, STOCKS): R; STST(Stocks,stocks): COV; ENDSETS DATA: TARGET = 1.15; ! R是原始数据; R = 1.300 1.225 1.149 1.103 1.290 1.260 1.216 1.216 1.419 0.954 0.728 0.922 0.929 1.144 1.169