最优化方法 第1章(4)
合集下载
最优化方法PPT
共117页第8页
同时太阳系这个"整体"又是它所属的"更大整 体"--银河系的一个组成部分。世界上的具体系统是 纷繁复杂的，必须按照一定的标准，将千差万别的 系统分门别类，以便分析、研究和管理，如：教育 系统、医疗卫生系统、宇航系统、通讯系统等等。 如果系统与外界或它所处的外部环境有物质、能量 和信息的交流，那么这个系统就是一个开放系统， 否则就是一个封闭系统。开放系统具有很强的生命 力，它可能促进经济实力的迅速增长，使落后地区 尽早走上现代化。如改革开放以来已大大增强了我 们的综合国力。而我国的许多边远山区农村，由于 交通不便，相对封闭，还处于比较落后的状态。
会科学和思维科学的相互渗透与交融汇流，产生了 具有高度抽象性和广泛综合性的系统论、控制论和 信息论。
系统论是研究系统的模式、性能、行为和规律 的一门科学。它为人们认识各种系统的组成、结构、 性能、行为和发展规律提供了一般方法论的指导。 系统论的创始人是美籍奥地利理论生物学家和哲学 家路德维格·贝塔朗菲。系统是由若干相互联系的 基本要素构成的，它是具有确定的特性和功能的有 机整体。如太阳系是由太阳及其围绕它运转的行星 （金星、地球、火星、木星等等）和卫星构成的。
从数学上比较一般的观点来看，所谓最优化问题可 以概括为这样一种数学模型：给定一个“函数”，F(X)， 以及“自变量”X应满足的一定条件，求X为怎样的值时， F(X)取得其最大值或最小值。这里在函数和自变量两个 词上之所以打上引号，是想强调它们的含意比中学数学 和大学微积分中函数的定义要广泛得多。通常，称F(X) 为“目标函数”，X应满足的条件为“约束条件”。约 束条件一般用一个集合D表示为：X∈D。求目标函数 F(X)在约束条件X∈D下的最小值或最大值问题，就是一 般最优问题的数学模型，它还可以利用数学符号更简洁 地表示成：Min F(X)或Max F(X)。
第1章最优化方法的基本知识
Pattern Recognition and Intelligent System Institute, BIT
最优化方法的地位
为应用数学的一个分支，是新兴的数学理论之一； 是现代工程分析最佳设计的四种主要方法之一：
有限元分析 将问题从几何上看作有限个小单元（结点） 将问题从几何上看作有限个小单元（结点）相互连接而成的集 合体，使连续体离散化，然后用结构矩阵分析的方法处理， 合体，使连续体离散化，然后用结构矩阵分析的方法处理，得 到一组以结点场量为未知量的代数方程组， 到一组以结点场量为未知量的代数方程组，再用计算机及相应 最优化方法 无穷维系统，一般由偏微分方程、积分方程、 无穷维系统，一般由偏微分方程、积分方程、泛函微分方程 的计算方法，可以得到需求结点处未知量的近似值。 的计算方法，可以得到需求结点处未知量的近似值。 或抽象空间中的微分方程所描述。 或抽象空间中的微分方程所描述。我国学者在细长体弹性振 动系统的建模和振动控制、振动系统的谱分析、 动系统的建模和振动控制、振动系统的谱分析、能控性和反 动态设计 一般地， 一般地，系统的数学模型与实际系统存在着参数或结构等方 由于实际系统的复杂性，人们往往很难(或不可能 由于实际系统的复杂性，人们往往很难 人口系统控制、人 馈镇定、一般无穷维系统的极大值原理、或不可能)从基本的 人口系统控制、 馈镇定、一般无穷维系统的极大值原理、或不可能 从基本的 面的差异， 面的差异，而我们设计的控制律大多都是基于系统的数学模 物理定律出发直接推导出系统的数学模型， 物理定律出发直接推导出系统的数学模型，这就需要利用可 口预测和控制等方面都做出了重要贡献。 口预测和控制等方面都做出了重要贡献。 为了保证实际系统对外界干扰、 型，为了保证实际系统对外界干扰 以量测的系统输入和输出数据， 、系统的不确定性等有尽 以量测的系统输入和输出数据，来构造系统内部结构及参数 数值仿真 可能小的敏感性，导致了研究系统鲁棒控制问题。 可能小的敏感性，导致了研究系统鲁棒控制问题 的估计，并研究估计的可靠性和精度等问题， 。 的估计，并研究估计的可靠性和精度等问题，这就是系统辨 近几年，非线性系统、时滞饱和系统、 近几年，非线性系统、时滞饱和系统、时滞故障系统的鲁棒 识的任务。系统辨识领域有3个热点研究方向 个热点研究方向: 识的任务。系统辨识领域有 个热点研究方向 综合控制问题已经成为新的热点研究方向， 综合控制问题已经成为新的热点研究方向，而且已经有不少 1.基于鲁棒控制数学模型要求的鲁棒辨识； 基于鲁棒控制数学模型要求的鲁棒辨识； 基于鲁棒控制数学模型要求的鲁棒辨识 应用事例。例如，核反应堆的温度跟踪鲁棒控制、 应用事例。例如，核反应堆的温度跟踪鲁棒控制、导弹系统 2.基于特殊信号驱动下的系统辨识； 基于特殊信号驱动下的系统辨识； 基于特殊信号驱动下的系统辨识 Pattern Recognition and Intelligent System Institute, 。 的鲁棒自适应最优跟踪设计、机器人操作的鲁棒神经控制。 的鲁棒自适应最优跟踪设计、机器人操作的鲁棒神经控制。 3.基于智能信息处理的非线性系统辨识 BIT 基于智能信息处理的非线性系统辨识。 基于智能信息处理的非线性系统辨识
最优化方法 1第一章
xyz 2 (3a yz ) 0， 2 xyz 2 (3 a zx) 0， 2 xyz 2 (3 a xy ) 0．
2 2
比较以上三式可得 3a yz 3a zx 3a xy 从而x=y=z=a，右侧面积固定的长方 体的最大体积客观存在，因此侧面积固定 的长方体中以正方体体积最大．
j 1
18
按经典极值问题解法可能出现不能解决的情况：
（1）当变量个数增加且方程组又是非线性，求解此方程 只有在相当特殊情况下才能人工解出．通常高等数学中的 求极值问题的变量个数一般不超过三个． （2）当限制条件出现不等式，无论变量数多少，按经典 极值方法求解根本无法解决． 要解决上述问题，直到本世纪50年代最优化理论建立 以及电子计算机的迅速发展才为求解各种最优化问题提供 了雄厚的基础和有效手段．而且最优化方法作为一门崭新 的应用学科，有关理论和方法有待于进一步发展与完善。
解设长方体的长宽高分别为体积为则依题意知体积为限制条件为由拉格朗日乘数法考虑函数xyzvvfxyzxyz??2260xyzyzxzxya??????62222?13令62222axyzxyzxyzzyxf??????202020xyzfyzyzfxzzxfxyxy??????????????????由题意可知应是正数由此将上面三个等式分别乘以并利用条件得到222230230230xyzayzxyzazxxyzaxy?????????????????
2 x1 5 x 2 40
x1 0 ， x2 0
即求
max f ( x1 , x 2 ) x1 x 2 ，
2 x1 5 x2 40， x1 0，x2 0．
16
第一个例子代表无约束极值问题： 一般地可表示为 min f ( x1 , x 2 , , x n )或 max f ( x1 , x 2 , , x n ) n 这里 f ( x1 , x 2 , , x n ) 是定义在 R 上的可微函数． 求极值的方法是从如下含有n个未知数的非线性方程组
2 2
比较以上三式可得 3a yz 3a zx 3a xy 从而x=y=z=a，右侧面积固定的长方 体的最大体积客观存在，因此侧面积固定 的长方体中以正方体体积最大．
j 1
18
按经典极值问题解法可能出现不能解决的情况：
（1）当变量个数增加且方程组又是非线性，求解此方程 只有在相当特殊情况下才能人工解出．通常高等数学中的 求极值问题的变量个数一般不超过三个． （2）当限制条件出现不等式，无论变量数多少，按经典 极值方法求解根本无法解决． 要解决上述问题，直到本世纪50年代最优化理论建立 以及电子计算机的迅速发展才为求解各种最优化问题提供 了雄厚的基础和有效手段．而且最优化方法作为一门崭新 的应用学科，有关理论和方法有待于进一步发展与完善。
解设长方体的长宽高分别为体积为则依题意知体积为限制条件为由拉格朗日乘数法考虑函数xyzvvfxyzxyz??2260xyzyzxzxya??????62222?13令62222axyzxyzxyzzyxf??????202020xyzfyzyzfxzzxfxyxy??????????????????由题意可知应是正数由此将上面三个等式分别乘以并利用条件得到222230230230xyzayzxyzazxxyzaxy?????????????????
2 x1 5 x 2 40
x1 0 ， x2 0
即求
max f ( x1 , x 2 ) x1 x 2 ，
2 x1 5 x2 40， x1 0，x2 0．
16
第一个例子代表无约束极值问题： 一般地可表示为 min f ( x1 , x 2 , , x n )或 max f ( x1 , x 2 , , x n ) n 这里 f ( x1 , x 2 , , x n ) 是定义在 R 上的可微函数． 求极值的方法是从如下含有n个未知数的非线性方程组
最优化方法及其matlab程序设计习题答案
证明：根据严格凸函数定义证明。
定义：对任意x ̸= y,及任意实数λ ∈ (0, 1)都有f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y).
充分条件：∀x, y ∈ ℜn, 有f (x + y) ≤ f (x) + f (y)
对任意x ̸= y,及任意实数λ ∈ (0, 1)都有f (λx+(1−λ)y) ≤ f (λx)+f ((1−λ)y)
8
k= 2 （2）阻尼牛顿法 function He=Hesstwo(x) n=length(x); He=zeros(n,n); He=[8, 0; 0, 2]; ≫ x0=[0,1]’;[x val k]=dampnm(’funtwo1’,’gfuntwo1’,’Hesstwo’,x0) x= 1 2 val = -8 k= 1 第3题. function f=fun(x) f = (x(1) − 2)4 + (x(1) − 2 ∗ x(2))2; function gf=gfun(x) gf = [4 ∗ (x(1) − 2)3 + 2 ∗ (x(1) − 2 ∗ x(2)), −4 ∗ (x(1) − 2 ∗ x(2))]′; ≫clear all; ≫x0=[0 3]’;[v,val,k]=grad(’fun’,’gfun’,x0)
(1
−
λ)y)=
1 2
(λx
+
(1
−
λ)y)T
G(λx
+
(1
−
λ)y)
+
bT
(λx
+
(1
−
λ)y)
λf
(x)
最优化计算方法(工程优化)复习
0.618法（黄金分割法）
0.618法是求单峰函数极值的一种试探法，有的书上也称为区 间收缩法。 在搜索区间[a,b]上插入两个点，将分为三个子区间，通过比较 2个插入点的函数值的大小，可删去左边或者右边区间，使搜索 区 间缩短。重复上述过程，使搜索区间不断缩短，当区间缩短到一 定程度时，区间上各点都可以作为极小点的近似。
1 5 t (舍去负值) 2
0.618法（黄金分割法）
黄金分割法（0.618 法）的优缺点 优点：不要求函数可微，且每次迭代只需计算一 个函数值，计算量小，程序简单 缺点：收敛速度慢。
0.618法----算例
例 ：试用0.618法求目标函数 f ( x) x3 2 x 1 的最优解。 给定初始区间[0,2]，收敛精度 =0.002.
严格凹函数 严格凸函数 凸函数
凸函数的判定定理
定理(一阶条件): 设D Rn 为非空凸集，函数 f :DR 在
D 上可微，则
(1) f在D上为凸函数 任意x，yD，恒有 f (y) ≥ f (x)+ f T(x)(y-x) (1) (2) f在D上为严格凸函数 任意x≠yD，恒有 f (y) > f (x)+ f T(x)(y-x) . (2)
证明
凸函数的判定定理
定理（二阶条件）: 设D Rn 为含有内点的非空凸集， 函数 f :DR在 D 上二次可微，则 a) f在D上为凸函数 xD，2f (x) 半正定； b) 若 xD，2f (x) 正定，则f在D上为严格凸函数。
回忆：一个矩阵半正定充要条件是所有主子式非负； 一个矩阵正定充要条件是所有顺序主子式为正。
0.618法（黄金分割法）
定理：设 f：R→R 在[a, b ]上是单峰函数， a≤ x1 < x2 ≤b 。 那么 1°若 f (x1)≥ f (x2)，则 x* ∈[x1 , b] ,如左下图 2°若 f (x1)< f (x2) ，则 x* ∈[a, x2 ], 如右下图 缩短区间的第一个原则---去坏留好原则
最优化方法第一章
19
最优化的数学模型的一般形式:
f ( x) min s.t. ci ( x) 0 ci ( x ) 0 i 1, , m i m 1, , p
T n
(1.1.1)
其中
x ( x1 , x 2 , , x n ) R f : R n R1 ci : R R
分析：在长度确定的原料上截取三种不同规格的圆钢,
可
以归纳出8种不同的下料方案：
圆钢（米） Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ Ⅶ Ⅶ
2．9
2．1 1．5 料头（米）
1
0 3 0
2
0 1 0.1
0
2 2 0.2
1
2 0 0.3
0
1 3 0.8
1
1 1 0.9
0
3 0 1.１
0
0 4 1.4
问题归纳为如何混合使用这8种不同的下料方案, 来制造100 套钢架, 且要使剩余的余料总长为最短.
15
原料
化学成分 A B C 单位成本（元）
化学成分含量（%） 产品中化学成分的最低含量（%）
甲 12 2 3 ３ 乙 3 3 15 ２ 4 2 5
数学模型：
min z 3 x1 2 x2 x1 x2 1 12 x 3 x 4 2 1 s.t . 2 x1 3 x2 2 3 x 15 x 0 2 1 x1 0, x2 0
4
其它参考书： (5)卢名高、刘庆吉编著, 《最优化应用技术》, 石油 工业出版社,2002 (6)唐焕文, 秦学志,《实用最优化方法》, 大连理工大 学出版社, 2004 (7)钱颂迪, 《运筹学》, 清华大学出版社, 1990 (8)解可新、韩健, 《最优化方法》, 天津大学出版社, 2004
最优化的数学模型的一般形式:
f ( x) min s.t. ci ( x) 0 ci ( x ) 0 i 1, , m i m 1, , p
T n
(1.1.1)
其中
x ( x1 , x 2 , , x n ) R f : R n R1 ci : R R
分析：在长度确定的原料上截取三种不同规格的圆钢,
可
以归纳出8种不同的下料方案：
圆钢（米） Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ Ⅶ Ⅶ
2．9
2．1 1．5 料头（米）
1
0 3 0
2
0 1 0.1
0
2 2 0.2
1
2 0 0.3
0
1 3 0.8
1
1 1 0.9
0
3 0 1.１
0
0 4 1.4
问题归纳为如何混合使用这8种不同的下料方案, 来制造100 套钢架, 且要使剩余的余料总长为最短.
15
原料
化学成分 A B C 单位成本（元）
化学成分含量（%） 产品中化学成分的最低含量（%）
甲 12 2 3 ３ 乙 3 3 15 ２ 4 2 5
数学模型：
min z 3 x1 2 x2 x1 x2 1 12 x 3 x 4 2 1 s.t . 2 x1 3 x2 2 3 x 15 x 0 2 1 x1 0, x2 0
4
其它参考书： (5)卢名高、刘庆吉编著, 《最优化应用技术》, 石油 工业出版社,2002 (6)唐焕文, 秦学志,《实用最优化方法》, 大连理工大 学出版社, 2004 (7)钱颂迪, 《运筹学》, 清华大学出版社, 1990 (8)解可新、韩健, 《最优化方法》, 天津大学出版社, 2004
最优化方法(刘)第一章
f x 1 y cT x 1 y cT x 1 cT y f x 1 f y
所以 c T x 是凸函数． 类似可以证明 c T x 是凹函数．
凸函数的几何性质
对一元函数 f x , 在几何上f x1 1 f x2
下面的图形给出了凸函数 f x, y x 3x y
4 2
4
y 2 xy 的等值线的图形，可以看出水平集是凸集
凸函数的判定
定理1:设 f x 是定义在凸集 D R n 上，x, y D , 令 t f tx 1 t y , t 0,1, 则: (1) f x 是凸集 D 上的凸函数的充要条件是对 任意的x, y D ,一元函数 t 为 0,1上的凸函数. (2)设 x, y D , x y, 若 t 在 0,1 上为严格 凸函数， f x 在 D 上为严格凸函数． 则
例1： 证明超球 x r 为凸集．
0 证明： x , y 为超球中的任意两点， 1, 设
则有：
x 1 y
x 1 y
r 1 r r 即点 x 1 y 属于超球
所以超球为凸集．
凸集的性质
（１） 有限个（可以改成无限）凸集的交集 为凸集． （２） 设 D 是凸集， 是一实数， 则下面的 集合是凸集： D y y x , x D （３）设 D1 , D2 是凸集， D1 , D2 的和集 则
相关定义（P7—P8）
定义１.1 可行解 满足约束条(1.2)和(1.3)
的x称为可行解，也称为可行点或容许点。
定义１.2 可行域 全体可行解构成的集合 称为可行域，也称为容许集，记为F,即：
所以 c T x 是凸函数． 类似可以证明 c T x 是凹函数．
凸函数的几何性质
对一元函数 f x , 在几何上f x1 1 f x2
下面的图形给出了凸函数 f x, y x 3x y
4 2
4
y 2 xy 的等值线的图形，可以看出水平集是凸集
凸函数的判定
定理1:设 f x 是定义在凸集 D R n 上，x, y D , 令 t f tx 1 t y , t 0,1, 则: (1) f x 是凸集 D 上的凸函数的充要条件是对 任意的x, y D ,一元函数 t 为 0,1上的凸函数. (2)设 x, y D , x y, 若 t 在 0,1 上为严格 凸函数， f x 在 D 上为严格凸函数． 则
例1： 证明超球 x r 为凸集．
0 证明： x , y 为超球中的任意两点， 1, 设
则有：
x 1 y
x 1 y
r 1 r r 即点 x 1 y 属于超球
所以超球为凸集．
凸集的性质
（１） 有限个（可以改成无限）凸集的交集 为凸集． （２） 设 D 是凸集， 是一实数， 则下面的 集合是凸集： D y y x , x D （３）设 D1 , D2 是凸集， D1 , D2 的和集 则
相关定义（P7—P8）
定义１.1 可行解 满足约束条(1.2)和(1.3)
的x称为可行解，也称为可行点或容许点。
定义１.2 可行域 全体可行解构成的集合 称为可行域，也称为容许集，记为F,即：
《最优化方法》课程教学大纲
最优化方法》课程教学大纲课程编号：100004英文名称：Optimizatio n Methods一、课程说明1. 课程类别理工科学位基础课程2. 适应专业及课程性质理、工、经、管类各专业，必修文、法类各专业，选修3. 课程目的（1 ）使学生掌握最优化问题的建模、无约束最优化及约束最优化问题的理论和各种算法;（2）使学生了解二次规划与线性分式规划的一些特殊算法；（3）提高学生应用数学理论与方法分析、解决实际问题的能力以及计算机应用能力。
4. 学分与学时学分2,学时405. 建议先修课程微积分、线性代数、Matlab语言6. 推荐教材或参考书目推荐教材：（1）《非线性最优化》（第一版）.谢政、李建平、汤泽滢主编.国防科技大学出版社.2003年.孙（第一版）参考文瑜、徐成贤、朱德通主编.高等教育出版社.2004年（2）《最优化方法》书目：（第一版）.胡适耕、施保昌主编.华中理工大学出版社.2000年（1）《最优化原理》（2）《运筹学》》（修订版）.《运筹学》教材编写组主编.清华大学出版社.1990年7. 教学方法与手段（1）教学方法：启发式（2）教学手段：多媒体演示、演讲与板书相结合8. 考核及成绩评定考核方式：考试成绩评定：考试课（1）平时成绩占20%形式有：考勤、课堂测验、作业完成情况（2）考试成绩占80%形式有：笔试（开卷）。
9. 课外自学要求（1）课前预习；（2）课后复习；（3）多上机实现各种常用优化算法。
二、课程教学基本内容及要求第一章最优化问题与数学预备知识基本内容：（1 ）最优化的概念；（2）经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）最优化问题的模型及分类；（4）向量函数微分学的有关知识；5）最优化的基本术语。
基本要求：（1）理解最优化的概念；（2）掌握经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）了解最优化问题的模型及分类；（4）掌握向量函数微分学的有关知识；（5）了解最优化的基本术语。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最优化问题的分类
对向量x=(1,–2,3)T,有 || x ||1= 6 || x ||2 = 14 ≈ 3.74166 || x ||3 = 3 36 ≈ 3.30193 || x ||∞= 3.
其中||x||p是p的单调递减函数.
根据数学模型中有无约束函数分为：无约束的最优 化问题和有约束的最优化问题.
m
n
∑ ∑ Q =
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
因此,由数据拟合问题得数学模型为
m
n
∑ ∑ min
( yi −
a
ϕ
j
j
(
xi
))2
i =1
j =0
其中xi,yi (i=1,2,…,m) 及 ϕ j (x), j = 1, 2,L, n 已知.
最优化问题的一般形式为:
P: min f ( x) s.t. hi (x) = 0, i = 1, 2,L, m g j (x) ≥ 0, j = 1, 2,L, p
26
可行点列的产生 在xk处求得一个方向pk(下降方向),在射线 xk+αpk (α >0) 上求一点：xk+1=xk+αk pk , 使得 f (xk+1)≤f (xk), 其中αk 称为步长.
定义1.2.1(下降方向) 在点xk处,对于方向pk≠0, 若存在实数b>0,使得任意的α∈(0,b),都有 f (xk+αpk)<f (xk), 则称pk为函数f (x)在点xk处的一个下降方向.
44
则总支出可表示为: S = ∑ ∑ cij xij i=1 j=1
= ∑ ∑ 数学模型: min S
41
1.ijsx=∑.t1j 12i=,3,4
4
s.t.
∑1.ijsx=∑.t1j 12i=,3,4
x1ij=∑j ij
j =1
=1
i = 1, 2,3, 4
4
∑ xij = 1, j = 1, 2,3, 4
31
32
-8-
19
20
-5-
相关定义
定义1.1.4 (局部最优解) 若x*∈D,存在x*的某邻域 Nδ(x*),使得对于一切x∈D∩Nδ (x*),恒有f (x*)≤f (x), 则称为最优化问题(P)的局部最优解, 其中Nδ (x*)={x| ||x–x*||<δ,δ>0}. 当x≠x*时,若上面的不等式为严格不等式则称x*为问 题(P)的严格局部最优解. 显然,整体最优解一定是局部最优解,而局部最优解不 一定是整体最优解. x*对应的目标函数值f (x*)称为最优值,记为f *.
设Ai→Bj的水泥量为xij,已知Ai→Bj单价为cij,单位为元,
则总运费为:
s = ∑ ∑ m k
cij xij
i=1 j =1
7
8
-2-
数学模型:
mk
min ∑ ∑ cij xij i=1 j =1
k
s.t. ∑ xij = ai (i = 1, 2,L, m) j =1
m
∑ xij = bj , ( j = 1, 2,L, k)
3
4
-1-
四、主要参考书 教材:解可新 、韩健、林友联:最优化方法(修订版),天津 大学出版社,2004年8月. 其它参考书: 1.蒋金山,何春雄,潘少华:最优化计算方法,广州:华南理工 大学出版社,2007年10月. 2.谢政,李建平,汤泽滢:非线性最优化.长沙:国防科技大学 出版社,2003年9月. 3.李董辉等 :数值最优化.北京:科学出版社,2005年. 4.谢政,李建平,陈挚:非线性最优化理论与方法.北京:高等 教育出版社,2010年1月.
目录
第一章 最优化问题概述p.7 第二章 线性规划 第三章 无约束最优化方法 第四章 约束最优化方法
5
第一章 最优化问题概述
§1.1 最优化问题的数学模型与基本概念
例 1.1.1 运输问题
设有m个水泥厂A1,A2, …, Am,年产量各为a1, a2, …,am
吨.有k个城市B1,B2…, Bk用这些水泥厂生产的水泥,年
相关定义
求解最优化问题(P),就是求目标函数f (x)在约束条件 (1.2),(1.3)下的极小点,实际上是求可行域D上的整体 最优解.但是,在一般情况下,整体最优解是很难求出 的,往往只能求出局部最优解. 在求解时需要范数的概念,以下给出定义.
22
常用的向量范数
1–范数 2–范数(欧氏范数) ∞–范数 p–范数
bm Bm
An ≥ dn
图1-2
11
12
-3-
例 1.1.3 指派问题
设有四项任务B1,B2,B3,B4派四个人A1,A2, A3,A4去完成. 每个人都可以承担四项任务中的任何一项,但所消耗 的资金不同.设Ai完成Bj所需资金为cij. 如何分配任务,使总支出最少?
设变量
xij
=
1 0
指派Ai完成Bj 不指派Ai完成Bj
否则令k:=k+1, 转(1)
可行方向
定义1.2.2(可行方向) 已知区域 D ⊂ Rn , xk∈D,对于向 量pk≠0,若存在实数b>0, 使得对任意的α∈(0,b), 有:xk+αpk∈D,则称pk为点xk处关于区域D的可行方向.
对于D的内点(存在邻域包含于D),任意方向可行,对于 边界点(任意邻域既有D的点也有不在D中的点),则有 些方向可行,有些方向不可行. 若下降方向关于域D可行,则称为可行下降方向.
i =1
xij ≥ 0, (i = 1, 2,L, m, j = 1, 2,L, k )
注:平衡条件
m
∑
a i
=
k
∑bj
作为已知条件并不出现在约
i =1
j =1
束条件中.
例1.1.2 生产计划问题
设某工厂有m种资源B1,B2, …,Bm,数量分别为: b1,b2, …, bm,用这些资源生产n种产品A1, A2, …, An.每 生产一个单位的Aj产品需要消耗资源Bi的量为aij,根 据合同规定,产品Aj的量不少于dj.再设Aj的单价为cj. 问如何安排生产计划,才能既完成合同,又使该厂总收 入最多?
通常称满足gkTpk<0的方向pk是f (x)在xk处的一个下降
方向. 其中 ∇f (x) = ( ∂f , ∂f L, ∂f )T , 称为f (x)在x处的梯度.
∂x1 ∂x2 ∂xn
29
最优化问题的算法的一般迭代格式
给定初始点x0,令k=0. (1) 确定xk处的可行下降方向pk; (2) 确定步长αk,使得f (xk+αkpk)<f (xk), (3) 令xk+1=xk+αkpk; (4) 若xk+1满足某种终止准则,则停止迭代, 以xk+1为近似最优解;或者已经达到最大迭代步数,也 可终止迭代.
需求量b1,b2, …,bk吨.再设由Ai到Bj每吨水泥的运价为
cij元.假设产销是平衡的,即:
m
k
∑ ai = ∑ bj
i =1
j =1
试设计一个调运方案,在满足需要的同时使总运费最省.
6
由题意可画出如下的运输费用图:
a1 A1
B1 b1
a2 A2 产量
B2 b2
需求量
am Am
Bk bk
图1-1
最优化方法
合肥工大数学学院
前言
一、什么是最优化 最优化是一门应用性相当广泛的学科,它讨论决策
问题的最佳选择之特性,寻找最佳的计算方法,研究这些 计算方法的理论性质及其实际计算表现.
应用范围:信息工程及设计、经济规划、生产管 理、交通运输、国防工业以及科学研究等诸多领域.
1
2
二、包含的内容 按照优化思想分为经典方法与现代方法.
根据目标函数和约束函数的函数类型分类：线性最 优化问题,非线性最优化问题,二次规划,多目标规划, 动态规划,整数规划,0–1规划.
25
§1.2 最优化问题的一般算法
迭代算法 迭代算法：选取一个初始可行点x0∈D,由这个初始 可行点出发,依次产生一个可行点列: x1 , x2 ,···, xk ,···, 记为{xk}, 使得某个xk恰好是问题的一个最优解,或者该点列收 敛到问题的一个最优解x*. 下降算法：在迭代算法中一般要求 f (xk+1)≤f (xk).
14
最小二乘法
解这种问题常用的方法是最小二乘法,以一个简单的
函数序列
ϕ1(x),ϕ2 (x),L,ϕn (x)
为基本函数.
一般选取1, x, x2,···, xn为基本函数,即以
n
f (x) = ∑ ajx j j=0
作为近似表达式.
15
16
-4-
最小二乘法
最优化问题
系数的选取要使得下面的平方和最小:
9
10
假设产品Aj的计划产量为xj. 由题意可画出如下的生产与消耗的关系图:
b1 B1 b2 B2
消耗 aij
A1 ≥ d1 A2 ≥ d2
n
数学模型 max ∑ c j x j j =1
n
s.t. ∑ aij x j ≤ bi (i = 1, 2,L, m) j =1
x j ≥ d j ( j = 1, 2,L, n)
i =1
xij ∈{0,1}, i, j = 1, 2,3, 4
13
例 1.1.4 数据拟合问题
在实验数据处理或统计资料分析中常遇到如下问 题.设两个变量x和y,已知存在函数关系,但其解析表达 式未知或者虽然为已知,但过于复杂. 设已取得一组数据: