13《运筹学》(第四版)非线性规划罚函数法
合集下载
运筹学中的非线性规划问题-教案
教案运筹学中的非线性规划问题-教案一、引言1.1非线性规划的基本概念1.1.1定义：非线性规划是运筹学的一个分支，研究在一组约束条件下，寻找某个非线性函数的最优解。
1.1.2应用领域：广泛应用于经济学、工程学、管理学等，如资源分配、生产计划、投资组合等。
1.1.3发展历程：从20世纪40年代开始发展，经历了从理论到应用的转变，现在已成为解决实际问题的有效工具。
1.1.4教学目标：使学生理解非线性规划的基本理论和方法，能够解决简单的非线性规划问题。
1.2非线性规划的重要性1.2.1解决实际问题：非线性规划能够处理现实中存在的非线性关系，更贴近实际问题的本质。
1.2.2提高决策效率：通过优化算法，非线性规划可以在较短的时间内找到最优解，提高决策效率。
1.2.3促进学科交叉：非线性规划涉及到数学、计算机科学、经济学等多个学科，促进了学科之间的交叉和融合。
1.2.4教学目标：使学生认识到非线性规划在实际应用中的重要性，激发学生的学习兴趣。
1.3教学方法和手段1.3.1理论教学：通过讲解非线性规划的基本理论和方法，使学生掌握非线性规划的基本概念和解题思路。
1.3.2实践教学：通过案例分析、上机实验等方式，让学生动手解决实际问题，提高学生的实践能力。
1.3.3讨论式教学：鼓励学生提问、发表观点，培养学生的批判性思维和创新能力。
1.3.4教学目标：通过多种教学方法和手段，使学生全面掌握非线性规划的理论和实践，提高学生的综合素质。
二、知识点讲解2.1非线性规划的基本理论2.1.1最优性条件：介绍非线性规划的最优性条件，如一阶必要条件、二阶必要条件等。
2.1.2凸函数和凸集：讲解凸函数和凸集的定义及其在非线性规划中的应用。
2.1.3拉格朗日乘子法：介绍拉格朗日乘子法的原理和步骤，以及其在解决约束非线性规划问题中的应用。
2.1.4教学目标：使学生掌握非线性规划的基本理论，为后续的学习打下坚实的基础。
2.2非线性规划的求解方法2.2.1梯度法：讲解梯度法的原理和步骤，以及其在求解无约束非线性规划问题中的应用。
管理运筹学讲义 第14章 非线性规划
s.t. 2x1 - 3x2 +6 0
x1, x2 0
25
石家庄经济学院
管理科学与工程学院
MATLAB 程序如下：
• • • • • fun='x(1)^2+x(2)^2-x(1)*x(2)-2*x(1)-5*x(2)'; x0=[0,0]; A=[-2,3]; b=6; [x,fval]=fmincon(fun,x0,A,b,[],[],[],[])
7 石家庄经济学院 管理科学与工程学院
建立模型：
max Q = 4x1 + 2x2 0.5x12 0.25x22 s.t. 8x1 + 5x2 40 x1, x2 0
8
石家庄经济学院
管理科学与工程学院
引例14.2.3 供应与选址问题。某公司有 6 个 建筑工地要开工，每个工地的位置（用平面坐 标系 a，b 表示，距离单位：千米）及水泥日用 量 d （吨）由下表给出。目前有两个临时料场 位于 A(5, 1)，B(2, 7)，日储量各有 20 吨。假设 从料场到工地之间均有直线道路相连。
20 石家庄经济学院 管理科学与工程学院
§14.4 用 Matlab 求解非线性规划
用 Matlab 求解非线性规划时，要求的标准形式为： min F(X) s.t. AX b Aeq· X = beq C(X) 0 Ceq(X) = 0 VLB X VUB 其中 X 为 n 维变元向量，C(X) 与 Ceq(X) 均为非线性 函数组成的向量，其它变量的含义与线性规划中相同。
6 石家庄经济学院 管理ቤተ መጻሕፍቲ ባይዱ学与工程学院
引例14.2.2 生产计划问题。某化学公司合成了 一种新肥料，只用两种可互相替换的基本原料 来制造。公司想利用这个机会生产尽可能多的 这种新肥料，公司目前有资金 40000 美元，可 购买单价分别为 8000 美元和 5000 美元的原料。 当用数量为 x1 和 x2 两种原料合成时，肥料的数 量Q 由下式给出： Q = 4x1 + 2x2 0.5x12 0.25x22 试确定购买原料的计划。
运筹学非线性规划
二 、模型的解及相关概念
1.可行解与最优解
★可行解：约束集D中的X。
★最优解：如果有 X * D，对于任意的 X D ， 都有 f ( X *) f ( X ) ，则称 X *为（NLP）的最优
解，也称为全局最小值点。
★局部最优解：如果对于 X 0 D ，使得在 X 0的邻 域 B(X 0, ) {X |P X X 0 P } 中的任意 X D 都有f (X 0 ) f (X ) ，则称 X 0 为（NLP）的局部最
: 风险系数；ij : 第i种与第j种股票收益的协方差
n
nn
max f (x) j xj
xi x j
j 1i1 j1源自s.t.n j 1Pj x j
B
x
j
0
2.模型
min f ( X )
(
NLP
)s.t.
hi
g
( X ) 0,i j ( X ) 0,
1,L , j 1,L
f
(X
)＝f
(X0
)
f
(X0
)（T X－X0）
1 2
(X
X0
)T
H
( X0 )(
X
X0)
o(P X－X 0 P2)
其中：o(P X
X0
P2 )是当X
X
时
0
PX
X0
P2
的高阶无穷小。
例2：写出 f ( X ) 3x12 sin x2 在X 0 [0, 0]T 点的二阶泰勒展开式
解: f ( X ) [6x1 cos x2 ]T , f ( X 0 ) [0 1]T
0
解得：＝－f (Xk )T Pk
PkT H ( X k )Pk
运筹学-非线性规划(四)(名校讲义)
1．外点法（又称惩罚法）
其思路是在目标函数中增加一项使之变为无约束问题，同时 对破坏约束项需付出高昂代价，该法的起始点在可行域外， 一旦进入可行域内便得到最优解。
§1 多维有约束寻优方法 （9）
①思路 设原问题为min：f[X] 约束：XS S是En中一个约束子集，即X的可行域为S，
则将其变成无约束问题： min：f[X]+ p(X)
p(x) =1 =10 =100
=100
b
=10
=1
图4-19
x
a
§1 多维有约束寻优方法 （11）
②求解过程
令{k }（k=1，2，…，）是一无穷序列，且k≥0，k＋1 >k，定义函数q(，X)=f(X)+Xk，若原问题有解，则当k→∞，
§1 多维有约束寻优方法 （2）
一、库恩-塔克（简称库塔）条件
1．可行方向和起作用约束 ①可行方向：
设X(0)是可行点，即X(0) R，若对于某一方向D，存在一 个数 0>0,使对于任意 （0≤≤0 ）均有下式成立：X(0) +DR，则称方向D是点X(0)处的可行方向。 ②下降方向：对于f(X)的台劳级数展开，若▽f[X(0)]T· D<0, 则称D方向为f[X]的下降方向。
第二十四讲 非线性规划（四）
§1 多维有约束寻优方法
§1 多维有约束寻优方法 （1）
非线性规划的一般形式
min f(X) hi(X)=0 i=1，2，…，m (1)
gi(X)≥0 j=1，2，…，l
下面，先阐述非线性规划的重要理论成果——库恩-塔克 条件(Kuhn-Tucker),然后介绍比较重要的几种有约束的寻 优方法。
0 1 2 x1
运筹学(第四版)清华大学出版社《运筹学》教材编写组-第5章 线性目标规划
11
清华大学出版社
第1节 目标规划的数学模型
目标规划的一般数学模型为
目标函数： min z Pl (lk d k lk dk ) l 1 k 1 L K
(4 1) (4 2) (4 3) (4 4) (4 5)
n c x d d g k , k 1, , K kj j k k j 1 n a x (, )b , i 1, , m 满足约束条件： ij j i j 1 x j 0, j 1, , n d k , d k 0, k 1, , K
16
清华大学出版社
第2节 解目标规划的图解法
解：设x1，x2分别表示黑白和彩色电视机的产量，本问题的 目标规划模型为：
目标函数： min z P d P d P ( 2 d d 1 1 3 3 4) 2 2
x1 x2 d1 d1 40 d2 50 x1 x2 d 2 满足约束条件： x1 d3 d3 24 x d d 2 4 4 30 x , x , d , d 0, i 1,2,3,4 1 2 i i
14
清华大学出版社
第2节 解目标规划的图解法
注意：求解目标规划问题时，把绝对约束作为最高优先 级考虑。在本例中，能依先后次序都满足d1+=0， d2++d2−=0，d3−=0，因而z*=0。但在大多数问题中并非如 此，会出现某些约束得不到满足，故将目标规划问题的 最优解称为满意解。
15
清华大学出版社
c j z j akj Pk j 1,2,, n; k 1,2,, K
清华大学出版社
第1节 目标规划的数学模型
目标规划的一般数学模型为
目标函数： min z Pl (lk d k lk dk ) l 1 k 1 L K
(4 1) (4 2) (4 3) (4 4) (4 5)
n c x d d g k , k 1, , K kj j k k j 1 n a x (, )b , i 1, , m 满足约束条件： ij j i j 1 x j 0, j 1, , n d k , d k 0, k 1, , K
16
清华大学出版社
第2节 解目标规划的图解法
解：设x1，x2分别表示黑白和彩色电视机的产量，本问题的 目标规划模型为：
目标函数： min z P d P d P ( 2 d d 1 1 3 3 4) 2 2
x1 x2 d1 d1 40 d2 50 x1 x2 d 2 满足约束条件： x1 d3 d3 24 x d d 2 4 4 30 x , x , d , d 0, i 1,2,3,4 1 2 i i
14
清华大学出版社
第2节 解目标规划的图解法
注意：求解目标规划问题时，把绝对约束作为最高优先 级考虑。在本例中，能依先后次序都满足d1+=0， d2++d2−=0，d3−=0，因而z*=0。但在大多数问题中并非如 此，会出现某些约束得不到满足，故将目标规划问题的 最优解称为满意解。
15
清华大学出版社
c j z j akj Pk j 1,2,, n; k 1,2,, K
非线性规划基本概念
序列二次规划法原理及步骤
• 原理：序列二次规划法是一种迭代求解非线性规划问题的方法。它在每次迭代中构造一个二次规划子问题，通 过求解该子问题得到原问题的一个近似解，然后利用该近似解的信息构造下一个二次规划子问题，如此循环直 至收敛到最优解。
序列二次规划法原理及步骤
2. 求解二次规划子问题，得到近 似解。
与线性规划不同，非线性规划中的目标函数或约 束条件至少有一个是非线性的。
非线性规划问题通常更加复杂，需要采用特定的 算法和工具进行求解。
非线性规划重要性
01
广泛适用性
非线性规划在各个领域都有广泛 应用，如经济、金融、工程、管 理等。
02
解决复杂问题
03
推动技术进步
非线性规划能够处理涉及复杂非 线性关系的问题，提供更精确的 解决方案。
THANKS
感谢观看
REPORTING
https://
VS
5. 判断终止条件
若满足终止条件，则停止迭代，输出当前 迭代点作为近似最小值点；否则，返回步 骤2继续迭代。
拟牛顿法原理及步骤
原理
1. 初始化
拟牛顿法是一种改进牛顿法的方法， 其基本思想是通过构造一个近似海森 矩阵的逆矩阵来避免直接计算海森矩 阵及其逆矩阵。拟牛顿法利用目标函 数的一阶导数信息来构造一个满足拟 牛顿条件的矩阵来逼近海森矩阵的逆 矩阵，从而在保证收敛速度的同时降 低了计算复杂度。
选择初始点 x0，设置迭代终止条件。 初始化拟牛顿矩阵 B0（或其逆矩阵 H0）。
2. 计算梯度
计算函数在 x0 处的梯度 g0 和 g1。
拟牛顿法原理及步骤
3. 求解搜索方向 通过解线性方程组 Bdp = -gp 或 Hdp = -gp 得到搜索方向 dp。
第四章非线性规划2-SUMT方法罚函数法
第二节 SUMT 方法（罚函数法）一、SUMT 方法的原理SUMT （sequential unconstrained minimization technique ）法，序列无约束极小化方法,亦称为罚函数法。
它是一种不等式约束最优化问题的间接解法 它的基本思想是将原来的目标函数和约束函数按一定的方式构成一个新的函数，在这个新函数中，既包括目标函数，又包括全部约束函数和一个可以变化的乘子。
当这个乘子按一定的方式改变时，就得到一个新函数序列，求每一个新函数的最优解都是一个无约束最优化问题，这样就把一个约束最优化问题转化为一系列无约束最优化问题进行求解。
所得到的最优解序列将逐步逼近原问题的最优解。
引例一：min()f X ax = s.t()0g X b x =-≤ 显然f （X ）的最优点为x*=b ，对应的最小值为f（X*）=ab用SUMT 求解函数的最优解构造函数 11(,)()()k k kX r f X r ax r g X b xΦ=-=-- 0k r >—可变化乘子，它是一个很小的正数。
其最优解为：*()k X r b =+此时对应的(,)k X r Φ的最小值为***1(,)k kX r ax r b x ab Φ=--=+ 最优点*()k X r 和最小值*(,)k X r Φ均是k r 的函数。
当k r 取不同值时，它们有不同的值，而当0k r →时，**()k X r X b →=，*(,)*k X r f X ab Φ→=（），即最后收敛于约束最优点。
0min lim[min (,)]() {|()0}k k i r X r f X R X g X X R→Φ==≤∈ 以上分析从理论上说明了无约束最优化问题min (,)k X r Φ与约束优化问题min () {|()0}i f X R X g X X R=≤∈之间的联系：约束非线性规划问题可以通过构造新目标函数序列，用无约束优化方法求其极小点，并逐次逼近原问题的最优点。
运筹学(第四版)清华大学出版社《运筹学》教材编写组-第章
27
清华大学出版社
2.1.4 线性规划问题的解概念
❖ 1.可行解 ❖ 2.基 ❖ 3.基可行解 ❖ 4.可行基
28
清华大学出版社
2.1.4 线性规划问题的解的概 念
1. 可行解
❖ 定义
满足约束条件(1-5)、(1-6)式的解X=(x1,x2，…，xn)T， 称为线性规划问题的可行解，其中使目标函数达到最 大值的可行解称为最优解。
21
清华大学出版社
2.1.3 线性规划问题的标准型式
线性规划问题的几种表示形式
用向量形式表示的标准形式线性规划
M
'' 1
:目标函数：max
z
CX
n
约束条件： j1 Pj x j
b
x
j
0,
j 1,2,,n
C c1 ,c2 ,,cn ;
x1
a1 j
b1 Xx2 ; NhomakorabeaPj
a2
j
若约束条件为“≤”型不等式，则可在不等式左端加入非负松弛变 量，把原“≤”型不等式变为等式约束； 若约束条件为“≥”型不等式，则可在不等式左端减去一个非负剩 余变量(也称松弛变量)，把不等式约束条件变为等式约束。 (3) 若存在取值无约束的变量xk,可令
xk xk' xk" xk' , xk" 0
2.1.3 线性规划问题的标准型式
M1 : 目标函数：max z c1x1 c2 x2 cn xn
a11x1 a12 x2 约束条件：a21x1 a22 x2
a1n xn b1 a2n xn b2
am1x1 am2 x2 amn xn bm
x1, x2 , , xn 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
为便于用单纯形法求解，令
y1 d1 1, y2 d2 1, y3
min( y3 ) 4 4 8 y1 y2 y3 3 3 3 y1 2 y2 y3 3 y1 2 y2 2 y1 , y2 , y3 0
水电与数字化工程学院 莫 莉
前节回顾
5、二次规划的转化：
对二次规划问题进行修正，从而得到如下线性规划问题：
min
(Z ) z j
j 1
n
a
i 1 n
m
ij
yn i y j c j k xk sgn(c j ) z j c j , j 1, 2,
①若 J ( X
(k )
2
X (k )
(k ) ) ，而且 f ( X ) ε1 ，停止迭代，得点
②若 J ( X
(k )
(k ) ) ，但 f ( X ) ε1 ，则取搜索方向
2
D( k ) f ( X ( k ) ) ，然后转向第(5)步。
③若J ( X ( k ) ) ，转下一步。
k ε 2
若满足则停止迭代，得到点X(k) ；否则，以D(k)为搜索方向，并转下
一步。
水电与数字化工程学院 莫 莉
6.4 可行方向法
(5) 解下述一维极值问题
λ k :min f ( X ( k ) λD( k ) )
0 λ λ
此处
λ max λ g j ( X ( k ) λD( k ) ) 0, j 1, 2,
解：先将该非线性规划问题写成 2 min f ( X ) 4 x1 4 x2 x12 x2 g1 ( X ) x1 2 x2 4 0
取初始可行点 X (0) (0, 0)T
f ( X (0) ) 0
2x 4 4 (0) f ( X ) 1 , f ( X ) 4 2 x2 4 g1 ( X ) (1, 2)T g1 ( X (0) ) 4 0 (0) 从而 J ( X ) (空集)。由于
f ( X (0) ) (4)2 (4)2 32
2
所以X(0)不是(近似)极小点。
水电与数字化工程学院 莫 莉
6.4 可行方向法
现取搜索方向
从而
X
(1)
D(0) f ( X (0) ) (4, 4)T
X
(0)
λD
(0)
0 4 4λ λ 0 4 4λ
可行方向法
现考虑非线性规划(8-3)式，设X(k)是它的一个可行解
，但不是要求的极小点。为了求它的极小点或近似
极小点，根据以前所说，应在X(k)点的可行下降方向 中选取某一方向D(k) ，并确定步长λk，使
( k 1) (k ) (k ) X X λ D R k ( k 1) (k ) f ( X ) f ( X )
水电与数字化工程学院
莫 莉
前节回顾
3、库恩-塔克条件：
设X*是非线性规划(7-3)式的极小点，而且在X*点的各起作用
* T , , l* )，使下述条件成立： 约束的梯度线性无关，则存在向量 * ( 1* , 2
l * * * f ( X ) g ( X )0 j j j 1 * * j g j ( X ) 0, j 1, 2, ,l * j 1, 2, ,l j 0,
。
水电与数字化工程学院
莫 莉
6.4 可行方向法
设X(k)点的起作用约束集非空，为求X(k)点的可行下降方向，可由下述不等 式组确定向量D： (k ) T f ( X ) D 0 （8-22） (k ) T
g j ( X ) D 0, jJ
这等价于由下面的不等式组求向量D和实数η： f ( X ( k ) )T D (k ) T （8-23） g j ( X ) D , j J 0 (k ) T (k ) T 若使 f ( X ) D 和 gj ( X ) D (对所有 j J )的最大值极小化， 即可将上述选取搜索方向的工作，转换为求解下述线性规划问题：
第二章 非线性规划(Nonlinear Programming)
主讲人：莫 莉
moli@
2015 年 6 月
水电与数字化工程学院 莫 莉
前节回顾
温
一般模型
故
求解
知
罚函数法
新
可行方向法
基本概念
最优性条件
水电与数字化工程学院
莫 莉
前节回顾
1、一般模型
大多数极值问题其变量的取值都会受到一定限制，这种限制由约束 条件来体现。带有约束条件的极值问题称为约束极值问题。非线性
则得到可行下降方向
D ( k )，这就是我们所要的搜索方向。
水电与数字化工程学院
莫 莉
6.4 可行方向法
可行方向法的迭代步骤如下：
(0) (1)确定允许误差 ε1 0 ε 2 0，选初始近似点 X R，并令 k: 0
(2)确定起作用约束指标集
J ( X ( k ) ) j g j ( X ( k ) ) 0,1 j l
莫 莉
从而得到：
水电与数字化工程学院
6.4 可行方向法
引入剩余变量y4，松弛变量y5,y6,y7以及人工变量y8，得线性规划问题 如下：
min( y3 My8 ) 4 4 8 y1 y2 y3 y4 y8 3 3 3 y1 2 y2 y3 y5 3 y1 y6 2 y2 y7 2 y j 0, j 1, 2, ,8
（8-21）
水电与数字化工程学院
莫 莉
6.4 可行方向法
若满足精度要求，迭代停止，X(k+1)就是所要的点。否 则，从X(k+1)出发继续进行迭代，直到满足要求为止。
上述方法称为可行方向法，其特点是：
迭代过程中采用的搜索方向为可行方向，所产生的迭
代点列｛X(k)｝始终在可行域内，目标函数值单调下降
将其代入约束条件，并令 g1 ( X (1) ) 0 ，解得 λ 1/ 3
f ( X (1) ) 16λ 16λ 16λ 2 16λ 2 32λ 2 32λ
(1) 令 f ( X ) 对λ的导数等于零，解得λ=1/2。因λ大于
λ(λ 1/ 3)
故取 λ0 λ 1/ 3
（7-12）
（7-13）
（7-14）
(8-12)式右端的第二项为二次型。如果该二次型正定(或半正定)，则目 标函数为严格凸函数 (或凸函数 )；此外，二次规划的可行域为凸集， 因而，上述规划属于凸规划。第7章已指出：凸规划的局部极值即为全 局极值。对于这种问题，库恩-塔克条件不但是极值点存在的必要条件 ，而且也是充分条件。
水电与数字化工程学院 莫 莉
前节回顾
温
一般模型
故
求解
知
罚函数法
新
可行方向法
基本概念
最优性条件
水电与数字化工程学院
莫 莉
第二章 非线性规划
1 基本概念 最优性条件 凸函数和凸规划 一维搜索方法
2
3 4
Hale Waihona Puke 56水电与数字化工程学院
无约束最优化方法
约束最优化方法★
莫 莉
6.4 可行方向法
j 1, 2,
水电与数字化工程学院
莫 莉
前节回顾
2、可行下降方向
如果方向D既是X(0)点的可行方向，又是这个点的下降方向，就称它 是该点的可行下降方向。 （1）假如X(0)点不是极小点，继续寻优时的搜索方向就应从该点的可 行下降方向中去找。若某点存在可行下降方向，它就不会是极小点。 （2）若某点为极小点，则在该点不存在可行下降方向。
X (1)
64 4 4 , , f ( X (1) ) 9 3 3
T
T
4 4 f ( X (1) ) , , 3 3
水电与数字化工程学院
g1 ( X (1) ) 0
莫 莉
6.4 可行方向法
构造下述线性规划问题：
min 4 4 d1 d 2 3 3 d1 2d 2 1 d1 1, 1 d 2 1
(8-10)
条件(8-10)式常简称为K-T条件。满足这个条件的点(它当然也满足非线 性规划的所有约束条件)称为库恩-塔克点(或K-T点)。
水电与数字化工程学院 莫 莉
前节回顾
4、二次规划：
若非线性规划的目标函数为自变量X的二次函数，约束条件全是线性 的，称这种规划为二次规划。二次规划的数学模型为：
,l
(6) 令
X ( k 1) X ( k ) λ k D ( k ) k : k 1
转回第(2)步。
水电与数字化工程学院 莫 莉
6.4 可行方向法
例 用可行方向法解下述非线性规划问题
2 max f ( X ) 4 x1 4 x2 x12 x2 x1 2 x2 4
k 1
n
,n
a
j 1
（8-20）
,m
ij
x j xn i bi 0, i 1, 2, j 1, 2, j 1, 2, j 1, 2, ,n m ,n m ,n
x j 0, y j 0, z j 0,
该线性规划尚应满足(8-17)式。这相当于说，不能使xj和yj(对每一个j ) 同时为基变量。