运筹学——约束极值问题
约束条件下的极值
在数学优化问题中，当我们寻找某个函数在满足一定约束条件下的极值（最大值或最小值）时，我们通常面对的是带有约束条件的优化问题。
这个问题可以通过拉格朗日乘数法（Lagrange Multiplier Method）或者KKT条件（Karush-Kuhn-Tucker Conditions，对于非线性优化问题中的约束条件）等方法来解决。
例如，设有函数f(x, y)要在区域D内找极值，区域D由g(x, y)=c这样的一组或几组约束条件定义，这里的c是一个常数。
拉格朗日乘数法的基本思想是构造拉格朗日函数L(x, y, λ) = f(x, y) - λ(g(x, y) - c)，其中λ是拉格朗日乘子。
接下来需要求解L(x, y, λ)的偏导数，并令它们等于零，得到一组方程组，解这个方程组就可以找到可能的极值点。
对于KKT条件，它扩展了拉格朗日乘数法，适用于更广泛的优化问题，包括不等式约束。
在满足KKT条件的情况下，优化问题的解有可能是最优解。
具体步骤如下：
1.构造拉格朗日函数（若有不等式约束，需要构造广义拉格朗日函数）。
2.对目标函数和所有的约束函数分别求偏导数，并令它们等于零，得到必要条
件。
3.检验求得的点是否满足KKT条件，包括互补松弛条件、梯度条件以及可行
性条件（即该点必须位于可行域内）。
4.对于可能的极值点，还需进行二阶条件检验（如海森矩阵判别法）来判断是
局部极大值、局部极小值还是鞍点。
通过这些方法，我们可以在给定约束条件下寻找到函数的极值点。
第7章 约束极值问题ppt课件
X
(0)
满足它有两种可能：其一为 g j (X) ，这时，点 0 X
(0)
不是处于由这一约束条件形成的可行域边界上，因而这一约束对 X (0) 点的微小摄动不起限制作用，从而称这个约束条件是 X
(0) 点的不起作用约束(或无效约束)；其二是 gj (X ) 0 ，这时X
(0)
(0)
点处于该约束条件形成的可行域边界上，它对 X
m m * * * f (X ) λi h * gj (X*) 0 i (X ) j i 1 j 1 * (7-11) gj (X*) 0, j 1 ,2, ,l j 使下述条件成立： * j 1 ,2, ,l j 0, * * * * * * (7-10)式和(7-11)式中的 λ ,λ , ,λ 以及 1,1, ,l 称为广义拉格朗日乘子。
第1节 最优性条件
不失一般性，设X*位于第一个约束条件形成的可行域边界上，即第 一个约束条件是X*点的起作用约束( g1(X*) 0 )。若X*是极小点，则
* g 必与 f ( X * ) 在一条直线上且方向相反。 1(X ) 0
否则，在该点就一定存在可行下降方向(图7-2中的X*点为极小点；X点不满 足上述要求，它不是极小点，角度β表示了该点可行下降方向的范围)。 上面的论述说明，在上述条件下，存在实数 1 0 ，使
此外，对X(0)点的不起作用约束，由约束函数的连续性，当λ>0足够小时亦有 上式成立。从而，只要方向D满足(7-6)式，即可保证它是X(0)点的可行方向。
清华大学出版社
第1节 最优性条件
考虑非线性规划的某一可行点X(0) ，对该点的任一方向D来说，若存在实数 λ[0, λ'] 均有 λ' ，使对任意 0
第一章 第五节 有约束条件的极值问题
一般地，有约束问题模型为 （1）Min f(x) i=1,2,...,m hi(x)=0 可用如下形式惩罚函数
F( X , µ) = f (x) + µ∑(hi (x)) 2
i=1
m
（2）Min f(x) 2 gj(x)≥0 j=1,2,...,l 其惩罚函数可为 F(X,μ)=f(x)+μψ(x)
∂F = (x1 +1)2 + 2µ(x1 −1) = 0 ∂x1
∂F = 1+ 2µx2 = 0 ∂x ∂x2
r 解得 x = (x , x )T = (−1− µ + µ2 + 4µ ,− 1 µ)T 1 2 2 取μ1=0.001,β=10为初始值,然后μ2…μ8μ9,分 别取0.01,0.1,1,10,100,1000,10000,100000得 X*=(0.9999,-0.000005)T 本 题 最 优 解 为 X*=(1，0)T, 最 优 目 标 函 数 值 f(X*)=8/3。
第五节 有约束条件的极值问题 Min f(x) hi(x)=0 gj(x)≥0 i=1,2,...,m j=1,2,...,l
对于有约束条件问题采取制约函数法： 可将有约束条件的问题转化为一系列无约束极值问题。 常用的制约函数有两类； 一为惩罚函数，二为障碍函数。 对应于两种函数有外点法和内点法。
一 外点法 以例来说明外点法基本思路： Min f（x）＝x12＋x22 x1＋x2－2＝0 该问题的可行域是直线 x1 + x2 − 2 = 0 构造出这样的函数，对可行点不加“惩罚”，对非可 行点给以正无穷大的“惩罚”，即 当x1＋x2＝2时 当x1＋x2≠2时 F(X)＝x12＋x22 F(X)＝＋∞
1 2 m f (x) = (x1 +1) + x2 in 3 x1 −1≥ 0 x2 ≥ 0
运筹学[第七章约束极值问题]山东大学期末考试知识点复习
![运筹学[第七章约束极值问题]山东大学期末考试知识点复习](https://360docs-1393072327.cos.ap-beijing.myqcloud.com/3087106e783e0912a2162abd.webp)
第七章约束极值问题1．库恩—塔克条件设X*是非线性规划的极小点，而且与X*点的各起约束作用的梯度线性无关，则存在向量，使下述条件成立上述条件常称为K一Τ条件，满足这个条件的点(它当然也满足非线性规划的所有约束条件)称为库恩—塔克点(或K—Τ点)。
2．制约函数(1)常用的制约函数基本上有两类：一为惩罚函数(或称罚函数)，一为障碍函数，对于这两种函数，SUMT有外点法和内点法。
(2)外点法的迭代步骤如下：①取M1>0(例如说取M1=1)，允许误差ε>0，并令k：=1。
②求无约束问题的最优解：③若对某一个j(1≤j≤l)有-gi(X(k))≥ε则取Mk+1>Mk(例如，Mk+1=cMk，c=5或10)令 k：=k+1并转向第2步。
否则，停止迭代，得Xmin≈X(k)(3)内点法迭代步骤。
①取ri >0(例如，r1=1)，允许误差ε>0。
②找出一可行内点X(0)∈R0，并令k：=1。
③构造障碍函数，障碍项可采用倒数函数，也可采用对数函数。
④以X(k-1)∈R0为初始点，并对障碍函数进行无约束极小化(在R0内)3．可行方向法的迭代步骤(1)确定允许误差ε1>0和ε2>0，选初始近似点X(0)∈R，并令k：=0。
(2)确定起作用约束指标集。
J(X(k))={j｜gi(X(k))=0，1≤j≤l)①若J(X(k))= ∅ (∅为空集)，而且‖▽f(X(k))‖2≤ε1，停止迭代，得点X(k)；②若J(X(k))= ∅，但▽‖f(X k)‖2>ε1，则取搜索方向D(k)=-▽f(X(k))，然后转向第(5)步；③若J(X(k))=∅，转下一步。
(3)求解线性规划。
设它的最优解是(D(k)，ηk)(4)检验是否满足｜ηk｜≤ε2。
若满足则停止迭代，得到点X(k)；否则，以D(k)为搜索方向，并转向下一步。
(5)解下述一维极值问题。
(6)令 X(k-1)=X(k)+λkD(k)k：=k+1转回第(2)步。
运筹学ch06
第6章
无约束问题 第7章 约束极值问题
1ቤተ መጻሕፍቲ ባይዱ
清华大学出版社
引 言
在科学管理和其他领域中，很多实际问题可归结为线性 规划问题。但也有很多问题，其目标函数和(或)约束条 件很难用线性函数表达。如果目标函数或约束条件中含 有非线性函数，就称这种问题为非线性规划问题。 解这类问题需要用非线性规划方法。目前，非线性规划 已成为运筹学一个重要分支，在最优设计、管理科学、 系统控制等许多领域得到越来越广泛的应用。 一般说来，由于非线性函数的复杂性，解非线性规划问 题要比解线性规划问题困难得多。而且，也不像线性规 划那样有单纯形法等通用方法。非线性规划目前还没有 适于各种问题的一般性算法，各个方法都有自己特定的 适用范围。
(6 14)
13
清华大学出版社
第1节 基本概念
1.3 凸函数和凹函数
1. 什么是凸函数和凹函数
设f(X) 为定义在n维欧式空间En中的某个凸集R上的函数，若对任 何实数α（0< α<1）以及R中的任意两点X(1)和X(2)，恒有
f ( X (1) (1 ) X (2) ) f ( X (1) ) (1 ) f ( X (2) )
T
ai j wi / ，可得 wj
2 n n min ai j w j wi i 1 j 1 n wi 1 i 1
5
清华大学出版社
第1节 基本概念
2．非线性规划问题的数学模型
非线性规划的数学模型常表示成以下形式
min f ( X ) h i ( X ) 0, i =1, 2, m g j ( X ) 0, j 1, 2,…, l
第7章+约束极值问题
D是可行点x(0)处的可行方向的关键是，对该点的 所有起作用约束满足gj(x(0)+λD)≥0。考虑到
gj(x(0)+λD)= gj(x(0))+λ▽gj(x(0))TD+o(λ)
则对所有起作用约束，当λ足够小时，只要满足条件
▽gj(x(0))TD＞0，j∈J（起作用约束下标集）
对于非线性规划的一个可行点x(0) ，考虑方向D，若 存在实数λ0'>0，使对任意λ∈[0, λ0']，均有f(x(0)+λD)＜ f(x(0)) ，则称方向D是x(0)点的一个可行方向。
……，如此迭代下去，可得最优解x*=(1.6, 1.2)T, f(x*)=-7.2。 而原来问题的最优解为： x*=(1.6, 1.2)T, f(x*)=- f(x*) =7.2
第4节 制约函数法
使用制约函数法，可将非线性规划问题转化为一 系列无约束极值问题，因而也称为序列无约束极小化 技术，简记为SUMT。SUMT有外点法和内点法。
解得
理论上，障碍因子r越小对提高解的精度越有利。 但在实际应用中，与外点法类似，过小的r会引起很大 的舍入误差，反而会使精度降低。因而，要先取较大 的r1，若求得的解不满足要求则减小为r2，……直到求 得的解满足要求为止。就此，通过求解一系列无约束 问题，来获得约束极值问题的解。当r1>r2…>rk>…>0 趋于0时，求得的解趋于原问题的极小点。
其一为gj(x(0))＞0。这时，它对x(0)点的微小变动不 起限制作用，称该约束为x(0)点的不起作用约束。
运筹学-约束最优化方法
若AT的各个行向量线性无 关.根据Kuhn-Tucker条件, 在该线性规划的最优点y* 处存在乘子向量x*≥0,使得
即Ax*=b 对偶规划约束条件 及(ATy*-c)T x*=0 线性规划互补松弛条件
29
5.1.3 一般约束问题的最优性条件
定理1.3.1 在上述问题中,若 (i)x*为局部最优解, 有效集I*={i|ci(x*)=0,i∈I}; (ii)f(x),ci(x)(1≤i≤m)在x*点可微; (iii)对于i∈E∪I*, 线性无关, 则存在向量l*=(l1*,· · · ,lm*)使得
解:本问题是求点(1,1)T到如图三角形区域的最短 距离.显然唯一最优解为x*=(1/2,1/2)T.
19
例题(Fritz-John条件)
min f(x)=(x1-1)2+(x2-1)2 s.t. c1(x1,x2)=(1-x1-x2)3≥0 c2(x)=x1≥0 c3(x)=x2≥0 即
35
惩罚函数法
惩罚是手段，不是目的
KT条件中li*ci(x*)=0 称为互补松弛条件. 它表明li*与ci(x*)不能 同时不为0.
28
线性规划情形
对于线性规划问题 min f(y)=-bTy s.t. -ATy≥-c 其中 y∈Rm,A∈Rm×n, b∈Rm,c∈Rn 问题有n个约束条件. 各个约束条件关于y 的梯度为-AT的行向 量(-pi).
借助于Farkas引理,可推出存在li*≥0(i∈I*), 使得
类似与Fritz-John条件的证明,可以证明KuhnTucker条件. 有效约束函数的梯度线性无关称为KuhnTucker约束规范. 如果该约束规范不满足,最优点不一定是KT点.
运筹学第15讲 约束最优化方法 (1)
⎛1 ⎞ (2) = ⎜ ⎜ 2 ⎟ ⎟ ⎝ ⎠
第六章
6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
m ⎧ ⎪ ∇ f ( x ) − ∑ u i∇ g i ( x ) = 0 i ⎪ u i ≥ 0 , i = 1,2 ,L , m → ⎨ ⎪ u ig i( x ) = 0 ⎪ ⎩
< 寻找下降可行方向： 定理 1：设 其中 x 是可行解，在
1 2
6.2 可行方向法
一、解线性约束问题的可行方向法 （续）
d x 处有 A 1 x = b 1,A
2
x > b2,
⎛ A A = ⎜ ⎜A ⎝
⎞ ⎛ b1 ⎟ ⎜ ， b = ⎟ ⎜b ⎠ ⎝ 2
⎞ ⎟ ⎟ 。则非零向量 ⎠
d 为 x 处的下降可行
g3=0 x2 2 1 1
▽g2(x*)
第六章
例
-▽f(x*) (3,2)T
x* 2 3 g1=0
▽g1(x*)
4
g4=0 x1 g2=0
6.1 Kuhn-Tucker 条件 二、不等式约束问题的Khun-Tucker条件： （续）
在 x *点 ⎧ g 1 ( x1 , x 2 ) = 0 ⎨ ⎩ g 2 ( x1 , x 2 ) = 0
∗ ∗ ∗பைடு நூலகம்
第六章
6.1 Kuhn-Tucker 条件
三、一般约束问题的Kuhn-Tucker 条件 (续)
如果 x ∗ − l .opt .那么 ∃ u i∗ ≥ 0 , i ∈ I , v ∗j ∈ R , j = 1, 2 , L , l ∇f (x ) −
∗
∑u
5-不等式约束的极值问题及其经济学应用
例子 2 ：利用图解法求解下列极大化模型均衡解
2x2 + y2 – 54 ≤ 0
x ≥ 0， y ≥ 0
首先，确定可行域（见下页图）。
非线性规划的目标就是从可行域内选择一点 (x*, y*) ，使其目标函数值最大。
§5.2
简单不等式约束极值问 题的图解法
对于本题来讲，实际 就是要使得直线与坐标轴 的截距最大。 即：直线与可行域相切。
§5.3
库恩—塔克条件
1. 两变量一约束极值问题的库恩—塔克条件
两个变量一个约束条件的极值问题可写为：
max
s.t.
y = f(x1 , x2)
g(x1 , x2) ≤ 0
…(5-5)
在约束条件中 引入松弛变量 s， 则 (5-5) 可写为：
max
s.t.
y = f(x1 , x2)
g(x1 , x2) + s = 0 s≥0
在这个切点，椭圆 切线的斜率与直线的斜 率相等。
§5.2
简单不等式约束极值问 题的图解法
所以，我们首先求椭圆的切线的斜率。对椭圆 求全微分，得：4xdx + 2ydy = 0 。
整理得：
，于是有：
与 2x2 + y2 – 54 = 0 建立方程组得：
解方程组，得均衡解：(x*, y*) = (3, 6) 。
A
O
x*
x
§5.3
库恩—塔克条件
第二种情况：y 的极大值对应的均衡解 x* 出现在可 行域的边界上，但仍能保证一阶必要 条件 。 在这种情况下，一阶 必要条件为：
y B
且： x* = 0
O
x*
x
§5.3
库恩—塔克条件
运筹学——约束极值问题
8 上游河水进入水库 放水，调整水位 水闸管理员
3
二、排队系统的组成和特征
1、输入过程
输入即指顾客到达排队系统，可能有以下不同情况。
（1）顾客源的组成
有限的 无限的
（2）顾客到来的方式
一个一个的 成批的
（3）顾客相继到达的间隔时间
确定型的 随机型的
（4）顾客的到来
相互独立的 关联的
（5）输入过程
平稳的，或称对时间是齐次的 非平稳的
第十二章 排队论
1
第一节 基本概念
一、排队系统的一般表示
例1 各个顾客由顾客源出发，到达服务机构前排队等候 服务，服务完了后就离开。
服
顾客到来
顾客源
排队结构 服务规则
务 机
排队规则
构
离去
排队系统
排队结构指队列的数目和排列方式
排队规则和服务规则是说明顾客在排队系统中按怎样的 规则、次序接受服务的。
2
Ls=Lq+正被服务的顾客数
3、逗留时间(Ws)：指一个顾客在系统中的停留时间。 4、等待时间(Wq)：指一个顾客在系统中排队等待的时间。
Ws=Wq+服务时间 5、忙期：指从顾客到达空闲服务机构起到服务机构再次空闲止
这段时间长度，即服务机构连续繁忙的时间长度。 6、系统的状态概率[Pn( t )] ：指系统中的顾客数为n的概率。
7、稳定状态：limPn(t)→Pn
10
第二节 时间分布
一、经验分布
例2 某服务机构单服务台，先到先服务，对41顾客记录到达 时刻和服务时间s（单位：分钟）如下表，表中第1号顾客到 达时刻为0。全部服务时间为127（分钟）。
(1) (2) (3) (4) (5) (1) (2) (3) (4) (5) (1) (2) (3) (4) (5) i τi si ti wi i τi si ti wi i τi si ti wi 1 0 5 2 0 5 12 2 7 10 9 36 1 2 0 2 2 7 4 3 6 19 4 3 5 10 38 2 7 0 3 6 1 5 6 7 22 3 4 6 11 45 5 2 0 4 11 9 1 2 8 26 3 10 5 12 47 4 2 3