乘子(罚函数)法
关于接触问题中的拉格朗日乘子法和罚函数法
而拉格朗日乘子法由于引入了一个新的乘子，方程的阶数增加了，同时刚度矩阵也不再是对称正定阵，求出相应的乘子，那么该约束方程是被精确满足的，但是采用的是罚函数法。
可能说的不太清楚，简单的讲：两个都是引入附加约束的方法，罚函数法似乎更好一些
诚如楼上所言，区别就在于在系统的泛函变分式子中引入约束方程的方式不同而造成的，罚函数法的方式引入没有改变系统方程的阶数，同时也没有破坏刚度矩阵的对称正定性质，易于求解，但是约束方程并非能够精确得到满足，是一种近似方法。
第二节 罚函数法
β ∈ (0,1) ，允许误差 ε > 0 ，置 k = 1 ；
k −1 x 为初点，求解无约束优化问题 Step2: 以
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
设其极小点为 x ；
G ( x, r ) = f ( x) − r ∑ ln g i ( x)
m
-----对数障碍函数
由 G( x, r ) 的定义， r 取值越小，问题
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
的最优解越接近约束优化问题的最优解。 2. 内点罚函数法的计算步骤
k min H ( x) x Step4: 以 为初始点求解无约束问题 x∈Sk k +1 的最优解
x k +1 ，其中
H k +1 ( x) = −∑ gi ( x) + rk +1 ∑ gi ( x)
i∈I k i∈J k
， Sk = {x | gi ( x) > 0, i ∈ J k }
令 rk + 2 = βrk +1 , k = k + 1, 返回 Step2. 注：该算法中，对于 k = 0,1,2,L ，有 I k +1 ⊂ I k , J k +1 ⊃ J k ，且 最后某个 I k = ∅ 。 三. 广义乘子法 1. 对于等式约束优化问题
φ ( x, y , ω , σ ) = f ( x ) − ∑ ω j ( g j ( x ) − y j ) +
2 j =1 l
1 外罚函数法
算法步骤 Step 1
外罚函数法
Step 2
Step 3
举例
外罚函数法
解
举例
外罚函数法
举例
外罚函数法
外罚函数法
收敛性分析
≤
外罚函数法
收敛性分析
min F ( x , σ k ). n
x∈R
这种通过求解一系列无约束问题来获得约束问题最优解的方法 统称为序列无约束极小化方法(sequential unconstrained 统称为序列无约束极小化方法 minimization technique)，简称 ，简称SUMT法． 法
外罚函数法
外罚函数法实施中的问题和说明
罚函数
罚因子
罚项
min F ( x , σ ) n
x∈R ∈
通过求解无约束问题(10.1.6) 通过求解无约束问题 能够得到一般约束问题(10.1.1) 能够得到一般约束问题 的近似解. 的近似解
性质
外罚函数法
min F ( x , σ 1 ) n
x∈R ∈
随着罚因子的不断增大，无约束问题 随着罚因子的不断增大，无约束问题(10.1.6)的最优解快 的最优解快 速向约束问题(10.1.1)的可行域边界靠拢；并且罚因子越 的可行域边界靠拢； 速向约束问题 的可行域边界靠拢 大，该最优解越靠近约束问题的最优解. 该最优解越靠近约束问题的最优解
第十章 罚函数法与广义乘子法
可行方向法：在可行域内寻找使目标函数下降的点列. 可行方向法：在可行域内寻找使目标函数下降的点列. 但是, 但是,这类方法对于带非线性约束的最优化问题求解 效果一般都不太理想. 效果一般都不太理想. 罚函数法: 利用原问题的目标函数和约束条件构造 罚函数法 新的目标函数--罚函数 罚函数, 新的目标函数 罚函数 把约束最优化问题转化为 相应的罚函数的无约束最优化问题来求解. 相应的罚函数的无约束最优化问题来求解
增广拉格朗日方法发展史
增广拉格朗日方法发展史增广拉格朗日方法（Augmented Lagrangian Method）是数学最优化中一种计算非线性约束最优化问题的方法，它采用了拉格朗日乘子法（Lagrangian Multiplier Method）和罚函数（Penalty Function）相结合的思想。
拉格朗日乘子法的思想最早由法国数学家拉格朗日（Joseph-Louis Lagrange）于18世纪50年代提出。
他研究了约束条件下的极值问题，并通过引入拉格朗日乘子将带有约束条件的优化问题转化为不带约束条件的优化问题。
这一方法为后来的非线性规划问题的研究提供了理论基础。
20世纪60年代，数学家Powell将拉格朗日乘子法与罚函数相结合，提出了增广拉格朗日方法。
增广拉格朗日方法通过在优化问题的目标函数中添加与约束条件相关的罚函数，将约束条件加入到目标函数中，从而将带约束条件的优化问题转化为目标函数带约束的优化问题，从而使得问题的求解更加方便。
随着计算机技术的发展，增广拉格朗日方法得到了进一步的推广和发展。
数学家和工程师们不断地提出了新的增广拉格朗日方法和改进算法，以解决更加复杂的优化问题。
如1981年，Nocedal等人提出了序列二次规划方法（Sequential Quadratic Programming）；1996年，Hestenes等人提出了全局收敛性的增广拉格朗日方法等。
总之，增广拉格朗日方法的发展经历了拉格朗日乘子法的提出、增广拉格朗日方法的提出以及后续的改进和应用。
它的出现和发展对求解非线性约束最优化问题起到了重要的推动作用，使得更多的问题可以得到有效的求解。
增广拉格朗日方法在理论研究和应用领域都取得了重要的成果，为解决实际问题提供了有力的工具和方法。
罚函数之乘子法
罚函数之乘⼦法外罚函数主要⽤于对于等式约束问题的求解，内点法主要是对于不等式问题的求解，⼀般问题中包含等式约束以及不等式约束，故需要使⽤乘⼦法解决问题。
1、乘⼦法概述（1）等式约束乘⼦法描述：min f(x)s.t. g i(x) =0⼴义乘⼦法是拉格朗⽇乘⼦法与罚函数法的结合，构造增⼴函数：φ (x,λ,σ)=f(x)+λT g(x)+1/2σg T(x)g(x)在罚函数的基础上增加了乘⼦项，⾸先在σ⾜够⼤的基础上，获得ϕ的极⼩值，然后在调整λ获得原问题的最优解。
（2）包含等式约束以及不等式约束问题描述：min f(x)s.t. h i(x) =0,i=1,...,lg i(x)≥0,i=1,...m其基本思想是：先引进辅助变量把不等式约束化为等式约束，然后利⽤最优性条件消去辅助变量，主要是通过构造增⼴拉格朗⽇函数，进⾏外迭代与内迭代综合，带⼊乘⼦迭代公式，进⽽得出得出，故针对上述⼀般问题构造拉格朗⽇函数为：4、其代码实现为function [x,mu,lambda,output]=multphr(fun,hf,gf,dfun,dhf,dgf,x0)%功能：⽤乘⼦法解⼀般约束问题：min f(x),s.t. h(x)=0.g(x)>=0%输⼊：x0是初始点，fun，dfun分别是⽬标函数及其梯度；%hf，dhf分别是等式约束（向量）函数及其jacobi矩阵的转置；%gf，dgf分别是不等式约束（向量）函数及其jacobi矩阵的转置；%输出：x是近似最优点，mu，lambda分别是相应于等式约束和不等式% 等式约束的乘⼦向量；output是结构变量，输出近似极⼩值f，迭代次数，内迭代次数等%%%%%%c初始化相关参数%%%%%%%%%%%maxk=500; %最⼤迭代次数sigma=2.0; %罚因⼦eta=2.0; theta=0.8; %PHR算法中的实参数k=0; ink=0; %k,ink分别是外迭代和内迭代次数epsilon=1e-5;%终⽌误差值x=x0;he=feval(hf,x);gi=feval(gf,x);%he=feval(hf,x)=hf(x)n=length(x);l=length(he);m=length(gi);%选取乘⼦向量的初始值mu=0.1*ones(1,1);lambda=0.1*ones(m,1);%ones为⽣成m*n的全1矩阵btak=10; btaold=10; %⽤来检验终⽌条件的两个值while (btak>epsilon & k<maxk)%%%%%%c先求解⽆约束问题%%%%%%%%%%%%调⽤BFGS算法程序求解⽆约束⼦问题[x,v,ik]=bfgs('mpsi','dmpsi',x0,fun,hf,gf,dfun,dhf,dgf,mu,lambda,sigma);%%其中x为最优点，val为最优值，ik为迭代次数 ink=ink+ik;he=feval(hf,x);gi=feval(gf,x);%%%%%%%%%%计算btak%%%%%%%%%%%btak=0.0;for(i=1:l),btak=btak+he(i)^2; endfor(i=1:m)temp=min(gi(i),lambda(i)/sigma);btak=btak+temp^2;endbtak=sqrt(btak);if btak>epsilon%%%%%%%%%%%更新罚参数%%%%%%%%%%%if(k>=2 & btak>theta*btaold)sigma=eta*sigma;end%%%%%%%%%%%更新乘⼦向量%%%%%%%%%%%%for(i=1:l),mu(i)=mu(i)-sigma*he(i);endfor(i=1:m)%lambda(i)=max(0.0,lambda(i)-sigma*gi(i));lambda(i)=max(0.0,lambda(i)-gi(i));endend%%%%%%%%%%%迭代%%%%%%%%%%%%k=k+1;btaold=btak;x0=x;endf=feval(fun,x);output.fval=f;output.iter=k;output.inner_iter=ink;output.bta=btak;BFGS算法部分：function [x,val,k]=bfgs(fun,gfun,x0,varargin)%功能：⽤BFGS算法求解⽆约束问题：minf（x）%输⼊：x0是初始点，fun，gfun分别是⽬标函数及其梯度%varargin是输⼊的可变参数变量，简单调⽤bfgs时可以忽略，其他程序调⽤则尤为重要%输出：x为最优点，val为最优值，k时迭代次数maxk=500;%给出最⼤迭代次数rho=0.55;sigma=0.4;epsilon=1e-5;k=0;n=length(x0);Bk=eye(n);%Bk=feval('Hess',x0)while(k<maxk)gk=feval(gfun,x0,varargin{:});%计算梯度if(norm(gk)<epsilon),break;end%检验终⽌准则dk=-Bk\gk;%解⽅程组，计算搜索⽅向m=0;mk=0;while(m<20)%搜索求步长newf=feval(fun,x0+rho^m*dk,varargin{:});oldf=feval(fun,x0,varargin{:});if(newf<oldf+sigma*rho^m*gk'*dk)mk=m;break;endm=m+1;end%bfgs校正x=x0+rho^mk*dk;sk=x-x0;yk=feval(gfun,x,varargin{:})-gk;if(yk'*sk>0)Bk=Bk-(Bk*sk*sk'*Bk)/(sk'*Bk*sk)+(yk*yk')/(yk'*sk);endk=k+1;x0=x;endval=feval(fun,x0,varargin{:});主函数部分为：%⽬标函数⽂件function f=f1(x)f=(x(1)-2.0)^2+(x(2)-1.0)^2;%等式约束条件function he=h1(x)he=x(1)-2.0*x(2)+1.0;%不等式约束条件function gi=g1(x)gi=-0.25*x(1)^2-x(2)^2+1;%⽬标函数的梯度⽂件function g=df1(x)g=[2.0*(x(1)-2.0),2.0*(x(2)-1.0)]';%等式函数的Jacobi（转置）矩阵⽂件function dhe=dh1(x)dhe=[1.0,-2.0]';%不等式约束函数的Jacobi矩阵（转置矩阵）function dgi=dg1(x)dgi=[-0.5*x(1),-2.0*x(2)]';命令⾏指令为：x0=[3,3]'[x,mu,lambda,output]=multphr('f1','h1','g1','df1','dh1','dg1',x0)输出结果如下：。
配气凸轮优化设计的惩罚函数法和增广拉格朗日乘子法
１ 内燃 机 配 气 凸 轮 的优 化 设 计 模 型
内 燃 机 配 气 凸 轮 的 作 用 是 控 制 进 气 和排 气 过
收 稿 日期 ： ０ ２ １—０ ２ ０ —０ ８
燃 机 配 气 凸 轮 采 用 高 次 多 项 式 凸 轮 ； 了得 到 最 为
高 的进 、 气 效 率 ， 改 善 发 动 机 的 经 济 性 能 ， 排 以 采 用 最 优 化 设 计 ， 将 丰 满 系 数 作 为 目标 函 数 ． 并 设
维普资讯
第 ２ ６卷 第 ３期 ２０ ０ ２年 ６ 月
武汉理工大学学报 鸯 袭 ） （至 差
Ｊ ｕ ｎ ｌｏ ｕ ａ ｉ ｅ ｓｔ ｆＴｅ ｈｎ ｌ ｇ ｏ ｒ ａ ｆＷ ｈ ｎ Ｕｎ ｖ ｒ ｉｙ ｏ ｃ ｏ ｏ ｙ
（ ａ ｓ ｏ ｔｔ ｎ Ｓ ｉ ｃ Ｔｒ ｎ ｐ ｒａ ｉ ｃｅ ｅ＆ Ｅ ｇｎ ｅ ｉｇ ｏ ｎ ｎ ｉｅ ｒ ） ｎ
石
英 ： ， ７岁 ， 士 生 ， 要 研 究 领 域 为 动 力 机 械 ＣＡＤ 与 计 算 机 仿 真 女 ２ 博 主
＊交 通 部 重 点 科 技 项 目 （ 准 号 ；５ Ｏ 一 ３３ ） 助 批 ９ 一 ４Ｏ —２ 资
维普资讯
・３ ６ ・ ６
程 ． 设 计 性 能 良好 的 凸 轮机 构 ， 键 在 于 根 据 工 要 关 作 要 求 ， 择 好 从 动 件 的 运 动 规 律 ， 设 计 出 能 满 选 并 足 这 一 运 动 规 律 的 凸 轮 轮廓 曲 线 ． １ １ 凸轮 轮 廓 曲线 的 主 要 要 求 ． 对 内 燃 机 配 气 凸 轮 来 说 ， 轮 廓 曲 线 设 计 的 其 主 要 要 求 如 下 ［． １ ］ １ ）气 门升 程 曲 线 的 丰 满 系 数 越 大 越 好 ． 满 丰 系 数 越 大 ， 体 流 通 性 能 就 越 好 ， 气 和排 气 效 率 气 进
优化设计-8
第8章 约束优化问题的间接法将约束优化问题转化为一系列无约束优化问题来进行求解的方法。
拉格朗日乘子法、罚函数法和增广乘子法虽约束优化问题的间接解法可利用无约束优化问题的求解方法进行求解，但由于增加了拉格朗日乘子和罚因子，因此求解过程与常规无约束优化问题有所不同。
8.1 罚函数法罚函数法针对约束函数构造适当的中间函数，并引入罚因子将约束条件引入到目标函数中构成无约束目标函数。
罚函数的一般形式∑∑==++=Lu u M v v x g r x h r x f r r x l 121121)]([)]([)(),,(min ψϕ (8.1)式中（8.1）)]([x h v ϕ和)]([x g u ψ分别为根据等式约束)(x h v 和不等式约束)(x g u 够造的中间函数，恒为非负。
r 1和r 2为罚因子或罚参数，r 1和r 2是大于0的实数，根据中间函数的特性，罚因子的值在迭代过程中不断发生变化。
当按一定的规则取值使罚函数),,(21r r x l 与目标函数)(x f 值趋于相等时，所得解就是原约束问题的解。
中间函数与罚因子的乘积称为惩罚项，在设计变量取值接近边界过程中，罚因子与中间函数朝相反的方向变化，但在无限逼近的过程中惩罚项趋于0。
因此罚函数法的一般求解过程是：定义)]([x h v ϕ和)]([x g u ψ的形式，根据一定的规则，每选定一次r 1和r 2的值就得到一个无约束优化问题，求解得到一个无约束最优解。
随着罚因子的不断调整，得到无约束最优解的点列{x (k)}，不断逼近有约束的最优解。
罚函数法需要多次迭代求解，因此是一种序列无约束极小化方法，简称SUMT 法。
根据中间函数的形式及设计变量的取值区域，罚函数法分为内点罚函数法、外点罚函数法和混合点罚函数法3种，简称内点法、外点法和混合点法。
1 内点罚函数法构造：中间函数为各个约束函数的倒数之和，即∑=-=Lu u u x g x g 1)(1)]([ψ 或构造为各个约束函数倒数的自然对数之和，即∑=⎥⎦⎤⎢⎣⎡--=L u u u x g x g 1)(1ln )]([ψ 转化以后的罚函数形式为 ()∑=-=L u u x g r x f r x l 1)(1)(, （8.2）或 ()[]∑=--=Lu ux g r x f r x l 1)(ln )(, （8.3） 式（8.2）、式（8.3）对应的优化问题的数学模型为Lu x g t s R x x f u n,...,2,1,0)(..),(min =≤∈ 如果不等式约束为0)(≥x g u 的形式，则将式（8.2）、式（8.3）中的负号做相应调整。
罚函数法
No γk+1 = β γk
闸函数法： （续）
求初始内点： 1 x (1) , k 1, 转2 ； 2 令I k {i | g i ( x ( k ) ) 0}
(k ) 若 I , 则 x 为初始内点。 k 转 3 ； (k ) (k ) 否则，取j使g j ( x ) max{ g i ( x ) | i I k }
2 x
0
0
g ( x , ) 2 最优值(原问题)
3.闸函数法： （续）
定义 ( ) inf{ f ( x) B( x) | x S 0 } 有类似于罚函数法的理论结果： 定理： ( fg ), f , g连续，S 0 Φ , 最优解x S 0 则 1 min{ f ( x) | x S} inf{ ( ) | 0} lim ( )
(t ), (t )的典型取法： (t ) [max {0, t}] p (t ) | t | p
p为正整数。
当p 2时，称2次罚函数.(常用：因2次是最低次的光滑函数)
1.罚函数概念 （续）
Ex. min x s.t. x 2 0
2
( x 2) 2 , x 2 二次罚函数 : ( x) [max{ 0, x 2}] 0, x 2 如图 当 时, min 解析解 : 辅助函数 x ( x 2) 2 x 2 (4 1) x 4 , g ( x, ) f ( x) ( x) x ,x 2 4 1 当x 2时, g ( x, )的驻点x 2 2 故x 2 opt. 当x 2时, g ( x, )的最小值点~ x 2 x2 f ( x) ( x) f ( x ) x 2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（3）对任意 v R n ，且使得 v T h( x * ) 0 的非零
向量 v ，总有
v T Lx 2 ( x * , * )v 0
那么， x * 是问题（Ⅰ）的严格局部最优点。
即若
x * 是问题的局部最优点
x L( x * , * ) 0
1、拉格朗日函数的极小点
内外混合罚函数法：
I 2 i gi ( x0 ) 0, i 1,2, , m I3 j hj ( x0 ) 0, j 1,2, , l
——内部惩罚函数
可以构造增广目标函数
P( x, r ) f ( x) - r ln gi ( x)
iI1
1 + [ | min(0, gi ( x)) |2 + | min(0, h j ( x)) |2 r iI2 jI3
2 min P ( x , ) f ( x ) + h ( x ) j n xR j 1 l
L( x, ) + P ( x )
M x1 ( x, , ) 2 x1
例1 约束优化问题
s.t.
M x2 ( x, , ) -( + 3) + ( - 2) x2
M ( x , , ) L( x , ) +
2
h( x )T h( x )
引理（收敛相关性质） 设在上面等式约束问题中, x*∈Rn和 *∈Rn满足二阶充分条件(定理2), 则存在 一个数* > 0, 对所有的 ≥ *, x*是增广目标函数 的严格局部极小点; 反之, 若h(x0)=0 ，且 x0对某个 0是增广目标函数的 局部极小点, 则x0 是等式约束问题的局部极小点.
乘子法并不要求 趋于无穷大. 只要 大于某个正 数*, 就能保证无约束问题 min M(x, *, ) 的最优解 为原问题的最优解. 要解决的问题是, 如何确定*? 我们采用迭代的方法求出 *. 求解无约束问题
min M(x,k, )
其解为 xk, 然后修正k为k+1, 再求解
min
f ( x)
h j ( x) 0, j 1, 2, ,l
4、乘子法的理论分析
s.t.
其中h(x)=(h1(x),· · · ,hl(x))T, 目标函数和约束函数二次 连续可微. 设 ∈Rl 为乘子向量, 则上面问题的Lagrange 函数为
L( x, ) f ( x) - T h( x),
2 L( x, ) x12 - 3 x2 - x2 - x2 x1 - ( + 3) x2 - x2
2
2
对于任何 λ , 拉格朗日L(x, λ)关于 x 的极小点不存在.
事实上，对于任何参数 λ , 对任何确定的 x1, 当 x2 → +∞ 时，L( x, ) - .
2、外罚函数参数 构造增广目标函数
2 1
-2
2
2 x2
当 *= -3, ≥ * = 2 时,原问题最优解 (0,0)T 是
增广Lagrange函数的最优解.
M x1 ( x, , ) 2 x1
求解无约束问题
2 1
M x2 ( x, , ) -( + 3) + ( - 2) x2
M ( x , , ) x - ( + 3) x2 +
一. 等式约束问题
二．不等式约束问题 三. 约束优化问题的Matlab求解
约束最优化问题的罚函数思想：
min
s.t.
f ( x)
g i ( x) 0 i 1, 2,, m
h j ( x) 0
j 1, 2,, l
x ( x1 , x2 , , xn )T R n 其可行（容许）解集
2 min f ( x) x12 - 3x2 - x2
x2 0
2 /2 取 P ( x ) x2
解 因为拉格朗日（Lagrange）函数
2 2 L( x, ) x1 - ( + 3) x2 - x2 ,
增广Lagrange函数
M ( x , , ) x - ( + 3) x2 +
若 xk→x*, 则有h(x*) = 0, 即 x* 为可行解.
5、等式约束问题的乘子法 — PH算法
Step1 选定初始点x0, 初始乘子向量1, 初始罚因子1, 放大系数c>1, 控制误差e, 常数q ∈(0,1), 令k=1; Step2 以 xk-1 为初始点求解无约束问题
min M ( x , k , k ) f ( xk ) - h( x ) +
外罚函数法：
回顾
其中
P( x, ) f ( x) + P( x)
P( x) | h j ( x) |2
j 1 l
P( x) 称为罚函数, > 0 称为罚因子.
求解原问题转化为求解一系列的无约束问题 min P(x, k) ( k → + ∞)
min P(x, k) ( k → + ∞) 关于罚函数参数 ：
由于x*是可行点, hj(x*) = 0, 因此应该有 f ( x* ) 0.
这在一般情况下是不成立的.
3、等式约束问题的乘子法
我们将上述两种思路结合起来： 即考虑能否找到
*, *, 使得 x* 是下面的增广Lagrange函数的极小点.
min L ( x, ) n
xR Rl
S x | gi ( x) 0, i 1, 2, , m , h j ( x) 0, j 1, 2, , l,
x ( x1, x2 , , xn )T R n
外罚函数法：
可以构造增广目标函数
其中
m i 1
P( x, ) f ( x) + P( x)
l
-2
2
2 x2
令 0 M 2 x , 1
x1
得
M 0 ( - 2) x2 - ( + 3). x2
+3 T x0 (0, ) . -2
要求 x0 满足约束条件 x2 = 0, 必须取 = -3,
从而 x0 = (0, 0)T = x*, 得到原约束问题的最优解.
x M ( xk , k , ) f ( xk ) - h( xk )(k - h( xk )) 0
希望 xk→x*, k→*, 且 f ( x* ) - h( x* ) * 0
于是采取公式 k+1 = k - h(xk)是比较合理的.
若 {k} 收敛, 则有h(xk) →0.
即
f ( x ) * l * * j h j ( x ) 0 j 1
x L( x * , * ) f ( x * ) - ( * ) T h( x * ) 0
其中 * (1* , 2* , , l * ) T 。
定理2 (二阶充分条件) 设在问题（Ⅰ）中 回顾
（1） f ( x), h1( x), h2 ( x), , h l ( x) 二阶 连续可微； （2）存在 x * R n ， * R l 使得 Lagrange
函数的梯度为零，即
L( x * , * ) f ( x * ) - ( * ) T h( x * ) 0
无约束优化问题的困难：
为使无约束优化的解接近于原约束优化的解，选择的
罚因子 σ 和 r 应该充分大或充分小，但是，这时对应的
无约束优化问题的目标函数接近于“病态”.
这是罚函数法固有的，本质性的弱点。因而提出下面
的乘子法（乘子罚函数法）.
一．等式约束问题的乘子 (罚函数) 法
min
s.t.
f ( x)
《运筹与优化》
邵建峰
第五章 约束最优化方法
信息与计算科学系
邵建峰
邵建峰
本章内容：
5.1 约束最优化问题的最优性条件 5.2 罚函数法 5.3 乘子(罚函数)法
5.4 投影梯度法
5.5 简约梯度法 5.6 约束变尺度法
7.2 乘子(罚函数)法
信息与计算科学系
邵建峰
邵建峰
本节内容：
min M(x,k+1, )
得到两个点列{xk},{k}, 希望 xk→x*, k→*.
如何对 k 进行修正?
L( x, ) f ( x) - T h( x), M ( x , , ) L( x , ) + h( x )T h( x )
2
设已有 k 和 xk, 由 M(x,,) 的定义
x L( x, ) f ( x) - T h( x),
L( x, ) h( x)
2 T 2 2 L ( x , ) f ( x ) x x x h( x)
定理1 (Lagrange) 设
回顾
（1） x * 是问题（Ⅰ）的局部最优点； （2） f ( x), h1( x), h2 ( x), , h l ( x) ： R n R 在 x * 附近 的某邻域内可微； （3） h1( x), h2 ( x), , h l ( x) 线性无关。 则必存在实数 1* , 2* , , l * ，使得
对任意的 x*∈D, 有
L( x* , * ) f ( x* ) - *T h( x* ) f ( x* )
f ( x ) - *T h( x ) L( x, * )
min
s.t.
f ( x)
h j ( x) 0, j 1, 2, , l