罚函数法和广义lagrange乘子法
关于接触问题中的拉格朗日乘子法和罚函数法
而拉格朗日乘子法由于引入了一个新的乘子，方程的阶数增加了，同时刚度矩阵也不再是对称正定阵，求出相应的乘子，那么该约束方程是被精确满足的，但是采用的是罚函数法。
可能说的不太清楚，简单的讲：两个都是引入附加约束的方法，罚函数法似乎更好一些
诚如楼上所言，区别就在于在系统的泛函变分式子中引入约束方程的方式不同而造成的，罚函数法的方式引入没有改变系统方程的阶数，同时也没有破坏刚度矩阵的对称正定性质，易于求解，但是约束方程并非能够精确得到满足，是一种近似方法。
第二节 罚函数法
β ∈ (0,1) ，允许误差 ε > 0 ，置 k = 1 ；
k −1 x 为初点，求解无约束优化问题 Step2: 以
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
设其极小点为 x ；
G ( x, r ) = f ( x) − r ∑ ln g i ( x)
m
-----对数障碍函数
由 G( x, r ) 的定义， r 取值越小，问题
min G ( x, r ) = f ( x) + rB( x) s.t. x ∈ int S
的最优解越接近约束优化问题的最优解。 2. 内点罚函数法的计算步骤
k min H ( x) x Step4: 以 为初始点求解无约束问题 x∈Sk k +1 的最优解
x k +1 ，其中
H k +1 ( x) = −∑ gi ( x) + rk +1 ∑ gi ( x)
i∈I k i∈J k
， Sk = {x | gi ( x) > 0, i ∈ J k }
令 rk + 2 = βrk +1 , k = k + 1, 返回 Step2. 注：该算法中，对于 k = 0,1,2,L ，有 I k +1 ⊂ I k , J k +1 ⊃ J k ，且 最后某个 I k = ∅ 。 三. 广义乘子法 1. 对于等式约束优化问题
φ ( x, y , ω , σ ) = f ( x ) − ∑ ω j ( g j ( x ) − y j ) +
2 j =1 l
第十二章 增广目标函数法
驻点为 : x (1) ( ), 并且
时, x (1) ( ) (1, 1) T x *
情形 ：c . 驻点为 : x ( ) ( ), 并且
图解如下
时, x ( ) ( ) (c, 2 c)T x*
x2
x2
x c
●
x c
由例12.1.1及例12.1.2看出, 无约束问题 min F ( x )的极小 点 x( ) D, 而当增大时, x( )逐渐靠近可行域D, 特别 当x( ) D时就是所求的原问题的最优解.
在实际算法中, 把取为一个趋于正无穷大的数列{ k }, 对k 0, 1, 2, , 求解一系列的无约束问题 : min Fk ( x )
( ) 由 于Fk - ( xk - ) Fk ( xk ), 变形得 f ( xk - ) f ( xk ) 因此, (2) 成立.
1 (3) Fk -1 ( xk -1 ) Fk 1 ( xk ) f ( xk ) k -1 S ( xk ) 2 1 f ( xk ) k S ( xk ) Fk ( xk ) 2 因此, (3)成立.
x*
min
f ( x ) x x
x (1, 1)
*
T
s.t. x x 1 2 2 解:该问题的L2罚函数为 : F (x) x1 x2 (x1 x2 -2) 2 2 F (x) 2 2 x ( x x -2) 0 1 1 2 x 2 1 1 令 x( ) 2 F (x) 2 x (x x -2) 0 2 1 2 1 2 x 2 当 , min F (x)的极小点 x( ) (1, 1)T x*
接触问题的有限元分析
增广Lagrange 乘子法：最直接的一种方法是构造修 正的势能泛函：
U U p U c U
6.1 接触边界的有限元算法
（2）接触约束算法 2） Lagrange 乘子法与增广Lagrange 乘子法
U U p U c U
相应的控制方程为：
K Kp
G
GT 0
U
λ
F Fp
U
1 2
λT
E
p
1
λ
6.1 接触边界的有限元算法
（2）接触约束算法
2） Lagrange 乘子法与增广Lagrange 乘子法
U
1 2
λT
E p
1
λ
min
U,
λ
1 2
UT
K
U
UT
F
g
U
T
λ
1 2
λT
Ep
λ
U
1 2
λT
Ep
1
λ
解收敛于
min U, λ 1 UT K UUT F g U T λ 解
惩罚函数法对接触约束条件的处理是通过在势能泛函中
增加一个惩罚势能。
p
U
1 2
P T
EP
P
惩罚因子
嵌入深度，是节点位移的函数
接触问题就等价于无约束优化问题:
min U U p U
K K U FF
p
p
6.1 接触边界的有限元算法
（2）接触约束算法
1）罚函数方法
K K U FF
p
接触问题基本类型：刚体─柔体接触，柔体─柔体接 触。
在刚体─柔体的接触中，接触面的一个或多个被当作 刚体(与它接触的变形体相比，有大得多的刚度)，一般情 况下，一种软材料和一种硬材料接触时，问题可以被假定 为刚体─柔体的接触，许多金属成形问题归为此类接触；
罚函数法
No γk+1 = β γk
闸函数法： （续）
求初始内点： 1 x (1) , k 1, 转2 ； 2 令I k {i | g i ( x ( k ) ) 0}
(k ) 若 I , 则 x 为初始内点。 k 转 3 ； (k ) (k ) 否则，取j使g j ( x ) max{ g i ( x ) | i I k }
2 x
0
0
g ( x , ) 2 最优值(原问题)
3.闸函数法： （续）
定义 ( ) inf{ f ( x) B( x) | x S 0 } 有类似于罚函数法的理论结果： 定理： ( fg ), f , g连续，S 0 Φ , 最优解x S 0 则 1 min{ f ( x) | x S} inf{ ( ) | 0} lim ( )
(t ), (t )的典型取法： (t ) [max {0, t}] p (t ) | t | p
p为正整数。
当p 2时，称2次罚函数.(常用：因2次是最低次的光滑函数)
1.罚函数概念 （续）
Ex. min x s.t. x 2 0
2
( x 2) 2 , x 2 二次罚函数 : ( x) [max{ 0, x 2}] 0, x 2 如图 当 时, min 解析解 : 辅助函数 x ( x 2) 2 x 2 (4 1) x 4 , g ( x, ) f ( x) ( x) x ,x 2 4 1 当x 2时, g ( x, )的驻点x 2 2 故x 2 opt. 当x 2时, g ( x, )的最小值点~ x 2 x2 f ( x) ( x) f ( x ) x 2
增广拉格朗日乘子法及其在约束优化问题的应用
毕业论文题目增广拉格朗日乘数法及在其在约束优化问题的应用学院数学科学学院专业信息与计算科学班级计算1001班学生高亚茹学号 20100921032 指导教师邢顺来二〇一四年五月二十五日摘要增广拉格朗日乘子法作为求解约束优化问题的一种重要方法，近年来研究增广拉格朗日乘子法的应用显得更加重要。
本文首要介绍了增广拉格朗日乘子法的产生，通过解释增广拉格朗日乘子法是罚函数法和拉格朗日乘子法的有机结合，引出了现在对增广拉格朗日法的发展状况，概述了增广拉格朗日乘子法基本理论。
然后具体说明了增广拉格朗日法在科学领域上的实际应用，如在供水系统和图像复原的应用，也证明了增广拉格朗日乘子法的实际应用性。
关键词：增广拉格朗日乘子法；罚函数法；供水系统；图像复原ABSTRACTAugmented lagrange multiplier methods as an important method for solving constrained optimization problems, recent studies in applications of augmented lagrange multiplier methods is even more important. This paper describes the generation of primary augmented lagrange multiplier method. By interpreting the augmented lagrangian multiplier methods is the combination of penalty function methods and Lagrange multiplier methods, It is given to a recent development of augmented lagrangian methods. Then is shown the basic theories of augmented lagrangian multiplier methods. Finally it is specified the augmented lagrangian method on the practical applications of scientific fields, such as water supply ystems and image restorations, also proved augmented lagrangian multiplier methods of practical application.Key words：Augmented Lagrange Multiplier Methods；Penalty Function Methods Water Supply Systems ；Image Restorations目录摘要.................................................................................... .I ABSTRACT. (II)1前言 (1)1.1增广拉格朗日函数法的产生与应用 (1)1.2研究增广拉格朗日函数法应用的意义 (1)2增广拉格朗日乘子法 (3)2.1约束非线性规划 (3)2.2罚函数外点法 (4)2.3拉格朗日乘子法....................................... (6)2.4增广拉格朗日乘子法.............................. (7)2.4增广拉格朗日乘子法的计算........................... ................................. 10 3 增广拉格朗日乘子法的应用................................................. ...... (12)3.1供水系统调度的增广拉格朗日函数优化方法.......................... . (12)3.2图像复原的增广拉格朗日函数优化方法 (14)结论........................................................................................... .. (17)参考文献 (18)致谢 (19)1前言1.1 增广拉格朗日函数法的产生与应用在求解有约束条件的优化题目时，有一个重要方法，便是用适合的方法把约束优化问题，转变成无约束优化问题来进行求解。
Lagrange 乘子法
由于圆盘作纯滚动，这个体系只有一个自由度，因此我们可以选择 x 或者θ 作为广义坐标，并利用约束方程将另一个变量消去。但是，我们也可以把 x 和θ 都当作广义坐标，而利用 Lagrange 乘子法求解这个问题。此时 Lagrange 方程为
0=
∂L d ∂L ∂f + λ − +λ = mg sin α − mx ∂x dt ∂x ∂x ∂L d ∂L ∂f 1 − λ R 0= − +λ = 0 − mR 2θ ∂θ dt ∂θ ∂θ 2
第 2 页，共 9 页
m ∂L d ∂L − + ∑ λ A = 0 ( v = 1, 2,", m ) k v=1 v vk ∂qk dt ∂q 即方程(7)积分中对应于前面 m 个不独立坐标变分的系数为零。
(8)
这样选取 λv 之后，方程(7)剩下的积分就是
∫
t2
t1
⎛ ∂L d ∂L m ⎞ − + ∑ λv Avk ⎟ δ qk = 0 dt ∑ ⎜ k v=1 dt ∂q k = m+1 ⎝ ∂qk ⎠
, t ) dt = 0 δ S = δ ∫ L ( q, q
t1
t2
(2)
我们假定它对于非完整约束也是正确的。因此，完全类似于以前的推导，我们有
∫
t2
t1
⎡⎛ ∂L d ∂L ⎞ ⎤ q − δ ⎢⎜ ⎟ k ⎥ dt = 0 q dt q ∂ ∂ k ⎠ ⎣⎝ k ⎦
(3)
这里 qi 不是独立的，从而变分（或者虚位移）δ qk 也不能任意取值，所以我
(13)
上一节我们已经知道第一项等于
第 3 页，共 9 页
∂L d ∂L − k ∂qk dt ∂q
罚函数法
i =1 i =1 j =1
m+ p
m
p
α
p ⎡m α⎤ F ( x , M ) = f ( x ) + M ⎢ ∑ max{0, gi ( x )}α + ∑ h j ( x ) ⎥ j =1 ⎣ i =1 ⎦
(2.1)
或 p( x ) = c ( x )
∞
= max ci ( x ) = max{max{0, gi ( x )}, i = 1," , m, h j ( x ) , j = 1," , p} ，则
k k k k
(2.2)
F ( xk , M k ) → F * ， f ( xk ) → f *
则 M k p ( x ) = F ( x , M k ) − f ( x ) → F − f ，再由 M k → +∞ 得
k k k
*
*
p( x k ) → 0
k k k k
(2.3)
故当 k 充分大时 x ∈ Sδ 。由 Sδ 为紧集，因此{ x }存在收敛子列 { x }k∈J ，设 x → x ( k ∈ J ) 。由已知 条件知 f ( x ) 和 p ( x ) 是连续函数，由(2.3)得 p ( x ) = 0 ，故 x ∈ S ，再由(2.2)得
*
K
知， {F ( x , M k )} 和 { f ( x )} 是单调增序列，并且
k
k
f ( x* ) = F ( x* , M k ) ≥ F ( x k , M k ) ≥ f ( x k )
即 {F ( x , M k )} 和 { f ( x )} 有上界，故 {F ( x , M k )} 和 { f ( x )} 收敛，设
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
中间结果不是可行点。
惩罚函数法
外罚函数法
内罚函数法（障碍函数法） 广义Lagrange乘子法
内罚函数法
内罚函数法的出发点
内罚函数法
内罚函数法
内罚函数法
内罚函数法
内罚函数法
内罚函数法
Example
内罚函数法
内罚函数法
内罚函数法
内罚函数法
内罚函数法
内罚函数法 内罚函数法的收敛性定理
s = 10
条件数=61
s = 10000
条件数=60000
外罚函数法
Questions
外罚函数法为什么罚因子要取得足够大？
外罚函数法
外罚函数法
外罚函数法的优点： 对初始点要求低。 把问题转化为一系列无约束优化问题，结 构简单，可以利用求解无约束优化问题的 算法。
外罚函数法
Proof
等式约束下的广义Lagrange乘子法
等式约束下的广义Lagrange乘子法
Remark
等式约束下的广义Lagrange乘子法
等式约束下的广义Lagrange乘子法
等式约束下的广义Lagrange乘子法
Example
Remark
Remark
Example
不等式约束下的广义Lagrange乘子法
不等式约束下的广义Lagrange乘子法
（＊）
不等式约束下的广义Lagrange乘子法
不等式约束下的广义Lagrange乘子法
不等式约束下的广义Lagrange乘子法
不等式约束下的广义Lagrange乘子法
不等式约束下的广义Lagrange乘子法
等式和不等式约束下的广义Lagrange乘子法
等式约束下的广义Lagrange乘子法
等式约束下的广义Lagrange乘子法
(*)
等式约束下的广义Lagrange乘子法
等式约束下的广义Lagrange乘子法
等式约束下的广义Lagrange乘子法
(**)
等式约束下的广义Lagrange乘子法
Theorem
等式约束下的广义Lagrange乘子法
内罚函数法
Remark
惩罚函数法
外罚函数法
内罚函数法（障碍函数法） 广义Lagrange乘子法
广义Lagrange乘子法 广义Lagrange乘子法的出发点
广义Lagrange乘子法
等式约束下的广义Lagrange乘子法 不等式约束下的广义Lagrange乘子法 等式和不等式约束下的广义Lagrange乘子法
等式和不等式约束下的广义Lagrange乘子法
（＊＊）
等式和不等式约束下的广义Lagrange乘子法
等式和不等式约束下的广义Lagrange乘子法
等式和不等式约束下的广义Lagrange乘子法
ห้องสมุดไป่ตู้
Remark
等式和不等式约束下的广义Lagrange乘子法
（＊）
等式和不等式约束下的广义Lagrange乘子法
等式和不等式约束下的广义Lagrange乘子法
等式和不等式约束下的广义Lagrange乘子法
Example
等式和不等式约束下的广义Lagrange乘子法
等式和不等式约束下的广义Lagrange乘子法
外罚函数法
外罚函数法
外罚函数法 Questions
1 无约束问题的极小值点是原问题的极小值点吗？ 2 有两个罚因子，若较小的罚因子对应的无约束问 题的极小值点是原问题的极小值点，较大罚因子 对应的无约束问题的极小值点也是原问题的极小 值点吗
Lemma
Lemma
Remark
Lemma
Proof
Lemma
Lemma
Theorem
外罚函数法
Proof
外罚函数法
外罚函数法
外罚函数法
(1)
外罚函数法
外罚函数法 Remark
外罚函数法
外罚函数法
外罚函数法
外罚函数法的收敛性定理
外罚函数法 Example
外罚函数法
外罚函数法
外罚函数法
外罚函数法
外罚函数法
s = 1 条件数7.3453
惩罚函数法
外罚函数法
内罚函数法（障碍函数法） 广义Lagrange乘子法
外罚函数法
外罚函数法
(*)
外罚函数法
外罚函数法 (**)
外罚函数法
外罚函数法 (***)
外罚函数法
外罚函数法
外罚函数法
外罚函数法
(****)
外罚函数法
外罚函数法 Example
外罚函数法
外罚函数法