第4章罚函数法
合集下载
惩罚函数法
内点法的程序框图如下：
k k 1
r k 1 cr k
否
X 0 X *(rk )
开始
输入 X 0、r0、c、
k←0
求 min(X , rk )
满足收敛条件？ 是
X * X *(rk ) f ( X *) f X *(rk )
结束
3.外点惩罚函数法
求解策略
外点惩罚函数法简称外点法。这种方法和内点相反，
3.外点惩罚函数法
外点法程序框图：
Yes
X * X *(rk )
Yes
f ( X *) f X *(rk )
结束
开始
输入 X 0, r0, c,1,2
k 0
求 min ( X , rk ) 得X *(rk )
Q max g j ( X *(rk ))
Q 1 ?
No
X * (r k ) X * (r k1) 2
(X , r) f (X ) rmax 0, g j (X ) rhk (X )
j 1
k 1
式中：r为惩罚因子，它是由小到大，且趋近于∞的数列
3.外点惩罚函数法
l
2m
2
即 r0＜r1＜r2＜··· ,hk (X ) 、max 0, g j (X )分别对
应为对应于不等式约束和等k式1 约束函数j1的惩罚项， 其中
当 r , lim(1 1 ) 1。
r 4r
当逐步增大r值，直至趋近于无穷时，逼近原问题的约束最优
解，当r=0.25,0.5,1,2时，惩罚函数 (X , r) 的等值线图
下如
3.外点惩罚函数法
当r逐渐增大时，极值
点 X *(r)的序列将沿一直线轨 迹 ( X *(r), r) 1 X *(r) 在可 行域外逐步逼近2 最优2 点。
k k 1
r k 1 cr k
否
X 0 X *(rk )
开始
输入 X 0、r0、c、
k←0
求 min(X , rk )
满足收敛条件？ 是
X * X *(rk ) f ( X *) f X *(rk )
结束
3.外点惩罚函数法
求解策略
外点惩罚函数法简称外点法。这种方法和内点相反，
3.外点惩罚函数法
外点法程序框图：
Yes
X * X *(rk )
Yes
f ( X *) f X *(rk )
结束
开始
输入 X 0, r0, c,1,2
k 0
求 min ( X , rk ) 得X *(rk )
Q max g j ( X *(rk ))
Q 1 ?
No
X * (r k ) X * (r k1) 2
(X , r) f (X ) rmax 0, g j (X ) rhk (X )
j 1
k 1
式中：r为惩罚因子，它是由小到大，且趋近于∞的数列
3.外点惩罚函数法
l
2m
2
即 r0＜r1＜r2＜··· ,hk (X ) 、max 0, g j (X )分别对
应为对应于不等式约束和等k式1 约束函数j1的惩罚项， 其中
当 r , lim(1 1 ) 1。
r 4r
当逐步增大r值，直至趋近于无穷时，逼近原问题的约束最优
解，当r=0.25,0.5,1,2时，惩罚函数 (X , r) 的等值线图
下如
3.外点惩罚函数法
当r逐渐增大时，极值
点 X *(r)的序列将沿一直线轨 迹 ( X *(r), r) 1 X *(r) 在可 行域外逐步逼近2 最优2 点。
罚函数-原理与应用
定理3.37
定理3.37 设对给定的参数μ,F(x,μ)的无约
束极小值为xμ。那么，xμ成为f(x)的约束极小点的
充要条件是：xμ是原问题的可行点。
罚函数法算法
2.罚函数算法
1) 取初始点X0为非可行点,μ0＞0(通常取μ0=1), ε＞0,c＞1(通常取
c=10),k=0
2) 以Xk为出发点，求解无约束极小化问题：
= 12 + 222 + 21 + (1 + 2 − 1)2
(, )
= 12 + 222 + 21
+ (1 + − 1)2
例题
= 2, 2 = 100
(1) = (−0.2,0.4), ( (1) ,μ0 ) = 1.5237
任选一种无约束极小化算法，可解得F(X, μ0)的
问题转化为：
minF(x)
min() = 12 + 222 + 21
..
(3-98)
基本原理
F(x)的等价表达式：
F(x,μ)=x+μ[max(0,-0+2)]²
其中，μ是一个充分大的正数。记
α(x)=[max(0,-x+2)]²
(3-98)
(3-99)
通常将μα(x)称之为罚函数，记为
点正是X=2
解题步骤
一般情况下：
设原问题为
minf(x)
(3-100)
s.t. gi(x)≤0,i=1,2,…,m (3-101)
hj(x)=0,j=1,2,…,l (3-102)
则可以构造无约束极小化问题：
minF(x,μ)=f(x)+μα(x) (3-103)
罚函数
增广目标函数
增广目标函数由两个部分构成， 增广目标函数由两个部分构成，一部 分是原问题的目标函数， 分是原问题的目标函数，另一部分是 由约束函数构造出的“惩罚” 由约束函数构造出的“惩罚”项， 惩罚”项的作用是对“违规” “惩罚”项的作用是对“违规”的点 进行“惩罚”。 进行“惩罚”
罚函数的分类
内点法
如果从可行域内部的一点X 出发， 如果从可行域内部的一点X（0）出发， 按无约束极小化方向进行迭代（ 按无约束极小化方向进行迭代（在进 行以为搜索时要适当控制步长， 行以为搜索时要适当控制步长，以免 迭代点跑到R 之外）， ），则随着障碍因 迭代点跑到R0之外），则随着障碍因 的逐步减小， 子rk的逐步减小，即： r1>r2>…>rk>…>0 障碍项所起的作用也越来越小， 障碍项所起的作用也越来越小，因 而：
罚函数法主要有两种形式： 罚函数法主要有两种形式：外点法和内 点法。 点法。 外点法的迭代点一般在可行域的外部移 随着迭代次数的增加， 惩罚” 动，随着迭代次数的增加，“惩罚” 的力度也越来越大， 的力度也越来越大，从而迫使迭代点 向可行域靠近； 向可行域靠近；
罚函数的分类
内点法从满足约束条件的可行域的内点 开始迭代， 开始迭代，并对企图穿越可行域边界 的点予以“惩罚” 的点予以“惩罚”，当迭代点越接近 边界， 惩罚”就越大， 边界，“惩罚”就越大，从而保证迭 代点的可行性。 代点的可行性。
外点法
X=(-1/8,M=3: X=(-1/8,-29/192)T M=4: X=(-1/10,-23/200)T X=(-1/10,可知X(M)从R的外面逐步逼近R的边界， 可知X(M)从 的外面逐步逼近R的边界， X(M) 当 时 ∞X(M)趋于原问题 M → ，X(M)趋于原问题 的极小值解X 的极小值解Xmin=(0,0)T
惩罚函数法
惩罚函数法
惩罚函数法（penalty function method）是一种优化方法。
它的基本思想是，将原始问题转换为一个新的目标函数，在此基础上，通过对不等式、二次限制条件等加入惩罚项，使得原问题转化为无约束优化问题，从而可以采用常见的求解方法，如牛顿法、拉格朗日乘子法或者梯度下降法等。
该方法的具体步骤如下：
(1) 将原有的约束条件作为等式或不等式表示；
(2) 将约束条件中的不等式转换为等式，并将其和原有的等式组合在一起，形成新的约束条件；
(3) 将原有的目标函数和约束条件组合在一起，形成新的目标函数；
(4) 将新的目标函数中的不等式约束条件添加惩罚项，并且形成一个新的无约束优化问题；
(5) 用一种方法求解这个新的无约束优化问题，获得最优解。
罚函数法
No γk+1 = β γk
闸函数法： （续）
求初始内点： 1 x (1) , k 1, 转2 ； 2 令I k {i | g i ( x ( k ) ) 0}
(k ) 若 I , 则 x 为初始内点。 k 转 3 ； (k ) (k ) 否则，取j使g j ( x ) max{ g i ( x ) | i I k }
2 x
0
0
g ( x , ) 2 最优值(原问题)
3.闸函数法： （续）
定义 ( ) inf{ f ( x) B( x) | x S 0 } 有类似于罚函数法的理论结果： 定理： ( fg ), f , g连续，S 0 Φ , 最优解x S 0 则 1 min{ f ( x) | x S} inf{ ( ) | 0} lim ( )
(t ), (t )的典型取法： (t ) [max {0, t}] p (t ) | t | p
p为正整数。
当p 2时，称2次罚函数.(常用：因2次是最低次的光滑函数)
1.罚函数概念 （续）
Ex. min x s.t. x 2 0
2
( x 2) 2 , x 2 二次罚函数 : ( x) [max{ 0, x 2}] 0, x 2 如图 当 时, min 解析解 : 辅助函数 x ( x 2) 2 x 2 (4 1) x 4 , g ( x, ) f ( x) ( x) x ,x 2 4 1 当x 2时, g ( x, )的驻点x 2 2 故x 2 opt. 当x 2时, g ( x, )的最小值点~ x 2 x2 f ( x) ( x) f ( x ) x 2
罚函数法
外罚函数法算法
Step1: 给出 x0 ∈ Rn (可是不可行点)， > 0(ε =10−4 ) ε 罚因子 σ1(σ1 =1) , 放大系数 C(C =10) , k =1. Step2: 以 xk−1 为初始点求无约束问题： ~ m P( x,σk ) = f ( x) +σk P( x) 得 xk = x(σk ). in ~ Step3: 若 σk P(xk ) < ε , 则 x* = xk ,停； 否则转step4 Step4: 令 σk+1 = Cσk , k = k +1, 转step2.
Q f (xk ) ≤ P(xk ,σk ) ≤ f x
设其极限为 f . ∴ { f (xk )} 亦为单调有界序列， ~ ∴ lim σk P(xk ) = lim [P(xk ,σk ) − f (xk )] = p0 − f 0 k→+∞ k→+∞ ~ Q σk →+∞ ∴ lim P(xk ) = 0 k→+∞ ~ ~ ~ 且 P(x) 连续； P(~) = 0 即 ~ 为可行解 x ∴ x Q x →x
0
( )
*
Q x 为最优解；∴ f x* ≤ f (~) x ~, f (x) 连续； f (~) = lim f (x ) ≤ f (x* ) ∴ x Q xk → x k k→+∞ * ~) 即 ~ 为(3)的整体最优解． ∴ f x = f (x x
k *
( )
( )
外罚函数法评价
(1) 如果有了求解无约束问题的好算法，利用 外罚函数法求解约束问题很方便． (2) 每个近似解 x(σk ) 往往不是可行解，这是某 些实际问题所无法接受的． 内罚函数法可以解决． (3) 由收敛性定理 σk 取越大越好， σk 越大将 而 造成增广目标函数 P( x,σ ) 的Hesse阵条件数越 大，趋于病态，给无约束问题求解增加很大困 难，甚至无法求解．乘子法可解决这个问题．
0422 罚函数法
Page 17
所以
1 r x r r
令 r 0 有：
x( r ) x 1, 0
*
T
则最优解及最优值分别为：
x 1, 0
* T
8 , f . 3
*
3. 算法实现
Page 18
Step1: 给出 x 0 R n (要求是可行点)， 0 104 罚因子 r1 r1 10 , 缩小系数 c 0.1 , 令 k 1. Step2: 以 x k 1 为初始点求无约束问题：
2 2 min f x x1 x2
Page 7
s.t
解：作辅助函数
x1 1 0
2 1 2 2 2
F x, x x max 0, x1 1
2 2 x x x1 1 0 1 2 即：F x , 2 2 2 x1 1 0 x1 x2 x1 1 x1 1 因此： F 2 x1 x1 2 x1 2 x1 1 x1 1 F 2 x2 x2
i 1 j 1
0 是很大的正数．
P ( x ) 0, F ( x , ) f ( x ). 当 x是可行点时， 分析： 当 x不是可行点时， P x 0, 又因 是大正数．
故此 x 很难成为 F x， 的极小点. 因此，按上策略 得到的 F x, 的极小点应充分靠近可行域，逐渐
“围墙”，当迭代点靠近边界时，目标函数值陡然增大,
这相当于对它进行惩罚，从而阻止迭代点穿越边界，
这样就可以把最优解“挡”在可行域内了．
注意： 内点法只适合于不等式约束问题，并且要求 可行域的内点集非空．
罚函数课件
CHAPTER
06
罚函数的未来发展与研究方向
罚函数的改进与优化
动态调整罚因子
根据问题的复杂性和数据特性，动态调整罚因子的大小，以获得 更好的优化效果。
多目标优化罚函数
将多目标优化问题转化为单目标优化问题，通过设计合理的罚函 数，实现多个目标的平衡优化。
引入机器学习算法
利用机器学习算法对罚函数进行训练和优化，提高罚函数对复杂 问题的适应性。
02
在机器学习中，罚函数常用于解决模型的过拟合问题。通过在损失函数中加入 正则化项（即惩罚项），使得模型在训练过程中不仅要最小化损失函数，还要 尽量满足某些正则化条件（如参数的范数约束）。
03
常见的正则化项包括L1正则化、L2正则化以及弹性网正则化等。这些正则化项 在模型训练过程中起着重要的角色，能够有效地防止过拟合，提高模型的泛化 能力。
罚函数在深度学习中的实现方式
软阈值化
在优化过程中，将权重向量的元素值与阈值进行比较，将 超过阈值的元素置为零，实现L1正则化。
权重衰减项
在损失函数中添加权重衰减项，使得权重向量的平方和变 小，实现L2正则化。
自定义罚函数
根据具体问题定义自己的罚函数，并在损失函数中添加该 罚函数项，以实现特定的正则化效果。
系数估计
Ridge回归使用L2范数作为 惩罚项，对系数进行估计， 能够得到更平滑、更稳定的 模型。
模型选择
Ridge回归在选择模型时， 通常需要预先设定一个阈值 或交叉验证来确定惩罚参数 的大小。
L1与L2罚函数的比较
稀疏性
Lasso回归具有稀疏性，能够自动选 择重要变量，而Ridge回归则不具备 这一特性。
罚函数与其他算法的结合
与进化算法结合
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
即
解 (x, y) (0,1)
并且 min f (x, y) 1
min 前例：
f s.t.
2x2 y2 3xy x y 1
？？
50
◆不等式约束的罚函数法
操华胜：最优化方法
▲不等式约束的罚函数法 设有带不等式约束的非线性规划问题
min f (x)
s.t.
hi (x) 0
究其原因是因为目标函数的 Hess 阵并不是正定的。因此对拉格朗日乘子法方法需要加以改进。
（不足之处）引入下面方法的理由
若函数或条件为非多项式则不可能求解
第五章 约束最优化的加权方法
47
◆等式约束的罚函数法
▲罚函数法的基本原理 设有带约束的非线性规划问题
式中的函数均为的非线性连续函数。
min f (x)
△例题 2
min f (x, y) x2 y2
求
s.t. y 1 0
解 定义罚函数为： F (x, y, ) x2 y2 ( y 1)2 。求它的极值。由 F (x, y, ) 0 得
2x
F
2
y
2 (y
(y 1)2
1)
0
→
பைடு நூலகம்
x y
0
1
0 1
可见对 求极小没有任何作用，因此只对变量取极小。此时，F (x, y, ) F (x, y, ) 1 min F (x, y, ) 。
注：
①由后式得“解（最小点）在边界上得到”（即满足 g 0 ）；
②由前式得 f
g
0
即
g T f g T g
；如果将它代入 L(x, ) 中可用解决无约束问题的方
法求解；
③ f (x) 与 g(x) 的极值点相同，即 f g 。 ④事实上，求解 min L(x, ) 是运用无约束问题的最优化方法来求解的，一般无法求得上述
s.t.
gi (x) 0
引入增广目标函数
F (x, ) f (x) P(x)
其中 为很大的正数；称 F (x, ) 为罚函数， P 为罚项， 为罚因子。一般取
P gT g
因此原问题等价于无约束的最优化问题：
min F (x, ) f (x) P(x)
罚项 P(x) 具有这样的性质，当 x 为可行解时罚项为零； 当 x 不为可行解时罚项就是一个惩罚项（远离可行域），求极小的作用又期望将它“拉”回。
关于 P 的取法：①与原条件函数相关；②为正函数（σP 为正）；③上述性质；
48
操华胜：最优化方法
min s.t.
f (x) gi (x)
0
，
F (x, ) f (x) gT g
△分析（判断）：①当 x 为可行点（即 x 满足 gi (x) 0 ）时，则有 P(x) 0 ， （即 gi (x) 0 ）
§4.1 罚函数法 §4.2 障碍函数法 §4.3 广义乘子法
第四章 约束最优化的加权方法
§4.1 罚函数法
◆从拉格朗日乘子法谈起
乘子法是研究带约束的极值问题的有效方法之一。从高等数学中拉格朗日乘子法开始，对它的研究一直 不断。在拉格朗日乘子法的基础上又给出了罚函数法、障碍函数法、广义拉格朗日乘子法（也简称为广义乘 子法）对带约束的极值问题的求解方法。这些方法统称为广义乘子法。
3 5
，
2 5
。
则求得
f
2 5
,
3 5
1 5
min
△关于拉格朗日乘子法的讨论
min f 2x2 y2 2xy
s.t. x y 1
min f 2x2 y2 3xy
s.t. x y 1
若将上例中的 2xy 改为 3xy ，则 4x 3y 0 ， 2 y 3x 0 ， x y 1 0 无法解出。
▲拉格朗日乘子法的基本原理 对等式约束问题
min f (x)
s.t.
g(x) 0
引入拉格朗日（Lagrange）乘子 ，并定义增广拉格朗日函数
L(x,) f (x) g(x)
则原问题的解可转化求解
min L(x, )
由高等数学知，该问题有解的必要条件是：
L(x, ) 0
即： xL(x, ) f g 0 ， L(x, ) g 0
事实上，当 时，若问题有解（即 F ）则必有 g 0 ；
另一方面，由于 F f 2 gigi 0 ，结合 时的结果 g 0 ，故有 F f ＝0；
也就是说，若边界上（ g 0 ）的点 x 为 F 的极值点，则它必为原目标函数 f 有极值点。
由于 x( ) 往往不满足原问题的可行条件，即它并不是原问题的解，当 充分大时它才趋于 可行解；它表明该序列从可行域的外部慢慢收敛于可行域内部的解，因此该方法又称为外点法。
此时有 min F (x, ) min f (x) 。
②当 x 不为可行点（即 x 满足 gi (x) 0 ）时，则有
P(x) 0 ， 且 P(x) 很大
此时，求 min F (x, ) 必然有 min f (x) 与 min P(x) 同时满足，而后者是求 x 使得 min P(x) 。
h(g) min
h(g) min C
0
第五章 约束最优化的加权方法
49
△罚函数算法（等式约束的罚函数算法） ①取初值 初始点 x0 ，允许误差 0 ，初罚因子 0 0 ，放大系数 1 ，且 k k1 ，并置 k 1 ； ②计算 以 xk1 为初始点，求解 min F (x, ) f (x) P(x) ，得到解 xk 。 ③约束判断 若 k g(xk ) 则计算终止，此时的解为 x xk ；否则，置 k k 1 转②
x
x,
==================================================================================
若记
D
x
gi (x)
0 则有
gi (x)2
0, 0,
xD xD 。
可以期望，当 充分大时，无约束问题 min F (x, ) 的最优解 x( ) 与原问题的解 x 十分接近。
联立方程组。
46
操华胜：最优化方法
△例题 1
min f 2x2 y2 2xy
求解
s.t. x y 1
解 定义 L(x, ) 2x2 y2 2xy (x y 1)
则作 L(x, ) 0 如下， 4x 2y 0， 2y 2x 0， x y 1 0
解得
x
2 5
，
y
解 (x, y) (0,1)
并且 min f (x, y) 1
min 前例：
f s.t.
2x2 y2 3xy x y 1
？？
50
◆不等式约束的罚函数法
操华胜：最优化方法
▲不等式约束的罚函数法 设有带不等式约束的非线性规划问题
min f (x)
s.t.
hi (x) 0
究其原因是因为目标函数的 Hess 阵并不是正定的。因此对拉格朗日乘子法方法需要加以改进。
（不足之处）引入下面方法的理由
若函数或条件为非多项式则不可能求解
第五章 约束最优化的加权方法
47
◆等式约束的罚函数法
▲罚函数法的基本原理 设有带约束的非线性规划问题
式中的函数均为的非线性连续函数。
min f (x)
△例题 2
min f (x, y) x2 y2
求
s.t. y 1 0
解 定义罚函数为： F (x, y, ) x2 y2 ( y 1)2 。求它的极值。由 F (x, y, ) 0 得
2x
F
2
y
2 (y
(y 1)2
1)
0
→
பைடு நூலகம்
x y
0
1
0 1
可见对 求极小没有任何作用，因此只对变量取极小。此时，F (x, y, ) F (x, y, ) 1 min F (x, y, ) 。
注：
①由后式得“解（最小点）在边界上得到”（即满足 g 0 ）；
②由前式得 f
g
0
即
g T f g T g
；如果将它代入 L(x, ) 中可用解决无约束问题的方
法求解；
③ f (x) 与 g(x) 的极值点相同，即 f g 。 ④事实上，求解 min L(x, ) 是运用无约束问题的最优化方法来求解的，一般无法求得上述
s.t.
gi (x) 0
引入增广目标函数
F (x, ) f (x) P(x)
其中 为很大的正数；称 F (x, ) 为罚函数， P 为罚项， 为罚因子。一般取
P gT g
因此原问题等价于无约束的最优化问题：
min F (x, ) f (x) P(x)
罚项 P(x) 具有这样的性质，当 x 为可行解时罚项为零； 当 x 不为可行解时罚项就是一个惩罚项（远离可行域），求极小的作用又期望将它“拉”回。
关于 P 的取法：①与原条件函数相关；②为正函数（σP 为正）；③上述性质；
48
操华胜：最优化方法
min s.t.
f (x) gi (x)
0
，
F (x, ) f (x) gT g
△分析（判断）：①当 x 为可行点（即 x 满足 gi (x) 0 ）时，则有 P(x) 0 ， （即 gi (x) 0 ）
§4.1 罚函数法 §4.2 障碍函数法 §4.3 广义乘子法
第四章 约束最优化的加权方法
§4.1 罚函数法
◆从拉格朗日乘子法谈起
乘子法是研究带约束的极值问题的有效方法之一。从高等数学中拉格朗日乘子法开始，对它的研究一直 不断。在拉格朗日乘子法的基础上又给出了罚函数法、障碍函数法、广义拉格朗日乘子法（也简称为广义乘 子法）对带约束的极值问题的求解方法。这些方法统称为广义乘子法。
3 5
，
2 5
。
则求得
f
2 5
,
3 5
1 5
min
△关于拉格朗日乘子法的讨论
min f 2x2 y2 2xy
s.t. x y 1
min f 2x2 y2 3xy
s.t. x y 1
若将上例中的 2xy 改为 3xy ，则 4x 3y 0 ， 2 y 3x 0 ， x y 1 0 无法解出。
▲拉格朗日乘子法的基本原理 对等式约束问题
min f (x)
s.t.
g(x) 0
引入拉格朗日（Lagrange）乘子 ，并定义增广拉格朗日函数
L(x,) f (x) g(x)
则原问题的解可转化求解
min L(x, )
由高等数学知，该问题有解的必要条件是：
L(x, ) 0
即： xL(x, ) f g 0 ， L(x, ) g 0
事实上，当 时，若问题有解（即 F ）则必有 g 0 ；
另一方面，由于 F f 2 gigi 0 ，结合 时的结果 g 0 ，故有 F f ＝0；
也就是说，若边界上（ g 0 ）的点 x 为 F 的极值点，则它必为原目标函数 f 有极值点。
由于 x( ) 往往不满足原问题的可行条件，即它并不是原问题的解，当 充分大时它才趋于 可行解；它表明该序列从可行域的外部慢慢收敛于可行域内部的解，因此该方法又称为外点法。
此时有 min F (x, ) min f (x) 。
②当 x 不为可行点（即 x 满足 gi (x) 0 ）时，则有
P(x) 0 ， 且 P(x) 很大
此时，求 min F (x, ) 必然有 min f (x) 与 min P(x) 同时满足，而后者是求 x 使得 min P(x) 。
h(g) min
h(g) min C
0
第五章 约束最优化的加权方法
49
△罚函数算法（等式约束的罚函数算法） ①取初值 初始点 x0 ，允许误差 0 ，初罚因子 0 0 ，放大系数 1 ，且 k k1 ，并置 k 1 ； ②计算 以 xk1 为初始点，求解 min F (x, ) f (x) P(x) ，得到解 xk 。 ③约束判断 若 k g(xk ) 则计算终止，此时的解为 x xk ；否则，置 k k 1 转②
x
x,
==================================================================================
若记
D
x
gi (x)
0 则有
gi (x)2
0, 0,
xD xD 。
可以期望，当 充分大时，无约束问题 min F (x, ) 的最优解 x( ) 与原问题的解 x 十分接近。
联立方程组。
46
操华胜：最优化方法
△例题 1
min f 2x2 y2 2xy
求解
s.t. x y 1
解 定义 L(x, ) 2x2 y2 2xy (x y 1)
则作 L(x, ) 0 如下， 4x 2y 0， 2y 2x 0， x y 1 0
解得
x
2 5
，
y