5等式约束条件的泛函极值问题-Lagrange乘子法
Lagrange 乘子法
第 1 页，共 9 页
们从上面的积分等于零也不再能得到通常形式的 Lagrange 方程。跟上一节不同 的是， 你无法通过约束方程把不独立的变量消去。 为了把变分约化为独立的形式， 我将在下面引入可任意选取的 m 个 Lagrange 乘子 λv ,
( v = 1, 2,", m ) ，一般
i 和时间 t 的函数。由于变分运算是在固定的时间 情况下， λv 是坐标 qi 、速度 q
将此关系式再代回到(31)中的第一个方程，我们得到
(32)
(33)
λ = mg ( 3cosθ − 2 )
在我们的问题中，广义约束力 Qr 就是球面对小珠所施加的约束力 N r ，即
(34)
K K K ∂r ∂f ˆ = Nr = λ Qr = N ⋅ = N ⋅r = λ = mg ( 3cosθ − 2 ) ∂r ∂r
因此，当 N r
(35)
= 0 或者说
cosθ =
2 3
or
θ = arccos
2 3
(36)
时小珠开始脱离球面。至于另一个广义约束力则是这个约束力相对于球心的力 矩，当然由于约束力完全是径向的，因此，这个力矩也就是等于零的：
第 2 页，共 9 页
m ∂L d ∂L − + ∑ λ A = 0 ( v = 1, 2,", m ) k v=1 v vk ∂qk dt ∂q 即方程(7)积分中对应于前面 m 个不独立坐标变分的系数为零。
(8)
这样选取 λv 之后，方程(7)剩下的积分就是
∫
t2
t1
⎛ ∂L d ∂L m ⎞ − + ∑ λv Avk ⎟ δ qk = 0 dt ∑ ⎜ k v=1 dt ∂q k = m+1 ⎝ ∂qk ⎠
等式约束下泛函的条件极值
*
1
例 3.4
已知系统由两个积分环 节组成，始端条件为
θ (0) = 1，ω (0) = 1；终端条件为 θ (1) = 0，ω (1) = 0。
1 1 2 求最优控制 u ( t )，使性能指标 J = ∫ u ( t )dt为极小值。 2 0 解：令 x1 ( t ) = θ ( t ), x 2 ( t ) = ω ( t )，则系统的状态方程为
2
泛函J取极值的必要条件为 : d Fx − Fx & = 0 dt d Fu − Fu & = 0 dt & = Ax + bu x ⇔ & 1 = x2 ⎧x ⎨ &2 = u ⎩x ⇔ d ⎧ &1 = 0 ⎪ Fx1 − dt Fx ⎨ d ⎪ Fx − Fx &2 = 0 2 dt ⎩
x1 (0) = 1, x 2 (0) = 1 x1 (1) = 0, x 2 (1) = 0
*
⎡0 1⎤ ⎡ 0⎤ & = Ax + bu，A = ⎢ ，b = ⎢ ⎥ x ⎥ ⎣ 0 0⎦ ⎣1 ⎦ 引入待定拉格朗日乘子 λ ( t )，构造函数 1 2 & − Ax − bu) F = u ( t ) + λT ( t )( x 2 1 2 & 1 − x 2 ) + λ 2 ( t )( x & 2 − u) = u ( t ) + λ1 ( t )( x 2
3
由此得方程 & =0 ⎧ λ 1 ⎪λ & = −λ 2 1 ⎪ ⎪ ⎨u = λ2 ⎪x &1 = x2 ⎪ &2 = u ⎪ ⎩x 解得最优控制 u ( t ) = 18 t − 10
拉格朗日乘子法
拉格朗⽇乘⼦法拉格朗⽇乘数法（Lagrange multiplier）有很直观的⼏何意义。
举个2维的例⼦来说明：假设有⾃变量x和y，给定约束条件g(x,y)=c，要求f(x,y)在约束g下的极值。
我们可以画出f的等⾼线图，如下图。
此时，约束g=c由于只有⼀个⾃由度，因此也是图中的⼀条曲线（红⾊曲线所⽰）。
显然地，当约束曲线g=c 与某⼀条等⾼线f=d1相切时，函数f取得极值。
两曲线相切等价于两曲线在切点处拥有共线的法向量。
因此可得函数f(x,y)与g(x,y)在切点处的梯度（gradient）成正⽐。
于是我们便可以列出⽅程组求解切点的坐标(x,y)，进⽽得到函数f的极值。
想法就是：能够碰到极⼤极⼩值点的必要条件是：梯度场与切空间垂直，也就是梯度场不能够有任何流形切空间上的分量，否则在切空间⽅向有分量，在流形上沿分量⽅向⾛，函数值会增加，沿反⽅向⾛，函数值会减少，不可能为局部极⼩或者极⼤值点。
⼀.⼀个基本的例⼦：假设你⽣活在三维欧⽒空间中，z⽅向的坐标数值上代表海拔⾼度。
如果你会飞，那么anyway，你想飞多⾼飞多⾼，所以你的海拔可以任意⾼也可以任意⼩，根本就没有最⼤值。
假定你是⼀个普通⼈类，你在⼀座⼭上，你的⽬标是爬到⼭顶，也就是说你希望⾃⼰的海拔⾜够⾼：当你真正到达⼭腰时，很容易“只缘⾝在此⼭中，不识此⼭真⾯⽬”，这时候如何判断是真的在往上爬呢，还是在往下⾛呢？在⾁眼所能看见的⼩范围内，你可以通过周边的局部地形来判断，假设它⼤概是这样：你就知道应该往⾼处（⼤概为红箭头⽅向）⾛，⽽不是绿箭头⽅向。
当然不⼀定⼀直沿这个⽅向直线式上升，可能还需要⾛到某个地⽅，再次做⼀下这种局部的考察，调整⼀下⽅向，保证⾃⼰能向⾼处⾛。
不过，什么是“⾼”的⼀边？这个概念究竟是如何形成的？我们知道，海拔，我们希望能够找到⼭⾯上的海拔最⾼点（⼭顶）。
梯度关于梯度⼀个很⾃然的结论就是：沿梯度⽅向是f增长最快的⽅向，反⽅向是下降最快的⽅向。
lagrange 乘子法
Lagrange乘子法是一种优化问题中常用的方法，它可以用来求解约束条件下的极值问题。
这种方法的基本思想是将约束条件引入目标函数中，通过拉格朗日函数来求解。
Lagrange乘子法的核心是构造拉格朗日函数。
拉格朗日函数是由原始目标函数和每个约束条件的等式右边乘以一个拉格朗日乘子组成的。
这些乘子代表了约束条件的“重要性”，它们在优化过程中起到了关键作用。
在求解过程中，我们首先固定其他变量，只考虑一个变量的变化对拉格朗日函数的影响。
然后，我们求导数并令其等于零，得到一组方程。
这组方程被称为KKT条件。
通过求解这组方程，我们可以得到最优解。
Lagrange乘子法具有很好的数学性质，它能够保证找到全局最优解。
此外，它还具有很强的灵活性，可以应用于各种类型的优化问题，包括线性规划、二次规划、非线性规划等。
总之，Lagrange乘子法是一种强大的优化工具，它能够帮助我们解决许多实际问题。
如果您对这方面感兴趣，不妨深入学习一下相关知识。
拉格朗日乘子法等式约束
拉格朗日乘子法等式约束拉格朗日乘子法是一种用于求解等式约束问题的优化方法。
它的基本思想是通过引入拉格朗日乘子，将等式约束问题转化为无约束的优化问题，从而找到约束条件下的最优解。
使用拉格朗日乘子法求解等式约束问题的步骤如下：首先，将原始问题转化为带等式约束的优化问题。
设目标函数为f(x)，约束条件为h(x)=0，其中x为待求解的向量。
我们的目标是找到满足约束条件的x，使得f(x)达到最小或最大。
然后，构造拉格朗日函数L(x,λ)，其中λ为拉格朗日乘子。
拉格朗日函数的定义为L(x,λ)=f(x)+λ⋅h(x)。
通过引入拉格朗日乘子，我们将原始问题中的等式约束转化为了拉格朗日函数的约束条件。
接下来，求解拉格朗日函数的极值。
我们将拉格朗日函数对x和λ分别求偏导，并令其为零，得到一组方程组。
通过求解这组方程组，可以得到x和λ的值。
最后，检验解的有效性。
将求解得到的x代入原始问题的约束条件中，检验是否满足等式约束。
如果满足，则求解得到的x为原始问题的最优解；如果不满足，则需要重新进行求解。
总的来说，拉格朗日乘子法是一种有效的求解等式约束问题的方法。
通过引入拉格朗日乘子，我们可以将等式约束转化为无约束的优化问题，从而找到最优解。
在实际应用中，拉格朗日乘子法被广泛应用于经济学、物理学、工程学等领域，为解决复杂的等式约束问题提供了有力的工具。
通过使用拉格朗日乘子法，我们可以灵活地处理等式约束问题，并求解出最优解。
它的应用范围非常广泛，可以用于解决各种工程、经济和物理等领域的优化问题。
在实际应用中，我们需要结合具体问题，合理选择合适的目标函数和约束条件，才能得到准确的结果。
在使用拉格朗日乘子法求解等式约束问题时，我们需要注意以下几点：首先，需要确保目标函数和约束条件是可微的；其次，需要求解得到的解是否为局部最优解还是全局最优解；最后，需要对求解结果进行验证，确保满足等式约束。
综上所述，拉格朗日乘子法是一种求解等式约束问题的优化方法。
现代设计方法---拉格朗日乘子法
(3 - 92)
此时函数L为极小的必要条件为： L x 0 i L 0 K i 1,2, , n (3 - 94) K 1,2,, m
这里未知数 xi (i=l，2，...，n)及 K (K=1，2，...，m) 共有n+m个，而式(3-94)中也正有n+m个方程，故能求 解。由于引入了 ，使变量及方程的数目都增加了。 为便于在计算机上利用直接寻优方法进行迭代计算， 一般引入新的函数：
第三步：引入新函数Z：
m L Z x g K ( X) i 1 K 1 i (4 x1 2 x2 6 31 2 ) 2 (4 x2 2 x1 41 42 ) 2 n 2 2
(21 x3 ) 2 (22 x4 ) 2
当有等式约束时，除了以上的关系式仍成立外，还必 须满足： * *
g dg x 1 g dx1 x 2 dx2 0 (3 81)
这就是说，在等式约束条件下，使f为极小的dx1与dx2 已不能任意选取，必须满足式(3-81)。由式(3-80)及式 (3-81)可得： f * / x dx
2 g ( X ) ax1 bx2 c x3 0
(3 - 97)
这样就可把不等式约束变换为等式约束．然后，
再用拉格朗日乘子法求解。
例：约束条件为：
g1 ( X) 3x1 4 x2 6 0 g 2 ( X) x1 4 x2 2 0
2 S f (X) 2x12 2x1 x2 2x2 6x1 min
令此比值等于一个可正可负的常数 λ： f * / x1 f * / x2 g * / x g * / x 1 2
lagrange乘子法
lagrange乘子法
什么是拉格朗日乘子法？
在数学最优问题中，拉格朗日乘子法（Lagrange Multiplier，以数学家拉格朗日命名）是一种寻找变量受一个或多个条件限制的多元函数的极值的方法。
这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k 个变量的方程组的极值问题，其变量不受任何约束。
这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。
如何使用拉格朗日乘子法？
在机器学习的过程中，我们经常遇到在有限制的情况下，最大化表达式的问题。
如maximizef(x,y）s.t. \quad g(x,y)=0
此时我们就可以构造L(x,y,λ)=f(x,y)−λ⋅g(x,y) ，其中\lambda 称为拉格朗日乘子。
接下来要对拉格朗日表达式求导，令其为0，解方程即可。
1。
数学分析 Lagrange 乘数法
F (x, λ) = f (x极值的方法就称为 Lagrange 乘数法.
例1 体积为 V 的长方体面积最小值为多少?
解. 设长方体长, 宽, 高分别为 x, y , z, 则面积为 A = 2(xy + yz + zx), 体积为 V = xyz. 我们要在约束条件 xyz − V = 0 之下求 A 的最小值.
条件极值
研究多元函数极值的时候, 经常要在一定的约束条件下找极值点.
条件极值
研究多元函数极值的时候, 经常要在一定的约束条件下找极值点. 设 U ⊂ Rn 为开集, f : U → R 为可微函数, Φ : U → Rm (n > m) 为 Ck (k ≥ 1) 映射. 记
Σ = Φ−1(0) = {x ∈ U | Φ(x) = 0}, f 在 Σ 上的极值称为条件极值, 方程 Φ(x) = 0 称为约束条件.
−V
=
0
1
=⇒ x = y = z = V 3 .
因为当
x,
y
或
z
→
0
时,
A
→
+∞,
故
A
的最小值存在,
从而等于
6V
2
3.
如果?i在上处处线性无关则利用隐函数定理可知为rn中n?m维隐式曲面且它在x处的法空间由?ix张成
数学分析(二): 多元微积分
梅加强 副教授 南京大学数学系
内容提要:
2.8 Lagrange 乘数法
2.8 Lagrange 乘数法
内容提要: 条件极值;
2.8 Lagrange 乘数法
内容提要: 条件极值; Lagrange 乘数法.
因此, 存在 λ01, · · · , λ0m ∈ R, 使得
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
系数为零， 可任意取值。 由泛函取极值的必要条件一阶变分为零，即 J a ( x, t ) 0 ，可得
( f d L T L T ) T ( ) 0 x dt x x
（2-5-15）
, , t ) L ( x, x , t ) T (t ) f ( x, t ) ， 由（2-5-12）式中 La ( x, x （2-5-15）式也可表示
J a ( x, ) t {[
La T L L [ a ]T } dt ] x [ a ]T x 0 x x tf L f L f T ( x, t ) } dt {[( ) T T ] x [ ]T x t0 x x x
15
F ( x, y ) 0
解此方程组求得 x、y 和λ，其中 x、y 就是该条件极值问题的可能极值点。 用 Lagrange 乘数法解本例题，有
F (r , l , ) V ( r , l ) [ A(r , l ) A0 ] r 2 l ( 2r 2 2rl A0 )
V (r , l ) r 2l
A(r , l ) 2 r 2 2 rl A0
（2-5-1） （2-5-2）
则该问题即为在约束条件 A(r , l ) A0 下，求 V( r, l )最大值。 （1） 消元法
2 由（2-5-2）式可得 l A0 2 r 2 r
（2-5-3）
, t ) T (t ) ( x, t )} dt J a ( x, ) {L( x, x
tf
f
t0
, , t ) dt La ( x, x
t0
tf
（2-5-12）
称为 Lagrange 乘子(multiplier)， 又称协态变量(costate)。 其中λ(t)为 n ╳ 1 维向量， 当 x 满足（2-5-11）式时，则对任意 λ(t) 都有 Ja=J 。 对（2-5-12）式，可以用 Taylor 级数展开求 Ja（x,λ）的一阶变分。
f , t ) dt J ( x ) L ( x, x
t
t0
（2-5-17）
在微分方程等式约束条件
, t ) 0 f ( x, x
（2-5-18）
约束下的极值问题。其中f [ f1 , f 2 , , f n ]T 是 n 维向量函数。 应用 Lagrange 乘子法，取广义泛函
（2-5-6）
应满足极值条件为
F 2rl ( 4r 2l ) 0 r F r 2 2l 0 l F 2r 2 2rl A0 0
（2-5-7） （2-5-8） （2-5-9）
解此方程组可得 r
A0 A0 ， l 2 A0 ， ，与消元法结果相同。 24 6 6
F ( x, y , ) f ( x, y ) ( x, y )
其中λ是一个待定系数，称为 Lagrange 乘数（乘子） 。则对 F ( x, y, ) 求极值，应 满足下列极值条件 F f 0
x x x
F f 0 y y y
代入（2-5-1）式得
V (r ) r A0 r 3 2
（2-5-4）
将其对 r 求导数并令其为 0，有
dV 1 A0 3 r 2 0 dr 2
（2-5-5）
解之得 r
A0 ，代入（2-5-3）式得 l 2 A0 ，此时即为在表面积 A0 约束下容器 6 6
容积最大时 r 和 l 的取值。 （2） Lagrange 乘数法 等式约束条件下多元函数极值的 Lagrange 乘数法的提法为： 欲求函数 z f ( x, y ) 在条件函数 ( x, y ) 0 约束下的极值点，可构造函数
2. 5 等式约束条件的泛函极值问题－Lagrange 乘子法
1．函数极值问题的两种解法 从代数和微积分我们知道，函数求极值问题有两种不同解法——直接消元法 和 Lagrange(拉格朗日)乘数法。 例：容器制造问题 考虑在表面积 A 一定情况下容积最大的圆柱形容器尺寸。设容器高为 l，半 径为 r，则容器的容积 V 和表面积 A 分别为
2．求泛函极值的 Lagrange 乘子法 考虑泛函
f , t ) dt J ( x ) L ( x, x
t
t0
（2-5-10）
在等式约束条件
f ( x, t ) 0
（2-5-11）
约束下的极值问题。其中f [ f1 , f 2 , , f n ] T 是 n 维向量函数。 类似于求函数极值的 Lagrange 乘数法，定义下列广义泛函
tf
（2-5-13）
，得 用分部积分法消去 x
J a ( x, ) t {[(
0
tf
L f d L T L T t ) T ( ) ] x f T ( x, t ) } dt ( ) T x t0f x dt x x x
（2-5-14） 假设考虑的是端点固定问题，则上式最后一项为零。 ˆ 应满足等式约束条件 f ( x ˆ , t)=0， 即上式中 前 又由达到极值时的极值轨线 x
, t ) T (t ) f ( x, x , t )} dt J a ( x, ) {L( x, x
t0
tf
为
d , , t ) , , t ) 0 La ( x, x L ( x, x a x dt x
（2-5-16）
（2-5-16）式即为对应于广义泛函 Ja（x,λ）的欧拉方程，它与约束条件（2-5-11） 构成求泛函极值的必要条件。 3．具有微分方程等式约束的泛函极值 进一步讨论泛函