约束优化问题的极值条件

等式约束优化问题的极值条件
求解等式约束优化问题 )(min x f ..t s ()0=x h k ()m k ,,2,1⋅⋅⋅= 需要导出极值存在的条件，对这一问题有两种处理方法：消元法和拉格朗日乘子法（升维法） 一、消元法（降维法）
1.对于二元函数 ),(m in 21x x f ..t s ()0,21=x x h ，
根据等式约束条件，将一个变量1x 表示成另一个变量2x 的函数关系()21x x ϕ=，然后将这一函数关系代入到目标函数()21,x x f 中消去1x 变成一元函数()2x F 2.对于n 维情况 ()n x x x f ,,,m in 21⋅⋅⋅ ..t s ()0,,,21=⋅⋅⋅n k x x x h ),,2,1(l k ⋅⋅⋅= 由l 个约束方程将n 个变量中的前l 个变量用其余的l n -个变量表示：
()n l l x x x x ,,,2111⋅⋅⋅=++ϕ ()n l l x x x x ,,,2122⋅⋅⋅=++ϕ
...
()n l l l l x x x x ,,,21⋅⋅⋅=++ϕ
将这些函数关系代入到目标函数中，得到()n l l x x x F ,,,21⋅⋅⋅++ 二、拉格朗日乘子法（升维法）
设T n x x x x ),,,(21⋅⋅⋅=，目标函数是()x f ，约束条件()0=x h k ),,2,1(l k ⋅⋅⋅=的l 个等式约束方程。

为了求出()x f 的可能极值点T n x x x x ),,,(**2*1*⋅⋅⋅=，引入拉格朗日乘子k λ),,2,1(l k ⋅⋅⋅=，并构成一个新的目标函数 ()()x h x f x F l
k k k ∑=+=1),(λλ
把()λ,x F 作为新的无约束条件的目标函数来求解它的极值点，满足约束条件
()0=x h k ),,2,1(l k ⋅⋅⋅=的原目标函数()x f 的极值点。

()λ,x F 具有极值的必要条件
),,2,1(0n i x F i ⋅⋅⋅==∂∂ ，),,2,1(0l k F
k
⋅⋅⋅==∂∂λ可得n l +
个方程，从而解得T n x x x x ),,,(21⋅⋅⋅=和k λ),,2,1(l k ⋅⋅⋅=共有n l +个未知变量的值。

即T n x x x x ),,,(**2*1*⋅⋅⋅=是函数()x f 的极值点的坐标值。

不等式约束优化问题的极值条件
一、一元函数在给定区间上的极值条件
对于一元函数)(min x f ..t s ()01≤-=x a x g ()02≤-=b x x g
极值条件可以表示成：⎪⎪⎩
⎪
⎪⎨⎧≥≥===++0,00,002122112211μμμμμμg g dx dg dx dg dx df
引入作用下标集合()(){}
2,1,0===j x g j x J j 则可将上式改写成：
()⎪⎪⎩
⎪
⎪⎨⎧∈≥∈==+∑∈J
j J j x g dx dg dx df
j
j j J j j
,0,00μμ即只考虑起作用的约束及其对应的拉格朗日乘子。

二、库恩塔克条件
1、对于多元函数)(min x f ..t s ()0≤x g j ),,2,1(m j ⋅⋅⋅=
通过引入m 个松弛变量，是不等式约束变成等式约束，组成相应的拉格朗日函数
()
()()
∑=+++=m
j j n j j x x g x f x x F 1
2)(,,μμ
对应一元函数的极值条件可以推导出多元函数的极值条件为：
()
()
()
⎪⎪⎪⎩
⎪⎪⎪⎨⎧=≥====∂∂+∂∂∑=m j m j x g n i x x g x x f j j j m j i j j i ,...,2,1,0,...,2,1,0,...,2,1,0*
1*
*μμμ
引入起作用的约束的下标集合可改写成：
()
()
()
⎪⎪⎪⎩
⎪⎪⎪⎨⎧∈≥∈===∂∂+∂∂∑∈J j J j x g n i x x g x x f j j J j i j j i ,0,0,...,2,1,0*
*
*μμ
将上式偏微分形式表示为梯度形式得：
()()
∑∈∇=∇-J
j j j x g x f **μ
几何意义：在约束极小值点*
x 处，函数)(x f 的负梯度一定能表示成所有起作用
的约束在该点梯度的非负线性组合。

2、同时具有等式和不等式约束的优化问题
)(min x f ..t s ()0≤x g j ),,2,1(m j ⋅⋅⋅=，()),...,2,1(0l k x h k ==极值条件可表示为：
()⎪⎪⎩
⎪⎪⎨⎧∈≥∈===∂∂+∂∂+∂∂∑∑∈=J j J j x g n i x h x g x f j j J
j l k i k
k i j j i ,0,0,...,2,1,01μλμ。