约束优化问题的极值条件

等式约束优化问题的极值条件

求解等式约束优化问题 )(m i n x f ..t s ()0=x h k ()m k ,,2,1???= 需要导出极值存在的条件，对这一问题有两种处理方法：消元法和拉格朗日乘子法（升维法） 一、消元法（降维法）

1.对于二元函数 ),(min 21x x f ..t s ()0,21=x x h ，

根据等式约束条件，将一个变量1x 表示成另一个变量2x 的函数关系()21x x ?=，然后将这一函数关系代入到目标函数()21,x x f 中消去1x 变成一元函数()2x F 2.对于n 维情况 ()n x x x f ,,,min 21???..t s ()0,,,21=???n k x x x h ),,2,1(l k ???= 由l 个约束方程将n 个变量中的前l 个变量用其余的l n -个变量表示：

()n l l x x x x ,,,2111???=++? ()n l l x x x x ,,,2122???=++? ...

()n l l l l x x x x ,,,21???=++?

将这些函数关系代入到目标函数中，得到()n l l x x x F ,,,21???++ 二、拉格朗日乘子法（升维法）

设T n x x x x ),,,(21???=，目标函数是()x f ，约束条件()0=x h k ),,2,1(l k ???=的l 个等式约束方程。为了求出()x f 的可能极值点T n x x x x ),,,(**2*1*???=，引入拉格朗日乘子k λ),,2,1(l k ???=，并构成一个新的目标函数

()()x h x f x F l

k k k ∑=+=1),(λλ

把()λ,x F 作为新的无约束条件的目标函数来求解它的极值点，满足约束条件

()0=x h k ),,2,1(l k ???=的原目标函数()x f 的极值点。 ()λ,x F 具有极值的必要条件

),,2,1(0n i x F i ???==?? ，),,2,1(0l k F

k

???==??λ可得n l +

个方程，从而解得T n x x x x ),,,(21???=和k λ),,2,1(l k ???=共有n l +个未知变量的值。 即T n x x x x ),,,(**2*1*???=是函数()x f 的极值点的坐标值。

不等式约束优化问题的极值条件

一、一元函数在给定区间上的极值条件

对于一元函数)(min x f ..t s ()01≤-=x a x g ()02≤-=b x x g

极值条件可以表示成：???

?

???≥≥===++0,00,002122112211μμμμμμg g dx dg dx dg dx df

引入作用下标集合()(){}

2,1,0===j x g j x J j 则可将上式改写成：

()???

?

???∈≥∈==+∑∈J

j J j x g dx dg dx df

j

j j J j j

,0,00μμ即只考虑起作用的约束及其对应的拉格朗日乘子。 二、库恩塔克条件

1、对于多元函数)(min x f ..t s ()0≤x g j ),,2,1(m j ???=

通过引入m 个松弛变量，是不等式约束变成等式约束，组成相应的拉格朗日函数

()

()()

∑=+++=m

j j n j j x x g x f x x F 1

2)(,,μμ

对应一元函数的极值条件可以推导出多元函数的极值条件为：

()

()

()

????

?????=≥====??+??∑=m j m j x g n i x x g x x f j j j m j i j j i ,...,2,1,0,...,2,1,0,...,2,1,0*

1*

*μμμ

引入起作用的约束的下标集合可改写成：

()

()

()

????

?????∈≥∈===??+??∑∈J j J j x g n i x x g x x f j j J j i j j i ,0,0,...,2,1,0*

*

*μμ

将上式偏微分形式表示为梯度形式得：

()()

∑∈?=?-J

j j j x g x f **μ

几何意义：在约束极小值点*

x 处，函数)(x f 的负梯度一定能表示成所有起作用

的约束在该点梯度的非负线性组合。 2、同时具有等式和不等式约束的优化问题

)(min x f ..t s ()0≤x g j ),,2,1(m j ???=，()),...,2,1(0l k x h k ==极值条件可表示为：

()???

????∈≥∈===??+??+??∑∑∈=J j J j x g n i x h x g x f j j J

j l k i k

k i j j i ,0,0,...,2,1,01μλμ