求解二次规划问题的拉格朗日及有效集方法

求解二次规划问题的拉格朗日及有效集方法——最优化方法课程实验报告学院：数学与统计学院班级：硕2041班*****学号：**********指导教师：***同组人：钱东东求解二次规划问题的拉格朗日及有效集方法求解二次规划问题的拉格朗日及有效集方法摘要二次规划师非线性优化中的一种特殊情形，它的目标函数是二次实函数，约束函数都是线性函数。

由于二次规划比较简单，便于求解（仅次于线性规划），并且一些非线性优化问题可以转化为求解一些列的二次规划问题，因此二次规划的求解方法较早引起人们的重视，称为求解非线性优化的一个重要途径。

二次规划的算法较多，本文仅介绍求解等式约束凸二尺规划的拉格朗日方法以及求解一般约束凸二次规划的有效集方法。

关键字：二次规划，拉格朗日方法，有效集方法。

- 1 -《最优化方法》课程实验报告- 2 - 【目录】摘要........................................................................................................................... - 1 -1 等式约束凸二次规划的解法............................................................................... - 3 -1.1 问题描述.................................................................................................... - 3 -1.2 拉格朗日方法求解等式约束二次规划问题............................................ - 3 -1.2.1 拉格朗日方法的推导...................................................................... - 3 -1.2.2 拉格朗日方法的应用...................................................................... - 4 -2 一般凸二次规划问题的解法............................................................................... - 5 -2.1 问题描述.................................................................................................... - 5 -2.2 有效集法求解一般凸二次规划问题........................................................ - 6 -2.2.1 有效集方法的理论推导.................................................................. - 6 -2.2.2 有效集方法的算法步骤.................................................................. - 9 -2.2.3 有效集方法的应用........................................................................ - 10 -3 总结与体会......................................................................................................... - 11 -4 附录..................................................................................................................... - 11 -4.1 拉格朗日方法的matlab程序................................................................. - 11 -4.2 有效集方法的Matlab程序 .................................................................... - 11 -求解二次规划问题的拉格朗日及有效集方法- 3 -1 等式约束凸二次规划的解法1.1 问题描述我们考虑如下的二次规划问题⎪⎩⎪⎨⎧=+b Ax t s x c Hx x T T ..,21min (1.1) 其中n n R H ⨯∈对称正定，n m R A ⨯∈行满秩，n R x c,∈，m R b ∈。

1.2 拉格朗日方法求解等式约束二次规划问题1.2.1 拉格朗日方法的推导首先写出拉格朗日函数： )(21)L(x,b Ax x c Hx x T T T --+=λλ，(1.2)令0),(,0),(=∇=∇λλλx L x L x ，得到方程组.,A -Hx T b Ax c -=--=λ将上述方程组写成分块矩阵形式：.0H ⎥⎦⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡--b c x AA T λ(1.3)我们称伤处方程组的系数矩阵⎥⎦⎤⎢⎣⎡0A-A -H T为拉格朗日矩阵。

下面的定理给出了线性方程组(1.1)有唯一解的充分条件。

定理1 设n m R H ⨯∈对称正定，n m R A ⨯∈行满秩。

若在问题(1.1)的解*x 处满足二阶充分条件，即,0,0,,0d T =≠∈∀>Ad d R d Hd n则线性方程组(1.4)的系数矩阵非奇异，即方程组（1.4）有唯一解。

其中，方程组(1.4)为（1.1）对应的齐次方程组：《最优化方法》课程实验报告- 4 - 00A -H T =⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡-v d A（1.4）.下面，我们来推导方程(1.3)的求解公式。

根据定理1，拉格朗日矩阵必然是非奇异的，故可设其逆为⎥⎦⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡C B B G T 0A -A -H T . 由恒等式⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡--⎥⎦⎤⎢⎣⎡⨯⨯m n m m n nT I I C B B G 000A-A -H T 可得.,0,0,A HG T m Tn m m n T T n I AB AG C A HB I B ==-=--=+⨯⨯于是由上述四个等式得到矩阵C B,G,的表达式)7.1(.)()6.1(,)()5.1(,)(H G 111111111-1----------==-=T T T T A AH C AH A AH B AH A AH A H 因此，由(1.3)可得解得表达式)8.1(,x ⎥⎦⎤⎢⎣⎡-+-=⎥⎦⎤⎢⎣⎡--⎥⎦⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡Cb Bc b B Gc b c C BB G T T λ其中，C B,G,分别由(1.5),(1.6),(1.7)给出。

下面给出x 和λ的另一种等价表达式。

设k x 是问题(1.1)的任一可行点，即k x 满足b =k Ax 。

而在此点处目标函数的梯度为c Hx x f k k +=∇=)(g k ，利用kx 和k g ，可将(1.8)改写为)9.1(.x ⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡k k k Bg Gg x λ1.2.2 拉格朗日方法的应用（1）拉格朗日方法的Matlab 程序见附录。

（2）利用拉格朗日方法求解下列问题：求解二次规划问题的拉格朗日及有效集方法- 5 -.22,4..,22min 321321321232221=+-=+++-++x x x x x x t s x x x x x x解 容易写出.24,112111,100,200042022H ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡-=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡--=b A c 利用Matlab 程序求解该问题可以结果如下：2 一般凸二次规划问题的解法2.1 问题描述考虑一般二次规划)1.2(,},,1{,0},,,1{,0..,21min ⎪⎪⎩⎪⎪⎨⎧+=∈≥-=∈=-+m l I i b x a l E i b x a t s x c Hx x iT i i Ti TT其中H 是n 阶对称阵。

记I}i 0,b -x a |{i )I(x i *T i *∈==，下面的定理给出了问题(2.1)的一个最优性充要条件。

定理2 *x 是二次规划问题(2.1)的局部极小点当且仅当《最优化方法》课程实验报告- 6 - （1）存在m R ∈*λ，使得.)(\,0;,0,,0,,0,0********⎪⎪⎩⎪⎪⎨⎧∈=∈≥∈≥-∈=-=--+∑∑∈∈x I I i I i I i b x a E i b x a a a c Hx i ii T i i T i Ii i i E i i i λλλλ (2)记0}.)I(x i 0,a d );I(x i 0,a d E;i 0,a d |{0}\R {d S **i T *i T i T n >∈=∈≥∈=∈=i λ且则对于任意的S d ∈，均有0d T ≥Hd .容易发现，问题(2.1)是凸二次规划的充要条件是H 半正定。

此时，定理2的第二部分自然满足。

注意到凸优化问题的局部极小点也是全局极小点的性质，我们有下面的定理：定理3 *x 是凸二次规划的全局极小点的充要条件是*x 满足KT 条件，即存在m R ∈*λ，使得⎪⎪⎩⎪⎪⎨⎧∈=∈≥∈≥-∈=-=--+∑∑∈∈).(\,0;,0,,0,,0,0Hx ********x I I i I i I i b x a E i b x a a a c i ii T i i T i E i Ii i i i i λλλλ 2.2 有效集法求解一般凸二次规划问题2.2.1 有效集方法的理论推导首先引入下面的定理，它是有效集方法理论基础。

定理 4 设*x 是一般凸二次规划问题的全局极小点，且在*x 处的有效集为)()(**x I E x S =，则*x 也是下列等式约束凸二次规划)2.2().(,0..,21min*⎪⎩⎪⎨⎧∈=-+x S i b x a t s x c Hx x i T i T T的全局极小点。

从上述定理可以发现，有效集方法的最大难点是事先一般不知道有效集)(*x S ，因此只有想办法构造一个集合序列去逼近它，即从初始点0x 出发，计算求解二次规划问题的拉格朗日及有效集方法- 7 -有效集)(0x S ，解对应的等式约束子问题。