最优化大作业

最优化大作业
所在院系：电子工程学院
学号：02115090
学生姓名: 徐晓雅
任课老师：马文萍
一．分别用最速下降法和共轭梯度法求解优化问题
2112
22
1242)(min x x x x x x f --+=
⒈最速下降法 ⑴基本原理
在基本迭代公式k k k k p t x x +=+1中，每次迭代搜索方向k p 取为目标函数)(x f 的
负梯度方向，即)(k k x f p -∇=，而每次迭代的步长k t 取为最优步长，由此确定的算法为最速下降法 ⑵迭代步骤
Step1：)0(x ，0>ε，令k=0;
Step2: )(k p =)()(k x f ∇-;
Step3: ε≤)(k p ,停止，取)(*k x x ≈；否则，转下一步；
Step4：求0>k α，使得)(min )()()(0
)()(k p x f p x f k k k k ααα+=+≥，转step2；
⑶运行结果
初始点为（1,1）终止条件为0.000001=ε 运行结果为)2,4(*=x 8*-=f 迭代次数k 为45次 ⑷总结
最速下降法的优点是算法简单，每次迭代计算量小，占用内存量小，即使从一个不好的初始点出发，往往也能收敛到局部极小值点，但它有一个严重缺点就是收敛速度慢。

2.共轭梯度法 ⑴基本原理
如果在共轭方向法中初始的共轭向量0p 恰好取为初始点0x 处的负梯度)(00x f p -∇=，
而以下共轭方向k p 由第k 迭代点k x 处的负梯度)(k x f ∇-与已经得到的共轭向量1-k p 的线性组合来确定，这就构成了一种具体的共轭方向法，因为每个共轭向量都是依赖于迭代点处的负梯度构造出来的，所以称为共轭梯度法 ⑵迭代步骤
Step1：选0,0>εx ；
Step2：若)(0x f ∇，ε≤∇)(0x f 停止，输出0x ；否则转step3； Step3：构造初始搜索方向，)(00x f p -∇=，令k=0，转step4；
Step4：进行一维搜索，求k t 使得)(m i n
)(0
k k t k k k tp x f p t x f +=+≥，令 k k k k p t x x +=+1，转step5；
Step5：)(1+∇k x f ，若ε≤∇)(0x f ，停止，输出1+k x ；否则，转step6； Step6：若k+1=n ，令k x x =0，转step3；否则转step7； Step7：构造共轭方向，取2
21)
()(k k k x f x f ∇∇=+λ，令k k k k p x f p λ+-∇=++)(11，令
k=k+1，转step4； ⑶运行结果 ⑷总结
共轭梯度法是介于最速下降法和牛顿法之间的一个方法，仅需利用一阶导数
信息，克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse 矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。

在各种优化算法中，共轭梯度法是非常重要的一种。

其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。

二．利用外点法和内点法求解下列约束优化问题
⎪⎪⎩
⎪
⎪⎨⎧≥≥-++=001..)1(121)(min 2123
1x x t s x x x f
1.外点法 ⑴基本原理
外点法常采用如下形式的函数：()[]2)(,0min )(x g x g i i =+由此，外点法所构造
的相应的增广目标函数为()∑=+
+=m
i i k k x g M x f M x T 1)()(;式中，惩罚因子k M 是一
个递增的正值数列。

罚函数中()[]
⎪⎩⎪
⎨⎧<≥=⎥⎦⎤⎢⎣⎡-==+
)()(0)(02)()()(,0min )(2
2
2
x g x g x g x g x g x g x g i i i i i i i 当当 由此可见，当迭代点x 位于可行域内满足约束条件时，惩罚项为零，新目标函数就是原目标函数，等价于求原目标函数)(x f 在己满足全部约束条件下的极小；而当点x 位于可行域外不满足约束条件时，罚函数∑=+
m
i i k x g M 1)(为正值，惩
罚函数的值较原目标函数的值增大了，这就构成对不满足约束条件时的一种“惩
罚”。

则需要加大惩罚因子，随着罚因子的逐次调整增大，最优点点列从可行域的外部一步一步地接近可行域，所得的最优点列逼近原问题的约束最优点*x 。

这样，将原约束最优化问题转换成为序列无约束最优化问题。

外点法就是因从可行域的外部逼近最优解而得名。

⑵迭代步骤
Step1：1,0,0,0=>>∈k M R x n ε；
Step2：);()()(min );(min *1M x T x g M x f M x T m
i i =⎥⎦
⎤⎢⎣⎡+=∑=+
；
Step3：若存在)1(n j j ≤≤使ε>-)(k j x g ，则令M=10M,k=k+1,转step3；否则，停止，k x x ≈*. ⑶运行结果
初始点为（0,0）终止条件为0.00001=ε 运行结果为)0,1(*=x 3
2
667.0*==f
⑷总结
外点法的优点是等式约束和非凸规划均适用，0x 任取，不要求R x ∈0,计算
简单；缺点是在R 外)(x f 性质复杂或者没有意义，方法失效。

2.内点法
⑴基本原理
首先在D 的边界设置一道障碍，当从可行域D 中的某点0x 出发进行迭代时，每当迭代点靠近D 的边界时，便被此边界上的障碍阻挡碰回，即当迭代点靠近D 的边界时，离边界越近函数值增加越大，特别当迭代点到达边界时，函数值变为无穷大，由此可知不可能在靠近D 的边界上取得最优解，只能在远离D 的边界内找到最优解，这种方法即为内点法。

⑵迭代步骤
Step1：取误差0>ε；
Step2：求一内点00R x ∈，令k=1；
Step3：以01R x k ∈-为初始点，求[]0),;(;min 0
R x x I x k
k k k R
x ∈=∈εε； Step4：若满足判别准则，停，得k x ，否则取c
k k εε=+1（比如c=10),令k=k+1，
转step3； ⑶运行结果 ⑷总结
内点法只适用于解不等式约束优化问题。

由于内点法需要在可行域内部进行搜索，所以初始点必须在可行域内部选取可行点。

内点法的突出优点在于每个迭代点都是可行点。

因此，当迭代达到一定阶段时，尽管尚没有达到最优点，但也可以被接受为一个较好的近似解。

三．学习体会
通过本次课程大作业，我对最速下降法，共轭梯度法，内点法和外点法有了更深的了解，也对最优化这门课程有了更进一步的认识。

通过运用matlab 编程，不仅完成了此次的作业，更锻炼了动手能力，分析问题以及解决问题的能力。

发现我们在很多时候，都没有好好地把知识学扎实，特别是细节知识方面更是模棱两可，当实际编程时就会出现各种各样的问题，所以书本的内容一定要仔细弄懂。