最优化工程设计

3：求解辅助线性规划问题，求解线性规划问题：
min ������
������. ������ ∇������(������������)������������ − ������ ∇������������(������������)������������ + ������ ≥ 0, ������
（1-28）
其中 Y 是设计变量，X 是状态变量。设计变量是完全独立的，状态变量是非独立的，利 用状态变量去满足约束
对于第一个目标函数和约束函数而言： 其中
（1-29）
即那个初始 X 满足约束，对于向量 X 的任何改变，必须满足 约束才是满足的。所以
进而有：
，这样，X+dX 处 （1-30）
（1-31）
输出������������，否则令W = (������������������)−1������，∇������(������������) = [������������]，其中 u 和 v 分别对应于������1和 E，如果u ≥
0，则停止迭代，输出������������；如果，u < 0，则在 u 中选择一个负分量，修正������1，得到新的矩 阵���̂���1，令������1 = ���̂���1，转到第三步；
设 是第 i 次迭代的初始点。(
（1-17） 严格满足)，我们可以找到 ：
是 在矩阵 P 下的投影。如果 ：
（1-18） 那么从 出发，沿着方向 可以找到点
（1-19）
如果 其中
那么：
（1-20） （1-21）
上式表明，目标函数的负梯度可以通过在 处的有效约束的线性组合给出。如果所有的
都是非负的，那么 Kuhn-Tucker 条件满足，迭代可以被终止。
（1-11） （1-12）
（1-13）
求解 S 得到：
（1
（1-14）
如果 S 被标准化， 不为 0，由此：
所以：
（1-15）
其中 P 就是投影矩阵。忽略常数 ，可以看出，投影矩阵将向量
（1-16） 投影到约
束向量的正交平面的相交面上。如果
是独立的，那么矩阵 N 的列向量线性无关，
则
是非奇异矩阵并可以被转置。向量 S 可以被标准化如下：
的可行点，因此所有方向都是可行方向。
（1-5）
当点 位于某一起作用约束的边界 和对应的约束函数在该点的梯度相交成钝角，即使
，为了满足上述条件，必须使方向 S （1-6）
因为约束条件定义为
的形式，所以约束函数的梯度
是指向可行
域之外的。并且在该梯度方向上约束函数的值增大得最快。故与该梯度成钝角的方向必定 是指向可行域内的可行方向。
1.3.2 理论基础
广义简约梯度法（GRG）是简约梯度法的延伸，要求
的最小值，约束为：
通过在不等式约束上添加一个非负的松弛变量，将约束转化为：
（1-25） （1-26）
由此可以将问题写做有 n+m 个变量
的形式：
（1-27） GRG 方法的算法思想是对等式约束中的变量进行消元。从理论上来说，一个方程可以 解出一个变量，可以将 n+m 个变量分为两个系列：
令������������+1 = ������������ + ������������������，k = k + 1，返回第二步。 注意：计算实践和理论分析表明，该算法可能失效或者出现锯齿现象，使算法可能收 敛很慢甚至不收敛到最优点或 K—T 点。
1.1.4 适用范围
这种方法主要对线性不等式约束较为有效，对非线性不等式约束优化问题效果不佳。
1.2.4 适用范围
这种方法主要对线性不等式约束较为有效，对非线性不等式约束优化问题效果不佳。
1.3Generalized Reduced Gradient Method 方法概述
1.3.1 算法思想
1963 年,Wolfe 将线性规划的单纯形法推广到具有非线性目标函数的问题，提出了产生 可行下降方向的另一类方法，称为即约梯度法。随后推广到求解带非线性等式约束的情 形，即现在的 Generalized Reduced Gradient Method，该方法是目前求解约束非线性最优化 问题的最有效的方法之一。
������������ (������������������ )−1 ������ 4：构造可行下降方向，令������������ = −������∇������(������������)，若‖������������‖ ≤ ������，则进行第 5 步，否则，进行
第6步 5：检查起作用的约束数，判定迭代点������������是否在可行域内部，若 M 为空则停止迭代，
最佳下降可行方向可以在满足可行条件的前提下，通过极小化目标函数的方向导数得 到。由此构成如下寻求最佳下降可行方向 S 的最优化问题：
（1-7）
上式中，
。
由于点 上的梯度
和
的目标函数和约束函数都是变量
都是已知的常数向量，所以上式中 的线性函数。因此这个问题变成了线性规划
问题。利用求解线性规划问题的单纯形算法可以方便得求出最佳下降可行方向 。
1.1.3 算法实现
1：选取初始数据，选取初始可行点������0，允许误差ε > 0，令k = 0； 2：确定起作用约束，确定点������������外起作用约束的指标集，������(������������) = |������|������������(������������) ≥ 0; ������ = 1,2 ⋯ ������
Rosen’s Gradient Projection Method 的基本思想为：当迭代点在可行域内部时，取该点 处的负梯度方向为可行下降方向；当迭代点在可行域边界上时，取该点处负梯度方向在可 行域边界上的投影产生一个可行下降方向。
1.2.2 理论基础
梯度投影算法并不通过进行线性规划求解，而是通过将目标函数的负梯度投影到当前 的有效约束上。问题描述为：
如果一些 是负的，且
则一些约束梯度 方向与
在 处的角度
是钝角，这表明这些约束虽然是有效约束但是并不应该包括在内。在使用时，当 为负
时，并不需要忽略所有的有效约束，新的矩阵 N 为：
（1-22）
由此计算投影矩阵 P：
搜索方向为：
（1-23）
（1-24）
1.2.3 算法实现
1：选取初始数据，选取初始可行点������0，允许误差允许误差ε > 0，令k = 0； 2：分解出起作用的约束，在������������处分解A = [������������12]，b = [������������12]，使得������1������������ = ������1，������2������������ = ������2 3：确定投影矩阵，令M = [������������1]，若 M 为空，则令������ = ������������，否则令������ = ������������ −
≤ ∈
0 ������(������������)的最优解（������������,
������������）
{ −1 ≤ ������������ ≤ 1, ������ = 1,2 ⋯ ������
4：构造可行下降方向，若|������������| ≤ ������，停止迭代，输出������������；否则，得到可行下降方向 ������������，进入下一步；
1.2Rosen’s Gradient Projection Method 方法概述
1.2.1 算法思想
Rosen’s Gradient Projection Method 是利用梯度的投影技巧求约束非线性规划问题最优 解的一种方法。该方法可以处理一般的非线性规划问题，但在实际上它最适宜于处理约束 条件为线性函数的非线性规划问题。在一般工程中，功能函数呈现线性状态，采用 Rosen’s Gradient Projection Method 方法能够有效的处理非线性功能函数，而且计算效率和精度 高，通用性强。
5：进行一维搜索，求解 min
0≤������≤������������������������
������(������������
+
������������������)，得到最优解������������。其中������������������������按照下式计
算：ቤተ መጻሕፍቲ ባይዱ
������������������������ = sup|������|������������(������������ + ������������������) ≥ 0, ������ = 1,2 ⋯ ������;
1.1.2 理论基础
函数在一点的梯度方向是函数在该点函数值上升得最快的方向，与梯度值成锐角的方
向是函数值上升的方向，与梯度成钝角的方向是函数值下降的方向。因此，函数在点
的下降方向就是满足以下关系的方向 S：
（1-4）
可行方向是那些指向可行域内的方向。当点 位于可行域内时，从该点出发的任意方向
S 上都必然存在满足：
3：求即约梯度，计算∇������(������������) = [∇∇������������������������������������((������������������������))]，求r {���������(���������)} = ∇������������������(������������) − (������−1������)������∇������������������(������������)
工程优化设计方法研究报告
一、三种约束方法概述
1.1 Zoutendijk’s Method 概述