增广拉格朗日乘子法和在约束优化问题的应用
长方体装箱问题非线性计划模型
长方体装箱问题的非线性计划模型现有一批立方体形状货物，要求装入一个集装箱中，装箱达到的要求为知足必然约束条件下体积的利用率最大化。
为便于研究作如下假定：货物的几何中心即为其重心，货物的摆放必需与坐标轴平行（即在装箱进程中，要求立方体形状货物的宽、高、深均别离与集装箱的宽、高、深平行），不能斜放，也不能悬浮放置。
装载约束条件为货物理论上可以放在容器的任意位置，但不能超出容器的容纳范围，也不能与其他货物交叠放置。
1 一般数学模型给定n 个长方体物品的集合{1,2,,}J n =，每一个成方体物品的宽度、高度、深度别离是j w 、j h 、j d ，j J ∈。
给定一个大的长方体箱子，它的宽度是W ，深度是D ，高度无穷，要求将这n 个长方体的小物品装入箱子中，使小长方体物品的宽度方向、高度方向、深度方向别离与大的长方体箱子的宽度方向、高度方向、深度方向别离平行，并使得所用的大长方体箱子的高度最小。
采用的坐标系为三维笛卡尔坐标系，设坐标系以容器的宽度方向为x 轴，高度方向为y 轴，深度方向为z 轴，容器的左后下角为坐标原点(0,0,0)O 。
令3(,,)n x y z R ∈是决策变量，它的第i 个分量(,,)i i i x y z 表示第i 个小的长方体物品的左后下角的坐标。
概念集合的映射图如下：{}3(,,)(,,),,i i i i i i i i i i i i i S x y z u v w R x u x w y v y h z w z d =∈<<+<<+<<+ 其中(,,)i i i i S x y z 的概念域是(0,)(0,)(0,)i i i domS W w D d =-⨯∞⨯-。
令{}(,),,H i j i J j J i j =∈∈<，则H 中元素的个数为(1)2H n n =-。
任意两个长方体的物品装箱时不重叠的充分必要条件是(,,)(,,),(,).i i i i j j j j S x y z S x y z i j H =∅∈显然，三维带形装箱问题能转化成以下的优化模型：Model General minimize tsubject to (,,)(,,).(,)i i i i j j j j S x y z S x y z i j H =∅∈0,i i x W w ≤≤- i J ∈0i i y t h ≤≤-, i J ∈ 0i i z D d ≤≤-, i J ∈这个数学模型是一个非滑腻模型，因为它的约束条件(,,)(,,),i i i i j j j j S x y z S x y z =∅(,)i j H ∈是非正常函数。
增广拉格朗日方法发展史
增广拉格朗日方法发展史增广拉格朗日方法（Augmented Lagrangian Method）是数学最优化中一种计算非线性约束最优化问题的方法，它采用了拉格朗日乘子法（Lagrangian Multiplier Method）和罚函数（Penalty Function）相结合的思想。
拉格朗日乘子法的思想最早由法国数学家拉格朗日（Joseph-Louis Lagrange）于18世纪50年代提出。
他研究了约束条件下的极值问题，并通过引入拉格朗日乘子将带有约束条件的优化问题转化为不带约束条件的优化问题。
这一方法为后来的非线性规划问题的研究提供了理论基础。
20世纪60年代，数学家Powell将拉格朗日乘子法与罚函数相结合，提出了增广拉格朗日方法。
增广拉格朗日方法通过在优化问题的目标函数中添加与约束条件相关的罚函数，将约束条件加入到目标函数中，从而将带约束条件的优化问题转化为目标函数带约束的优化问题，从而使得问题的求解更加方便。
随着计算机技术的发展，增广拉格朗日方法得到了进一步的推广和发展。
数学家和工程师们不断地提出了新的增广拉格朗日方法和改进算法，以解决更加复杂的优化问题。
如1981年，Nocedal等人提出了序列二次规划方法（Sequential Quadratic Programming）；1996年，Hestenes等人提出了全局收敛性的增广拉格朗日方法等。
总之，增广拉格朗日方法的发展经历了拉格朗日乘子法的提出、增广拉格朗日方法的提出以及后续的改进和应用。
它的出现和发展对求解非线性约束最优化问题起到了重要的推动作用，使得更多的问题可以得到有效的求解。
增广拉格朗日方法在理论研究和应用领域都取得了重要的成果，为解决实际问题提供了有力的工具和方法。
多元函数的极值与条件极值的求解方法
多元函数的极值与条件极值的求解方法一、引言多元函数在数学和应用领域中扮演着重要的角色。
求解多元函数的极值是一个常见的数学问题，而条件极值则进一步考虑了多个约束条件下的最优解。
本文将介绍多元函数极值和条件极值的求解方法。
二、多元函数极值的求解方法要求解多元函数的极值，需要判断函数在特定点的局部极值，并进一步确定全局极值。
常用的方法包括二阶条件、梯度以及拉格朗日乘子法。
1. 二阶条件法对于一个二次可导函数，可以通过计算其二阶偏导数来确定函数的极值。
具体步骤如下：a. 计算函数的一阶偏导数，并令其等于零，得到临界点；b. 计算函数的二阶偏导数，并检查其正负性；c. 若二阶偏导数为正，则临界点是局部极小值；若二阶偏导数为负，则临界点是局部极大值。
2. 梯度法梯度法可以用于求解多元函数的极值，其思想是在梯度的指引下，逐步迭代寻找函数的最优解。
具体步骤如下：a. 计算函数的梯度向量，并初始化变量值；b. 根据梯度向量的反方向更新变量的取值；c. 重复步骤b，直到满足收敛条件。
3. 拉格朗日乘子法拉格朗日乘子法用于求解多元函数在一组约束条件下的极值。
通过构建拉格朗日函数，并利用约束条件和拉格朗日乘子进行求解，得到函数的条件极值。
三、条件极值的求解方法在现实问题中，多元函数的极值求解往往伴随着条件限制。
求解条件极值需要考虑约束条件，并结合优化理论中的拉格朗日乘子法。
1. 求解过程a. 构建拉格朗日函数，将约束条件引入目标函数中，得到增广拉格朗日函数；b. 求解增广拉格朗日函数的临界点，即通过求解方程组来确定目标函数的条件极值点。
c. 验证求得的临界点是否满足约束条件，并通过比较确定全局的条件极值。
2. 案例分析假设有一个三角形，其面积为目标函数，而周长为约束条件。
通过使用拉格朗日乘子法，可以求解出在给定周长下，使得三角形面积最大的顶点。
四、总结本文介绍了多元函数极值和条件极值的求解方法。
对于多元函数极值的求解，可以使用二阶条件法、梯度法和拉格朗日乘子法来确定函数的极值点。
拉格朗日乘子法 与拉格朗日方程
拉格朗日乘子法与拉格朗日方程拉格朗日乘子法与拉格朗日方程是应用数学中的两个重要概念，它们在优化问题和动力学中扮演着重要角色。
在本文中，我将深入探讨这两个概念的内涵和应用，帮助你更好地理解它们的意义和作用。
1. 拉格朗日乘子法的基本原理拉格朗日乘子法是一种数学工具，用于求解有等式约束的极值问题。
举例来说，当我们需要求一个函数在一些限制条件下的最大值或最小值时，拉格朗日乘子法可以帮助我们有效地解决这一问题。
具体来说，对于一个约束优化问题：\[ \max_{x} f(x) \]\[ s.t. g(x) = c \]其中，f(x)是我们需要优化的目标函数，g(x) = c表示约束条件。
使用拉格朗日乘子法，我们可以构建拉格朗日函数：\[ L(x, \lambda) = f(x) + \lambda(g(x) - c) \]其中，\(\lambda\)就是所谓的拉格朗日乘子。
通过对拉格朗日函数求偏导数，并令偏导数等于零，我们可以得到关于x和\(\lambda\)的方程，进而求解出最优解。
2. 拉格朗日方程的应用拉格朗日方程是描述一个动力学系统的经典物理学方程。
它可以从作用量原理出发推导得到，是描述系统运动方程的一种极其优美的形式。
具体而言，对于一个由广义坐标q和广义速度\(\dot{q}\)描述的动力学系统，它的拉格朗日函数可以表示为：\[ L(q, \dot{q}, t) = T - V \]其中，T代表系统的动能，V代表系统的势能。
根据欧拉-拉格朗日方程，我们可以得到系统的运动方程：\[ \frac{d}{dt}\left(\frac{\partial L}{\partial \dot{q}}\right) -\frac{\partial L}{\partial q} = 0 \]3. 个人观点和理解拉格朗日乘子法和拉格朗日方程都是非常有用的数学工具，它们在实际问题中的应用非常广泛。
在工程优化、经济学建模、物理学等领域，这两个工具都扮演着重要的角色。
增广拉格朗日函数法
增广拉格朗日函数法拉格朗日函数法的基本思想是将约束条件和目标函数统一起来，构造出一个新的增广拉格朗日函数。
增广拉格朗日函数是目标函数和约束条件的线性组合，并引入拉格朗日乘子，通过对增广拉格朗日函数进行求导，得到一组方程组，进而求解最优解。
设有一个有约束条件的优化问题：$$\begin{align*}\text{minimize} \quad & f(x) \\\text{subject to} \quad & g_i(x) \leq 0 \quad (i=1,2,...,m) \\& h_j(x) = 0 \quad (j=1,2,...,n)\end{align*}$$其中，$f(x)$是目标函数，$g_i(x)$和$h_j(x)$是约束条件。
引入拉格朗日乘子$\lambda_i$和$\mu_j$，构造增广拉格朗日函数如下：$$L(x, \lambda, \mu) = f(x) + \sum_{i=1}^{m}\lambda_i g_i(x) + \sum_{j=1}^{n}\mu_j h_j(x)$$增广拉格朗日函数的关键是引入拉格朗日乘子$\lambda_i$和$\mu_j$，它们是与约束条件相关的未知参数。
乘子的物理意义是衡量约束条件对目标函数的影响程度，通过调整乘子的值，可以确定目标函数在约束条件下的最优解。
求解增广拉格朗日函数的步骤如下：1. 对增广拉格朗日函数$L(x, \lambda, \mu)$分别对$x$、$\lambda$和$\mu$求偏导，得到一组方程组：$$\begin{align*}\frac{\partial L}{\partial x} = \frac{\partial f}{\partial x} + \sum_{i=1}^{m}\lambda_i \frac{\partial g_i}{\partial x} +\sum_{j=1}^{n}\mu_j \frac{\partial h_j}{\partial x} &= 0 \\ \frac{\partial L}{\partial \lambda_i} = g_i(x) &\leq 0 \quad (i=1,2,...,m) \\\frac{\partial L}{\partial \mu_j} = h_j(x) &= 0 \quad(j=1,2,...,n)\end{align*}$$2. 解方程组得到$x^*$、$\lambda^*$和$\mu^*$，其中$x^*$为最优解。
增广拉格朗日函数法原理
增广拉格朗日函数法原理增广拉格朗日函数法是一种数学优化方法，主要用于解决约束条件下的优化问题。
该方法的基本原理是将约束条件转化为拉格朗日乘子的形式，然后把约束条件和目标函数合并成一种新的函数，称为增广拉格朗日函数。
该方法的核心是增广拉格朗日函数的构建。
一般来说，增广拉格朗日函数的形式如下：L(x,\alpha,\beta) = f(x) - \sum_i \alpha_ih_i(x) - \sum_j \beta_jg_j(x)其中，x是目标函数的自变量，f(x)是待优化的目标函数，h_i(x)和g_j(x)是分别表示等式和不等式约束条件的函数。
而\alpha_i和\beta_j是对应的拉格朗日乘子，它们的值是根据约束条件的具体形式来确定的。
在这个新的函数中，通过求解其关于x的导数并令其等于0，可以得到目标函数的最优解。
根据约束条件的具体形式，我们可以得到不同的优化方法，例如KKT条件、罚函数法等。
在应用增广拉格朗日函数法进行优化的过程中，需要注意以下几点：1.优化问题需要满足某些条件，例如目标函数必须是连续可微函数、约束条件必须是可导函数。
2.在构建增广拉格朗日函数的过程中，需要根据约束条件的类型确定对应的拉格朗日乘子的符号和使用范围。
3.通过求解增广拉格朗日函数关于自变量的导数来得到最优解，但需要保证所得的解满足约束条件。
4.在实际应用中，可能需要使用其他方法对求解的结果进行验证，例如绘制经过最优点的等高线、计算目标函数的最小值等。
总体而言，增广拉格朗日函数法是一种有效的优化方法，特别适用于含有等式或不等式约束条件的问题。
在实际应用时，需要根据具体情况进行调整和优化，以得到最优的结果。
优化设计-8
第8章 约束优化问题的间接法将约束优化问题转化为一系列无约束优化问题来进行求解的方法。
拉格朗日乘子法、罚函数法和增广乘子法虽约束优化问题的间接解法可利用无约束优化问题的求解方法进行求解，但由于增加了拉格朗日乘子和罚因子，因此求解过程与常规无约束优化问题有所不同。
8.1 罚函数法罚函数法针对约束函数构造适当的中间函数，并引入罚因子将约束条件引入到目标函数中构成无约束目标函数。
罚函数的一般形式∑∑==++=Lu u M v v x g r x h r x f r r x l 121121)]([)]([)(),,(min ψϕ (8.1)式中（8.1）)]([x h v ϕ和)]([x g u ψ分别为根据等式约束)(x h v 和不等式约束)(x g u 够造的中间函数，恒为非负。
r 1和r 2为罚因子或罚参数，r 1和r 2是大于0的实数，根据中间函数的特性，罚因子的值在迭代过程中不断发生变化。
当按一定的规则取值使罚函数),,(21r r x l 与目标函数)(x f 值趋于相等时，所得解就是原约束问题的解。
中间函数与罚因子的乘积称为惩罚项，在设计变量取值接近边界过程中，罚因子与中间函数朝相反的方向变化，但在无限逼近的过程中惩罚项趋于0。
因此罚函数法的一般求解过程是：定义)]([x h v ϕ和)]([x g u ψ的形式，根据一定的规则，每选定一次r 1和r 2的值就得到一个无约束优化问题，求解得到一个无约束最优解。
随着罚因子的不断调整，得到无约束最优解的点列{x (k)}，不断逼近有约束的最优解。
罚函数法需要多次迭代求解，因此是一种序列无约束极小化方法，简称SUMT 法。
根据中间函数的形式及设计变量的取值区域，罚函数法分为内点罚函数法、外点罚函数法和混合点罚函数法3种，简称内点法、外点法和混合点法。
1 内点罚函数法构造：中间函数为各个约束函数的倒数之和，即∑=-=Lu u u x g x g 1)(1)]([ψ 或构造为各个约束函数倒数的自然对数之和，即∑=⎥⎦⎤⎢⎣⎡--=L u u u x g x g 1)(1ln )]([ψ 转化以后的罚函数形式为 ()∑=-=L u u x g r x f r x l 1)(1)(, （8.2）或 ()[]∑=--=Lu ux g r x f r x l 1)(ln )(, （8.3） 式（8.2）、式（8.3）对应的优化问题的数学模型为Lu x g t s R x x f u n,...,2,1,0)(..),(min =≤∈ 如果不等式约束为0)(≥x g u 的形式，则将式（8.2）、式（8.3）中的负号做相应调整。
非线性优化与约束优化问题的求解方法
非线性优化与约束优化问题的求解方法非线性优化问题是在目标函数和约束条件中包含非线性项的优化问题。
约束优化问题是在目标函数中加入了一些约束条件的优化问题。
解决这些问题在实际应用中具有重要意义，因此研究非线性优化和约束优化问题的求解方法具有重要的理论和实际意义。
一、非线性优化问题的求解方法非线性优化问题的求解方法有很多，下面介绍几种常见的方法：1. 黄金分割法：黄金分割法是一种简单但有效的搜索方法，它通过不断缩小搜索范围来逼近最优解。
该方法适用于目标函数单峰且连续的情况。
2. 牛顿法：牛顿法利用目标函数的一阶和二阶导数信息来逼近最优解。
该方法收敛速度较快，但在计算高阶导数或者初始点选取不当时可能产生不稳定的结果。
3. 拟牛顿法：拟牛顿法是对牛顿法的改进，它通过逼近目标函数的Hessian矩阵来加快收敛速度。
拟牛顿法可以通过不同的更新策略来选择Broyden-Fletcher-Goldfarb-Shanno（BFGS）方法或者DFP方法。
4. 全局优化方法：全局优化方法适用于非凸优化问题，它通过遍历搜索空间来寻找全局最优解。
全局优化方法包括遗传算法、粒子群优化等。
二、约束优化问题的求解方法约束优化问题的求解方法也有很多，下面介绍几种常见的方法：1. 等式约束问题的拉格朗日乘子法：等式约束问题可以通过引入拉格朗日乘子来转化为无约束优化问题。
通过求解无约束优化问题的驻点，求得原始约束优化问题的解。
2. 不等式约束问题的罚函数法：不等式约束问题可以通过引入罚函数来转化为无约束优化问题。
罚函数法通过将违反约束条件的点处添加罚项，将约束优化问题转化为无约束问题。
3. 逐次二次规划法：逐次二次规划法是一种常用的求解约束优化问题的方法。
该方法通过依次处理逐个约束来逼近最优解，每次处理都会得到一个更小的问题，直至满足所有约束条件。
4. 内点法：内点法是一种有效的求解约束优化问题的方法。
该方法通过向可行域内部逼近，在整个迭代过程中都保持在可行域内部，从而避免了外点法需要不断向可行域逼近的过程。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
毕业论文题目增广拉格朗日乘数法及在其在约束优化问题的应用学院数学科学学院专业信息与计算科学班级计算1001班学生高亚茹学号指导教师邢顺来二〇一四年五月二十五日摘要增广拉格朗日乘子法作为求解约束优化问题的一种重要方法，近年来研究增广拉格朗日乘子法的应用显得更加重要。
本文首要介绍了增广拉格朗日乘子法的产生，通过解释增广拉格朗日乘子法是罚函数法和拉格朗日乘子法的有机结合，引出了现在对增广拉格朗日法的发展状况，概述了增广拉格朗日乘子法基本理论。
然后具体说明了增广拉格朗日法在科学领域上的实际应用，如在供水系统和图像复原的应用，也证明了增广拉格朗日乘子法的实际应用性。
关键词：增广拉格朗日乘子法；罚函数法；供水系统；图像复原ABSTRACTAugmented lagrange multiplier methods as an important method for solving constrained optimization problems, recent studies in applications of augmented lagrange multiplier methods is even more important. This paper describes the generation of primary augmented lagrange multiplier method. By interpreting the augmented lagrangian multiplier methods is the combination of penalty function methods and Lagrange multiplier methods, It is given to a recent development of augmented lagrangian methods. Then is shown the basic theories of augmented lagrangian multiplier methods. Finally it is specified the augmented lagrangian method on the practical applications of scientific fields, such as water supply ystems and image restorations, also proved augmented lagrangian multiplier methods of practical application.Key words：Augmented Lagrange Multiplier Methods；Penalty Function Methods Water Supply Systems ；Image Restorations目录摘要.................................................................................... .I ABSTRACT. (II)1前言 (1)1.1增广拉格朗日函数法的产生与应用 (1)1.2研究增广拉格朗日函数法应用的意义 (1)2增广拉格朗日乘子法 (3)2.1约束非线性规划 (3)2.2罚函数外点法 (4)2.3拉格朗日乘子法....................................... (6)2.4增广拉格朗日乘子法.............................. (7)2.4增广拉格朗日乘子法的计算……………………… ……...…………………...10 3 增广拉格朗日乘子法的应用................................................. ...... (12)3.1供水系统调度的增广拉格朗日函数优化方法……..……………… ………....123.2图像复原的增广拉格朗日函数优化方法 (14)结论........................................................................................... .. (17)参考文献 (18)致 (19)1前言1.1 增广拉格朗日函数法的产生与应用在求解有约束条件的优化题目时，有一个重要方法，便是用适合的方法把约束优化问题，转变成无约束优化问题来进行求解。
在求最佳的解的题目中，以美国知名学者约瑟夫起名的拉格朗日乘数法是一种探索三元以上函数的极值的方法，其中有若干个条件制约着这类函数的变量。
它的主要解决方式就是，把一个具备n个变量与k个约束条件的求最佳解的问题，转换为一个具备kn 个变量的方程组的极值问题，这里面的变量有一个特点，没有任何制约，就称为无约束变量。
这种方法引入了一种没有过的的标量未知数，也就是拉格朗日函数参数[1]。
罚函数方法是将具备约束条件然后求最好的解的问题变成为不具备制约条件的一种重要的方式，它们首先求解一个，也有可能是一系列的罚问题来得到最末的限制最好的解的问题的解。
这样我们可以把罚问题中的目标函数称为一个罚函数。
从这里看，增广拉格朗日函数法，我们还有另一种叫法便是使用增广拉格朗日函数来当成罚函数的不间断的可微准确罚函数法，跟序列罚函数法比一下，不可微准确罚函数法具备明显的长处。
增广拉格朗日乘子法，是在拉格朗日乘子法的基础上，联合了罚函数外点法，把它们综合在一块的方法，它的本质上最根本的思想就是在之前的罚函数中，考虑引入拉格朗日乘子，这样做就有了增广拉格朗日函数。
在寻找最优解的过程中，通过一直连续不断的改变拉格朗日乘子和惩罚因子来求解各异的拉格朗日函数，换句话说也就是使用无约束最小优化方法得到此拉格朗日函数的极小值点，再加上有这样的拉格朗日函数极值点就会不断的向一开始的目标函数的约束最好的点靠拢，根据收敛准则能够得到差不多近似的最优解[1]。
增广拉格朗日乘子法，从本质上讲就是对拉格朗日乘子方法的延伸，要不就称为是一种序列没有制约的最小化技术。
它的最初的想法是对执行可行性的限制标准给予了一个惩罚，在迭代自适应切换惩罚因子可以是拉格朗日乘子，解决了一系列的最小化问题后，以求目的可以逼近原问题的最优解，这样就逃避了单一使用拉格朗日乘子法或单一使用罚函数外点法有可能会出现的不好的地方。
在实际遇到的问题中，增广拉格朗日乘子法被当成求解约束优化问题的一种重要方法，近年来的应用遍及工程、国防、经济、金融和社会科学等很多紧要的科学领域[1]。
比方说，基于拉格朗日乘子法的水平井射孔优化设计问题，就是首先一开始采用了增广拉格朗日乘子法，然后结合油藏渗流模型，在考虑水平井井底流压或者定产量情况下，以获得最大产量还有最小井底流压为研究需求，对数不清的导流来对水平井射孔密度遍布情况来优化。
增广拉格朗日乘子法的应用涉及很多的方面，因此，对增广拉格朗日乘子法的应用的研究具有很大的意义。
1.2 研究增广拉格朗日函数法应用的意义关于增广拉格朗日乘子法的研究是一个重要的研究课题，其在很多领域具有广阔的应用前景。
首先，近些年来，随着计算机的快速发展，增广拉格朗日乘子法对于求解变分不等式问题在构造数值算法时能起到很重要的作用。
另外，增广拉格朗日乘子法可以用于许多实际问题中的优化设计，通过编写程序构造乘子函数，求解精度较高，是一种非常切实可行的设计优化方法。
使用增广拉格朗日乘子法去解决别的实际问题中的变化的分量不等式问题，是值得我们继续研究的课题。
2. 增广拉格朗日乘子法2.1 约束非线性规划解决平常的不是线性的规划问题，比无约束问题和线性规划问题都要麻烦不简单的多。
用一个简单的例子来说明这点，考虑问题[2],01,01,01..,)(min21212221≥-≥-≥-++=x x x x t s x x x f这个问题的可行域是一个三角形，以及它的部区域，)(x f 的等值线则是以原点为圆心的同心圆。
问题的最优解为Tx ⎪⎭⎫ ⎝⎛=21,21*，最优值为21)(*=x f 。
线性规划的最优解总是能够在可行域的顶点中找到，而顶点的数量是有限的，这就是单纯形法的基本出发点。
而上面的例子说明：对于非线性规划问题，即使约束都是线性的，最优解也不一定在顶点。
这就给求解它们带来了困难。
另一方面，由于约束的存在，如果不存在约束，从任一个初始点)0(x 出发，沿)(x f 的负梯度方向进行一维搜索，便求得目标函数的无约束极小点()T0,0。
但是，有了约束，在进行一维搜索时，为了使求得的点是一个可行点，就必须对步长加以限制，这样，我们最远只能跑到边界上的一个点，当所取)0(x 不在直线021=-x x 上时，)1(x 点就不会是最优解*x 。
因此，继续迭代下去寻求一个没见过的可行点是有必要的，使目标函数有更小的值。
可是，沿)(x f 在)1(x 处的负梯度方向已经找不到可行点，所以梯度迭代已不能继续进行，尽管离最优解还可能很远。
这正是约束非线性规划与无约束非线性规划的本质区别，也是求解约束问题的根本问题所在。
为了克服这样的困难，也就是换另一句话说，当现有已经存在的点在区域的边缘上时，为了使迭代能不断的继续进行下去，不仅有需求搜索方向拥有使目标函数下降的可能性，还有要求在这个方向上有可行点。
例如，有一个小线段整个包含在可行域，像这样的方向称为可行方向。
所以，在求解约束非线性规划迭代法的设计中，主要应在每个迭代点)(k x 处构造出一个下降可行方向)(k d 。
解决约束非线性规划的另外一个途径是：在某个近似解处，以已有较好解法的较为简单的问题近似代替原问题用其最优解作为原来问题的新的近似解。
例如将目标函数及约束条件中的非线性函数分别以他们的一阶泰勒多项式或二阶泰勒多项式近似替代，或以一无约束非线性规划近似代替等。
2.2 罚函数外点法根据现在已存在的制约特征情况，约束有两类情况，一种情况是等式，另一种情况是不等式，构建一种有可能的惩罚项，继而把它加到目标函数中去，让约束问题的求解，变换成为无约束问题的求解，这类惩罚的方式，在没有约束题目求解的过程当中，和其相关的那些小概率违反约束的迭代点，给它很大的目的数值，强制性的使这些没有约束问题的极小点，一直向可行的区域凑近，也可以不停坚持不断的在可行域移动，终止到收敛于原来的约束问题的极小点[2]。
罚函数方法中有一类情况是在可行性区域外进行的惩罚函数法，也能够叫为外点法，它对不遵守约束的迭代点在目标函数中加入符合的惩罚，但是针对可行点就不给予惩罚。