增广拉格朗日乘子法及其在约束优化问题的应用
《拉格朗日乘子法的应用》论文
《拉格朗日乘子法的应用》论文
《拉格朗日乘子法的应用》
拉格朗日乘子法（Lagrange Multiplier Method）是一种有效的
优化方法，其可以用于求解多元函数的极值问题。
该方法最初由拉格朗日在十九世纪中期提出，并得到广泛的应用，如求解微分方程、线性系统、多元函数和约束优化等问题。
本文将讨论拉格朗日乘子法在约束优化、最小化和寻求函数的极值问题中的应用。
首先，拉格朗日乘子法在约束优化问题中的应用。
约束优化问题是一类重要的操作研究问题，它解决的是如何有效的将计算机的资源发挥到最大效率。
拉格朗日乘子法能有效的帮助我们解决这一类问题，它将原来的优化问题转化为求解一组不等式，而这些不等式系数就是拉格朗日乘子。
根据不同的约束条件，拉格朗日乘子法能够求解各种有约束条件的多元函数问题。
其次，拉格朗日乘子法在最小化问题中的应用。
最小化问题是一类典型的优化问题，它需要求解一组变量使函数值得到最小。
拉格朗日乘子法可以帮助我们实现这一目的，将原来的最小化问题转化为求解一组相应的不等式，即拉格朗日乘子，通过求解这一组不等式可以得到最小值。
最后，拉格朗日乘子法在寻求函数的极值问题中的应用。
函数的极值问题涉及到函数的最大值和最小值的查找，拉格朗日乘子法可以有效的应用于此。
通过将极值问题转化为求解一组不等式，由拉格朗日乘子可以有效的求解函数的极值问题。
综上所述，拉格朗日乘子法是一种简单有效的优化方法，它可以用于解决多元函数的约束优化问题，最小化问题以及极值问题。
它的有效性和灵活性可以满足不同的应用情况，使得优化问题得到有效解决。
拉格朗日乘数法或者增广拉格朗日乘数法求条件极值问题在几何学中的应用(一)
拉格朗日乘数法或者增广拉格朗日乘数法求条件极值问题在几何学中的应用(一) 拉格朗日乘数法或者增广拉格朗日乘数法求条件极值问题在几何学中的应用什么是拉格朗日乘数法？拉格朗日乘数法是一种经典的优化方法，用于求解带有条件的多元函数的极值问题。
该方法在数学、物理、经济、工程等领域都有广泛的应用。
拉格朗日乘数法在几何学中的应用拉格朗日乘数法和增广拉格朗日乘数法在几何学中有着重要的应用。
举例来说，可以用拉格朗日乘数法来求解这样一个几何问题：在半径为 r 的圆中，如何放置一条不经过圆心的线段，使得这条线段的两个端点到圆心的距离之差为 d ？求解过程设点 P (x,y ) 为线段的中点，则线段的两个端点分别为 Q (x −a,y −b ) 和 R (x +a,y +b )，其中 a ，b 是常数。
则问题可以表示为：{(x −a )2+(y −b )2=(r −d )2(x +a )2+(y +b )2=(r +d )2 化简之后得到：ax +by =−12(a 2+b 2)−rd 这是一个标准的线性规划问题，可以用拉格朗日乘数法求解。
定义拉格朗日函数为：L (x,y,λ)=f (x,y )+λg (x,y )其中 f (x,y )=(x −a )2+(y −b )2，g (x,y )=(x +a )2+(y +b )2。
则拉格朗日函数为：L (x,y,λ)=(x −a )2+(y −b )2+λ[(x +a )2+(y +b )2−(r +d )2] 求偏导得：{ ∂L ∂x =2(x −a )+2λ(x +a )=0∂L ∂y=2(y −b )+2λ(y +b )=0∂L ∂λ=(x +a )2+(y +b )2−(r +d )2=0 解得：{ x =−12a 2+b 2r +d y =−12a 2+b 2r +d λ=−r −d r +d代入式子得到最终结果：{Q (−a 2+b 2r +d ,−a 2+b 2r +d )R (a 2+b 2r +d ,a 2+b 2r +d ) 结论通过拉格朗日乘数法，我们得到了一条线段的两个端点的坐标，使得这条线段的两个端点到圆心的距离之差为 d 。
利用Lagrange乘数法处理约束优化问题
利用Lagrange乘数法处理约束优化问题引言在实际应用中，我们经常会遇到需要优化某个目标函数的问题，但同时还要满足一些约束条件。
这种情况下，我们需要寻找一个最优解，既满足约束条件，又能使目标函数取得最优值。
Lagrange乘数法是一种常用的处理约束优化问题的方法，通过引入拉格朗日乘数，可以将约束优化问题转化为无约束的优化问题，从而求解最优解。
Lagrange乘数法的基本原理对于一个约束优化问题，假设我们有一个目标函数 f(x) 以及一组约束条件 g(x) = 0。
我们的目标是找到一个 x 的取值，使得 f(x) 取得最大或最小值，并且满足约束条件 g(x) = 0。
为了实现这个目标，我们需要构建一个新的函数，称为拉格朗日函数：L(x, λ) = f(x) + λ * g(x)其中，λ 是称为拉格朗日乘数的参数。
拉格朗日函数的基本思想是将约束条件与目标函数结合起来，通过考虑目标函数的梯度和约束函数的梯度，找到极值点。
我们的目标是找到拉格朗日函数的驻点，即满足以下方程组的解：∂L/∂x = 0 g(x) = 0其中，∂L/∂x 表示拉格朗日函数对 x 的偏导数。
通过求解上述方程组，我们可以得到一组解，其中某些解可能是最优解。
Lagrange乘数法的应用实例为了更好地理解Lagrange乘数法的应用，我们通过一个具体的实例来说明。
假设我们有一个优化问题，我们需要在 x 和 y 的范围内最大化函数 f(x, y) = x^2 +y^2，同时满足约束条件 g(x, y) = x + y - 1 = 0。
我们首先构建拉格朗日函数：L(x, y, λ) = x^2 + y^2 + λ(x + y - 1)接下来，我们分别对 x、y 和λ 求偏导数，并令其等于 0：∂L/∂x = 2x + λ = 0 ∂L/∂y = 2y + λ = 0 g(x, y) = x + y - 1 = 0通过求解上述方程组，我们可以得到一组解，其中包括一组可能的最优解。
增广拉格朗日函数法
增广拉格朗日函数法增广拉格朗日函数法是一种应用于约束条件优化问题的数学方法。
它由法国数学家约瑟夫·路易斯·拉格朗日于18世纪末提出，用于解决带有等式和不等式约束的优化问题。
详细地讲述这种方法要求一定的篇幅，下面将对其进行较详细的介绍。
首先，我们来考虑一个最优化问题，即如何找到一个函数的极值。
我们将这个问题的目标函数记为f(x)，其中x是自变量的一组取值。
在给定的约束条件下，我们希望找到x的取值，使得f(x)取得极值。
这里引入拉格朗日函数的概念。
拉格朗日函数L(x,λ)由目标函数f(x)和约束条件组成，即L(x,λ)=f(x)-λ*g(x)，其中λ是一个拉格朗日乘子，g(x)是约束函数。
注意，约束函数中的等式约束和不等式约束可以用一个函数g(x)表示，不等式约束即可以通过引入松弛变量变成等式约束。
使用增广拉格朗日函数法的关键是引入拉格朗日乘子。
拉格朗日乘子的作用是将约束条件融入目标函数中，从而将优化问题转化为无约束的优化问题。
这样，我们可以通过对拉格朗日函数求导来找到目标函数的极值点。
具体来说，我们首先对拉格朗日函数L(x,λ)求偏导数。
对于每个自变量x，我们令∂L/∂x=0，同时对于每个拉格朗日乘子λ，我们令∂L/∂λ=0。
由此得到一组方程，称为增广拉格朗日方程组。
解增广拉格朗日方程组即可得到问题的一组解。
注意，由于涉及约束条件，这些解可能包括驻点、极小值点或极大值点。
值得注意的是，增广拉格朗日函数法的优点在于它将约束条件融入了目标函数中。
这样，问题的解不再需要满足约束条件，而只需求解增广拉格朗日方程组。
同时，因为增广拉格朗日函数法转化为无约束的最优化问题，因此可以使用许多无约束优化算法来求解。
然而，增广拉格朗日函数法也存在一些限制和缺点。
例如，当约束条件是非线性的或具有特殊形式时，解增广拉格朗日方程组可能变得非常困难。
此外，使用增广拉格朗日函数法求解问题的解并不一定能够保证是全局最优解，而可能仅仅是局部最优解。
牛顿增广拉格朗日算法
牛顿增广拉格朗日算法
牛顿增广拉格朗日算法是一种用于求解非线性等式约束优化问题的方法，通常用于解决具有特殊结构的问题。
该算法主要基于拉格朗日乘子法，但与传统的拉格朗日乘子法不同的是，它使用牛顿法来求解乘子向量，从而可以更快地求得全局最优解。
具体来说，牛顿增广拉格朗日算法将原始问题转化为一个等价的无约束优化问题，然后采用牛顿法求解该问题的最优解。
在每次迭代中，算法需要计算目标函数及其一、二阶导数，以及约束函数及其一阶导数。
通过求解牛顿方程，可以得到当前迭代的乘子向量，进而更新拉格朗日乘子，并继续迭代直至收敛。
牛顿增广拉格朗日算法的优点是收敛速度快，对于特殊结构的问题具有较好的求解效果。
但缺点在于需要计算目标函数及其一、二阶导数，以及约束函数及其一阶导数，计算量较大，且对于非凸问题可能会收敛到局部最优解。
总之，牛顿增广拉格朗日算法是一种强大的优化方法，可以解决许多实际问题，但需要根据具体问题的特点选择合适的算法和求解策略。
- 1 -。
拉格朗日乘子法在最优化控制中的应用
拉格朗日乘子法在最优化控制中的应用拉格朗日乘子法是一种在最优化控制中应用广泛的数学方法。
它是由法国数学家约瑟夫·路易斯·拉格朗日于18世纪提出的一种优化技术。
拉格朗日乘子法在很多实际问题中都具有重要的应用价值，能够帮助我们找到最优的方案以满足一定的约束条件。
一、拉格朗日乘子法的原理拉格朗日乘子法主要是通过引入拉格朗日乘子来处理约束条件。
假设我们要优化一个函数f(x)的取值，但是存在一些限制条件g(x)=0。
利用拉格朗日乘子法，我们可以将约束条件融入目标函数中，构造拉格朗日函数L(x,λ)=f(x)+λg(x)，其中λ是拉格朗日乘子。
二、无约束问题的求解首先，我们来看一个简单的无约束最优化问题。
假设我们要求解的问题是最小化一个函数f(x)。
根据拉格朗日乘子法的原理，我们可以构造拉格朗日函数L(x,λ)=f(x)+λg(x)，其中g(x)=0。
然后，我们通过求解极值点的条件∇L(x,λ)=0来得到最优解。
这个条件可以通过求解f(x)的导数和g(x)的导数相等的方程得到。
三、带等式约束的优化问题接下来，我们考虑带等式约束的优化问题。
假设我们要最小化一个函数f(x)，且带有等式约束g(x)=0。
利用拉格朗日乘子法，我们可以构造拉格朗日函数L(x,λ)=f(x)+λg(x)。
这个等式约束可以转化为无约束问题的形式，即求解minL(x,λ)。
通过求解极值点的条件∇L(x,λ)=0，我们可以得到最优解。
四、带不等式约束的优化问题在现实应用中，很多问题都存在着不等式约束。
比如，我们要将一条线段从A点移动到B点，并且要求线段不与一些障碍物相交。
这是一个带不等式约束的问题。
在这种情况下，拉格朗日乘子法同样可以帮助我们求解最优解。
我们可以将不等式约束转化为等式约束，然后构造拉格朗日函数L(x,λ)=f(x)+λg(x)，其中g(x)>0。
通过求解极值点的条件∇L(x,λ)=0，并且满足不等式约束g(x)>0，我们可以得到带不等式约束的最优解。
增广拉格朗日乘子法和在约束优化问题的应用
毕业论文题目增广拉格朗日乘数法及在其在约束优化问题的应用学院数学科学学院专业信息与计算科学班级计算1001班学生高亚茹学号指导教师邢顺来二〇一四年五月二十五日摘要增广拉格朗日乘子法作为求解约束优化问题的一种重要方法，近年来研究增广拉格朗日乘子法的应用显得更加重要。
本文首要介绍了增广拉格朗日乘子法的产生，通过解释增广拉格朗日乘子法是罚函数法和拉格朗日乘子法的有机结合，引出了现在对增广拉格朗日法的发展状况，概述了增广拉格朗日乘子法基本理论。
然后具体说明了增广拉格朗日法在科学领域上的实际应用，如在供水系统和图像复原的应用，也证明了增广拉格朗日乘子法的实际应用性。
关键词：增广拉格朗日乘子法；罚函数法；供水系统；图像复原ABSTRACTAugmented lagrange multiplier methods as an important method for solving constrained optimization problems, recent studies in applications of augmented lagrange multiplier methods is even more important. This paper describes the generation of primary augmented lagrange multiplier method. By interpreting the augmented lagrangian multiplier methods is the combination of penalty function methods and Lagrange multiplier methods, It is given to a recent development of augmented lagrangian methods. Then is shown the basic theories of augmented lagrangian multiplier methods. Finally it is specified the augmented lagrangian method on the practical applications of scientific fields, such as water supply ystems and image restorations, also proved augmented lagrangian multiplier methods of practical application.Key words：Augmented Lagrange Multiplier Methods；Penalty Function Methods Water Supply Systems ；Image Restorations目录摘要.................................................................................... .I ABSTRACT. (II)1前言 (1)1.1增广拉格朗日函数法的产生与应用 (1)1.2研究增广拉格朗日函数法应用的意义 (1)2增广拉格朗日乘子法 (3)2.1约束非线性规划 (3)2.2罚函数外点法 (4)2.3拉格朗日乘子法....................................... (6)2.4增广拉格朗日乘子法.............................. (7)2.4增广拉格朗日乘子法的计算……………………… ……...…………………...10 3 增广拉格朗日乘子法的应用................................................. ...... (12)3.1供水系统调度的增广拉格朗日函数优化方法……..……………… ………....123.2图像复原的增广拉格朗日函数优化方法 (14)结论........................................................................................... .. (17)参考文献 (18)致 (19)1前言1.1 增广拉格朗日函数法的产生与应用在求解有约束条件的优化题目时，有一个重要方法，便是用适合的方法把约束优化问题，转变成无约束优化问题来进行求解。
增广拉格朗日乘子法罚函数模型推导
增广拉格朗日乘子法罚函数模型推导引言在数学优化领域中，通过使用拉格朗日乘子法可以将约束条件纳入到优化问题的目标函数中，从而将带有约束条件的优化问题转化为无约束条件的优化问题。
但是，当约束条件是不等式约束时，传统的拉格朗日乘子法可能无法得到可行解。
为了解决这个问题，增广拉格朗日乘子法被提出。
增广拉格朗日乘子法概述增广拉格朗日乘子法是一种通过引入罚函数来处理不等式约束的方法。
罚函数是一种将约束条件纳入目标函数的方法，通过给违反约束条件的解分配一个较大的罚值，从而将不等式约束转化为等式约束。
通过引入罚函数，可以得到一个更加凸优化问题，从而能够应用拉格朗日乘子法进行求解。
增广拉格朗日乘子法的罚函数模型对于一个带有不等式约束条件的优化问题，可以构建增广拉格朗日乘子法的罚函数模型。
假设目标函数为f(x)，约束条件为g(x)≤0，其中x是优化变量。
那么，罚函数模型可以写作如下形式：L(x, λ) = f(x) + λg(x)其中，λ是拉格朗日乘子。
增广拉格朗日乘子法通过最小化罚函数来求解优化问题。
最终的优化问题可以表示为：min L(x, λ)增广拉格朗日乘子法的迭代算法增广拉格朗日乘子法的求解过程是一个迭代算法。
首先，我们需要选择初始解x_0和罚权重系数ρ>0。
然后，使用下面的迭代步骤进行求解：1.对于给定的拉格朗日乘子λ_k，求解最小化的子问题：min L(x, λ_k) =f(x) + λ_kg(x)得到x_k+1^k，作为第k+1次迭代的解。
2.对于每个不等式约束g(x)≤0，计算违反程度： r_k+1 = max(0, -ρg(x_k+1^k))其中，ρ是惩罚参数。
如果约束条件被满足，则r_k+1=0；否则，r_k+1大于0表示约束条件违反的程度。
3.对于给定的惩罚参数ρ，通过更新λ_k得到下一次迭代的拉格朗日乘子：λ_k+1 = λ_k + ρg(x_k+1^k)4.重复步骤1至步骤3，直到满足停止准则，例如约束条件的违反程度小于预定义的阈值或达到最大迭代次数。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
毕业论文题目增广拉格朗日乘数法及在其在约束优化问题的应用学院数学科学学院专业信息与计算科学班级计算1001班学生高亚茹学号***********指导教师邢顺来二〇一四年五月二十五日摘要增广拉格朗日乘子法作为求解约束优化问题的一种重要方法，近年来研究增广拉格朗日乘子法的应用显得更加重要。
本文首要介绍了增广拉格朗日乘子法的产生，通过解释增广拉格朗日乘子法是罚函数法和拉格朗日乘子法的有机结合，引出了现在对增广拉格朗日法的发展状况，概述了增广拉格朗日乘子法基本理论。
然后具体说明了增广拉格朗日法在科学领域上的实际应用，如在供水系统和图像复原的应用，也证明了增广拉格朗日乘子法的实际应用性。
关键词：增广拉格朗日乘子法；罚函数法；供水系统；图像复原ABSTRACTAugmented lagrange multiplier methods as an important method for solving constrained optimization problems, recent studies in applications of augmented lagrange multiplier methods is even more important. This paper describes the generation of primary augmented lagrange multiplier method. By interpreting the augmented lagrangian multiplier methods is the combination of penalty function methods and Lagrange multiplier methods, It is given to a recent development of augmented lagrangian methods. Then is shown the basic theories of augmented lagrangian multiplier methods. Finally it is specified the augmented lagrangian method on the practical applications of scientific fields, such as water supply ystems and image restorations, also proved augmented lagrangian multiplier methods of practical application.Key words：Augmented Lagrange Multiplier Methods；Penalty Function Methods Water Supply Systems ；Image Restorations目录摘要 (I)ABSTRACT (II)1前言 (1)1.1增广拉格朗日函数法的产生与应用 (1)1.2研究增广拉格朗日函数法应用的意义 (1)2增广拉格朗日乘子法 (3)2.1约束非线性规划 (3)2.2罚函数外点法 (4)2.3拉格朗日乘子法....................................... (6)2.4增广拉格朗日乘子法.............................. (7)2.4增广拉格朗日乘子法的计算........................... (10)3 增广拉格朗日乘子法的应用................................................. ...... (12)3.1供水系统调度的增广拉格朗日函数优化方法.......................... . (12)3.2图像复原的增广拉格朗日函数优化方法 (14)结论 (17)参考文献 (18)致谢 (19)1前言1.1 增广拉格朗日函数法的产生与应用在求解有约束条件的优化题目时，有一个重要方法，便是用适合的方法把约束优化问题，转变成无约束优化问题来进行求解。
在求最佳的解的题目中，以美国知名学者约瑟夫起名的拉格朗日乘数法是一种探索三元以上函数的极值的方法，其中有若干个条件制约着这类函数的变量。
它的主要解决方式就是，把一个具备n个变量与k个约束条件的求最佳解的问题，转换为一个具备kn 个变量的方程组的极值问题，这里面的变量有一个特点，没有任何制约，就称为无约束变量。
这种方法引入了一种没有过的的标量未知数，也就是拉格朗日函数参数[1]。
罚函数方法是将具备约束条件然后求最好的解的问题变成为不具备制约条件的一种重要的方式，它们首先求解一个，也有可能是一系列的罚问题来得到最末的限制最好的解的问题的解。
这样我们可以把罚问题中的目标函数称为一个罚函数。
从这里看，增广拉格朗日函数法，我们还有另一种叫法便是使用增广拉格朗日函数来当成罚函数的不间断的可微准确罚函数法，跟序列罚函数法比一下，不可微准确罚函数法具备明显的长处。
增广拉格朗日乘子法，是在拉格朗日乘子法的基础上，联合了罚函数外点法，把它们综合在一块的方法，它的本质上最根本的思想就是在之前的罚函数中，考虑引入拉格朗日乘子，这样做就有了增广拉格朗日函数。
在寻找最优解的过程中，通过一直连续不断的改变拉格朗日乘子和惩罚因子来求解各异的拉格朗日函数，换句话说也就是使用无约束最小优化方法得到此拉格朗日函数的极小值点，再加上有这样的拉格朗日函数极值点就会不断的向一开始的目标函数的约束最好的点靠拢，根据收敛准则能够得到差不多近似的最优解[1]。
增广拉格朗日乘子法，从本质上讲就是对拉格朗日乘子方法的延伸，要不就称为是一种序列没有制约的最小化技术。
它的最初的想法是对执行可行性的限制标准给予了一个惩罚，在迭代自适应切换惩罚因子可以是拉格朗日乘子，解决了一系列的最小化问题后，以求目的可以逼近原问题的最优解，这样就逃避了单一使用拉格朗日乘子法或单一使用罚函数外点法有可能会出现的不好的地方。
在实际遇到的问题中，增广拉格朗日乘子法被当成求解约束优化问题的一种重要方法，近年来的应用遍及工程、国防、经济、金融和社会科学等很多紧要的科学领域[1]。
比方说，基于拉格朗日乘子法的水平井射孔优化设计问题，就是首先一开始采用了增广拉格朗日乘子法，然后结合油藏渗流模型，在考虑水平井井底流压或者定产量情况下，以获得最大产量还有最小井底流压为研究需求，对数不清的导流来对水平井射孔密度遍布情况来优化。
增广拉格朗日乘子法的应用涉及很多的方面，因此，对增广拉格朗日乘子法的应用的研究具有很大的意义。
1.2 研究增广拉格朗日函数法应用的意义关于增广拉格朗日乘子法的研究是一个重要的研究课题，其在很多领域具有广阔的应用前景。
首先，近些年来，随着计算机的快速发展，增广拉格朗日乘子法对于求解变分不等式问题在构造数值算法时能起到很重要的作用。
另外，增广拉格朗日乘子法可以用于许多实际问题中的优化设计，通过编写程序构造乘子函数，求解精度较高，是一种非常切实可行的设计优化方法。
使用增广拉格朗日乘子法去解决别的实际问题中的变化的分量不等式问题，是值得我们继续研究的课题。
2. 增广拉格朗日乘子法2.1 约束非线性规划解决平常的不是线性的规划问题，比无约束问题和线性规划问题都要麻烦不简单的多。
用一个简单的例子来说明这点，考虑问题[2],01,01,01..,)(min21212221≥-≥-≥-++=x x x x t s x x x f这个问题的可行域是一个三角形，以及它的内部区域，)(x f 的等值线则是以原点为圆心的同心圆。
问题的最优解为Tx ⎪⎭⎫ ⎝⎛=21,21*，最优值为21)(*=x f 。
线性规划的最优解总是能够在可行域的顶点中找到，而顶点的数量是有限的，这就是单纯形法的基本出发点。
而上面的例子说明：对于非线性规划问题，即使约束都是线性的，最优解也不一定在顶点。
这就给求解它们带来了困难。
另一方面，由于约束的存在，如果不存在约束，从任一个初始点)0(x 出发，沿)(x f 的负梯度方向进行一维搜索，便求得目标函数的无约束极小点()T0,0。
但是，有了约束，在进行一维搜索时，为了使求得的点是一个可行点，就必须对步长加以限制，这样，我们最远只能跑到边界上的一个点，当所取)0(x 不在直线021=-x x 上时，)1(x 点就不会是最优解*x 。
因此，继续迭代下去寻求一个没见过的可行点是有必要的，使目标函数有更小的值。
可是，沿)(x f 在)1(x 处的负梯度方向已经找不到可行点，所以梯度迭代已不能继续进行，尽管离最优解还可能很远。
这正是约束非线性规划与无约束非线性规划的本质区别，也是求解约束问题的根本问题所在。
为了克服这样的困难，也就是换另一句话说，当现有已经存在的点在区域的边缘上时，为了使迭代能不断的继续进行下去，不仅有需求搜索方向拥有使目标函数下降的可能性，还有要求在这个方向上有可行点。
例如，有一个小线段整个包含在可行域内，像这样的方向称为可行方向。
所以，在求解约束非线性规划迭代法的设计中，主要应在每个迭代点)(k x 处构造出一个下降可行方向)(k d 。
解决约束非线性规划的另外一个途径是：在某个近似解处，以已有较好解法的较为简单的问题近似代替原问题用其最优解作为原来问题的新的近似解。
例如将目标函数及约束条件中的非线性函数分别以他们的一阶泰勒多项式或二阶泰勒多项式近似替代，或以一无约束非线性规划近似代替等。
2.2 罚函数外点法根据现在已存在的制约特征情况，约束有两类情况，一种情况是等式，另一种情况是不等式，构建一种有可能的惩罚项，继而把它加到目标函数中去，让约束问题的求解，变换成为无约束问题的求解，这类惩罚的方式，在没有约束题目求解的过程当中，和其相关的那些小概率违反约束的迭代点，给它很大的目的数值，强制性的使这些没有约束问题的极小点，一直向可行的区域凑近，也可以不停坚持不断的在可行域内移动，终止到收敛于原来的约束问题的极小点[2]。
罚函数方法中有一类情况是在可行性区域外进行的惩罚函数法，也能够叫为外点法，它对不遵守约束的迭代点在目标函数中加入符合的惩罚，但是针对可行点就不给予惩罚。
这种方法的迭代点往往是在可行域的外部移动。
考虑一般约束最优化问题.,,1,0)(,,,1,0)(..)(min l j x h m i x g t s x f j i ===≥ (2.1)定义辅助函数),()(),(x P x f x F σσ+=其中)(x P 可取如下形式{}[]∑∑==+-=m i l j j i x h x g x P 11,)()(,0max )(βα其中1,≥βα均为常数，通常取2==βα。