非线性规划
非线性规划
非线性规划非线性规划是一种涉及非线性目标函数和/或非线性约束条件的优化问题。
与线性规划不同，非线性规划可能存在多个局部最优解，而不是全局最优解。
非线性规划在许多领域都有广泛的应用，如经济学、工程学和管理学等。
非线性规划的一般形式可以表示为：最小化或最大化 f(x)，其中 f(x) 是一个非线性函数，x 是决策变量向量。
满足一组约束条件g(x) ≤ 0 和 h(x) = 0，其中 g(x) 和 h(x) 是非线性函数。
为了求解非线性规划问题，可以使用不同的优化算法，如梯度下降法、牛顿法和拟牛顿法等。
这些算法的目标是找到目标函数的最小值或最大值，并满足约束条件。
非线性规划的难点在于寻找全局最优解。
由于非线性函数的复杂性，这些问题通常很难解析地求解。
因此，常常使用迭代算法来逼近最优解。
非线性规划的一个重要应用是在经济学中的生产计划问题。
生产活动通常受到多个因素的限制，如生产能力、原材料和劳动力等。
非线性规划可以帮助确定最佳的生产数量，以最大化利润或最小化成本。
另一个应用是在工程学中的优化设计问题。
例如，优化某个结构的形状、尺寸和材料以满足一组要求。
非线性规划可以帮助找到最佳设计方案，以最大程度地提高性能。
在管理学中，非线性规划可以用于资源分配和风险管理问题。
例如，优化一个公司的广告预算，以最大程度地提高销售额。
非线性规划可以考虑多种因素，如广告投入和市场需求，以找到最佳的广告投放策略。
总之，非线性规划是一种重要的优化方法，用于解决涉及非线性目标函数和约束条件的问题。
它在经济学、工程学和管理学等领域有广泛的应用。
尽管非线性规划的求解难度较大，但通过合适的优化算法，可以找到最佳的解决方案。
非线性规划算法
非线性规划算法现代数学算法的发展，使得计算机在解决多种实际问题中发挥出越来越重要的作用。
其中，非线性规划算法作为一种重要的优化算法，被广泛应用于生产、经济、地质和金融等领域。
本文将介绍非线性规划问题的定义、特点、求解方法和应用。
一、非线性规划问题的定义非线性规划问题是指在目标函数和约束条件中至少有一项是非线性函数的数学规划问题。
具体的表示形式可以是以下形式：$$\min f(x)$$$$s.t.\ \ \ \ \ \ \ \ \ \ \ g_i(x) \leq 0, \ \ i=1,2, \cdots, m $$$$h_j(x) =0,\ \ j=1,2, \cdots, n$$其中，$x$为决策变量，$f(x)$为目标函数，$g_i(x)$和$h_j(x)$分别是不等式约束和等式约束条件。
二、非线性规划问题的特点非线性规划问题与线性规划问题相比，具有以下几个特点：1. 非线性规划问题的数学模型较为复杂。
在考虑实际问题时，目标函数中经常包含各种复杂的非线性函数，如三角函数、指数函数、对数函数等等。
同时，约束条件的不等式表达式也可能是非线性函数。
2. 非线性规划问题的求解难度较大。
因为非线性规划问题的目标函数和约束条件不再满足线性性质，导致求解过程中出现很多非线性优化问题。
这也意味着，非线性规划问题中需要用到高级的优化算法，这些算法的计算成本和正确性都需要严格考虑。
3. 非线性规划问题的解可能存在多个局部最优解。
相比线性规划问题，非线性规划问题的解集合往往具有多个局部最优解。
这意味着，解决这类问题时需要针对不同的局部解进行分析，从而找到全局最优解。
三、非线性规划求解方法通常情况下，非线性规划问题的求解方法包括以下几种:1. 梯度方法。
梯度方法是一种基于梯度信息的优化算法，能保证解的收敛性和稳定性。
这种方法的主要思想是通过计算目标函数的梯度信息来确定下一步迭代的方向和步长。
2. 共轭梯度法。
共轭梯度法是在梯度法基础上改进而来的算法，更加高效和优化。
非线性规划知识点讲解总结
非线性规划知识点讲解总结1. 非线性规划的基本概念非线性规划是指目标函数和/或约束条件包含非线性项的优化问题。
一般来说，非线性规划问题可以表示为如下形式：\[\min f(x)\]\[s.t. \ g_i(x) \leq 0, \ i=1,2,...,m\]\[h_j(x)=0, \ j=1,2,...,p\]其中，\(x \in R^n\)是优化变量，\(f(x)\)是目标函数，\(g_i(x)\)和\(h_j(x)\)分别表示不等式约束和等式约束。
目标是找到使目标函数取得最小值的\(x\)。
2. 非线性规划的解决方法非线性规划问题的求解是一个复杂的过程，通常需要使用数值优化方法来解决。
目前，常用的非线性规划求解方法主要包括梯度方法、牛顿方法和拟牛顿方法。
（1）梯度方法梯度方法是一种基于目标函数梯度信息的优化方法。
该方法的基本思想是在迭代过程中不断沿着梯度下降的方向更新优化变量，以期望找到最小值点。
梯度方法的优点是简单易实现，但缺点是可能陷入局部最优解，收敛速度慢。
（2）牛顿方法牛顿方法是一种基于目标函数的二阶导数信息的优化方法。
该方法通过构造目标函数的泰勒展开式，并利用二阶导数信息来迭代更新优化变量，以期望找到最小值点。
牛顿方法的优点是收敛速度快，但缺点是计算复杂度高，需要计算目标函数的二阶导数。
（3）拟牛顿方法拟牛顿方法是一种通过近似求解目标函数的Hessian矩阵来更新优化变量的优化方法。
该方法能够克服牛顿方法的计算复杂度高的问题，同时又能保持相对快速的收敛速度。
拟牛顿方法的典型代表包括DFP方法和BFGS方法。
3. 非线性规划的应用非线性规划方法在实际生活和工程问题中都有着广泛的应用。
以下将介绍非线性规划在生产优化、资源分配和风险管理等领域的应用。
（1）生产优化在制造业中，生产线的优化调度问题通常是一个非线性规划问题。
通过对生产线的机器设备、生产工艺和生产速度等因素进行建模，并设置相应的目标函数和约束条件，可以使用非线性规划方法来求解最优的生产调度方案，以最大程度地提高生产效率和减少成本。
第5讲 非线性规划
例1
min
f
x1
2x2
1 2
x12
1 2
x22
2x1 3x2 6
s.t.
x1
4x2
5
x1, x2 0
1.写成标准形式： min
f
x1
2 x2
1 2
x12
1 2
x22
2x1 3x2 6 0 x1 4x2 5 0
s.t. 0 x1 0 x2
例1
min
f
x1
2）当用新建原料场时,决策变量为：xij，xj，yj
1.使用临时原料场
模型求解
使用两个临时原料场A(5,1)，B(2,7). 求从料场j 向使用单位i 的运送量
xij，在各建筑工地使用量必须满足和各料场运送量不超过日储量的条件下，
使总的吨千米数最小，此时由于ai，bi 、xj，yj都是已知的，故这是一个线性
输出极值点 M文件 迭代的初值
(6) [x,fval]= fmincon(...) (7) [x,fval,exitflag]= fmincon(...) (8) [x,fval,exitflag,output]= fmincon(...)
变量上下限
参数说明
注意：
[1] fmincon函数提供了大型优化算法和中型优化算法。默认 时，若在fun函数中提供了梯度（options参数的GradObj设置 为’on’），并且只有上下界存在或只有等式约束，fmincon函 数将选择大型算法。当既有等式约束又有梯度约束时，使用 中型算法。 [2] fmincon函数的中型算法使用的是序列二次规划法。在每 一步迭代中求解二次规划子问题，并用BFGS法更新拉格朗日 Hessian矩阵。 [3] fmincon函数可能会给出局部最优解，这与初值X0的选取 有关。
非线性规划的基本概念及问题概述
牛顿法在凸优化问题上表现较好，但在非凸问题 上可能陷入局部最优解。
拟牛顿法
01
拟牛顿法是一种改进的牛顿法，通过构造海森矩阵 的近似来降低计算成本。
02
拟牛顿法在每一步迭代中更新搜索方向，并逐渐逼 近最优解。
03
拟牛顿法在处理大规模非线性规划问题时表现较好 ，但仍然需要计算目标函数的二阶导数。
共轭梯度法
共轭梯度法结合了梯度法和牛 顿法的思想，通过迭代更新搜 索方向来寻找最优解。
共轭梯度法的迭代方向是梯度 方向和上一次迭代方向的线性 组合，可以加快收敛速度。
共轭梯度法适用于大规模优化 问题，尤其在约束条件较多或 非凸函数情况下表现较好。
05
非线性规划的挑战与解决方 案
局部最优解问题
局部最优解问题
案例二：生产计划优化问题
总结词
生产计划优化问题旨在通过合理安排生 产计划，降低生产成本并满足市场需求 。
VS
详细描述
生产计划优化问题需要考虑生产过程中的 各种因素，如原材料需求、设备能力、劳 动力成本等。目标函数通常是非线性的， 因为生产成本和产量之间的关系是非线性 的。约束条件可能包括资源限制、交货期 限制等。
例子
最小化成本函数，其中成本是生产量 的函数，生产量受到资源、生产能力 等约束。
最大化问题
最大化目标函数
在给定的约束条件下，找到一组变量 ，使得目标函数达到最大值。
例子
最大化收益函数，其中收益是销售量 的函数，销售量受到市场需求、价格 等约束。
约束条件下的优化问题
01
在满足一系列约束条件下，寻找最优解，使得目标函数达到最 优值。
梯度法适用于目标函数和约束条件比较简单的情况，但对于非凸函数或约束条件复 杂的情况可能不收敛或收敛到局部最优解。
非线性规划的相关概念
非线性规划的相关概念引言非线性规划是数学规划领域中的一个重要研究方向，它是线性规划的推广和扩展。
在许多实际问题中，约束条件和目标函数往往是非线性的，因此需要非线性规划方法来解决这些问题。
本文将介绍非线性规划的基本概念和相关理论。
基本概念1. 可行解在非线性规划中，可行解指的是满足约束条件的解。
具体地，给定约束条件和目标函数，如果存在一组解使得所有约束条件都得到满足，那么这组解就是可行解。
非线性规划的目标是找到一个可行解，使得目标函数值最小或最大。
2. 局部极小解和全局极小解在非线性规划中，局部极小解指的是在某个局部范围内，目标函数值最小的可行解。
全局极小解指的是在整个可行域内，目标函数值最小的可行解。
在非线性规划中，寻找全局极小解往往非常困难，因为非线性规划问题一般没有全局最优解的性质。
因此，通常采用近似算法来寻找接近全局极小解的解。
3. 无约束问题和约束问题非线性规划可以分为无约束问题和约束问题。
无约束问题是指在没有约束条件的情况下，找到目标函数的最小值或最大值。
约束问题是指在满足一组约束条件的情况下，找到目标函数的最小值或最大值。
约束问题通常比无约束问题更加复杂，因为需要考虑约束条件的影响。
相关理论1. 梯度下降法梯度下降法是非线性规划中常用的优化方法之一。
基本思想是通过迭代更新解，使得目标函数值逐渐降低。
具体地，梯度下降法使用目标函数的梯度信息来指导搜索方向，并选择适当的步长来更新解。
该方法通常在局部范围内找到局部极小解，并且易于实现。
2. 牛顿法牛顿法是一种经典的非线性优化方法，广泛应用于非线性规划问题的求解。
它利用目标函数和约束条件的一阶和二阶导数信息来更新解。
具体地，牛顿法通过计算目标函数的海森矩阵来确定搜索方向，并选择适当的步长来更新解。
该方法在局部范围内通常能够快速收敛到极小解。
3. 二次规划二次规划是非线性规划中的一种特殊形式，目标函数是二次函数，约束条件是线性条件。
它可以通过求解一组二次方程组来得到最优解。
非线性规划
日运输计划，使总的吨·公里数最小.（2）为减少总的吨·公
里数，该公司拟放弃现有的两个料场 A1, A2，重新建设两个日 存储量仍均为20吨的新料场，试为新料场选址.
d
（单位：吨）见
i
下表：
工 地
1
2
3
4
5
6
xi 1.25 8.75 0.5 5.75 3 7.25 yi 1.25 0.75 4.75 5 6.5 7.75 di 3 5 4 7 6 11
该公司现有2个存放水泥的料场：A1(5,1)和 A2 (2,7)，存储
量均为20吨.料场与工地之间均有直线道路相通.（1）试制定
min f ( X ), X Rn
s.t.
gi hj
(X (X
) )
0, i 0,
1, 2, j 1, 2,
,m ,l
3.求解 （1）非线性规划问题目前还没有适合于各种问题的一般 算法，每一个算法都有各自的适用范围。 （2）非线性规划问题的最优值不一定在可行域的边界达 到。 （3）一般求得是局部最优解，但局部最优解并不一定是 全局最优解。 （4）迭代法是主要求解方法: 通常从一个初始解出发， 在可行域中沿着使得目标函数降低的方向前进到下一个 解。 （5）一般求解方法：最速下降法，罚函数法，拉格朗日 乘子法等,或者采用智能算法，如：遗传算法，模拟退火 算法，蚁群算法，神经网络等。 （6）软件求解，借助于 Lingo 和 Matlab 可以求解非线 性规划问题。
4.例 1 抛物面 z x2 y2被平面 x y z 1截成一椭
圆，求原点到这椭圆的最短距离。 该问题可以用拉格朗日乘子法求解。下面我们把问
题归结为数学规划模型，用 Lingo 软件求解。 设原点到椭圆上点(x, y, z)的距离最短，建立如下的
非线性规划算法介绍
非线性规划算法介绍在优化问题中，线性规划被广泛应用，但是有时候我们需要解决一些非线性问题。
非线性规划问题是指目标函数或约束条件至少有一个是非线性的优化问题，求解非线性规划问题是在一些工程和科学领域中很重要的任务。
这篇文章将会介绍非线性规划算法的一些概念和原理。
1. 概述非线性规划（Non-linear programming，简称NLP）是指存在非线性的目标函数和约束的最优化问题。
相对于线性规划问题，非线性规划问题的求解要困难得多，因此需要更复杂的算法来解决。
然而，在实际应用中非线性规划问题比比皆是，如金融风险管理、科学研究、交通规划等，因此非线性规划算法的研究意义非常重大。
2. 常见算法(a) 梯度下降法梯度下降法（Gradient descent algorithm）是求解最小化目标函数的一种方式。
在非线性规划问题中，该方法利用目标函数的梯度方向来确定下降的方向，迭代调整参数，直到梯度为零或达到可接受的误差范围。
梯度下降法有多种变形，包括共轭梯度法、牛顿法等。
(b) 拟牛顿法拟牛顿法（Quasi-Newton methods）是用来求解非线性约束优化问题的经典算法之一。
拟牛顿法利用牛顿法的思想，但不需要求解目标函数的二阶导数，转而用近似的Hessian矩阵来取代二阶导数，并用更新步长向量的方式近似求解目标函数的最小值。
(c) 启发式算法启发式算法（Heuristic algorithms）是一种不确定性的、基于经验的求解方法，因此不保证能找到全局最优解。
虽然有缺点，但启发式算法具有较强的鲁棒性和适应性，可用于非线性规划问题的求解。
常见的启发式算法包括模拟退火、遗传算法、蚁群算法、粒子群算法等。
3. 应用案例非线性规划算法在实际应用中发挥着不可或缺的作用。
这里介绍两个基于非线性规划算法的应用案例。
(a) 水利工程在水利工程中，常常需要寻找最优的方案来解决水库调度、灌溉、排洪等问题。
非线性规划算法能够通过寻找水资源的最优利用方法，保证水利工程的经济和社会效益。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
非线性规划（nonlinear programming）1.非线性规划概念非线性规划是具有非线性约束条件或目标函数的数学规划，是运筹学的一个重要分支。
非线性规划研究一个n元实函数在一组等式或不等式的约束条件下的极值问题，且目标函数和约束条件至少有一个是未知量的非线性函数。
目标函数和约束条件都是线性函数的情形则属于线性规划。
2.非线性规划发展史公元前500年古希腊在讨论建筑美学中就已发现了长方形长与宽的最佳比例为0.618,称为黄金分割比。
其倒数至今在优选法中仍得到广泛应用。
在微积分出现以前，已有许多学者开始研究用数学方法解决最优化问题。
例如阿基米德证明：给定周长，圆所包围的面积为最大。
这就是欧洲古代城堡几乎都建成圆形的原因。
但是最优化方法真正形成为科学方法则在17世纪以后。
17世纪，I.牛顿和G.W.莱布尼茨在他们所创建的微积分中，提出求解具有多个自变量的实值函数的最大值和最小值的方法。
以后又进一步讨论具有未知函数的函数极值，从而形成变分法。
这一时期的最优化方法可以称为古典最优化方法。
最优化方法不同类型的最优化问题可以有不同的最优化方法，即使同一类型的问题也可有多种最优化方法。
反之,某些最优化方法可适用于不同类型的模型。
最优化问题的求解方法一般可以分成解析法、直接法、数值计算法和其他方法。
(1)解析法：这种方法只适用于目标函数和约束条件有明显的解析表达式的情况。
求解方法是：先求出最优的必要条件，得到一组方程或不等式，再求解这组方程或不等式，一般是用求导数的方法或变分法求出必要条件，通过必要条件将问题简化，因此也称间接法。
(2)直接法：当目标函数较为复杂或者不能用变量显函数描述时，无法用解析法求必要条件。
此时可采用直接搜索的方法经过若干次迭代搜索到最优点。
这种方法常常根据经验或通过试验得到所需结果。
对于一维搜索(单变量极值问题)，主要用消去法或多项式插值法；对于多维搜索问题(多变量极值问题)主要应用爬山法。
(3)数值计算法：这种方法也是一种直接法。
它以梯度法为基础，所以是一种解析与数值计算相结合的方法。
(4)其他方法：如网络最优化方法等。
根据函数的解析性质，还可以对各种方法作进一步分类。
例如，如果目标函数和约束条件都是线性的，就形成线性规划。
线性规划有专门的解法，诸如单纯形法、解乘数法、椭球法和卡马卡法等。
当目标或约束中有一非线性函数时,就形成非线性规划。
当目标是二次的,而约束是线性时，则称为二次规划。
二次规划的理论和方法都较成熟。
如果目标函数具有一些函数的平方和的形式，则有专门求解平方和问题的优化方法。
目标函数具有多项式形式时，可形成一类几何规划。
非线性规划是20世纪50年代才开始形成的一门新兴学科。
1951年H.W.库恩和A.W.塔克发表的关于最优性条件(后来称为库恩·塔克条件)的论文是非线性规划正式诞生的一个重要标。
在50年代还得出了可分离规划和二次规划的n种解法,它们大都是以G.B.丹齐克提出的解线性规划的单纯形法为基础的。
50年代末到60年代末出现了许多解非线性规划问题的有效的算法，70年代又得到进一步的发展。
非线性规划在工程、管理、经济、科研、军事等方面都有广泛的应用，为最优设计提供了有力的工具。
第二次世界大战前后，由于军事上的需要和科学技术和生产的迅速发展，许多实际的最优化问题已经无法用古典方法来解决，这就促进了近代最优化方法的产生。
近代最优化方法的形成和发展过程中最重要的事件有：以苏联康托罗维奇和美国G.B.丹齐克为代表的线性规划；以美国库恩和塔克尔为代表的非线性规划；以美国R.贝尔曼为代表的动态规划；以苏联庞特里亚金为代表的极大值原理等。
这些方法后来都形成体系，成为近代很活跃的学科，对促进运筹学、管理科学、控制论和系统工程等学科的发展起了重要作用3.非线性规划数学模型对实际规划问题作定量分析，必须建立数学模型。
建立数学模型首先要选定适当的目标变量和决策变量，并建立起目标变量与决策变量之间的函数关系,称之为目标函数。
然后将各种限制条件加以抽象,得出决策变量应满足的一些等式或不等式，称之为约束条件。
非线性规划问题的一般数学模型可表述为求未知量x1,x2,…,xn,使满足约束条件：∙gi(x1，…，xn)≥0i＝1,…,m∙hj(x1，…，xn)＝0j＝1,…,p并使目标函数f(x1，…,xn)达到最小值(或最大值)。
其中f，诸gi和诸hj都是定义在n维向量空间Rn的某子集D(定义域)上的实值函数,且至少有一个是非线性函数。
上述模型可简记为：∙min f(x)∙s.t. gi(x)≥0i＝1,…,m∙hj(x)＝0 j＝1,…,p其中x＝(x1，…,xn)属于定义域D，符号min表示“求最小值”，符号s.t.表示“受约束于”。
定义域D中满足约束条件的点称为问题的可行解。
全体可行解所成的集合称为问题的可行集。
对于一个可行解x*,如果存在x*的一个邻域，使目标函数在x*处的值f(x*)优于(指不大于或不小于)该邻域中任何其他可行解处的函数值，则称x*为问题的局部最优解（简称局部解）。
如果f(x*)优于一切可行解处的目标函数值,则称x*为问题的整体最优解（简称整体解）。
实用非线性规划问题要求整体解，而现有解法大多只是求出局部解。
4.非线性规划求解法一维最优化方法指寻求一元函数在某区间上的最优值点的方法。
这类方法不仅有实用价值，而且大量多维最优化方法都依赖于一系列的一维最优化。
常用的一维最优化方法有黄金分割法、切线法和插值法。
①黄金分割法：又称0.618法。
它适用于单峰函数。
其基本思想是：在初始寻查区间中设计一列点，通过逐次比较其函数值，逐步缩小寻查区间，以得出近似最优值点。
②切线法：又称牛顿法。
它也是针对单峰函数的。
其基本思想是：在一个猜测点附近将目标函数的导函数线性化，用此线性函数的零点作为新的猜测点，逐步迭代去逼近最优点。
③插值法：又称多项式逼近法。
其基本思想是用多项式（通常用二次或三次多项式）去拟合目标函数。
此外，还有斐波那契法、割线法、有理插值法、分批搜索法等。
无约束最优化方法指寻求n元实函数f在整个n维向量空间R n上的最优值点的方法。
这类方法的意义在于：虽然实用规划问题大多是有约束的，但许多约束最优化方法可将有约束问题转化为若干无约束问题来求解。
无约束最优化方法大多是逐次一维搜索的迭代算法。
这类迭代算法可分为两类。
一类需要用目标函数的导函数,称为解析法。
另一类不涉及导数，只用到函数值,称为直接法。
这些迭代算法的基本思想是：在一个近似点处选定一个有利搜索方向,沿这个方向进行一维寻查,得出新的近似点。
然后对新点施行同样手续，如此反复迭代，直到满足预定的精度要求为止。
根据搜索方向的取法不同，可以有各种算法。
属于解析型的算法有：①梯度法：又称最速下降法。
这是早期的解析法，收敛速度较慢。
②牛顿法：收敛速度快，但不稳定，计算也较困难。
③共轭梯度法：收敛较快，效果较好。
④变尺度法：这是一类效率较高的方法。
其中达维登-弗莱彻-鲍威尔变尺度法，简称DFP法，是最常用的方法。
属于直接型的算法有交替方向法（又称坐标轮换法）、模式搜索法、旋转方向法、鲍威尔共轭方向法和单纯形加速法等。
约束最优化方法指前述一般非线性规划模型的求解方法。
常用的约束最优化方法有四种。
①拉格朗日乘子法：它是将原问题转化为求拉格朗日函数的驻点。
②制约函数法：又称系列无约束最小化方法，简称SUMT法。
它又分两类，一类叫惩罚函数法，或称外点法；另一类叫障碍函数法，或称内点法。
它们都是将原问题转化为一系列无约束问题来求解。
③可行方向法：这是一类通过逐次选取可行下降方向去逼近最优点的迭代算法。
如佐坦迪克法、弗兰克－沃尔夫法、投影梯度法和简约梯度法都属于此类算法。
④近似型算法：这类算法包括序贯线性规划法和序贯二次规划法。
前者将原问题化为一系列线性规划问题求解，后者将原问题化为一系列二次规划问题求解。
非线性规划分类凸规划这是一类特殊的非线性规划。
在前述非线性规划数学模型中，若f是凸函数，诸gi都是凹函数,诸hj都是一次函数，则称之为凸规划。
所谓f是凸函数,是指f有如下性质：它的定义域是凸集,且对于定义域中任意两点x和y及任一小于1的正数α，下式都成立：f((1-α)x +αy)α≤(1-α)f(x)+αf(y)将上述不等式中的不等号反向即得凹函数的定义。
所谓凸集，是指具有如下性质的集合：连结集合中任意两点的直线段上的点全部属于该集合。
对于一般的非线性规划问题，局部解不一定是整体解。
但凸规划的局部解必为整体解，而且凸规划的可行集和最优解集都是凸集。
二次规划一类特殊的非线性规划。
它的目标函数是二次函数，约束条件是线性的。
求解二次规划的方法很多。
较简便易行的是沃尔夫法。
它是依据库恩·塔克条件，在线性规划单纯形法的基础上加以修正而成的。
此外还有莱姆基法、毕尔法、凯勒法等。
几何规划一类特殊的非线性规划。
它的目标函数和约束函数都是正定多项式（或称正项式）。
几何规划本身一般不是凸规划，但经适当变量替换，即可变为凸规划。
几何规划的局部最优解必为整体最优解。
求解几何规划的方法有两类。
一类是通过对偶规划去求解；另一类是直接求解原规划，这类算法大多建立在根据几何不等式将多项式转化为单项式的思想上。
非线性规划的应用非线性规划在经营管理、工程设计、科学研究、军事指挥等方面普遍地存在着最优化问题。
例如：如何在现有人力、物力、财力条件下合理安排产品生产，以取得最高的利润；如何设计某种产品，在满足规格、性能要求的前提下，达到最低的成本；如何确定一个自动控制系统的某些参数，使系统的工作状态最佳；如何分配一个动力系统中各电站的负荷，在保证一定指标要求的前提下，使总耗费最小；如何安排库存储量，既能保证供应，又使储存费用最低；如何组织货源，既能满足顾客需要，又使资金周转最快等。
对于静态的最优化问题，当目标函数或约束条件出现未知量的非线性函数，且不便于线性化，或勉强线性化后会招致较大误差时，就可应用非线性规划的方法去处理。