最优化问题的数学模型一般可以用约束集X和目标函数f进行表示.集合X
合集下载
第四讲---多变量优化模型
雷达信号处理国防科技重点实验室45不等式约束的多变量优化问题45不等式约束的多变量优化问题优化模型优化模型33900100033990004001400000195225400000195225最大值点最大值点目标函数是双变量二次函数约束条件由个线性束条件由5个线性不等式约束构成约束二次规划约束二次规划可行解区域可行解区域雷达信号处理国防科技重点实验室约束二次规划约束二次规划45不等式约束的多变量优化问题45不等式约束的多变量优化问题不等式约束的多变量优化问题不等式约束的多变量优化问题min通过适当处理转通过适当处理转化成无约束优化化成无约束优化问题进行求解问题进行求解问题进行求解问题进行求解最速下降法最速下降法最速下降法最速下降法牛顿迭代法牛顿迭代法共轭梯度法共轭梯度法牛顿迭代法雷达信号处理国防科技重点实验室修正牛顿迭代法修正牛顿迭代法45不等式约束的多变量优化问题45不等式约束的多变量优化问题惩罚函数方法惩罚函数方法惩罚项惩罚项引进一个辅助函数惩罚项惩罚项可行解集合可行解集合可行解集合可行解集合当一个点不在可行解集合中时r个等式约束和s个不等式约束中至少有一个不成立
2
函数存在唯一的驻点
(1) A是正定矩阵
对称矩阵
xmin A 1b, f min c bT A 1b
(2) A是负定矩阵
(2) a>0, 抛物线开口向下,
xmax b 4ac b 2 arg max{ f ( x)} , f max x 2a 4a
xmax A 1b, f max c bT A 1b
问题描述的一般形式
可行解集合
S {x n : gi (x) ci , i 1, 2,, m}
min{ f ( x)} n
x
2
函数存在唯一的驻点
(1) A是正定矩阵
对称矩阵
xmin A 1b, f min c bT A 1b
(2) A是负定矩阵
(2) a>0, 抛物线开口向下,
xmax b 4ac b 2 arg max{ f ( x)} , f max x 2a 4a
xmax A 1b, f max c bT A 1b
问题描述的一般形式
可行解集合
S {x n : gi (x) ci , i 1, 2,, m}
min{ f ( x)} n
x
最优化之多目标规划
三、模型的建立与分析
1.总体风险用所投资的Si中最大的一个风险来衡量,即
max{ qixi|i=1，2,…n}
2．购买 Si 所付交易费是一个分段函数,即
pixi
交易费 =
xi>ui xi≤ui
piui
而题目所给定的定值 ui(单位:元)相对总投资 M 很小, piui 更小, 可以忽略不计,这样购买 Si 的净收益为(ri-pi)xi
max i i
i 1 k
i ( x1 , x2 , xn ) gi ( i 1,2,, m)
式中， i 应满足： 向量形式：
i 1
i 1
k
max T
s.t . ( X ) G
方法二 罚款模型（理想点法）
思想: 规划决策者对每一个目标函数都能提出所期望的值 （或称满意值）；
二 多目标规划求解技术简介
为了求得多目标规划问题的非劣解，常常需要将 多目标规划问题转化为单目标规划问题去处理。实现 这种转化，有如下几种建模方法。
效用最优化模型 罚款模型 约束模型 目标达到法 目标规划模型
方法一
效用最优化模型（线性加权法）
思想：规划问题的各个目标函数可以通过一定的方式 进行求和运算。这种方法将一系列的目标函数与效
一、问题提出 市场上有 n 种资产 s i （i=1,2……n）可以选择，现用数额为 M 的相当大的资金作一 个时期的投资。这 n 种资产在这一时期内购买 s i 的平均收益率为 ri ，风险损失率为 qi ， 投资越分散，总的风险越小，总体风险可用投资的 s i 中最大的一个风险来度量。
pi )，当购买额不超过给定值 u i 时，交易费按购买 u i 计算。另外，假定同期银行存款利率是 r0 ，既无交易费又无风险。 r0 =5%） （
最优化及最优化方法讲稿
h jx 0 ,j 1 , ,p ,1 .3 （等式约束）
其中 x x 1 ,x 2 , x n T R n
最优化问题分类
经典优化问题（静态优化问题）和现代优化问 题（动态优化问题）
1、经典优化问题（静态优化问题）
根据数学模型中有无约束函数分为有约束的最优化问 题和无约束的最优化问题；
或替代的原问题的衍生问题，重复以上步骤直至不再 剩有未解决的衍生问题为止。目前比较成功又流行的 方法是分枝定界法和割平面法，它们都是在上述框架 下形成的。
0—1规划在整数规划中占有重要地位，一方面因为许 多实际问题，例如指派问题、选地问题、送货问题都 可归结为此类规划，另一方面任何有界变量的整数规 划都与0—1规划等价，用0—1规划方法还可以把多种 非线性规划问题表示成整数规划问题，所以不少人致 力于这个方向的研究。求解0—1规划的常用方法是分 枝定界法，对各种特殊问题还有一些特殊方法，例如 求解指派问题用匈牙利方法就比较方便。
随机规划是处理数据带有随机性的一类数学规划，它与 确定性数学规划最大的不同在于其系数中引进了随机变 量，这使得随机规划比起确定性数学规划更适合于用。
随机规划的求解方法
随机规划的求解方法大致分两种。 第一种是转化法，即将随机规划转化成各自的确定性等
最优化的发展简史
但是最优化方法真正形成为科学方法则在17世 纪以后。
17世纪，I.牛顿和G.W.莱布尼茨在他们所 创建的微积分中，提出求解具有多个自变量的实 值函数的最大值和最小值的方法，后来又出现 Lagrange乘数法。以后又进一步讨论具有未知 函数的函数极值，从而形成变分法。这一时期的 最优化方法可以称为古典最优化方法。
整数规划与组合最优化的关系
整数规划与组合最优化从广泛的意义上说，两者的领域 是一致的，都是在有限个可供选择的方案中，寻找满足 一定标准的最好方案。有许多典型的问题反映整数规划 的广泛背景。例如，背袋（或装载）问题、固定费用问 题、和睦探险队问题（组合学的对集问题）、有效探险 队问题（组合学的覆盖问题）、送货问题等。因此整数 规划的应用范围也是极其广泛的。它不仅在工业和工程 设计和科学研究方面有许多应用，而且在计算机设计、 系统可靠性、编码和经济分析等方面也有新的应用。
其中 x x 1 ,x 2 , x n T R n
最优化问题分类
经典优化问题（静态优化问题）和现代优化问 题（动态优化问题）
1、经典优化问题（静态优化问题）
根据数学模型中有无约束函数分为有约束的最优化问 题和无约束的最优化问题；
或替代的原问题的衍生问题，重复以上步骤直至不再 剩有未解决的衍生问题为止。目前比较成功又流行的 方法是分枝定界法和割平面法，它们都是在上述框架 下形成的。
0—1规划在整数规划中占有重要地位，一方面因为许 多实际问题，例如指派问题、选地问题、送货问题都 可归结为此类规划，另一方面任何有界变量的整数规 划都与0—1规划等价，用0—1规划方法还可以把多种 非线性规划问题表示成整数规划问题，所以不少人致 力于这个方向的研究。求解0—1规划的常用方法是分 枝定界法，对各种特殊问题还有一些特殊方法，例如 求解指派问题用匈牙利方法就比较方便。
随机规划是处理数据带有随机性的一类数学规划，它与 确定性数学规划最大的不同在于其系数中引进了随机变 量，这使得随机规划比起确定性数学规划更适合于用。
随机规划的求解方法
随机规划的求解方法大致分两种。 第一种是转化法，即将随机规划转化成各自的确定性等
最优化的发展简史
但是最优化方法真正形成为科学方法则在17世 纪以后。
17世纪，I.牛顿和G.W.莱布尼茨在他们所 创建的微积分中，提出求解具有多个自变量的实 值函数的最大值和最小值的方法，后来又出现 Lagrange乘数法。以后又进一步讨论具有未知 函数的函数极值，从而形成变分法。这一时期的 最优化方法可以称为古典最优化方法。
整数规划与组合最优化的关系
整数规划与组合最优化从广泛的意义上说，两者的领域 是一致的，都是在有限个可供选择的方案中，寻找满足 一定标准的最好方案。有许多典型的问题反映整数规划 的广泛背景。例如，背袋（或装载）问题、固定费用问 题、和睦探险队问题（组合学的对集问题）、有效探险 队问题（组合学的覆盖问题）、送货问题等。因此整数 规划的应用范围也是极其广泛的。它不仅在工业和工程 设计和科学研究方面有许多应用，而且在计算机设计、 系统可靠性、编码和经济分析等方面也有新的应用。
最优化理论与方法概述
第一页，编辑于星期五：十点 四分。
1. 最优化问题
最优化问题：求一个一元函数或多元函数的极 值。 在微积分中，我们曾经接触过一些比较简单 的极值问题。下面通过具体例子来看看什么是最 优化问题。
第二页，编辑于星期五：十点 四分。
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相等
、大豆粉的量（磅）。
min Z 0.0164x1 0.0463x2 0.1250x3 s.t. x1 x2 x3 100
0.380 0.380
x1 x1
0.001x2 0.001x2
Байду номын сангаас
0.002x3 0.002x3
0.012 100 0.008100
0.09x2 0.50x3 0.22100
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
解：因为
则 又因为：
f X
x1
2
x1
2
x2
f X
x2
2x2
2
x1
2 x3
3
f X 2x1 2x2, 2x2 2x1 2x3 3, 2x3 2x2 T
f X
x3
2
x3
恒有 f x* f x 则称 x*是最优化问题的整体最优解。
定义2：局部最优解：若 x* D，存在某邻域 N ( x*，) 使得对于
一切 x N ( x* ) D ，恒有 f x* f x 则称 x *是最优化问题
的局部最优解。其中 N ( x* ) { x | x x* , 0}
配料
每磅配料中的营养含量
钙
蛋白质
纤维
1. 最优化问题
最优化问题：求一个一元函数或多元函数的极 值。 在微积分中，我们曾经接触过一些比较简单 的极值问题。下面通过具体例子来看看什么是最 优化问题。
第二页，编辑于星期五：十点 四分。
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相等
、大豆粉的量（磅）。
min Z 0.0164x1 0.0463x2 0.1250x3 s.t. x1 x2 x3 100
0.380 0.380
x1 x1
0.001x2 0.001x2
Байду номын сангаас
0.002x3 0.002x3
0.012 100 0.008100
0.09x2 0.50x3 0.22100
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
解：因为
则 又因为：
f X
x1
2
x1
2
x2
f X
x2
2x2
2
x1
2 x3
3
f X 2x1 2x2, 2x2 2x1 2x3 3, 2x3 2x2 T
f X
x3
2
x3
恒有 f x* f x 则称 x*是最优化问题的整体最优解。
定义2：局部最优解：若 x* D，存在某邻域 N ( x*，) 使得对于
一切 x N ( x* ) D ，恒有 f x* f x 则称 x *是最优化问题
的局部最优解。其中 N ( x* ) { x | x x* , 0}
配料
每磅配料中的营养含量
钙
蛋白质
纤维
最优控制
四、最优控制在控制领域中的应用
模拟退火算法 1983年,Kirkpatrick与其合作者提出了模拟退火(SA)的方法,它是求解单目标 多变量最优化问题的一项Monte-Caula技术。该法是一种物理过程的人工模 拟,它基于液体结晶或金属的退火过程。液体和金属物体在加热至一定温度 后,它们所有的分子、原子在状态空间D中自由运动。随着温度的下降,这些 分子、原子逐渐停留在不同的状态。当温度降到相当低时,这些分子、原子 则重新以一定的结构排列,形成了一个全部由有序排列的原子构成的晶体结 构。模拟退火法已广泛应用于生产调度、神经网络训练、图像处理等方面。
三、最优控制的研究方法
古典变分法:古典变分法是研究泛函求极值的一种数字方法。古典变分法只能用在控制变量的取值范围不受限制的情况。在许多实际控制问题中,控制函数的取值常常 三、最优控制的研究方法
古典变分法:
古典变分法是研究泛函求极值的一种数字方法。古典变分法只能用在控制 变量的取值范围不受限制的情况。在许多实际控制问题中,控制函数的取 值常常受到封闭性的边界限制,如方向舵只能在2个极限值范围内转动,电动 机的力矩只能在正负的最大值范围内产生等。因此,古典变分法的应用范 围十分有限。
二、最优控制问题的一般性描述
实际上，终端约束规定了状态空间的一个时变或非时变的集合，此满足终 端约束的状态集合称为目标集M，并可表示为：
M {x(t f ) | x(t f ) Rn , N1[ x(t f ), t f ] 0, N2[ x(t f ), t f ] 0}
为简单起见，有时将上式称为目标集。
三、最优控制的研究方法
极小值原理:
极小值原理是对分析力学中古典变分法的推广,能用于处理由于外力源的 限制而使系统的输入（即控制）作用有约束的问题。极小值原理的突出 优点是可用于控制变量受限制的情况,能给出问题中最优控制所必须满足 的条件。如高夯、汪更生、楼红卫等人论述了多种类型的抛物型方程和 退化拟线性、半线性椭圆方程的极小值原理。
《运筹学》期末复习及答案
运筹学概念部分一、填空题1．运筹学的主要研究对象是各种有组织系统的管理问题,经营活动。
2．运筹学的核心主要是运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。
3．模型是一件实际事物或现实情况的代表或抽象.4通常对问题中变量值的限制称为约束条件，它可以表示成一个等式或不等式的集合。
5．运筹学研究和解决问题的基础是最优化技术，并强调系统整体优化功能.6．运筹学用系统的观点研究功能之间的关系。
7．运筹学研究和解决问题的优势是应用各学科交叉的方法，具有典型综合应用特性。
8．运筹学的发展趋势是进一步依赖于_计算机的应用和发展。
9．运筹学解决问题时首先要观察待决策问题所处的环境。
10．用运筹学分析与解决问题，是一个科学决策的过程。
11。
运筹学的主要目的在于求得一个合理运用人力、物力和财力的最佳方案.12．运筹学中所使用的模型是数学模型。
用运筹学解决问题的核心是建立数学模型,并对模型求解.13用运筹学解决问题时，要分析，定义待决策的问题。
14．运筹学的系统特征之一是用系统的观点研究功能关系.15。
数学模型中，“s·t”表示约束（subject to 的缩写）。
16．建立数学模型时，需要回答的问题有性能的客观量度，可控制因素，不可控因素。
17．运筹学的主要研究对象是各种有组织系统的管理问题及经营活动。
18. 1940年8月，英国管理部门成立了一个跨学科的11人的运筹学小组,该小组简称为OR。
二、单选题19．建立数学模型时，考虑可以由决策者控制的因素是（ A ）A．销售数量B．销售价格C．顾客的需求 D．竞争价格20．我们可以通过( C）来验证模型最优解。
A．观察B．应用C．实验D．调查21．建立运筹学模型的过程不包括（ A ）阶段。
A．观察环境B．数据分析C．模型设计D．模型实施22。
建立模型的一个基本理由是去揭晓那些重要的或有关的（B ）A数量B变量C约束条件 D 目标函数23。
最优化方法及其应用课后答案
1 2( ( ⎨最优化方法部分课后习题解答1.一直优化问题的数学模型为：习题一min f (x ) = (x − 3)2 + (x − 4)2⎧g (x ) = x − x − 5 ≥ 0 ⎪ 11 2 2 ⎪试用图解法求出：s .t . ⎨g 2 (x ) = −x 1 − x 2 + 5 ≥ 0 ⎪g (x ) = x ≥ 0 ⎪ 3 1 ⎪⎩g 4 (x ) = x 2 ≥ 0（1） 无约束最优点，并求出最优值。
（2） 约束最优点，并求出其最优值。
（3） 如果加一个等式约束 h (x ) = x 1 −x 2 = 0 ，其约束最优解是什么？ *解 ：（1）在无约束条件下， f (x ) 的可行域在整个 x 1 0x 2 平面上，不难看出，当 x =（3，4） 时， f (x ) 取最小值，即，最优点为 x * =（3，4）：且最优值为： f (x * ) =0（2）在约束条件下， f (x ) 的可行域为图中阴影部分所示，此时，求该问题的最优点就是在约束集合即可行域中找一点 (x 1 ,x 2 ) ，使其落在半径最小的同心圆上，显然，从图示中可以看出，当 x *=15 , 5 ) 时， f (x ) 所在的圆的半径最小。
4 4⎧g (x ) = x −x − 5 = 0⎧ 15 ⎪x 1 = 其中：点为 g 1 (x) 和 g 2 (x ) 的交点，令 ⎪ 1 1 2 ⎨2 求解得到： ⎨ 45即最优点为 x *= ⎪⎩g 2 (x ) = −x 1 −x 2 + 5 = 015 , 5 ) ：最优值为： f(x * ) = 65 ⎪x =⎪⎩ 2 44 48（3）.若增加一个等式约束，则由图可知，可行域为空集，即此时最优解不存在。
2.一个矩形无盖油箱的外部总面积限定为 S ，怎样设计可使油箱的容量最大？试列出这个优化问题的数学模型，并回答这属于几维的优化问题. 解：列出这个优化问题的数学模型为：max f (x ) = x 1x 2 x 3⎧x 1x 2 + 2x 2 x 3 + 2x 1x 3 ≤ S ⎪ s .t . ⎪x 1 > 0⎪x 2 > 0 ⎪⎩x 3 > 0该优化问题属于三维的优化问题。
最优化理论与方法电子科技大学
说明: 将例2的 min 改为 max, 即 min(-2x1 - 2x2 ). 此目标 函数的下降方向与例2的相反, 由图可知此线性规划没有 最优解.
最优化理论与方法电子科技大学
例3 将例1的目标函数改为 f(x)= -3x1 -2x2 ,而约束条件
不变, 即求
f(x)= -3x1 - 2x2
解 可行集如图:
最优化理论与方法电子科技大学
(2) 转变“≤”约束为等式约束 引入 xn+p ≥0 , 使
称变量 xn+p为松驰变量. (3) 转变“≥”约束为等式约束
引入 xn+q ≥0 , 使
称变量 xn+q为剩余变量.
最优化理论与方法电子科技大学
(4) 消除自由变量
标准形式要求 xi ≥0, 模型中如果出现 xi 可任取值, 则称 xi 为自由变量, 此时可作如下处理:
最优化理论与方法电子科技大学
再绘出目标函数的等值线.当目标函数值为z0时, 其等值线为 –x1 - 2x2 = z0
这是一条直线, 当 z0 取不同值时, 可得到其他等值线. 因具有相同的斜率, 所以等值线是彼此平行的直线. 例如, 当z0=0时, 得一通过坐标原点的等值线
–x1 - 2x2 = 0
最优化理论与方法电子科技大学
二． 最优化问题的数学模型与分类
1. 根据问题不同特点分类
( 1 ) 无约束极小化问题 求 x =(x1，x2，…，xn)T 使函数 f(x) 达到最小, 记为
mxiRnn f (x) 或 min f (x) （2）约束极小化问题
记为
min f (x)
s.t. g i (x) 0, i = 1,2, …, m hj(x) = 0, j = 1, 2, …, n
最优化理论与方法电子科技大学
例3 将例1的目标函数改为 f(x)= -3x1 -2x2 ,而约束条件
不变, 即求
f(x)= -3x1 - 2x2
解 可行集如图:
最优化理论与方法电子科技大学
(2) 转变“≤”约束为等式约束 引入 xn+p ≥0 , 使
称变量 xn+p为松驰变量. (3) 转变“≥”约束为等式约束
引入 xn+q ≥0 , 使
称变量 xn+q为剩余变量.
最优化理论与方法电子科技大学
(4) 消除自由变量
标准形式要求 xi ≥0, 模型中如果出现 xi 可任取值, 则称 xi 为自由变量, 此时可作如下处理:
最优化理论与方法电子科技大学
再绘出目标函数的等值线.当目标函数值为z0时, 其等值线为 –x1 - 2x2 = z0
这是一条直线, 当 z0 取不同值时, 可得到其他等值线. 因具有相同的斜率, 所以等值线是彼此平行的直线. 例如, 当z0=0时, 得一通过坐标原点的等值线
–x1 - 2x2 = 0
最优化理论与方法电子科技大学
二． 最优化问题的数学模型与分类
1. 根据问题不同特点分类
( 1 ) 无约束极小化问题 求 x =(x1，x2，…，xn)T 使函数 f(x) 达到最小, 记为
mxiRnn f (x) 或 min f (x) （2）约束极小化问题
记为
min f (x)
s.t. g i (x) 0, i = 1,2, …, m hj(x) = 0, j = 1, 2, …, n
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
minimize f (x) subject to x ∈
n n
) (UP)
.
在后面的章节中， 我们将研究 X 是
n
的子集的优化问题， 其中 X 可由等式和 f 是一个连续可微的函数， 并且是二阶连续可微的， f 的 一阶和二阶导数在最优解的特征， 即充分必要条件中发挥了重要作用， 这是 1.1 节的主要 内容. 一阶和二阶导数对于计算近似最优解也是非常重要的，1.2 节～ 1.8 节将讨论这方 面的若干算法和理论.1.9 节将前几节的方法运用到了求解含有离散时间动态系统的最优 控制问题中. 虽然本章主要研究的是无约束优化问题， 但是本章的内容的很多思想也是全 书其余内容的重要基础.
况. 即 x 是 f 在 X 上的一个局部最小点值，如果 x ∈ X 并且存在 ε > 0，对于所有满 足 x − x∗ < ε 的 x ∈ X ，都有 f (x∗ ) 小值点的定义可以类似地给出. 局部和全局的 最大值点 的定义也是类似的，即如果 x∗ 是 −f 的无约束局部 (全局) 最小值点，那么 x∗ 是 f 的无约束局部 (全局) 最大值点. 最优性的必要条件 如果目标函数可微， 那么就可利用梯度和泰勒展开去比较某个向量的函数值及其邻域 内的向量函数值的大小关系. 特别地， 我们考虑在给定向量 x∗ 上给予一个微小扰动 ∆x， 从而利用一阶近似得到目标函数的变化量为
最优化问题的数学模型一般可以用 约束集X 和 目标函数f 进行表示. 集合 X 包含 所有可用的决策 x，函数 f (x) 将 X 的元素映射到实数集上，表示决策 x 带来的成本损 失. 我们试图寻找一个最优的决策，即 x∗ ∈ X ，并且满足
f (x∗ ) f (x), ∀ x ∈ X.
本书假定 x 是一个 n 维向量，即 x 是一个由实数构成的 n 元数组 (x1 , · · · , xn )，因此约 束集 X 是 n 维欧氏空间
5.5 节将对网络优化问题的连续特性和离散特性进行讨论 (对此类问题的更加深入的讨论
请参见本书作者网络优化专著 [Ber98]). 最后，将对求解整数规划和组合优化的主要方法 进行讨论， 比如分枝定界方法和拉格朗日松弛方法， 这些方法依赖于对偶性质以及连续优 化子问题的解 (见 5.5 节和 6.3 节). 在本章中，我们首先考虑如下的非线性规划问题 (其中 X =
n
.
无约束优化问题的局部或者全局最小值点 x∗ 被称作是 严格的，如果相应的不等式 对于 x = x∗ 都是严格成立的. 图 1.1.1 给出以上定义的图示.
图 1.1.1
一维函数无约束优化问题的局部与全局最小值点.
n
局部和全局最小值点的定义还可以扩展到当 f 是定义在
∗ ∗
的子集 X 上的函数的情
f (x∗ ) f (x), ∀ x 使得 x − x∗ < ε. √ x x. 附录 A 对本书中用到的数学记号和
(除非有特别说明， 否则将采用欧氏范数 x =
术语进行了详细介绍.)
3
向量 x∗ 被称为是 f 的一个 无约束的全局最小值点，是指该点的函数值不大于其他 所有点的函数值，即满足
f (x∗ ) f (x), ∀x∈
题，即 X =
n
，以及 X 是被某些等式和不等式限定的约束优化问题. 一般而言，可利用
微积分和凸函数性质来分析连续优化问题. 离散优化问题就是非连续问题，通常其约束集 X 是有限集. 典型的离散优化问题包 含调度、 路径规划以及匹配问题. 一类重要的离散问题是 整数规划， 在这种问题中约束集 的变量的取值是某一范围内的整数 (比如 0 或者 1). 离散优化问题一般利用组合数学和 离散数学进行分析，同时会利用一些特殊的方法以及一些和连续优化问题相关的方法. 非线性规划 是指目标函数 f 是非线性函数，或者约束集 X 是由非线性的等式和不 等式给定的优化问题. 这种问题属于连续优化问题. 一些其他优化问题，虽然也有各自的 特点，但是往往与非线性规划问题具有密切的关系. 线性规划 问题是指 f 是线性函数， 并且 X 是由线性不等式约束给定的多面体的一类 优化问题. 这种问题具有连续优化问题的很多特性， 同时它还具有组合优化的结构特性： 根据多面体表示的基本定理 [附录 B 命题 B.21(d)]，线性规划的最优解可以在多面体 X 的某个极点 (极点数目是有限的) 上取得. 因此，寻找最优解的过程是在某个有限集中进 行搜索. 实际上，最流行的线性规划问题的求解方法，即单纯形方法，就是基于这种思想 设计的. 然而， 我们也注意到其他重要的线性规划的方法， 比如内点法 (将在 2.6 节,4.1 节
n
的子集.
最优化问题是非常广泛的， 包含了很多具有不同结构的重要问题. 本书主要研究非线 性规划问题. 我们将提供处理这些问题的方法，并讨论这些问题与其他优化问题之间的 联系. 最优化问题可以被分为 连续优化问题 和 离散优化问题. 连续优化问题中，约束集
X 包含无穷多个元素， 并且具有 “连续性” 特征. 典型的连续优化问题包含无约束优化问
2
以及 4.2 节中讨论) 和第 5 章、 第 6 章中的其他一些对偶方法， 都是基于线性规划的连续 结构和非线性规划的思想提出的. 另一类同时具有连续优化问题和离散优化问题特点的优化问题是 网络优化问题. 该类 问题的约束集 X 是由包含节点和有向弧的图定义的
n
中的多面体. 该约束集的明显特征
是其极点都具有 整数分量，而这对于通常的多面体是不成立的. 因此， 很多重要的组合优 化或者整数规划问题， 比如匹配问题和最短路径问题， 都可以利用连续网络优化的方法求解. 本书重点研究非线性规划问题的连续性特性以及相应的数学分析方法， 然而， 我们也 会涉及存在某些离散特性的问题. 我们将会对线性规划与非线性规划的联系进行讨论， 比 如内点法和多面体的凸性 (见 2.5 节、2.6 节、4.1 节、4.4 节、B.3 节和 B.4 节).2.1 节和
1.1
最优性条件
虽然下面对非线性规划的最优性条件的证明比较复杂，但是其主要思想是比较容易
理解的. 因此，在这一节中，我们首先简要地对最优性条件的主要思想进行阐述，然后在 下一节再给出严格的结论及其证明. 局部最小值点与全局最小值点 向量 x∗ 被称为是 f 的一个 无约束局部最小值点，是指该点处的函数值不大于其邻 域内所有点的函数值，即存在 ε > 0 满足
n n
) (UP)
.
在后面的章节中， 我们将研究 X 是
n
的子集的优化问题， 其中 X 可由等式和 f 是一个连续可微的函数， 并且是二阶连续可微的， f 的 一阶和二阶导数在最优解的特征， 即充分必要条件中发挥了重要作用， 这是 1.1 节的主要 内容. 一阶和二阶导数对于计算近似最优解也是非常重要的，1.2 节～ 1.8 节将讨论这方 面的若干算法和理论.1.9 节将前几节的方法运用到了求解含有离散时间动态系统的最优 控制问题中. 虽然本章主要研究的是无约束优化问题， 但是本章的内容的很多思想也是全 书其余内容的重要基础.
况. 即 x 是 f 在 X 上的一个局部最小点值，如果 x ∈ X 并且存在 ε > 0，对于所有满 足 x − x∗ < ε 的 x ∈ X ，都有 f (x∗ ) 小值点的定义可以类似地给出. 局部和全局的 最大值点 的定义也是类似的，即如果 x∗ 是 −f 的无约束局部 (全局) 最小值点，那么 x∗ 是 f 的无约束局部 (全局) 最大值点. 最优性的必要条件 如果目标函数可微， 那么就可利用梯度和泰勒展开去比较某个向量的函数值及其邻域 内的向量函数值的大小关系. 特别地， 我们考虑在给定向量 x∗ 上给予一个微小扰动 ∆x， 从而利用一阶近似得到目标函数的变化量为
最优化问题的数学模型一般可以用 约束集X 和 目标函数f 进行表示. 集合 X 包含 所有可用的决策 x，函数 f (x) 将 X 的元素映射到实数集上，表示决策 x 带来的成本损 失. 我们试图寻找一个最优的决策，即 x∗ ∈ X ，并且满足
f (x∗ ) f (x), ∀ x ∈ X.
本书假定 x 是一个 n 维向量，即 x 是一个由实数构成的 n 元数组 (x1 , · · · , xn )，因此约 束集 X 是 n 维欧氏空间
5.5 节将对网络优化问题的连续特性和离散特性进行讨论 (对此类问题的更加深入的讨论
请参见本书作者网络优化专著 [Ber98]). 最后，将对求解整数规划和组合优化的主要方法 进行讨论， 比如分枝定界方法和拉格朗日松弛方法， 这些方法依赖于对偶性质以及连续优 化子问题的解 (见 5.5 节和 6.3 节). 在本章中，我们首先考虑如下的非线性规划问题 (其中 X =
n
.
无约束优化问题的局部或者全局最小值点 x∗ 被称作是 严格的，如果相应的不等式 对于 x = x∗ 都是严格成立的. 图 1.1.1 给出以上定义的图示.
图 1.1.1
一维函数无约束优化问题的局部与全局最小值点.
n
局部和全局最小值点的定义还可以扩展到当 f 是定义在
∗ ∗
的子集 X 上的函数的情
f (x∗ ) f (x), ∀ x 使得 x − x∗ < ε. √ x x. 附录 A 对本书中用到的数学记号和
(除非有特别说明， 否则将采用欧氏范数 x =
术语进行了详细介绍.)
3
向量 x∗ 被称为是 f 的一个 无约束的全局最小值点，是指该点的函数值不大于其他 所有点的函数值，即满足
f (x∗ ) f (x), ∀x∈
题，即 X =
n
，以及 X 是被某些等式和不等式限定的约束优化问题. 一般而言，可利用
微积分和凸函数性质来分析连续优化问题. 离散优化问题就是非连续问题，通常其约束集 X 是有限集. 典型的离散优化问题包 含调度、 路径规划以及匹配问题. 一类重要的离散问题是 整数规划， 在这种问题中约束集 的变量的取值是某一范围内的整数 (比如 0 或者 1). 离散优化问题一般利用组合数学和 离散数学进行分析，同时会利用一些特殊的方法以及一些和连续优化问题相关的方法. 非线性规划 是指目标函数 f 是非线性函数，或者约束集 X 是由非线性的等式和不 等式给定的优化问题. 这种问题属于连续优化问题. 一些其他优化问题，虽然也有各自的 特点，但是往往与非线性规划问题具有密切的关系. 线性规划 问题是指 f 是线性函数， 并且 X 是由线性不等式约束给定的多面体的一类 优化问题. 这种问题具有连续优化问题的很多特性， 同时它还具有组合优化的结构特性： 根据多面体表示的基本定理 [附录 B 命题 B.21(d)]，线性规划的最优解可以在多面体 X 的某个极点 (极点数目是有限的) 上取得. 因此，寻找最优解的过程是在某个有限集中进 行搜索. 实际上，最流行的线性规划问题的求解方法，即单纯形方法，就是基于这种思想 设计的. 然而， 我们也注意到其他重要的线性规划的方法， 比如内点法 (将在 2.6 节,4.1 节
n
的子集.
最优化问题是非常广泛的， 包含了很多具有不同结构的重要问题. 本书主要研究非线 性规划问题. 我们将提供处理这些问题的方法，并讨论这些问题与其他优化问题之间的 联系. 最优化问题可以被分为 连续优化问题 和 离散优化问题. 连续优化问题中，约束集
X 包含无穷多个元素， 并且具有 “连续性” 特征. 典型的连续优化问题包含无约束优化问
2
以及 4.2 节中讨论) 和第 5 章、 第 6 章中的其他一些对偶方法， 都是基于线性规划的连续 结构和非线性规划的思想提出的. 另一类同时具有连续优化问题和离散优化问题特点的优化问题是 网络优化问题. 该类 问题的约束集 X 是由包含节点和有向弧的图定义的
n
中的多面体. 该约束集的明显特征
是其极点都具有 整数分量，而这对于通常的多面体是不成立的. 因此， 很多重要的组合优 化或者整数规划问题， 比如匹配问题和最短路径问题， 都可以利用连续网络优化的方法求解. 本书重点研究非线性规划问题的连续性特性以及相应的数学分析方法， 然而， 我们也 会涉及存在某些离散特性的问题. 我们将会对线性规划与非线性规划的联系进行讨论， 比 如内点法和多面体的凸性 (见 2.5 节、2.6 节、4.1 节、4.4 节、B.3 节和 B.4 节).2.1 节和
1.1
最优性条件
虽然下面对非线性规划的最优性条件的证明比较复杂，但是其主要思想是比较容易
理解的. 因此，在这一节中，我们首先简要地对最优性条件的主要思想进行阐述，然后在 下一节再给出严格的结论及其证明. 局部最小值点与全局最小值点 向量 x∗ 被称为是 f 的一个 无约束局部最小值点，是指该点处的函数值不大于其邻 域内所有点的函数值，即存在 ε > 0 满足