非线性最优化建模方法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 8. 2. 1基础知识 • 1.非线性规划问题 • 非线性规划的一般形式为: • min f (X)
• 2.无约束非线性规划问题存在极值的条件
下一页 返回
8.2非线性规划
• 定理8. 1(必要条件)设函数f(X)在点X*处可微.若X*是局部极小值点·则 梯度▽f (X*)=0.
• 定理8. 2必要条件)设函数f(X)在点X*处二阶可微.若X*是局部极小值 点·则梯度▽f (X*)=0, 且▽^2 f(X*)是半正定的.
8.2非线性规划
• 定理8. 6设在(8.2.2)式中.f是凸函数.gi (i = 1,2,..,m)是凹函数·hj (j=1,2,l)1是线性函数系(上述问题称为凸规划)·可行域为S,I = {i/ gi (X*)=0}且在X*处Kuhn-“Pucker必要条件成立·即存在wi≥0.(i ∈I)及 vj (j= 1.2....,l)使得
• 1.最速下降法 • 最速下降法由法国数学家Cauchy于1827年首先提出.此法在每次
迭代中沿最速下降方向(负梯度方向)进行搜索. • 其迭代公式为:
上一页 下一页 返回
8.2非线性规划
• 2. Newton法 • Newton法原理:设问题式(8. 2.11 }中f(X)为二次可微实函数.用一个
• 定理8. 3充分条件)设函数f(X)在点X*处二阶可微.若▽ f (X*)=0,矩阵 ▽^2 f(X*)正定.则X*是f(X)的局部极小值点.
• 3.有约束非线性规划问题存在极值条件
•
min f (X)
上一页 下一页 返回
8.2非线性规划
• 定义8. 3设f(X)是E*上的实函数.d是非零向.X ∈E*;一若存在数δ>0.使 得对每个实数λ E (0,δ)都有f(X十λd)< f(X).则称d为函数f(X)在X处的 下降方向.
下一页 返回
8 .1最优化简介
• 第一种类型是无约束极值问题: • min f (x1.x2,…,xn) (8.1.1) • 其中.f(x1.x2,…,xn)是定义在n维空间上的可微函数 • 解法 通过解方程组
• 得到驻点.并验证驻点是否为极小值点进而得到无约束极值问题的极 值
• 第二种类型是具有等式约束的极值问题: • min f (x1.x2,…,xn)
X的n个分量.记X = (x1.x2,…,xn)^ T. X^T= (x1.x2,…,xn).则式(8.1.1) 写成:min f (X) , f(X)称为问题变量的实值函数. • 设向量a= (a1,a2,…,an),b= (b1, b2,…,bn).若ai < bi (i=1 .2... ,n). 则称a <b. • 最优化问题的一般形式: • min f (X)
上一页 下一页 返回
8.2非线性规划
• 计算步骤: • (1)置初始区间(a1, b1)及精度要求L>0.计算试探点λ1和u1.计算函数
值f (λ1)和f(u1).计算公式是
上一页 下一页 返回
8.2非线性规划
• 2.牛顿法(Newton) • 设问题式(8. 2. 9)中f(x)二次可微.Newton法基本思想是:在估计点
• 如果f(X)是可微函数·且▽f(X)^T d< 0·则d必为f(X)在X处的下降方 向.
• 定义8. 4设集合S ∈E^n .X ∈S.a是非零向量.若存在数δ>0.使得对 每一个数λ∈ (0,δ).都有X十λa ∈S.则称a为集合S在X处的可行方向.
• 定义8. 5问题式(8. 2. 2)中.任给一点X∈S后.有些不等式约束在X处 成立等式·它们的下标集不妨用I来表示·即∨i ∈I均成立gi (X) =0.通常 将约束条件gi (X)=0 (i∈I)和等式约束hj (X)= 0 (j =1, 2 ,...,l)称为在X 处起作用约束.
上一页 下一页 返回
8.2非线性规划
• 通常将满足Fritz John条件的点称为Fritz John点. • 定理8. 5 ( Kuhn- rucker定理) 设在问题式(8.2.2)中.x*为可行点.I=
{i/ gi (X)=0}, f(x)和gi (X)(i∈I)在点X*可微,gi (X)(i￠I)在点X*连续·hj (X) (j =1,2, ... , l)在X*连续可微·向量集{▽gi (X*), ▽hj (X*)/ i∈I;j=1,2,...,l}线性无关·如果X*是局部最优解·则存在非负数wi (i∈ I) 和数vj(j=1.2.…l).使得
第8章非线性最优化建模方法
• 8 .1最优化简介 • 8 .2非线性规划
返回
8 .1最优化简介
• 8.1.1经典最优化方法 • 最优化就是追求最好的结果或最优的目标.达到最优目标的方案称
为最优方案.搜寻最优方案的方法称为最优化方法.凡是追求最优目标 的数学问题都属于最优化问题范畴. • 最优化是一门新的学科.又称数学规划.它包括:线性规划.几何规划. 本章主要介绍非线性规划.最优化问题的两大要索为:第一是可能的方 案.第二是追求的目标.可以说后者是前者的“函数”.根据第一要索与 时间的关系.最优化问题又可分为:静态最优化问题和动态最优化问题. • 通常称微积分中的极值理论为经典最优化理论.经典最优化理论有 两种类型:
上一页 下一页 返回
8.2非线性规划
• 起作用约束在x的邻域限制了可行点的范围.也就是说.当点沿某些方 向稍微离开x.仍能满足这些约束条件.而沿另一些方向离开x时.不论步 长多么小.都将违背这些约束条件.其余约束情形则不同.当点稍微离开 x时.不论沿什么方向都不会违背.这些约束称为在x处不起作用约束.
• 黄金分割法的基本思想是通过选择试探点.缩短包含极小点的区间. 当区间缩短到一定程度时.区间内任一点都可作为极小点的近似值.
• 初始区间记作(a1,b1).第k次迭代时区间记作(ak, bk).黄金分割法计 算试探点的公式如下
• 运用黄金分割法第一次迭代取两个试探点λ1,u1.以后每次迭代中只需 按照式(8. 2. 8)或式(8. 2. 9)新算一点.
• 8. 2. 2一维搜索法 • 求解非线性规划所用的计算方法.最常见的是迭代下降算法.其一般
步骤为.得到点X^(k)后.按某种规则确定一个方向d^(k).从X^(k)出发沿 此方向在直线(或射线)上.求目标函数的极小点.
上一页 下一页 返回
8.2非线性规划
• 从而得到X^(k)，的后继点X^(k+1).再从X^(k+1)出发重复以上步骤. 直至求得问题的解.这种方法称为一维搜索或线搜索.一维搜索可归结 为单变量函数的极小化问题.设目标函数为f(X)·过点X^(k)沿方向d^(k) 的直线可用点集来表示.记作L= {X / X=X^(k) 十λd^(k) } {.求f(X)在直 线L上的极小点转化为求一兀函数中F(λ)= f(X^(k)十λd ^(k))的极小点.
• 下面对问题
•
min f (x) (x ∈E') (8. 2. 7)
• 给出具体方法.
• 1.黄金分割法(0. 618法)
• 先介绍黄金分割法原理:设厂是定义在区间(a,b)上的单变量x的函数.
上一页 下一页 返回
8.2非线性规划
• 假设f是单峰的.不妨有唯一的极小点.在此假设下可以选择两个试探点. 使包括极小点的区间缩短.比如取λ1, u1 ∈ (a,b).令λ1< u1.极小点记 做x.则必有下列两种情形之一:如果f(λ1)> f(u1)·则x∈(λ1, b)
• 3.割线法
上一页 下一页 返回
8.2非线性规划
• 这种方法的基本思想是用割线逼近目标函数的导函数曲线y= f' (x).由 割线推出迭代公式
• 用这个公式进行迭代.得到的序列{xk}可以证明在一定条件下这个序 列收敛于极小点.
• 8. 2. 3无约束非线性规划问题 • 无约束问题的研究很重要.因为在求解有约束的非线性规划问题时.
xk附近使f‘(x)线性化.并求出这个线性函数的零点.就得到一个估计点 xk+1，.推出迭代公式
• 运用公式(8. 2. 10)进行迭代.直到/xk+1 -xk/ <L或/ f' (xk)/ <L时迭代终 止.其中L是事先给定的精度.
• 运用Newton法时.初始点的选择十分重要.若初始点靠近极小点.则收 敛很快.如果初始点远离极小点.迭代产生的点可能不收敛于极小点.
上一页 下一页 返回
8 .1最优化简介
• s.t. hj (x1.x2,…,xn) =0, j=1,2, ...,l (l <n) (8. 1 .2) • 解法 用拉格朗日乘数法求解 • 作辅助函数
• 将问题式(8.1.2)变成求函数L (x1, …,xn ;入1.…入j)的无约束极值问 题.即化为第一种类型.
• 其中·f, gi, hj都是X的实值连续函数·且具有二阶连续偏导数.
上一页 下一页 返回
8 .1最优化简介
• 最优化问题的分类原则: • 当f(X), gi (X), hj (X)均为线性函数时称为线性规划;只要f(X), gi (X), hj
(X)中有非线性函数存在·则称为非线性规划;当限制 X=(x1.x2,…,xn)^T中的x1.x2,…,xn只能取整数时称为整数规划;当 m=l=0时称为无约束最优化问题.否则称为约束最优化问题.
• 上述极值问题的求解.最终都归结为非线性方程组的求解.近二三十 年来.人们普遍用计算机求解这种大型问题.创立了近代最优化理论和 方法.
• 8. 1. 2基本概念及预备知识 • 1.最优化问题中的基本概念
上一页 下一页 返回
8 .1最优化简介
• 研究最优化问题时一般都采用向量表示法. • 如min f(x1.x2,…,xn)中x1.x2,…,xn可看做n维向量空间E^n中的向量
• 为f(X)在X处的梯度.梯度的方向是函数在该点处函数值上升最快的方 向
上一页 下一页 返回
8 .1最优化简介
• 为f(X)在点X处的海赛(Hess)矩阵
上一页
返回
8.2非线性规划
• 在优化模型中.如果目标函数或约束条件中包含有自变量的非线性函 数.则这样的规划问题称为非线性规划.其中不含约束条件的非线性规 划称为无约束非线性规划.否则称为有约束非线性规划.
• 由上述定理知.在最优解处.目标函数的梯度.可用起作用约束梯度的非 负线性组合.及等式约束梯度的线性组合来表示.上述条件可写成等价 形式
上一页 下一页 返回
8.2非线性规划
• 式(8.2.2)称为互补松弛条件. • 定义Lagrange函数
• 对于凸规划下面给出最优解的充分条件:
上一页 下一页 返回
某些方法是将有约束总是转化为无约束后求解. • 考虑无约束问题 • minf(x). x∈ E' (8. 2. 11)
上一页 下一页 返回
8.2非线性规划
• 一般地通过一系列一维搜索来实现.其核心是选择搜索方向.搜索方向 不同就会形成不同的方法.
• 无约束非线性规划的最基本优化方法一般分作两类:一类在计算过程 中用到导数.称为使用导数的最优化方法;另一类在计算过程中只用到 目标函数.通常称为直接法.
二次函数局部地近似f(X).然后求出此近似函数的极小点.从而得到迭 代公式
上一页 下一页 返回
8.2非线性规划
• 其中·▽^2 f(X^(k)) ^-1是Hesse矩阵▽^2 f(X^(k)) 的逆矩阵.这样知 道x^(k)后.算出在这一点处目标函数的梯度和Hesse逆矩阵.代人式(8. 2. 13)得到wk.baidu.com继点X^(k+1).用k十1代替k.再代人式(8. 2. 13)计算.又得 到X^(k+1)的后继点.依次类推产生点列{X^(k)}.在适当条件下这个序 列收敛.
• 注意.当初始点远离极小点时.Newton法可能不收敛.原因之一是a=▽^2 f(X)^-1 ▽f(X)不一定是下降方向·经迭代目标函数值可能上升.因 此有阻尼Newton法.
• 下面给出约束极值的一阶必要条件: • 定理8. 4 ( Fritz John条件)设在问题式(8. 2. 2)中.x*为可行点.I={i/
gi (X*)=0}, f(X)和gi (X) (i ∈ I)在X*点可微,gi (X) (i￠I).则存在不全为 零的数wo, wi (i∈I)和vj (j=1 ,2,...,l)·使得
• 2.无约束非线性规划问题存在极值的条件
下一页 返回
8.2非线性规划
• 定理8. 1(必要条件)设函数f(X)在点X*处可微.若X*是局部极小值点·则 梯度▽f (X*)=0.
• 定理8. 2必要条件)设函数f(X)在点X*处二阶可微.若X*是局部极小值 点·则梯度▽f (X*)=0, 且▽^2 f(X*)是半正定的.
8.2非线性规划
• 定理8. 6设在(8.2.2)式中.f是凸函数.gi (i = 1,2,..,m)是凹函数·hj (j=1,2,l)1是线性函数系(上述问题称为凸规划)·可行域为S,I = {i/ gi (X*)=0}且在X*处Kuhn-“Pucker必要条件成立·即存在wi≥0.(i ∈I)及 vj (j= 1.2....,l)使得
• 1.最速下降法 • 最速下降法由法国数学家Cauchy于1827年首先提出.此法在每次
迭代中沿最速下降方向(负梯度方向)进行搜索. • 其迭代公式为:
上一页 下一页 返回
8.2非线性规划
• 2. Newton法 • Newton法原理:设问题式(8. 2.11 }中f(X)为二次可微实函数.用一个
• 定理8. 3充分条件)设函数f(X)在点X*处二阶可微.若▽ f (X*)=0,矩阵 ▽^2 f(X*)正定.则X*是f(X)的局部极小值点.
• 3.有约束非线性规划问题存在极值条件
•
min f (X)
上一页 下一页 返回
8.2非线性规划
• 定义8. 3设f(X)是E*上的实函数.d是非零向.X ∈E*;一若存在数δ>0.使 得对每个实数λ E (0,δ)都有f(X十λd)< f(X).则称d为函数f(X)在X处的 下降方向.
下一页 返回
8 .1最优化简介
• 第一种类型是无约束极值问题: • min f (x1.x2,…,xn) (8.1.1) • 其中.f(x1.x2,…,xn)是定义在n维空间上的可微函数 • 解法 通过解方程组
• 得到驻点.并验证驻点是否为极小值点进而得到无约束极值问题的极 值
• 第二种类型是具有等式约束的极值问题: • min f (x1.x2,…,xn)
X的n个分量.记X = (x1.x2,…,xn)^ T. X^T= (x1.x2,…,xn).则式(8.1.1) 写成:min f (X) , f(X)称为问题变量的实值函数. • 设向量a= (a1,a2,…,an),b= (b1, b2,…,bn).若ai < bi (i=1 .2... ,n). 则称a <b. • 最优化问题的一般形式: • min f (X)
上一页 下一页 返回
8.2非线性规划
• 计算步骤: • (1)置初始区间(a1, b1)及精度要求L>0.计算试探点λ1和u1.计算函数
值f (λ1)和f(u1).计算公式是
上一页 下一页 返回
8.2非线性规划
• 2.牛顿法(Newton) • 设问题式(8. 2. 9)中f(x)二次可微.Newton法基本思想是:在估计点
• 如果f(X)是可微函数·且▽f(X)^T d< 0·则d必为f(X)在X处的下降方 向.
• 定义8. 4设集合S ∈E^n .X ∈S.a是非零向量.若存在数δ>0.使得对 每一个数λ∈ (0,δ).都有X十λa ∈S.则称a为集合S在X处的可行方向.
• 定义8. 5问题式(8. 2. 2)中.任给一点X∈S后.有些不等式约束在X处 成立等式·它们的下标集不妨用I来表示·即∨i ∈I均成立gi (X) =0.通常 将约束条件gi (X)=0 (i∈I)和等式约束hj (X)= 0 (j =1, 2 ,...,l)称为在X 处起作用约束.
上一页 下一页 返回
8.2非线性规划
• 通常将满足Fritz John条件的点称为Fritz John点. • 定理8. 5 ( Kuhn- rucker定理) 设在问题式(8.2.2)中.x*为可行点.I=
{i/ gi (X)=0}, f(x)和gi (X)(i∈I)在点X*可微,gi (X)(i￠I)在点X*连续·hj (X) (j =1,2, ... , l)在X*连续可微·向量集{▽gi (X*), ▽hj (X*)/ i∈I;j=1,2,...,l}线性无关·如果X*是局部最优解·则存在非负数wi (i∈ I) 和数vj(j=1.2.…l).使得
第8章非线性最优化建模方法
• 8 .1最优化简介 • 8 .2非线性规划
返回
8 .1最优化简介
• 8.1.1经典最优化方法 • 最优化就是追求最好的结果或最优的目标.达到最优目标的方案称
为最优方案.搜寻最优方案的方法称为最优化方法.凡是追求最优目标 的数学问题都属于最优化问题范畴. • 最优化是一门新的学科.又称数学规划.它包括:线性规划.几何规划. 本章主要介绍非线性规划.最优化问题的两大要索为:第一是可能的方 案.第二是追求的目标.可以说后者是前者的“函数”.根据第一要索与 时间的关系.最优化问题又可分为:静态最优化问题和动态最优化问题. • 通常称微积分中的极值理论为经典最优化理论.经典最优化理论有 两种类型:
上一页 下一页 返回
8.2非线性规划
• 起作用约束在x的邻域限制了可行点的范围.也就是说.当点沿某些方 向稍微离开x.仍能满足这些约束条件.而沿另一些方向离开x时.不论步 长多么小.都将违背这些约束条件.其余约束情形则不同.当点稍微离开 x时.不论沿什么方向都不会违背.这些约束称为在x处不起作用约束.
• 黄金分割法的基本思想是通过选择试探点.缩短包含极小点的区间. 当区间缩短到一定程度时.区间内任一点都可作为极小点的近似值.
• 初始区间记作(a1,b1).第k次迭代时区间记作(ak, bk).黄金分割法计 算试探点的公式如下
• 运用黄金分割法第一次迭代取两个试探点λ1,u1.以后每次迭代中只需 按照式(8. 2. 8)或式(8. 2. 9)新算一点.
• 8. 2. 2一维搜索法 • 求解非线性规划所用的计算方法.最常见的是迭代下降算法.其一般
步骤为.得到点X^(k)后.按某种规则确定一个方向d^(k).从X^(k)出发沿 此方向在直线(或射线)上.求目标函数的极小点.
上一页 下一页 返回
8.2非线性规划
• 从而得到X^(k)，的后继点X^(k+1).再从X^(k+1)出发重复以上步骤. 直至求得问题的解.这种方法称为一维搜索或线搜索.一维搜索可归结 为单变量函数的极小化问题.设目标函数为f(X)·过点X^(k)沿方向d^(k) 的直线可用点集来表示.记作L= {X / X=X^(k) 十λd^(k) } {.求f(X)在直 线L上的极小点转化为求一兀函数中F(λ)= f(X^(k)十λd ^(k))的极小点.
• 下面对问题
•
min f (x) (x ∈E') (8. 2. 7)
• 给出具体方法.
• 1.黄金分割法(0. 618法)
• 先介绍黄金分割法原理:设厂是定义在区间(a,b)上的单变量x的函数.
上一页 下一页 返回
8.2非线性规划
• 假设f是单峰的.不妨有唯一的极小点.在此假设下可以选择两个试探点. 使包括极小点的区间缩短.比如取λ1, u1 ∈ (a,b).令λ1< u1.极小点记 做x.则必有下列两种情形之一:如果f(λ1)> f(u1)·则x∈(λ1, b)
• 3.割线法
上一页 下一页 返回
8.2非线性规划
• 这种方法的基本思想是用割线逼近目标函数的导函数曲线y= f' (x).由 割线推出迭代公式
• 用这个公式进行迭代.得到的序列{xk}可以证明在一定条件下这个序 列收敛于极小点.
• 8. 2. 3无约束非线性规划问题 • 无约束问题的研究很重要.因为在求解有约束的非线性规划问题时.
xk附近使f‘(x)线性化.并求出这个线性函数的零点.就得到一个估计点 xk+1，.推出迭代公式
• 运用公式(8. 2. 10)进行迭代.直到/xk+1 -xk/ <L或/ f' (xk)/ <L时迭代终 止.其中L是事先给定的精度.
• 运用Newton法时.初始点的选择十分重要.若初始点靠近极小点.则收 敛很快.如果初始点远离极小点.迭代产生的点可能不收敛于极小点.
上一页 下一页 返回
8 .1最优化简介
• s.t. hj (x1.x2,…,xn) =0, j=1,2, ...,l (l <n) (8. 1 .2) • 解法 用拉格朗日乘数法求解 • 作辅助函数
• 将问题式(8.1.2)变成求函数L (x1, …,xn ;入1.…入j)的无约束极值问 题.即化为第一种类型.
• 其中·f, gi, hj都是X的实值连续函数·且具有二阶连续偏导数.
上一页 下一页 返回
8 .1最优化简介
• 最优化问题的分类原则: • 当f(X), gi (X), hj (X)均为线性函数时称为线性规划;只要f(X), gi (X), hj
(X)中有非线性函数存在·则称为非线性规划;当限制 X=(x1.x2,…,xn)^T中的x1.x2,…,xn只能取整数时称为整数规划;当 m=l=0时称为无约束最优化问题.否则称为约束最优化问题.
• 上述极值问题的求解.最终都归结为非线性方程组的求解.近二三十 年来.人们普遍用计算机求解这种大型问题.创立了近代最优化理论和 方法.
• 8. 1. 2基本概念及预备知识 • 1.最优化问题中的基本概念
上一页 下一页 返回
8 .1最优化简介
• 研究最优化问题时一般都采用向量表示法. • 如min f(x1.x2,…,xn)中x1.x2,…,xn可看做n维向量空间E^n中的向量
• 为f(X)在X处的梯度.梯度的方向是函数在该点处函数值上升最快的方 向
上一页 下一页 返回
8 .1最优化简介
• 为f(X)在点X处的海赛(Hess)矩阵
上一页
返回
8.2非线性规划
• 在优化模型中.如果目标函数或约束条件中包含有自变量的非线性函 数.则这样的规划问题称为非线性规划.其中不含约束条件的非线性规 划称为无约束非线性规划.否则称为有约束非线性规划.
• 由上述定理知.在最优解处.目标函数的梯度.可用起作用约束梯度的非 负线性组合.及等式约束梯度的线性组合来表示.上述条件可写成等价 形式
上一页 下一页 返回
8.2非线性规划
• 式(8.2.2)称为互补松弛条件. • 定义Lagrange函数
• 对于凸规划下面给出最优解的充分条件:
上一页 下一页 返回
某些方法是将有约束总是转化为无约束后求解. • 考虑无约束问题 • minf(x). x∈ E' (8. 2. 11)
上一页 下一页 返回
8.2非线性规划
• 一般地通过一系列一维搜索来实现.其核心是选择搜索方向.搜索方向 不同就会形成不同的方法.
• 无约束非线性规划的最基本优化方法一般分作两类:一类在计算过程 中用到导数.称为使用导数的最优化方法;另一类在计算过程中只用到 目标函数.通常称为直接法.
二次函数局部地近似f(X).然后求出此近似函数的极小点.从而得到迭 代公式
上一页 下一页 返回
8.2非线性规划
• 其中·▽^2 f(X^(k)) ^-1是Hesse矩阵▽^2 f(X^(k)) 的逆矩阵.这样知 道x^(k)后.算出在这一点处目标函数的梯度和Hesse逆矩阵.代人式(8. 2. 13)得到wk.baidu.com继点X^(k+1).用k十1代替k.再代人式(8. 2. 13)计算.又得 到X^(k+1)的后继点.依次类推产生点列{X^(k)}.在适当条件下这个序 列收敛.
• 注意.当初始点远离极小点时.Newton法可能不收敛.原因之一是a=▽^2 f(X)^-1 ▽f(X)不一定是下降方向·经迭代目标函数值可能上升.因 此有阻尼Newton法.
• 下面给出约束极值的一阶必要条件: • 定理8. 4 ( Fritz John条件)设在问题式(8. 2. 2)中.x*为可行点.I={i/
gi (X*)=0}, f(X)和gi (X) (i ∈ I)在X*点可微,gi (X) (i￠I).则存在不全为 零的数wo, wi (i∈I)和vj (j=1 ,2,...,l)·使得