最优化方法一维搜索法C++程序
加步探索法
#include
#include
using namespace std;
double fun(double t)
{
return (t*t*t-2*t+1);
}
double max(double a,double b)
{
if(a>b)return a;
else return b;
}
double min(double a,double b)
{
if(a>b)return b;
else return a;
}
double Addstep(double(*pfun)(double t))
{
int k=0;
double t0=0,h=1,r=2,t,a=0,b=0;
t=t0+h;
do{
if(fun(t) else{if(k=0){h=-h;k++;} else{a=min(t0,t);b=max(t0,t);return a;return b;}} }while(a=b); cout<<" 探索区间为："<<"["< int main() { Addstep(fun); return 0; } 对分法 #include #include using namespace std; double fun(double t) { return (t*t-3*t); } double dfun(double t) { return (2*t-3); } void Dichotomous(double(*pfun)(double t),double (*pdfun)(double t)) { int maxflag=1000,k=1; double a=-3,b=5,c,err=0.1,t; do { c=(a+b)/2; if(dfun(c)<0){a=c;} else {if(dfun(c)>0){b=c;} else{a=c;b=c;}} k++; }while(fabs(a-b)>err&&k if(k>=maxflag) cout< else { cout< 对分法 #include 实验一 一维搜索算法的程序设计 一、实验目的 1、熟悉一维无约束优化问题的二分法、0.618算法和牛顿法。 2、培养matlab 编程与上机调试能力。 二、实验课时：2个课时 三、实验准备 1、预习一维无约束优化问题的二分法、0.618算法和牛顿法的计算步骤。 2、熟悉matlab 软件的基本操作。 四、实验内容 课堂实验演示 1、根据二分法算法编写程序，求函数 2 ()22f x x x =++ 在区间[2,1]-上的极小值。 二分法如下： （1）给定区间[,]a b (要求满足0)(',0)('>δ； （2）若δ≤-a b ，则停，输出*()/2x a b =+； （3）计算()/2c a b =+； （4）若0)(' end end x = (a+b)/2; [val,dval] = fun(x); %%%%%%%%%%%%%%%%%%%%%%% obj function %%%%%%%%%%%%%%%%%%%%%%%%% function [y,dy] = fun(x) y = x^2+2*x+2; dy = 2*x+2; >> delta = 1.0e-6; [val,x,iter] = bisection_method(-2,1,delta) val = 1 x = -1 iter = 21 2、根据0.618算法编写程序，求函数 ()()()630sin tan 1x f x x x e =- 在区间[0,1]上的极大值。 令()()()()630sin tan 1x g x f x x x e =-=--，则原问题转化为求[] ()0,1m in x g x ∈ 0.618算法如下： （1）给定区间[,]a b ，及精度0eps >； （2）计算试探点0.382(),0.618()r a b a u a b a =+-=+-. 令1=k ； （3）若eps a b <-，则停止计算，输出)(,2/)(* **x f f a b x =+=；否则， 若()()f r f u >，转（4）；若)()(u f r f <，转（5）; （4）令a r =，r u =，计算0.618()u a b a =+-，转（6）; （5）令b u =，u r =，计算0.382()r a b a =+-，转（6）; （6）令1+=k k ，回 (3). 运行结果，如下： >> a=0,b=1,eps=10^(-5); [optx,opty,iter]=gold_section_method(a,b,eps) iter = 26 optx = 0.9707 第三章 常用一维搜索方法 第节维搜索概述 第一节 一维搜索概述一、下降迭代算法的基本思想、下降迭代算法的基本思想 不失一般性，考虑如下的优化问题 min ()x S f x ∈ （3.1） 其中:n f S R R ?→. 下降迭代算法的的基本思想：给定一个初始点1n x R ∈，按 }k 使得当}k 是有限点列时照某种迭代规则产生一个点列{x ，使得当{x 其最后一个点是最优化问题的最优解；当{}k x 是无穷点列时，它有极限点，且其极限点是优化问题的最优解. 设已迭代到点k x 处，则下一次迭代会出现以下两种情况之一： （1） 从k x 出发沿任何方向移动，目标函数不再下降； 出发至少存在个方向使标数有所 （2）从k x 出发至少存在一个方向使目标函数()f x 有所下降.这时，从中选取一个下降方向k d ，即k d 满足 ()0k T k f x d ?<，然后在直线 k k x x d λ=+上适当的确定一个新点 1k k k k x x d λ+=+，使得1()()()k k k k k f x f x d f x λ+=+<，此时就说完成了第1k +次迭代. 基本迭代格式 1k k k k x x d λ+=+ 本代格式 k d ------搜索方向 k λ-----步长因子或搜索步长 最优化问题的求解步骤 最优化问题的求解步骤：（1）选取初始点1x ，令1k =； （2）构造搜索方向k d .依照一定的规则，构造()f x 在点 k x 处的下降方向或可行下降方向作为搜索方向k d ； （3）确定搜索步长k λ.以k x 为起点沿搜索方向k d 选取的 λ适当步长k ，使得目标函数值有某种意义的下降，通常使 ()()k k k k f x d f x λ+<. 1k +令1k k k + （4）求出新的迭代点x .令k x x d λ=+（5）检验终止条件.判定1 k x +是否满足终止条件，若满足 停止迭代输出近似最优解否则令转 停止迭代，输出近似最优解1k x +；否则，令:1k k =+，转（2）. 项目二 一维搜索算法（二） [实验目的] 编写抛物线插值法的程序。 [实验学时] 2学时 [实验准备] 1、掌握二分法的思想及迭代步骤 2、掌握抛物线插值法的思想及迭代步骤。 [实验内容及步骤] 编程解决以下问题： 1、用二分法求解 )2()(min +=t t t ?， 已知初始单谷区间]5,3[],[-=b a ，要求按精度3.0=ε，001.0=ε分别计算． 2、用抛物线插值法求解 3728)(m in 23+--=x x x x f ， 已知初始单谷区间001.0]20[][==ε，，， b a ．取初始插值点为x=1 [实验教案] 例1 用二分法求f(x)=8x^3-2*x^2-7*x+3 的局部最优解．允许误差ε=0.0001 ，初始点设区间为[0，1]． #include [例题2] 用抛物线插值法求解 30min ()32t t t t ?≥=-+， 已知初始单谷区间[0,3]．0.05ε=，取初始插值点为t=1 #include 第四章 一维搜索法 由第一章关于求解最优化问题概述中我们知道，从已知迭代点n k R X ∈出发按照基本迭代公式k k k k P t X X +=+1来求解最优化问题，其关键在于如何构造一个搜索方向n k R P ∈和确定一个步长1R t k ∈，使下一迭代点1+k X 处的目标函数值下降，即)()(1k k X f X f <+．现在我们来讨论，当搜索方向k P 已经确定的情况下，如何来确定步长k t ？步长因子的选取有多种方法，如取步长为常数，但这样选取的步长并不最好，如何选取最好步长呢？实际计算通常采用一维搜索来确定最优步长． 对无约束最优化问题 )(min X f n R X ∈， 当已知迭代点k X 和下降方向k P 时，要确定适当的步长k t 使=+)(1k X f )(k k k P t X f +比)(k X f 有所下降，即相当于对于参变量t 的函数 )()(k k tP X f t +=? 要在区间],0[∞+上选取k t t =使)()(1k k X f X f <+，即 )0()()()(??=<+=k k k k k X f P t X f t ． 由于这种从已知点k X 出发，沿某一下降的探索方向k P 来确定步长k t 的问题，实质上是单变量函数()t ?关于变量t 的一维搜索选取问题，故通常叫做一维搜索．按这种方法确定的步长k t 又称为最优步长，这种方法的优点是，它使目标函数值在搜索方向上下降得最多． 今后为了简便起见，我们用记号 )(1k k k P X ls X ，=+ （4.1） 表示从点k X 出发沿k P 方向对目标函数)(X f 作直线搜索所得到的极小点是1+k X ．其中l 和s 分别是Linear search （直线搜索）两词的词首．在目标函数)(X f 已确定的条件下（4.1） 等价于如下两式： ???? ?+==+=++k k k k t k k t k k k P t X X t tP X f P t X f 1)(min )(min )(，? 下面进一步解释迭代点k k k k P t X X +=+1的空间位置．容易证明，若从k X 出发，沿k P 方 向进行一维搜索得极小点k k k k P t X X +=+1，则该点1+=k X X 处的梯度方向)(1+?k X f 与搜索方向k P 之间应满足 0)(1=?+k T k P X f ． (4.2) 事实上，设)()(k k tP X f t +=?，对t 求导有 项目一 一维搜索算法（一） [实验目的] 编写进退法、对分法、Newton 法的程序。 [实验学时] 2学时 [实验环境] Matlab 或VC++6.0 [实验目的] 1．掌握一维收搜索中搜索区间的进退法的思想及迭代步骤； 2．掌握0.618法的思想及迭代步骤； 3．掌握Fibonaci 法的思想及迭代步骤。 [实验内容及步骤] 编程解决以下问题： 1．用进退法确定一维最优化问题 12)(min 30+-=≥t t t t ? 的搜索区间，要求选取2,1,000===αh t ． 2．用0.618法求解 12)(min 3+-=t t t ?， 已知初始单谷区间]1,0[],[=b a ，要求精度01.0=ε． 3．用Fibonaci 法求解 12)(min 3+-=t t t ?， 已知初始单谷区间]1,0[],[=b a ，要求精度01.0=ε． [实验教案] 例1 设f(x)=x^2-2*x+4 ，试用进退法确定初始搜索区间。#include 牛顿法 如前面所提到的，最速下降法在最初几步迭代中函数值下降很快外，总的说来下降的并不快，且愈接近极值点下降的愈慢。因此，应寻找使目标函数下降更快的方法。牛顿法就是一种收敛很快的方法，其基本思路是利用二次曲线来逐点近似原目标函数，以二次曲线的极小值点来近似原目标函数的极小值点并逐渐逼近改点。 一维目标函数()f x 在()k x 点逼近用的二次曲线（即泰勒二次多项式）为 ()()()()()()21 ()()()()()()2 k k k k k k x f x f x x x f x x x ?'''=+-+ - 此二次函数的极小点可由()()0k x ?'=求得。 对于n 维问题，n 为目标函数()f X 在() k X 点逼近用的二次曲线为： ()()()()()2()() 1 ()()().[][].().[]2 k k k k k T k k X f x f X X X X X f X X X ???=+?-+-?-?? 令式中的Hessian 2()()()()k k f X H X ?=，则上式可改写为： ()()()()()()() 1 ()()().[][].().[]2 () k k k k k T k k X f x f X X X X X H X X X f X ???=+?-+--?? ≈ 当()0X ??=时可求得二次曲线()X ?的极值点，且当且仅当改点处的Hessian 矩阵为正定时有极小值点。 由上式得： ()()()()()()[]k k k X f X H X X X ??=?+- 令()0X ??=，则() ()()()()[]0k k k f X H X X X ?+-= 若() ()k H X 为可逆矩阵，将上式等号两边左乘1 () ()k H X -????，则得 1 ()()() ()()[]0k k k n H X f X I X X -???+-=?? 整理后得 1 () ()() ()()k k k X X H X f X -??=-??? 当目标函数()f X 是二次函数时，牛顿法变得极为简单、有效，这时() ()k H X 是一个 常数矩阵，式 ()()()()()()() 1 ()()().[][].().[]2 () k k k k k T k k X f x f X X X X X H X X X f X ???=+?-+--?? ≈变成精 牛顿法简介 摘要：牛顿法作为求解非线性方程的一种经典的迭代方法，它的收敛速度快，有内在函数可以直接使用。结合着matlab 可以对其进行应用，求解方程。关键词：牛顿法，Goldfeld 等人修正牛顿法,matlab 实现 1介绍： 迭代法也称辗转法，是一种不断用变量的旧值递推新值的过程，跟迭代法相对应的是直接法，即一次性解决问题。但多数方程不存在求根公式，因此求解根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。 迭代算法是用计算机解决问题的一种基本方法。它利用计算机运算速度快、适合做重复性操作的特点，让计算机对一组指令（或一定步骤）进行重复执行，在每次执行这组指令（或这些步骤）时，都从变量的原值推出它的一个新值。 利用迭代算法解决问题，需要做好以下3个方面的工作： 1，确定迭代变量。在可以用迭代算法解决的问题中，至少存在一个直接或间接地不断由旧值递推出新值的变量，这个变量就是迭代变量。 2，建立迭代关系式。所谓迭代关系式，是指如何从变量的前一个值推出下一个值的公式（或关系）。迭代关系式的建立是解决迭代问题的关键，通常可以使用递推或倒推的方法来完成。 3，对迭代过程进行控制。在什么时候结束迭代过程？这是编写迭代程序必须考虑的问题。不能让迭代过程无休止地重复下去。迭代过程的控制通常可分为两种情况：一种是所需的迭代次数是个确定的值，可以计算出来；另一种是所需的迭代次数无法确定。对于前一种情况，可以构建一个固定次数的循环来实现对迭代过程的控制；对于后一种情况，需要进一步分析出用来结束迭代过程的条件。牛顿迭代法（Newton’s method ）又称为牛顿-拉夫逊方法（Newton-Raphson method ）,它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法,其基本思想是利用目标函数的二次Taylor 展开，并将其极小化。牛顿法使用函数()f x 的泰勒级数的前面几项来寻找方程()0f x =的根。牛顿法是求方程根的重要方法之一，其最大优点是在方程()0f x =的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时非线性收敛，但是可通过一些方法变成线性收敛。 牛顿法的几何解释： 方程()0f x =的根*x 可解释为曲线()y f x =与x 轴的焦点的横坐标。如下图： 一维搜索方法：（方法比较） “成功—失败”法、二分法、0.618法（黄金分割法）、牛顿法、二次插值法、D.S.C法、Powell法、D.S.C—Powell组合法。 1、“成功—失败”法：主要思想：从一点出发，按一定的步长搜索新点，若成功，加大步长继续搜索，否则，缩短步长小步后退。此方法可以求最优解所在区间，称为“搜索区间”。 2、二分法：主要思想：区间[a,b]的中间值x0，判断f（x）的导数在三个点处的值，舍去一部分区间再求f(x)的极小值。 3、0.618法：等比例收缩原则，每次留下来的区间长度是上次留下来的区间长度的w倍。以及对称原则、去坏留好原则。W=0.618 4、牛顿法：基本思想：在极小值点附近用目标函数的二阶泰勒多项式近似代替目标函数，从而求得目标函数的极小值点的近似值。 5、二次插值法：牛顿法是在x k附近的目标函数用泰勒多项式近似代替，而此法是将f(x)用二次插值多项式p(x)近似代替。把p(x)的极小值点作为f(x)极小值点的代替，从来求得函数的极小值。 6、D.S.C法：主要思想：利用成功—失败法寻找靠近极小值点的三点，进行二次插值。 优点是：收敛速度快，且不要求函数可微。 7、Powell法：基本思想：在搜索方向开始得到三点x0,x1,x2后，作二次插值，求得最小值x， 在四点中去坏留好，在余下的三点中再作二次插值…… 8、D.S.C—Powell组合法： 几种方法比较： D.S.C—Powell组合法是非常好的一种方法，它比任何一个单个方法都好 D.S.C—Powell组合法与0.618法比较：D.S.C—Powell法中函数值的计算要比黄金分割法少得多，一般来讲它优于黄金分割法。 但：D.S.C—Powell法不一定能收敛到最优解。 最速下降法与修正牛顿法： 对于正定二次函数，牛顿法一步可以求得最优解，对于非二次函数，牛顿法并不能保证有限次求得其最优解，但由于目标函数在极小值的附近近似于二次函数，故当初始点靠近极小值时，牛顿法收敛的速度比较快。 牛顿法的缺点是：计算量大。 故：开始几步用最速下降法，后面用牛顿法。 最速下降法、牛顿法、修正牛顿法是无约束优化方法中的基本方法。 2013-2014（1）专业课程实践论文题目：一维搜索牛顿法 牛顿法是一种函数逼近法，基本思想是：在极小点附近用 函数的二阶泰勒多项式近似代替目标函数，从而求得目标函数 的极小点的近似值。 对 ()f x 在 xk 点二阶泰勒展开： 221()()'()()''()()(())2 k k k k k k f x f x f x x x f x x x o x x =+-+-+- 略去高阶项得 2 1()()'()()''()()2k k k k k f x f x f x x x f x x x ≈+-+ - 两边对x 求导，'()'()''()()k k k f x f x f x x x ≈+- 令 '()=0f x ，得到 '() ''()k k k f x x x f x ≈- 取 1'() =''()k k k k f x x x f x +- 作为新的迭代点，继续迭代，直到达到精度，这样就得到了 函数 f 的一个驻点 。以上过程即Newton 法。 三、算法程序 #include实验1 一维搜索算法的程序设计
第三章 一维搜索
一维搜索算法(二)
第四章一维搜索法
一维搜索算法(一)
牛顿法
最优化理论与方法——牛顿法
一维搜索方法
一维搜索牛顿法