最优化方法的Matlab实现(公式(完整版))
最优化方法及其matlab实现
一、引言1.1 阐述最优化方法的重要性 1.2 介绍文章内容二、最优化方法的基本概念与分类2.1 最优化问题的定义2.2 最优化方法的分类2.2.1 无约束最优化2.2.2 约束最优化三、常用最优化方法的原理与特点3.1 梯度下降法3.1.1 原理介绍3.1.2 算法流程3.1.3 特点分析3.2 牛顿法3.2.1 原理介绍3.2.2 算法流程3.2.3 特点分析3.3 共轭梯度法3.3.1 原理介绍3.3.2 算法流程3.3.3 特点分析四、最优化方法在实际问题中的应用4.1 工程优化问题4.1.1 结构优化设计4.1.2 控制优化问题4.2 数据拟合与机器学习4.2.1 深度学习中的优化问题4.2.2 模型参数的优化五、 Matlab实现最优化方法的实例5.1 Matlab在最优化方法中的应用 5.2 梯度下降法的Matlab实现5.2.1 代码示例5.2.2 实例分析5.3 牛顿法的Matlab实现5.3.1 代码示例5.3.2 实例分析5.4 共轭梯度法的Matlab实现5.4.1 代码示例5.4.2 实例分析六、结论及展望6.1 对最优化方法的总结与归纳6.2 未来最优化方法的发展方向七、参考文献以上是一篇关于“最优化方法及其Matlab实现”的文章大纲，您可以根据这个大纲和相关资料进行深入撰写。
文章内容需要涉及最优化方法的基本概念与分类、常用最优化方法的原理与特点、最优化方法在实际问题中的应用、Matlab实现最优化方法的实例等方面，保证文章内容的权威性和实用性。
另外，在撰写文章过程中，建议加入一些案例分析或者数据实验，通过具体的应用场景来展示最优化方法的有效性和优越性，增强文章的说服力和可读性。
对于Matlab实现部分也要注重代码的清晰性和易懂性，方便读者理解和实践。
希望您能够通过深入的研究和精心的撰写，呈现一篇高质量、流畅易读、结构合理的中文文章，为读者提供有益的知识和参考价值。
用牛顿法求一元一次方程的最优值 matlab
牛顿法是一种迭代算法，用于求解一元函数的最小值或最大值。
对于一元函数f(x)，其导数为f'(x)，牛顿法的迭代公式为：
x_{n+1} = x_n - f(x_n) / f'(x_n)
在求解一元一次方程的最优值时，我们可以将一元一次方程转化为f(x) = 0 的形式，然后使用牛顿法求解。
下面是一个使用MATLAB 实现牛顿法的示例代码：
0, tol, max_iter)
# f: 一元函数的值
# df: 一元函数的导数
# x0: 初始值
# tol: 精度要求
# max_iter: 最大迭代次数
x = x0;
for i = 1:max_iter
fx = f(x);
dfx = df(x);
if abs(fx) < tol
root = x;
return;
end
x = x - fx / dfx;
end
error('达到最大迭代次数，未找到解。
');
end
按照以下步骤进行：
1.定义一元一次方程的函数和导数；
2.设定初始值、精度要求和最大迭代次数；
3.调用newton 函数进行迭代求解。
最优化算法-Matlab程序
CG程序代码function [x,y] = cg(A,b,x0) %%%%%%%%%%%%%%%%%CG算法%%%%%%%%%%%% r0 = A*x0-b;p0 = -r0;k = 0;r = r0;p = p0;x = x0;while r~=0alpha = -r'*p/(p'*A*p);x = x+alpha*p;rold = r;r = rold+alpha*A*p;beta = r'*r/(rold'*rold);p = -r+beta*p;plot(k,norm(p),'.--');hold onk = k+1;endy.funcount = k;y.fval = x'*A*x/2-b'*x;function [x,y] = cg_FR(fun,dfun,x0)%%%%%%%%%%%%%%%CG_FR算法%%%%%%%%%%%%%%%error = 10^-5;f0 = feval(fun,x0);df0 = feval(dfun,x0);p0 = -df0;f = f0;df = df0;p = p0;x = x0;k = 0;while ((norm(df)>error)&&(k<1000))f = feval(fun,x);[alpha,funcNk,exitflag] = lines(fun,0.01,0.15,0.85,6,f,df'*p,x,p);%%用线搜索找下降距离%% if exitflag == -1disp('Break!!!');break;endx = x+alpha*p;dfold = df;df = feval(dfun,x);beta = df'*df/(dfold'*dfold);p = -df+beta*p;plot(k,norm(df),'.--');hold onk = k+1;endy.funcount = k;y.fval = feval(fun,x);y.error = norm(df);function [x,output] = bfgs(fun,dfun,x0,varargin) %%%%%%%%%%%优化课程BFGS算法程序%%%%%%%%%%%epsi = 1.0e-6;k = 0;funcN = 0;rho = 0.01;l = 0.15;u = 0.85;x = x0;f = feval(fun,x,varargin{:});funcN = funcN + 1;n = length(x0);H = eye(n);g = feval(dfun,x,varargin{:});while norm(g)>epsi && k<=1000itercon = true;d = -H*g;alpha_0 = 1;gd = g'*d;[alpha,funcNk,exitflag] = lines(fun,rho,l,u,alpha_0,f,gd,x,d,varargin{:});funcN = funcN + funcNk;if exitflag == -1itercon = false;restart = true;H = eye(n);gold = g;endif itercons = alpha*d;x = x + s;f = feval(fun,x,varargin{:});funcN = funcN + 1;gold = g;g = feval(dfun,x,varargin{:});y = g - gold;hy = H*y;sy = s'*y;yhy = y'*hy;if sy<0.2*yhytheta = 0.8*yhy/(yhy-sy);s = theta*s + (1 - theta)*hy;sy = 0.2*yhy;endv = sqrt(yhy)*(s/sy - hy/yhy);H = H + s*s'/sy - hy*hy'/yhy + v*v';endk = k + 1;endoutput.fval = f;output.iteration = k;output.funcount = funcN;output.gnorm = norm(g);function [x,output] = newton_cg(fun,dfun,ddfun,x0) %%%%%%%%%%%%%%优化7.1算法程序%%%%%%%%%%%%%%%%%n = length(x0);x = x0;k = 1;d(1,1:n) = zeros(1,n);%%%%%%%%%循环开始，直至满足条件结束%%%%%%%%%%while (norm(feval(dfun,x))>=10^-5)&&(k<20000)epsi(k) = min(0.5,sqrt(norm(feval(dfun,x))))*norm(feval(dfun,x));z(1,1:n) = zeros(1,n);B = feval(ddfun,x);r(1,1:n) = feval(dfun,x)';d(1,1:n) = -r(1,1:n);p = zeros(1,n)';for j=1:k %%%%%%%%寻找最优下降方向%%%%%%%%%if d(j,1:n)*B*d(j,1:n)'<=0if j==1p = -r(k,1:n)';break;elsep = z(j,1:n)';break;endendalpha = r(j,1:n)*r(j,1:n)'/(d(j,1:n)*B*d(j,1:n)');z(j+1,1:n) = z(j,1:n) + alpha*d(j,1:n);r(j+1,1:n) = r(j,1:n) + alpha*(B*d(j,1:n)')';if norm(r(j+1,1:n))<epsi(k)p = z(j+1,1:n)';break;endbeta = r(j+1,1:n)*r(j+1,1:n)'/(r(j,1:n)*r(j,1:n)');d(j+1,1:n) = -r(j+1,1:n) + beta*d(j,1:n);end %%%%%%%%%%方向找寻结束%%%%%%%%%%%%%%%%%%%%%%获得新的迭代点%%%%%%%%%%%gd = -d(1,1:n)*d(1,1:n)';[alpha1,funcNk,exitflag] = lines(fun,0.01,0.15,0.85,1,feval(fun,x),gd,x,d(1,1:n)');x = x + alpha1*p;k = k + 1;endoutput.fval = feval(fun,x);output.funcount = k;function [x,output] = cg_steihaug(fun,dfun,ddfun,x0)%%%%%%%%%%%优化7.2算法程序%%%%%%%%%%%%%%%%%%%%%%参数初始化%%%%%%%%%%%n = length(x0);x = x0;k = 1;d(1,1:n) = zeros(1,n);%%%%%%%%%%开始循环，直至满足条件%%%%%%%%%%%while (norm(feval(dfun,x))>=10^-5)&&(k<2000)epsi(k) = min(0.5,sqrt(norm(feval(dfun,x))))*norm(feval(dfun,x));z(1,1:n) = zeros(1,n);B = feval(ddfun,x);r(1,1:n) = feval(dfun,x)';d(1,1:n) = -r(1,1:n);delta(k) = 1;%%%%%%%%%p = [0,0]';%%%%%%%%%%%%%开始搜索最优下降方向%%%%%%%%%%%%%%%%%%%%%%%%%%%%此算法利用信赖域法寻找方向%%%%%%%%%%%%%%%if norm(r(1,1:n))<epsi(k)p = z(1,1:n)';break;endfor j=1:kif d(j,1:n)*B*d(j,1:n)'<=0%delta(k)[s,val,posdef,count,lambda] = trustM(r(k,1:n)',B,delta(k));p = s;break;endalpha = r(j,1:n)*r(j,1:n)'/(d(j,1:n)*B*d(j,1:n)');z(j+1,1:n) = z(j,1:n) + alpha*d(j,1:n);if(norm(z(j+1,1:n))>=delta(k))%tao =(-4*z(j,1:n)*d(j,1:n)'+sqrt((2*z(j,1:n)*d(j,1:n)')^2-4*(z(j,1:n)*z(j,1:n)'-delta(k)^2)))/(2*d(j,1:n)*d(j, 1:n)');p = z(j,1:n)' + tao*d(j,1:n)';break;endr(j+1,1:n) = r(j,1:n) + alpha*(B*d(j,1:n)')';if norm(r(j+1,1:n))<epsi(k)p = z(j+1,1:n)';break;endbeta = r(j+1,1:n)*r(j+1,1:n)'/(r(j,1:n)*r(j,1:n)');d(j+1,1:n) = -r(j+1,1:n) + beta*d(j,1:n);end%%%%%%%%%%%下降方向搜索结束%%%%%%%%%%%%%%%%%%%%%%%%获得新的迭代点%%%%%%%%%%%%%%gd = -d(1,1:n)*d(1,1:n)';[alpha1,funcNk,exitflag] = lines(fun,0.01,0.15,0.85,1,feval(fun,x),gd,x,d(1,1:n)');x = x + alpha1*p;k = k + 1;endoutput.fval = feval(fun,x);output.funcount = k;。
MATLAB课件第七章 最优化计算方法
以fun702为文件名保存此函数文件。 在命令窗口输入： x0=[-2;4]; x=fminunc('fun702',x0) 结果显示：
f=
-1.0000 x=
Matlab程序： ch702.m
1.0000 1.0000
即极小值为-1，是x1=1,x2=1时取得。
【例 3】 解非线性方程组
x1 2 x 2 1 0 ( x1 2 ) 2 ( x 2 0 .5 ) 2 1 0
max f 3x1 x 2 x 3 x 1 2 x 2 x 3 11 4 x 1 x 2 2 x 3 3 2 x1 x 3 1 x 0 , i 1, 2 , 3 i
s .t .
解：考虑到linprog函数只解决形如
【例 4】 求解约束非线性规划：
max s .t . e
e
x1
x1
x 2 (3 e
2
2
x1
x2 )
(初值为[1;1])
2
x2
3
首先将问题转化为matlab要求的格式;即求出 fun,A,b,Aeq,Beq,X0,Lb,Ub
解:首先建立一个m文件fun7041.m
function y=fun7041(x) y=-exp(x(1))*x(2)^2*(3-exp(x(1))-x(2)^2);
k 1
k
k
k
由此得到下一个点 4) 检验新得到的点
x
k
P
k
k
k 1
是否满足精度要求的最
优解。
如果是，则结束运算；
否则，令 k k 1, 返回 ( 2 ) 继续迭代
Matlab最优化编程例子
题目：分别用最速下降法、FR 共轭梯度法、DFP 法和BFGS 法求解问题：22112212min f (x)x 2x x 4x x 3x =-++-取初始点(1)T x (1,1)=，通过Matlab 编程实现求解过程。
公用函数如下：1、function f= fun( X )%所求问题目标函数f=X(1)^2-2*X(1)*X(2)+4*X(2)^2+X(1)-3*X(2); end2、function g= gfun( X )%所求问题目标函数梯度g=[2*X(1)-2*X(2)+1,-2*X(1)+8*X(2)-3]; end3、function He = Hess( X )%所求问题目标函数Hesse 矩阵n=length(X);He=zeros(n,n);He=[2,-2;-2,4];End解法一：最速下降法function [ x,val,k ] = grad( fun,gfun,x0 )%功能：用最速下降法求无约束问题最小值%输入：x0是初始点，fun 和gfun 分别是目标函数和梯度%输出：x 、val 分别是最优点和最优值，k 是迭代次数maxk=5000;%最大迭代次数rho=0.5;sigma=0.4;k=0;eps=10e-6;while (k<maxk)g=feval(gfun,x0);%计算梯度d=-g;%计算搜索方向if (norm(d)<eps)break ;endm=0;mk=0;while (m<20)if (feval(fun,x0+rho^m*d)<feval(fun,x0)+sigma*rho^m*g'*d) mk=m;break ;endm=m+1;endx0=x0+rho^mk*d;k=k+1;endx=x0;val=feval(fun,x0);end解法二：FR共轭梯度法function [ x,val,k ] = frcg( fun,gfun,x0 ) %功能：用FR共轭梯度法求无约束问题最小值%输入：x0是初始点，fun和gfun分别是目标函数和梯度%输出：x、val分别是最优点和最优值，k是迭代次数maxk=5000;%最大迭代次数rho=0.5;sigma=0.4;k=0;eps=10e-6;n=length(x0);while(k<maxk)g=feval(gfun,x0);%计算梯度itern=k-(n+1)*floor(k/(n+1));itern=itern+1;%计算搜索方向if(itern==1)d=-g;elsebeta=(g*g')/(g0*g0');d=-g+beta*d0;gd=g'*d;if(gd>=0.0)d=-g;endendif(norm(g)<eps)break;endm=0;mk=0;while(m<20)if(feval(fun,x0+rho^m*d)<feval(fun,x0)+sigma*rho^m*g'*d) mk=m;break;endm=m+1;endx0=x0+rho^mk*d;val=feval(fun,x0);g0=g;d0=d;k=k+1;endx=x0;val=feval(fun,x0);end解法三：DFP法function [ x,val,k ] = dfp( fun,gfun,x0 )%功能：用DFP法求无约束问题最小值%输入：x0是初始点，fun和gfun分别是目标函数和梯度%输出：x、val分别是最优点和最优值，k是迭代次数maxk=5000;%最大迭代次数rho=0.5;sigma=0.4;k=0;eps=10e-6;n=length(x0);Hk=inv(feval('Hess',x0));while(k<maxk)gk=feval(gfun,x0);if(norm(gk)<eps)break;enddk=-Hk*gk';dk=dk';m=0;mk=0;while(m<20)if(feval(fun,x0+rho^m*dk)<feval(fun,x0)+sigma*rho^m*gk'*dk) mk=m;break;endm=m+1;end%DFP校正x=x0+rho^mk*dk;sk=x-x0;yk=feval(gfun,x)-gk;if(sk'*yk>0)Hk=Hk-(((Hk*yk')*yk)*Hk)/(yk*Hk*yk')+(sk'*sk)/(sk*yk');endk=k+1;x0=x;endval=feval(fun,x0);end解法四：BFGS法function [ x,val,k ] = bfgs( fun,gfun,x0 )%功能：用BFGS法求无约束问题最小值%输入：x0是初始点，fun和gfun分别是目标函数和梯度%输出：x、val分别是最优点和最优值，k是迭代次数maxk=5000;%最大迭代次数rho=0.5;sigma=0.4;k=0;eps=10e-6;n=length(x0);Bk=eye(n);while(k<maxk)gk=feval(gfun,x0);if(norm(gk)<eps)break;enddk=-Bk*gk';m=0;mk=0;while(m<20)new=sigma*rho^m*gk*dk;old=feval(fun,x0);if(feval(fun,x0+rho^m*dk')<feval(fun,x0)+sigma*rho^m*gk*dk) mk=m;break;endm=m+1;end%BFGS校正x=x0+rho^mk*dk';sk=x-x0;yk=feval(gfun,x)-gk;if(yk'*sk>0)Bk=Bk-(((Bk*sk')*sk)*Bk)/(sk*Bk*sk')+(yk'*yk)/(yk*sk');endk=k+1;x0=x;endval=feval(fun,x0);end。
《最优化方法的Matlab实现》
第九章最优化方法的Matlab实现在生活和工作中，人们对丁同一个问题往往会提出多个解决方案，并通过各方面的论证从中提取最佳方案。
最优化方法就是专门研究如何从多个方案中科学合理地提取出最佳方案的科学。
由丁优化问题无所不在，目前最优化方法的应用和研究已经深入到了生产和科研的各个领域，如土木工程、机械工程、化学工程、运输调度、生产控制、经济规划、经济管理等，并取得了显著的经济效益和社会效益。
用最优化方法解决最优化问题的技术称为最优化技术，它包含两个方面的内容：1）建立数学模型即用数学语言来描述最优化问题。
模型中的数学关系式反映了最优化问题所要达到的目标和各种约束条件。
2）数学求解数学模型建好以后，选择合理的最优化方法进行求解。
最优化方法的发展很快，现在已经包含有多个分支，如线性规划、整数规划、非线性规划、动态规划、多目标规划等。
9.1 概述利用Matlab的优化工具箱，可以求解线性规划、非线性规划和多目标规划问题。
具体而言，包括线性、非线性最小化，最大最小化，二次规划，半无限问题，线性、非线性方程（组）的求解，线性、非线性的最小二乘问题。
另外，该工具箱还提供了线性、非线性最小化，方程求解，曲线拟合，二次规划等问题中大型课题的求解方法，为优化方法在工程中的实际应用提供了更方便快捷的途径。
9.1.1优化工具箱中的函数优化工具箱中的函数包括下面几类：1 .最小化函数2. 方程求解函数3. 最小一乘（曲线拟合）函数4. 实用函数表9-4实用函数表5 .大型方法的演示函数6.中型方法的演示函数9.1.3参数设置利用optimset函数，可以创建和编辑参数结构；利用optimget函数，可以获得ptions优化参数。
• optimget 函数功能：获得options优化参数。
语法：val = optimget(options,'param')val = optimget(options,'param',default)描述：val = optimget(options,'param') 返回优化参数options 中指定的参数的值。
最优化方法的Matlab实现
第九章最优化方法的Matlab实现在生活和工作中，人们对于同一个问题往往会提出多个解决方案，并通过各方面的论证从中提取最佳方案。
最优化方法就是专门研究如何从多个方案中科学合理地提取出最佳方案的科学。
由于优化问题无所不在，目前最优化方法的应用和研究已经深入到了生产和科研的各个领域，如土木工程、机械工程、化学工程、运输调度、生产控制、经济规划、经济管理等，并取得了显著的经济效益和社会效益。
用最优化方法解决最优化问题的技术称为最优化技术，它包含两个方面的内容：1）建立数学模型即用数学语言来描述最优化问题。
模型中的数学关系式反映了最优化问题所要达到的目标和各种约束条件。
2）数学求解数学模型建好以后，选择合理的最优化方法进行求解。
最优化方法的发展很快，现在已经包含有多个分支，如线性规划、整数规划、非线性规划、动态规划、多目标规划等。
9.1 概述利用Matlab的优化工具箱，可以求解线性规划、非线性规划和多目标规划问题。
具体而言，包括线性、非线性最小化，最大最小化，二次规划，半无限问题，线性、非线性方程（组）的求解，线性、非线性的最小二乘问题。
另外，该工具箱还提供了线性、非线性最小化，方程求解，曲线拟合，二次规划等问题中大型课题的求解方法，为优化方法在工程中的实际应用提供了更方便快捷的途径。
9.1.1 优化工具箱中的函数优化工具箱中的函数包括下面几类：1．最小化函数表9-1 最小化函数表2．方程求解函数表9-2 方程求解函数表3．最小二乘（曲线拟合）函数表9-3 最小二乘函数表4．实用函数表9-4 实用函数表5．大型方法的演示函数表9-5 大型方法的演示函数表6．中型方法的演示函数表9-6 中型方法的演示函数表9.1.3 参数设置利用optimset函数，可以创建和编辑参数结构；利用optimget函数，可以获得o ptions优化参数。
● optimget函数功能：获得options优化参数。
语法：val = optimget(options,'param')val = optimget(options,'param',default)描述：val = optimget(options,'param') 返回优化参数options中指定的参数的值。
MATLABLevenberg-Marquardt法最优化
MATLABLevenberg-Marquardt法最优化上⼀篇博客中介绍的⾼斯⽜顿算法可能会有J'*J为奇异矩阵的情况，这时⾼斯⽜顿法稳定性较差，可能导致算法不收敛。
⽐如当系数都为7或更⼤的时候，算法⽆法给出正确的结果。
Levenberg-Marquardt法⼀定程度上修正了这个问题。
计算迭代系数deltaX公式如下：当lambda很⼩的时候，H占主要地位，公式变为⾼斯⽜顿法，当lambda很⼤的时候，H可以忽略，公式变为最速下降法。
该⽅法提供了更稳定的deltaX。
算法步骤如下：1.给定初始系数，以及初始优化半径u。
2.计算使⽤当前系数的模型得到的结果与测量结果差值e。
3.使⽤迭代公式更新带解算系数。
4.计算更新后系数的模型得到的结果与测量结果差值ecur。
5.如果ecur>e，则u=2*u；否则u=u/2，并且更新模型系数x(k+1)=x(k)+deltaX。
6.判断算法是否收敛，不收敛返回2，否则结束。
代码如下：1 clear all;2 close all;3 clc;4 warning off all;56 a=7;b=7;c=7; %待求解的系数78 x=(0:0.01:1)';9 w=rand(length(x),1)*2-1; %⽣成噪声10 y=exp(a*x.^2+b*x+c)+w; %带噪声的模型11 plot(x,y,'.')1213 pre=rand(3,1);14 update=1;15 u=0.1;16for i=1:10017if update==118 f = exp(pre(1)*x.^2+pre(2)*x+pre(3));19 g = y-f; %计算误差2021 p1 = exp(pre(1)*x.^2+pre(2)*x+pre(3)).*x.^2; %对a求偏导22 p2 = exp(pre(1)*x.^2+pre(2)*x+pre(3)).*x; %对b求偏导23 p3 = exp(pre(1)*x.^2+pre(2)*x+pre(3)); %对c求偏导24 J = [p1 p2 p3]; %计算雅克⽐矩阵25 H=J'*J;26if i==127 e=dot(g,g);28 end29 end3031 delta = inv(H+u*eye(length(H)))*J'* g;32 pcur = pre+delta; %迭代33 fcur = exp(pcur(1)*x.^2+pcur(2)*x+pcur(3));34 ecur = dot(y-fcur,y-fcur);3536if ecur<e %⽐较两次差值，新模型好则使⽤37if norm(pre-pcur)<1e-1038break;39 end40 u=u/2;41 pre=pcur;42 e=ecur;43 update=1;44else45 u=u*2;46 update=0;47 end48 end4950 hold on;51 plot(x,exp(a*x.^2+b*x+c),'r');52 plot(x,exp(pre(1)*x.^2+pre(2)*x+pre(3)),'g');5354 %⽐较⼀下55 [a b c]56 pre'迭代结果，其中散点为带噪声数据，红线为原始模型，绿线为解算模型。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第九章最优化方法的MatIab实现在生活和工作中，人们对于同一个问题往往会提出多个解决方案，并通过各方面的论证从中提取最佳方案。
最优化方法就是专门研究如何从多个方案中科学合理地提取出最佳方案的科学。
由于优化问题无所不在，目前最优化方法的应用和研究已经深入到了生产和科研的各个领域，如土木工程、机械工程、化学工程、运输调度、生产控制、经济规划、经济管理等，并取得了显著的经济效益和社会效益。
用最优化方法解决最优化问题的技术称为最优化技术，它包含两个方面的内容：1）建立数学模型即用数学语言来描述最优化问题。
模型中的数学关系式反映了最优化问题所要达到的目标和各种约束条件。
2）数学求解数学模型建好以后，选择合理的最优化方法进行求解。
最优化方法的发展很快，现在已经包含有多个分支，如线性规划、整数规划、非线性规划、动态规划、多目标规划等。
9.1 概述利用Matlab的优化工具箱，可以求解线性规划、非线性规划和多目标规划问题。
具体而言，包括线性、非线性最小化，最大最小化，二次规划，半无限问题，线性、非线性方程（组）的求解，线性、非线性的最小二乘问题。
另外，该工具箱还提供了线性、非线性最小化，方程求解，曲线拟合，二次规划等问题中大型课题的求解方法，为优化方法在工程中的实际应用提供了更方便快捷的途径。
9.1.1优化工具箱中的函数优化工具箱中的函数包括下面几类：1 •最小化函数2.方程求解函数3.最小—乘（曲线拟合）函数4•实用函数5 •大型方法的演示函数6.中型方法的演示函数9.1.3参数设置利用OPtimSet函数，可以创建和编辑参数结构；利用OPtimget函数，可以获得o PtiOns优化参数。
• OPtimget 函数功能：获得OPtiOns优化参数。
语法：Val = OPtimget(OPti On s,'param')Val = OPtimget(optio ns,'param',default) 描述：val = OPtimget(options,'param') 返回优化参数OPtiOns 中指定的参数的值。
只需要用参数开头的字母来定义参数就行了。
Val = OPtimget(options,'param',default) 若optiOnS 结构参数中没有定义指定参数，则返回缺省值。
注意，这种形式的函数主要用于其它优化函数。
举例：1. 下面的命令行将显示优化参数OPtiOns返回到my_options结构中：Val = OPtimget(my_optio ns,'Display')2. 下面的命令行返回显示优化参数OPtiOns到my_options结构中(就象前面的例子一样)，但如果显示参数没有定义，则返回值’fin al': opt new = OPtimget(my_optio ns,'Display','fi nal');参见：OPtimSet• OPtimSet 函数功能：创建或编辑优化选项参数结构。
语法：opti ons = OPtimSetCParam1',value1,'param2',value2,...)OPtimSetopti ons = OPtimSetopti ons = OPtimSet(oPtimf Un)opti ons = OPtimSet(oldopts,'param1',value1,.∙.)opti ons = OPtimSet(oldopts ,n ewopts)描述：OPti OnS = OPtimSet('param1',value1,'param2',value2,...) 创建一个称为OPtiOnS的优化选项参数，其中指定的参数具有指定值。
所有未指定的参数都设置为空矩阵［］(将参数设置为［］表示当OPtions传递给优化函数时给参数赋缺省值)。
赋值时只要输入参数前面的字母就行了。
OPtimSet函数没有输入输出变量时，将显示一张完整的带有有效值的参数列表。
OPtiOnS = OPtimSet (With no inPUt arguments) 仓U建一个选项结构OPtiO nS,其中所有的元素被设置为［］。
OPtiO ns = OPtimSet(OPtimfu n) 创建一个含有所有参数名和与优化函数OPt imfun相关的缺省值的选项结构options 。
options = OPtimSet(oldopts,'param1',value1,...) 仓U建一个Oldopts 的拷贝，用指定的数值修改参数。
options = OPtimSet(oldopts,newopts) 将已经存在的选项结构oldopts 与新的选项结构newopts进行合并。
newopts参数中的所有元素将覆盖oldopts 参数中的所有对应元素。
举例：1 .下面的语句创建一个称为options的优化选项结构，其中显示参数设为'iter' , TolFun参数设置为1e-8:optio ns = OPtimSetCDiSPlay','iter','Tol Fun ',1e-8)2 .下面的语句创建一个称为options的优化结构的拷贝，改变TolX参数的值，将新值保存到opt new参数中：opt new = OPtimSet(optio ns,'TolX',1e-4);3 .下面的语句返回options优化结构，其中包含所有的参数名和与fminbnd函数相关的缺省值：opti ons = OPtimSetCfm inbn d')4 .若只希望看到fminbnd函数的缺省值，只需要简单地键入下面的语句就行了：OPtimSet fminbnd或者输入下面的命令，其效果与上面的相同：OPtimSetcfm inbn d')参见：OPtimget9.1.4模型输入时需要注意的问题使用优化工具箱时，由于优化函数要求目标函数和约束条件满足一定的格式，所以需要用户在进行模型输入时注意以下几个问题：1. 目标函数最小化优化函数fminbnd、fminSearCh、fminunc、fmincon、fgoalattain 、fminmax 和IS qnonlin都要求目标函数最小化，如果优化问题要求目标函数最大化，可以通过使该目标函数的负值最小化即-f(x)最小化来实现。
近似地，对于quadprog函数提供-H和-f，对于Iinprog 函数提供-f。
2. 约束非正优化工具箱要求非线性不等式约束的形式为C(X) ≤0,通过对不等式取负可以达到使大于零的约束形式变为小于零的不等式约束形式的目的，如C(X) ≥0形式的约束等价于-C i(X) ≤0；C(X) ≥b形式的约束等价于-C i(x)+b≤0。
3. 避免使用全局变量9.1.5 @ (函数句柄)函数MATLAB6.0中可以用@S数进行函数调用。
@S数返回指定MATLA函数的句柄，其调用格式为：han dle = @function利用@§数进行函数调用有下面几点好处：•用句柄将一个函数传递给另一个函数；•减少定义函数的文件个数；•改进重复操作；•保证函数计算的可靠性。
F面的例子为humps函数创建一个函数句柄，并将它指定为fhandle变量fha ndle = @humps;同样传递句柄给另一个函数，也将传递所有变量。
本例将刚刚创建的函数句柄传递给fminbnd 函数，然后在区间［0.3,1］上进行最小化。
X = fminbnd (@humps, 0.3, 1)0.63709.2最小化问题9.2.1 单变量最小化9.2.1.1 基本数学原理本节讨论只有一个变量时的最小化问题，即一维搜索问题。
该问题在某些情况下可以直接用于求解实际问题，但大多数情况下它是作为多变量最优化方法的基础在应用，因为进行多变量最优化要用到一维搜索法。
该问题的数学模型为：min/(X)XX l <X <X2其中，x, x1,和x2为标量，f (x)为函数，返回标量。
该问题的搜索过程可用下式表达：耳+1=耳+α*"其中X k为本次迭代的值，d为搜索方向，α为搜索方向上的步长参数。
所以一维搜索就是要利用本次迭代的信息来构造下次迭代的条件。
求解单变量最优化问题的方法有很多种，根据目标函数是否需要求导，可以分为两类，即直接法和间接法。
直接法不需要对目标函数进行求导，而间接法则需要用到目标函数的导数。
1直接法常用的一维直接法主要有消去法和近似法两种。
(1)消去法该法利用单峰函数具有的消去性质进行反复迭代，逐渐消去不包含极小点的区间，缩小搜索区间，直到搜索区间缩小到给定的允许精度为止。
一种典型的消去法为黄金分割法(Golden SeCtiOn SearCh)。
黄金分割法的基本思想是在单峰区间内适当插入两点，将区间分为三段，然后通过比较这两点函数值的大小来确定是删去最左段还是最右段，或同时删去左右两段保留中间段。
重复该过程使区间无限缩小。
插入点的位置放在区间的黄金分割点及其对称点上，所以该法称为黄金分割法。
该法的优点是算法简单，效率较高，稳定性好。
(2)多项式近似法该法用于目标函数比较复杂的情况。
此时寻找一个与它近似的函数代替目标函数，并用近似函数的极小点作为原函数极小点的近似。
常用的近似函数为二次和三次多项式。
二次内插涉及到形如下式的二次函数数据拟合问题：叫(O) = aoτ -^ba-i-c其中步长极值为：卓一bCt —Ia然后只要利用三个梯度或函数方程组就可以确定系数a和b,从而可以确定α *。
得到该值以后，进行搜索区间的收缩。
在缩短的新区间中，重新安排三点求出下一次的近似极小点α * ,如此迭代下去，直到满足终止准则为止。
其迭代公式为：X= 1 y⅛∕g ) + 爲/(工2 ) + / VW )I 2 r23∕(λ∖) + + Λ2∕(x3)其中βij =X i ~x j-二次插值法的计算速度比黄金分割法的快，但是对于一些强烈扭曲或可能多峰的函 数，该法的收敛速度会变得很慢，甚至失败。
2. 间接法间接法需要计算目标函数的导数，优点是计算速度很快。
常见的间接法包括牛顿切 线法、对分法、割线法和三次插值多项式近似法等。
优化工具箱中用得较多的是三次插 值法。
三次插值的基本思想与二次插值的一致，它是用四个已知点构造一个三次多项式P3(X ),用它逼近函数f(X ),以P B (X)的极小点作为f(X )的近似极小点。