最优化作业
最优化方法大作业答案
1.用薄钢板制造一体积5m 3，长度不小于4m ，无上盖的货箱，要求钢板耗量最小。
确定货箱的长x 1、宽x 2和高x 3。
试列出问题的数学模型。
解：min 32312122x x x x x x z ++= s.t 5321=x x x 41≥x 0,,321≥x x x2.将下面的线性规划问题表示为标准型并用单纯形法求解max f=x 1+2x 2+x 3s ．t ．2x 1+x 2-x 3≤2 -2x 1+x 2-5x 3≥-6 4x 1+x 2+x 3≤6 x i ≥0 i=1，2，3 解：先化标准形：Min 321x x x z -+=224321=+-+x x x x 6525321=++-x x x x646321=+++x x x x列成表格：121610011460105122001112-----可见此表已具备1°，2°，3°三个特点，可采用单纯形法。
首先从底行中选元素-1，由2/2,6/2,6/4最小者决定选第一行第一列的元素2，标以记号，迭代一次得121210231040116201002121211--------再从底行中选元素-2/3，和第二列正元素1/2，迭代一次得12123230210231040116201002121211-------再从底行中选元素-3，和第二列正元素2，迭代一次得4233410120280114042001112---再迭代一次得1023021062210231010213000421021013--选取最优解：01=x 42=x 23=x3. 试用DFP 变尺度法求解下列无约束优化问题。
min f （X ）=4（x 1-5）2+（x 2-6）2取初始点X=（8，9）T ，梯度精度ε=0.01。
解：取IH=0,初始点()TX 9,8=2221)6()5(4)(-+-=x x x f⎥⎦⎤⎢⎣⎡--=∇122408)(21x x x f⎪⎪⎭⎫⎝⎛=∇624)()0(xfTx f d )6,24()()0()0(--=-∇=)0(0)0()1(dxxα+=T)69,248(00αα--=])669()5248(4min[)(min 2020)0(0)0(--+--⨯=+αααdxf 0)6()63(2)24()2458(8)(00)0(0)0(=-⨯-+-⨯--=+ααααd d xdf13077.0130170≈=α⎪⎪⎭⎫⎝⎛=⎪⎪⎭⎫ ⎝⎛--⨯+⎪⎪⎭⎫ ⎝⎛=21538.886153.462413077.098)1(x⎪⎪⎭⎫⎝⎛-=∇43077.410784.1)()1(xf进行第二次迭代：⎥⎦⎤⎢⎣⎡--=-=78463.013848.31)0()1(xxδ⎥⎦⎤⎢⎣⎡--=∇-∇=56924.110783.25)()(1)0()1(xf xf γ101011011101γγγγγδδδH HH H H TTTT-+=03172.8011=γδT86614.6321101==γγγγH T⎥⎦⎤⎢⎣⎡=61561.046249.246249.285005.911Tδδ⎥⎦⎤⎢⎣⎡==46249.240022.3940022.3940363.630110110TTHH γγγγ所以：⎪⎪⎭⎫⎝⎛--=0038.103149.003149.012695.01H⎪⎪⎭⎫⎝⎛-⨯⎪⎪⎭⎫⎝⎛---=∇-=43076.410784.10038.103149.003149.012695.0)()1(1)1(xf H d⎪⎪⎭⎫⎝⎛-=48248.428018.0令 )1(1)1()2(dx x α+=利用)()1()1(=+ααd dxdf ，求得49423.01=α，所以⎪⎪⎭⎫⎝⎛-+⎪⎪⎭⎫⎝⎛=+=21538.213848.021538.886152.449423.0)1()1()2(dxx⎪⎪⎭⎫ ⎝⎛=65因)()2(=∇xf ，于是停，)2(x 即为最优解。
最优化 马昌凤 第三章作业
最优化方法及其Matlab程序设计习题作业暨实验报告学院：数学与信息科学学院班级：12级信计一班姓名：李明学号：1201214049第三章 最速下降法和牛顿法一、上机问题与求解过程1、用最速下降法求212221216423),(x x x x x x f --+=的极小值。
解：仿照书上编写最速下降法程序如下：function [x,val,k]=grad(fun,gfun,x0) %功能：用最速下降法求解无约束化问题：min f(x) %输入：x0是初始点，fun,gfun 分别是目标函数和梯度 %输出：x,val 分别是近似嘴有点和最优值，k 是迭代次数 maxk=5000;rho=0.5;sigma=0.4;%一开始选择时选择的rho 和sibma 选择的数据不够合理，此处我参照书上的数据编写数据 k=0;epsilon=1e-5; while (k<maxk)g=feval(gfun,x0); %计算梯度 d=-g;%计算搜索方向if (norm(d)<epsilon),break ;end m=0;mk=0; while (m<20)%Armijo 搜索if (feval(fun,x0+rho^m*d)<feval(fun,x0)+sigma*rho^m*g'*d) mk=m;break ;%直接利用Armijo 搜索公式,一开始的时候没有记住公式编写出现错误 end m=m+1; endx0=x0+rho^mk*d; k=k+1; end x=x0;val=feval(fun,x0) %求得每一个的函数值然后仿照书上建立两个目标函数和梯度的M 文件：function f=fun(x)f=3*x(1)^2+2*x(2)^2-4*x(1)-6*x(2); function g=gfun(x) g=[6*x(1)-4,4*x(2)-6]';选取初始点为']0,0[，调用函数程序，得出最小极值点为']500.1,6667.0[，极小值为8333.5-，在界面框中输入的程序如下：[x,val,k]=grad('fun','gfun',x0) val = -5.8333 x =0.6667 1.5000 val =-5.8333 k = 10从结果可以看出迭代次数为10次，如果选取不同的初值点则迭代次数不一样，但是极小值相同。
最优化作业2Armijo准则
最优化作业2Armijo准则Armijo准则（Armijo criterion）是最优化算法中一个重要的线准则，用于确定步长的大小。
它通过将目标函数在当前点处的函数值与它沿梯度方向的下降量进行比较，来判断是否接受或拒绝当前的步长。
Armijo准则的基本思想是选择一个小于1的常数幅度因子α（通常为0.1或0.5），并不断减小步长，直到目标函数值满足以下条件：f(x_k+α*d_k)<=f(x_k)+c*α*d_k^T*g_k其中，x_k是当前的位置，d_k是负梯度方向的单位向量，g_k是当前位置处的梯度，c是一个小于1的常数。
这个条件可以解释为，在当前位置沿着负梯度方向前进一段距离α之后，函数值应该下降的足够，大于等于在当前位置直接沿着梯度方向前进一段距离α*c带来的下降量。
如果当前步长满足Armijo准则，那么这个步长就被接受，更新位置为x_{k+1} = x_k + α*d_k。
否则，步长就会被减小，重新计算。
具体来说，根据Armijo准则，可以使用以下的步长算法来确定最优步长：1.设置初始步长α为12.计算f(x_k+α*d_k)。
3.如果f(x_k+α*d_k)<=f(x_k)+c*α*d_k^T*g_k，那么接受这个步长，更新位置为x_{k+1}=x_k+α*d_k。
算法结束。
4.否则，减小步长，重新计算。
一般可以将步长减小为α/2，重复步骤25. 重复步骤4，直到找到满足Armijo准则的步长。
Armijo准则的一个优点是它相对简单且易于实现。
然而，它也有一些缺点。
由于只要求函数值在当前位置沿着梯度方向前进一段距离后下降，所以可能会接受过大的步长，导致算法很难收敛。
此外，Armijo准则只考虑了一阶信息，没有考虑二阶信息，可能导致步长选择不够精确。
因此，在一些情况下，可以使用其他的步长控制准则，如Wolfe准则、Goldstein准则等，来进一步改进最优化算法的性能。
总之，Armijo准则是最优化算法中常用的线准则之一、它通过比较当前步长带来的下降量与在当前位置沿梯度方向前进一段距离带来的下降量，来决定是否接受当前步长。
最优化第一次作业
无约束优化算法最优化课程作业（一）姓名：丁敏学号：31130510012014/6/24一、无约束优化算法无约束优化计算方法是数值计算领域中十分活跃的研究课题。
快速地求解无约束优化问题已经成为当今的焦点，除了其自身的重要性外，还由于目前求解约束优化问题的基本思想之一就是把约束问题变换为一系列无约束子问题进行求解。
因此，无约束优化算法的求解效率将直接影响到约束问题的求解，尤其是在大规模优化问题中。
所以，对无约束优化算法的研究具有重要的理论意义和实际价值。
无约束优化问题，是指优化问题的可行集为n R ，无约束的标准形式（1-1）为：R R f x f n→:)(m i n求解无约束优化问题时将会涉及到以下概念：(1) 驻点、鞍点：若f (x )在点x*处可微，并且0f (x*)∇=，则称x*为f (x )的一个驻点(或者平稳点)。
既不是极小点，也不是极大点的驻点称为鞍点。
(2) 全局最优解：若n x*Z,x R ∈∀∈均有f (x )f (x*)≥，则称x*为问题(1-1)的全局 最优解(3) 局部最优解：若*x D ∈且存在0δ>使得()()()**f x f x ,x DN x δ≥∀∈则称x*为问题(1-1)的一个局部最优解（极小点）；若*x D ∈且存在0δ>使得()()()**f x f x ,x DN x δ≤∀∈则称x*为问题(1-1)的一个局部最优解（极大点）；当目标函数 f ( x )为凸函数时，我们认为全局最优解即是局部最优解，然而，通常寻求全局最优解并不容易。
因此，在非线性优化中我们认为局部最优解即为所求。
无约束优化算法可以分为两大类: 一类是借助目标函数的导数信息来构造下降的搜索方向。
另一类是由目标函数值信息直接搜索求解的方法。
本文章重点介绍最速下降法，阻尼牛顿法以及共轭梯度法。
二、最速下降法1、最速下降法思想经典最速下降法是由 Cauchy 于 1847 年提出的，Forsythe 和 Motzkin 在 1951 年对它做了初步的分析。
北航最优化大作业
图 18: 前两行为迭代点 xk, 后面一行为梯度的 2 范数，显然，前两行行都趋于无穷大，发散，梯度的 2 范数 趋于 13.4536（从 matlab 变量表格中得到）。 4: 初始点 x(0) = (10, 20)T 前两行为迭代点 xk, 后面一行为梯度的 2 范数，显然，前两行行都趋于无穷大，发散，梯度的 2 范数 趋于 13.4536（从 matlab 变量表格中得到）。
33
图 57: 7、9、11、13 迭代停止测试。
当 n=50 时，解 x*=[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1, 1,1,1,1,1,1,1,1, 1,1,1,1,1,1,1,1,1,1] 判断矩阵：
图 58: 可以发现，没有发现负曲率的情况，第 1 和第 2 次的迭代到了边界，第 4、6、8、10、12、14、16 次 迭代到了边界。
▽f (x) = g = −400x1(x2 − x21) + 2x1 − 2
200(x2 − x21)
[
]
▽2f (x) = G = 1200x21 − 400x2 + 2 −400x1
−400x1
200
14
4.1 最速下降法
代码和流程图：
图 33:
图 34: 15
4.1.1 初始点为 (1.2,1.2)
++
)
x1 + x12 − 100
x11
x1
−
50 1
−
x2
−10 − µ(
++
)
x1 + x2 − 100 x2 −x1 + 50 + x2
最优化方法第二周作业答案
, k。
第二周作业（2） 1． 用单纯形方法解下列线性规划问题：
(1)
m in s .t
3 x1 − 5 x 2 − 2 x 3 − x 4 x1 + x 2 + x 3 ≤ 4 4 x1 − x 2 + x 3 + 2 x 4 ≤ 6 − x1 + x 2 + 2 x 3 + 3 x 4 ≤ 1 2 x j ≥ 0 , j = 1,
T
,4
8⎞ 68 ⎛ x * = ⎜ 0 , 4 , 0 , ⎟ , f m in = − . 3⎠ 3 2． ⎝ ( 2 ) m in − 3 x 1 − x 2 s .t 3 x1 + 3 x 2 + x 3 4 x1 − 4 x 2 2 x1 − x 2 x j ≥ 0 , j = 1, x * = ( 7 , 3, 0 , 0 ) , f m in = − 2 4 .
第二周作业： 1．设 S = {x | Ax ≥ b} ，其中 A 是 m × n 矩阵， m > n ， A 的秩为 n 。证明 x 的充要条件是 A 和1 ⎤ ⎡b1 ⎤ A = ⎢ ⎥ ，b = ⎢ ⎥ ⎣ A2 ⎦ ⎣b2 ⎦
其 中 ， A1 有 n 个 行 ， 且 A1 的 秩 为 n ， b1 是 n 维 列 向 量 ， 使 得 A1 x
因此 A 和 b 可作如下分解：
⎡ A1 ⎤ ⎡b1 ⎤ A = ⎢ ⎥ ，b = ⎢ ⎥ ⎣ A2 ⎦ ⎣b2 ⎦
其 中 ， A1 有 n 个 行 ， 且 A1 的 秩 为 n ， b1 是 n 维 列 向 量 ， 使 得 A1 x
(0)
= b1 ，
A2 x ( 0 ) ≥ b2 。 ∵ x (0)是S的极点， " ⇒ （证法 " 2） ∴ 有Ax (0) ≥ b. 设A中只有k 个线性无关的行向量A1 , ⎛ A1 ⎞ ⎜ ⎟ 满足 Bx = ⎜ ⎟ x (0) = b1' . ⎜A ⎟ ⎝ k⎠ ' 其中b1为k维列向量。
最优化作业
[键入公司名称]一题目要求：1.分别用①牛顿法和②变尺度法求解优化问题min f(x)=x^2-2*x*y+4*y^2+x-3*y2.利用①外点法和②内点法解下列约束问题 min f(x)=(x-3)^3+(y-2)^2 s.t. h(x)=x1+x2-4≤0二基本思想牛顿法：应用基本迭代公式X k+1=X k +t k P k 中，每轮迭代在迭代的起始点X K 处用一个适当的二次函数来近似该点处的目标函数，由此用点X K 指向近似二次函数极小点的方向来构造搜索方向Pk. 设()f x 是二次可微实函数，n k x R ∈，Hesse 矩阵()2k f x ∇正定。
在k x 附近用二次Taylor 展开近似f ，()()()()()()212TTk T k k k k f x s q s f x s f x s s f x s +≈=+∇+∇ k s x x =-，()()k q s 为()f x 的二次近似。
将上式右边极小化，便得： ()()121k k k k x x f x f x -+⎡⎤=-∇∇⎣⎦，这就是牛顿法的迭代公式。
在这个公式里，步长因子1k α=。
令()()2,k k k k G f x g f x =∇=∇，则上式也可写成：11k k k k x x G g -+=-显然，牛顿法也可以看成在椭球范数kG⋅下的最速下降法。
事实上，对于()()T k k k f x s f x g s +≈+，k s 是极小化问题minn Tk s R g ss∈的解。
该极小化问题依赖于所取的范数，当采取2l 范数时，k k s g =-，所得方法为最速下降法。
当采用椭球范数kG⋅时，1k k k s G g -=-，所得方法即为牛顿法。
对于正定二次函数，牛顿法一步即可达到最优解。
而对于非二次函数，牛顿法并不能保证有限次迭代求得最优解，但由于目标函数在极小点附近近似于二次函数，故当初始点靠近极小点时，牛顿法的收敛速度一般是快的。
最优化方法大作业模板
命题人：审核人：大作业学期：至学年度第学期课程：最优化方法课程代号：签到序号：使用班级：姓名：学号：题号一二三四五六七八九十总分得分一、（目标1）请从以下6种算法中任选一种，说明算法的来源、定义、基本思想和优缺点，并给出算法步骤（包含算法流程图）和例子（包含程序与运算结果）。
①禁忌搜索算法；②模拟退火算法；③遗传算法；④神经网络算法；⑤粒子群算法；⑥蚁群算法。
二、（目标1）某工厂生产甲、乙两种产品，已知生产这两种产品需要消耗三种材料A 、B 和C ，其中生产过程中材料的单位产品消耗量和总量，以及单位产品的利润如下表所示。
该如何配置安排生产计划，使得工厂所获得的利润最大？材料甲乙资源总量材料A （Kg ）3265材料B （Kg ）2140材料C （Kg ）0375单位利润（元/件）15002500-（1）要保证工厂利润的最大化，写出相应的生产计划数学模型；（2）根据对偶理论，直接写出该线性规划的对偶问题；（3）采用单纯形表法对该该线性规划问题进行求解，写出详细的计算过程；（4）采用Matlab 软件对该线性规划问题进行求解，写出完整的源程序，并给出程序运行结果；（5）讨论当材料B 的资源总量发生变化时，该线性规划问题的最优解会如何变化？课程目标目标1……题号一、二、三、四、五……分值20、25、20、20、15……得分得分三、（目标1）求解下列无约束非线性规划问题（1）采用黄金分割法求解：min 4()24f x x x =++。
初始区间为[-1.0]，精度为ε=10-4。
（要求：采用黄金分割法进行Matlab 编程求解，写出源程序，并给出运行结果，列出迭代过程的数据表格）（2）采用阻尼牛顿法求解：222121212min (,)4f x x x x x x =+-。
分别取两个初始点：x A =(1,1)T ，x B =(3,4)T 。
（要求：采用阻尼牛顿法进行Matlab 编程求解，并给出运行结果，列出迭代过程的数据表格）四、（目标1）求解下列约束非线性规划问题：22112212121212min ()23532..00f x x x x x x x x x x x s t x x =-+--+≤⎧⎪-≤⎪⎨≥⎪⎪≥⎩（1）采用罚函数法进行求解，需写出具体计算过程；（2）采用二次规划方法进行求解，需写出具体计算过程，并进行MATLAB 编程，写出源程序和运算结果；五、（目标1）（1）某商店在未来的4个月里，准备利用它的一个仓库来专门经营某种商品，仓库的最大容量为1000单位，而且该商店每月只能出卖仓库现有的货。