最优化算法课后习题标准版(第三章)
动态最优化第3、4、6章 习题
《动态最优化基础》第3章 课后习题3.2.1（P88）对于泛函V [y ]=∫(t 2+y′2)dt T0，欧拉方程的通解是y ∗(t )=c 1t +c 2（参见联系2.2中问题1）（a ）如果初始条件是y (0)=4且终结条件是T =2，y T 是自由的，那么找出极值线。
（b ）画出一个图形来显示初始点、终结点和极值线。
解：由F =t 2+y′2可知，F y′=2y′。
根据垂直终结线的横截条件可知[F y′]t=T =0，即y ′=0。
又由于y 沿着极值曲线y ∗(t )=c 1t +c 2取值，故有y ∗′(t =2)=c 1=0。
根据初始条件y (0)=4可得y ∗(t =0)=c 2=4。
故极值曲线为：y ∗(t )=4。
图形中显示初始点、终结点和极值曲线如下：ytt=2A3.2.3（P88）令问题1中的终结条件改变为y T =5，T 是自由的 （a ）找出新的极值线。
最优终结时间T ∗是多少？ （b ）画出一个图形来显示初始点、终结点和极值线。
解：根据水平终结线的横截条件可知[F −y′F y′]t=T =0，即T2+y′2−y′∗2y′=0。
亦即y∗′(t=T)=c1=T。
根据初始条件y(0)=4可得y∗(t=0)=c2=4。
又由终结条件y T=5可得y T=c1T+c2=T2+c2=5，解得T∗=1。
故极值曲线为：y∗(t)=t+4。
图形中显示初始点、终结点和极值曲线如下：yA=4tT*=1《动态最优化基础》第4章 课后习题4.2.1（P110）对于练习2.2的问题1（V [y ]=∫(t 2+y ′2)dt T0，y (0)=0，y (1)=2）（a ）用行列式检验（4.9）检查函数F 是否关于(y,y ′)是严格凹/凸的。
（b ）如果此检验失败，利用行列式检验（4.12）或特征根检验来检查凹性/凸性。
（c ）最大化/最小化的充分条件满足吗？ 解：（a ）由被积函数F =t 2+y ′2可得：F y =0，F y′=2y ′，F y ′y ′=2，F yy =F yy′=F y′y =0故行列式|D |=|2000|，|D 1|=2，|D 2|=0。
最优化方法部分课后习题解答(1-7)
最优化方法部分课后习题解答习题一1.一直优化问题的数学模型为：22121122123142min ()(3)(4)5()02()50..()0()0f x x xg x x x g x x x s t g x x g x x =−+−⎧=−−≥⎪⎪⎪=−−+≥⎨⎪=≥⎪=≥⎪⎩试用图解法求出：（1）无约束最优点，并求出最优值。
（2）约束最优点，并求出其最优值。
（3）如果加一个等式约束，其约束最优解是什么？12()0h x x x =−=解：（1）在无约束条件下，的可行域在整个平面上，不难看出，当=（3，4）()f x 120x x *x 时，取最小值，即，最优点为=（3，4）：且最优值为：=0()f x *x *()f x （2）在约束条件下，的可行域为图中阴影部分所示，此时，求该问题的最优点就是()f x 在约束集合即可行域中找一点，使其落在半径最小的同心圆上，显然，从图示中可12(,)x x 以看出，当时，所在的圆的半径最小。
*155(,)44x =()f x 其中：点为和的交点，令求解得到：1()g x 2()g x 1122125()02()50g x x x g x x x ⎧=−−=⎪⎨⎪=−−+=⎩1215454x x ⎧=⎪⎪⎨⎪=⎪⎩即最优点为：最优值为：=*155(,)44x =*()f x 658（3）.若增加一个等式约束，则由图可知，可行域为空集，即此时最优解不存在。
2.一个矩形无盖油箱的外部总面积限定为S，怎样设计可使油箱的容量最大？试列出这个优化问题的数学模型，并回答这属于几维的优化问题.解：列出这个优化问题的数学模型为：该优化问题属于三维的优化问题。
123122313123max ()220..00f x x x x x x x x x x S x s t x x =++≤⎧⎪>⎪⎨>⎪⎪>⎩32123sx y z v⎛⎞=====⎜⎟⎝⎠习题二3.计算一般二次函数的梯度。
最优化设计 课后习题答案
最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P27习题2、4、643第三章最速下降法和牛顿法P41习题1，2，374第四章共轭梯度法P51习题1，3，6(1)105第五章拟牛顿法P73-2126第六章信赖域方法P86-8147第七章非线性最小二乘问题P98-1，2，6188第八章最优性条件P112-1，2,5,6239第九章罚函数法P132，1-(1)、2-(1)、3-(3),62610第十一章二次规划习题11P178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4 1.验证下列各集合是凸集:(1)S={(x1,x2)|2x1+x2≥1,x1−2x2≥1};需要验证：根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1−λ)y∈S.即,(λx1+(1−λ)y1,λx2+(1−λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，{2x1+x2≥1,x1−2x2≥12y1+y2≥1,y1−2y2≥1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1−λ,然后再相加，即得λ(2x1+x2)+(1−λ)(2y1+y2)≥1,λ(x1−2x2)+(1−λ)(y1−2y2)≥1(2)合并同类项，2(λx1+(1−λ)y1)+(λx2+(1−λ)y2)≥1,(λx1+(1−λ)y1)−2(λx2+(1−λ)y2)≥1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x)=x21−2x1x2+x22+2x1+3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。
最优化课后习题答案
最优化课后习题答案最优化课后习题答案最优化是一门重要的数学学科，它研究如何在给定的约束条件下，找到一个最优的解决方案。
在学习最优化课程时，我们通常会遇到一些习题，这些习题旨在帮助我们理解和应用最优化的原理和方法。
本文将为大家提供一些最优化课后习题的答案，以帮助大家更好地掌握这门学科。
1. 线性规划问题线性规划是最优化中的一个重要分支，它主要研究线性约束条件下的最优解。
下面是一个线性规划问题的示例：Maximize Z = 3x + 5ySubject to:x + y ≤ 62x + y ≤ 8x, y ≥ 0首先，我们需要将目标函数和约束条件转化为标准形式。
将不等式约束转化为等式约束，引入松弛变量，得到以下标准形式：Maximize Z = 3x + 5ySubject to:x + y + s1 = 62x + y + s2 = 8x, y, s1, s2 ≥ 0接下来，我们可以使用单纯形法求解该线性规划问题。
根据单纯形法的步骤，我们可以得到最优解为 Z = 22，x = 2，y = 4，s1 = 0，s2 = 0。
2. 非线性规划问题除了线性规划，最优化还涉及到非线性规划问题。
非线性规划是指目标函数或约束条件中存在非线性项的最优化问题。
下面是一个非线性规划问题的示例：Minimize f(x) = x^2 + 3x + 5Subject to:x ≥ 0对于这个问题，我们可以使用求导的方法来找到最优解。
首先，求目标函数的导数：f'(x) = 2x + 3将导数等于零，解得 x = -1.5。
由于约束条件x ≥ 0，所以最优解为 x = 0。
3. 整数规划问题整数规划是指在最优化问题中，决策变量必须取整数值的情况。
下面是一个整数规划问题的示例：Maximize Z = 2x + 3ySubject to:x + 2y ≤ 10x, y ≥ 0x, y 为整数对于这个问题，我们可以使用分支定界法来求解。
最优化计算方法课后习题答案----高等教育出社。施光燕
习题二包括题目： P36页 5（1）（4）5（4）习题三包括题目：P61页 1(1)(2); 3; 5; 6; 14；15(1) 1(1)(2)的解如下3题的解如下5,6题14题解如下14. 设22121212()(6)(233)f x x x x x x x =+++---, 求点在(4,6)T-处的牛顿方向。
解：已知 (1)(4,6)T x=-，由题意得121212212121212(6)2(233)(3)()2(6)2(233)(3)x x x x x x x f x x x x x x x x +++-----⎛⎫∇= ⎪+++-----⎝⎭∴ (1)1344()56g f x -⎛⎫=∇=⎪⎝⎭21212122211212122(3)22(3)(3)2(233)()22(3)(3)2(233)22(3)x x x x x x x f x x x x x x x x +--+--------⎛⎫∇= ⎪+--------+--⎝⎭∴ (1)2(1)1656()()564G x f x --⎛⎫=∇=⎪-⎝⎭(1)11/8007/400()7/4001/200G x --⎛⎫= ⎪--⎝⎭∴ (1)(1)11141/100()574/100d G x g -⎛⎫=-=⎪-⎝⎭15（1）解如下15. 用DFP 方法求下列问题的极小点（1）22121212min 353x x x x x x ++++解：取 (0)(1,1)T x=，0H I =时，DFP 法的第一步与最速下降法相同2112352()156x x f x x x ++⎛⎫∇= ⎪++⎝⎭， (0)(1,1)T x =，(0)10()12f x ⎛⎫∇= ⎪⎝⎭(1)0.07800.2936x -⎛⎫= ⎪-⎝⎭， (1)1.3760() 1.1516f x ⎛⎫∇= ⎪-⎝⎭以下作第二次迭代(1)(0)1 1.07801.2936x x δ-⎛⎫=-= ⎪-⎝⎭， (1)(0)18.6240()()13.1516f x f x γ-⎛⎫=∇-∇= ⎪-⎝⎭0110111011101T T T TH H H H H γγδδδγγγ=+- 其中，111011126.3096,247.3380T T TH δγγγγγ===111.1621 1.39451.3945 1.6734Tδδ⎛⎫= ⎪⎝⎭ ， 01101174.3734113.4194113.4194172.9646T TH H γγγγ⎛⎫== ⎪⎝⎭所以10.74350.40560.40560.3643H -⎛⎫= ⎪-⎝⎭(1)(1)1 1.4901()0.9776dH f x -⎛⎫=-∇= ⎪⎝⎭令 (2)(1)(1)1xx d α=+ ， 利用 (1)(1)()0df x d d αα+=，求得 10.5727α=-所以 (2)(1)(1)0.77540.57270.8535xx d⎛⎫=-= ⎪-⎝⎭ ， (2)0.2833()0.244f x ⎛⎫∇= ⎪-⎝⎭以下作第三次迭代(2)(1)20.85340.5599x x δ⎛⎫=-= ⎪-⎝⎭ ， (2)(1)2 1.0927()()0.9076f x f x γ-⎛⎫=∇-∇= ⎪⎝⎭22 1.4407T δγ=- ， 212 1.9922T H γγ=220.72830.47780.47780.3135T δδ-⎛⎫=⎪-⎝⎭1221 1.39360.91350.91350.5988T H H γγ-⎛⎫= ⎪-⎝⎭所以22122121222120.46150.38460.38460.1539T T T TH H H H H δδγγδγγγ-⎛⎫=+-= ⎪-⎝⎭(2)(2)20.2246()0.1465d H f x ⎛⎫=-∇= ⎪-⎝⎭令 (3)(2)(2)2xxdα=+ ， 利用(2)(2)()0df x d d αα+=，求得 21α=所以 (3)(2)(2)11x x d ⎛⎫=+=⎪-⎝⎭， 因为 (3)()0f x ∇=，于是停止 (3)(1,1)T x =-即为最优解。
最优化计算方法
ymax=subs(y,x,xmax)
Newton 法
求方程F(x)=0的根.
牛顿法： x(n)=x(n-1)-F(x(n-1))/F’(x(n-1))
F = dydx; F1 = diff(F,x); format long N = 10; % number of iterations x0 = 19 % initial guess fprintf(' iteration xvalue\n\n'); for i=1:N x1=x0-subs(F,x,x0)/subs(F1,x,x0); fprintf('%5.0f %1.16f\n', i, x1); x0 = x1; end display('Hence, the critical point (solution of F=0) is (approx)'), x1
xmax figure, ezcontourf(z,[0.1 10 0.1 10]) hold on plot3(xmax(1),xmax(2),zmax, 'mo', 'LineWidth',2,... 'MarkerEdgeColor','k', 'MarkerFaceColor',[.49 1 .63],... 'MarkerSize',12); title('Countour plot and optimal value');
a=0; b=6; c=0; d=6; N=1000; x0 = a+(b-a)*rand(1); y0 = c+(d-c)*rand(1); zmin = subs(z,[x,y],[x0,y0]); fprintf(' Iteration xmin ymin zmin value\n\n'); for n=1:N xnew=a+(b-a)*rand(1); ynew=c+(d-c)*rand(1); znew=subs(z,[x,y],[xnew,ynew]); if znew<zmin xmin=xnew; ymin=ynew; zmin=znew; fprintf('%4.0f %1.6f %1.6f %1.6f\n', n, xmin, ymin, zmin); end end
东北大学张薇最优化第三章 例题(新)
xk 1 xk G( xk )1 g ( xk ) , k=1,2,…
Newton 法是 2 阶收敛算法，具有二次终止性.n 对于正定二次目标函数，Newton 迭代 一步即可求到极小点；对于非正定二次目标函数，Newton 法一般不会一步迭代终止. 例 3.3 用 Newton 法求解无约束极小化问题
3, 0
1 1 0 1 1 0 2 0
g1 g1 g0
2 2
p0
0 1 3 3 4 1 . // p1 3 2 4 0 3 2 2 T g1 p x1 T 1 x2 x1 t1 p1 p1 Qp1 p1
取 x0 1, 0 .迭代二次.
T
解
2 3 x1 3 x2 6 x1 3 f ( x ) , G ( x ) ， 2 3 x1 3 x2 3 6 x2
第一次迭代
3 1 g 0 ，取 p0 . 设 3 1 1 1 1 t x x0 tp0 t ， 0 1 t
共轭梯度法是超线性收敛算法，具有二次终止性.对于 n 元正定二次目标函数，共轭 梯度法至多 n 次迭代即可求到极小点；对于 n 元非二次目标函数，共轭梯度法一般不会 在有限步迭代终止. 例 3.5 用 F-R 共轭梯度法求解无约束极小化问题
2 min f x1 , x2 x12 x2 x1x2 4x1 x2 1 .
T T
6 3 G x2 正定，故 x2 是严格局部极小点. 3 6
最优化方法 第三章(可行方向法)
又 f ( x k )T d * * 0,
d * 是可行下降方向。
改进方法具有全局收敛性。
一、Zoutendijk法
Frank Wolfe 方法 min f ( x )
给定线性规划问题
Ax b s .t . x0
f ( x k )T d k 0 gi ( x k )T d k 0 , i I ( x k )
1 di 1, i 1, 2,
,n
������ = 0 , 则 ������ ������ 处不存在可行下降方向 , ������ ������ 已是 ������−������ 点. 有例子表明上述方法不一定收敛到 ������−������ 点，即总有������ < 0 .
如果可行点为内点， 可取������ = −������������(������ )计算。
一、Zoutendijk法 非线性约束模型的可行方向确定方法
min s.t.
z f ( x )T d z 0 gi ( x) d z 0, i I
T
一、Zoutendijk法 线性约束模型的可行方向
min f ( x ) Ax b s .t . Cx e
紧约束
A1 b1 定理 设 x D ，在点 x 处有 A1 x b1 , A2 x b2 , 其中A , b ， A2 b2 则非零向量 d 是 x 处的可行方向的充分必要条件是
定理 设 f ( x )可微， x k D, 如果y k 是上述线性规划的最优解,则有
(1) 当f ( x k )T ( y k x k ) 0时 , 则x k 是(1)的K -T点；
最优化-刘志斌-课后习题3-5参考答案要点word版本
最优化-刘志斌-课后习题3-5参考答案要点练习题三1、用0.618法求解问题12)(min 30+-=≥t t t t ϕ的近似最优解，已知)(t ϕ的单谷区间为]3,0[，要求最后区间精度0.5ε=。
答：t=0.8115；最小值-0.0886.（调用golds.m 函数）（见例题讲解5） 2、求无约束非线性规划问题min ),,(321x x x f =123222124x x x x -++ 的最优解解一：由极值存在的必要条件求出稳定点： 1122f x x ∂=-∂，228f x x ∂=∂，332f x x ∂=∂，则由()0f x ∇=得11x =，20x =，30x = 再用充分条件进行检验：2212f x ∂=∂，2228f x ∂=∂，2232fx ∂=∂，2120f x x ∂=∂∂，2130f x x ∂=∂∂，2230f x x ∂=∂∂ 即2200080002f ⎛⎫⎪∇= ⎪ ⎪⎝⎭为正定矩阵得极小点为T *(1,0,0)x =，最优值为-1。
解二：目标函数改写成min ),,(321x x x f =222123(1)41x x x -++- 易知最优解为（1,0,0），最优值为-1。
3、用最速下降法求解无约束非线性规划问题。
2221212122)(m in x x x x x x X f +++-=其中T x x X ),(21=，给定初始点T X )0,0(0=。
解一：目标函数()f x 的梯度112122()()142()122()()f x x x x f x x x f x x ∂⎡⎤⎢⎥∂++⎡⎤⎢⎥∇==⎢⎥-++∂⎢⎥⎣⎦⎢⎥∂⎣⎦(0)1()1f X ⎡⎤∇=⎢⎥-⎣⎦令搜索方向(1)(0)1()1d f X -⎡⎤=-∇=⎢⎥⎣⎦再从(0)X 出发，沿(1)d 方向作一维寻优，令步长变量为λ，最优步长为1λ，则有(0)(1)0101Xdλλλλ--⎡⎤⎡⎤⎡⎤+=+=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦故(0)(1)2221()()()2()2()2()f x f X d λλλλλλλλλϕλ=+=--+-+-+=-=令'1()220ϕλλ=-=可得11λ= (1)(0)(1)1011011X X d λ--⎡⎤⎡⎤⎡⎤=+=+=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦ 求出(1)X 点之后，与上类似地，进行第二次迭代：(1)1()1f X -⎡⎤∇=⎢⎥-⎣⎦ 令(2)(1)1()1d f X ⎡⎤=-∇=⎢⎥⎣⎦令步长变量为λ，最优步长为2λ，则有(1)(2)111111X d λλλλ--⎡⎤⎡⎤⎡⎤+=+=⎢⎥⎢⎥⎢⎥+⎣⎦⎣⎦⎣⎦ 故(1)(2)2222()()(1)(1)2(1)2(1)(1)(1)521()f x f X d λλλλλλλλλϕλ=+=--++-+-+++=--=令'2()1020ϕλλ=-=可得 215λ= (2)(1)(2)2110.8111 1.25X X d λ--⎡⎤⎡⎤⎡⎤=+=+=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦(2)0.2()0.2f X ⎡⎤∇=⎢⎥-⎣⎦ 此时所达到的精度(2)()0.2828f X ∇≈ 本题最优解11.5X *-⎡⎤=⎢⎥⎣⎦，()1,25f X *=-解二：利用matlab 程序求解首先建立目标函数及其梯度函数的M 文件 function f=fun(x)f=x(1)-x(2)+2*x(1)*x(1)+2*x(1)*x(2)+x(2)*x(2); function g=gfun(x)g=[1+4*x(1)+2*x(2),-1+2*x(1) +2* x(2) ]; 调用grad.m 文件 x0=[0,0];[x,val,k]=grad('fun','gfun',x0) 结果x=[ -1.0000 ,1.5000] val= -1.2500 k=33即迭代33次的到最优解x=[ -1.0000 ,1.5000]；最优值val= -1.2500。
最优化计算方法课后习题答案解析
习题二包括题目： P36页 5〔1〕〔4〕 5〔4〕习题三包括题目：P61页 1(1)(2); 3; 5; 6; 14；15(1) 1(1)(2)的解如下 3题的解如下 5,6题14题解如下14. 设22121212()(6)(233)f x x x x x x x =+++---, 求点在(4,6)T-处的牛顿方向。
解： (1)(4,6)T x=-，由题意得∴(1)1344()56g f x -⎛⎫=∇=⎪⎝⎭21212122211212122(3)22(3)(3)2(233)()22(3)(3)2(233)22(3)x x x x x x x f x x x x x x x x +--+--------⎛⎫∇= ⎪+--------+--⎝⎭∴(1)2(1)1656()()564G x f x --⎛⎫=∇=⎪-⎝⎭∴(1)(1)11141/100()574/100d G x g -⎛⎫=-=⎪-⎝⎭15〔1〕解如下15. 用DFP 方法求以下问题的极小点〔1〕22121212min 353x x x x x x ++++解：取 (0)(1,1)T x=，0H I =时，DFP 法的第一步与最速下降法一样2112352()156x x f x x x ++⎛⎫∇= ⎪++⎝⎭， (0)(1,1)T x =，(0)10()12f x ⎛⎫∇= ⎪⎝⎭(1)0.07800.2936x -⎛⎫= ⎪-⎝⎭， (1)1.3760() 1.1516f x ⎛⎫∇= ⎪-⎝⎭以下作第二次迭代(1)(0)1 1.07801.2936x x δ-⎛⎫=-= ⎪-⎝⎭， (1)(0)18.6240()()13.1516f x f x γ-⎛⎫=∇-∇= ⎪-⎝⎭其中，111011126.3096,247.3380T T TH δγγγγγ===11 1.1621 1.39451.3945 1.6734T δδ⎛⎫= ⎪⎝⎭ ， 01101174.3734113.4194113.4194172.9646T TH H γγγγ⎛⎫== ⎪⎝⎭所以 令 (2)(1)(1)1xx d α=+ ， 利用 (1)(1)()0df x d d αα+=，求得 10.5727α=-所以 (2)(1)(1)0.77540.57270.8535x x d ⎛⎫=-= ⎪-⎝⎭ ， (2)0.2833()0.244f x ⎛⎫∇= ⎪-⎝⎭以下作第三次迭代(2)(1)20.85340.5599x x δ⎛⎫=-= ⎪-⎝⎭ ， (2)(1)2 1.0927()()0.9076f x f x γ-⎛⎫=∇-∇= ⎪⎝⎭22 1.4407T δγ=- ， 212 1.9922T H γγ=所以 令 (3)(2)(2)2xxdα=+ ， 利用(2)(2)()0df x d d αα+=，求得 21α= 所以 (3)(2)(2)11x x d ⎛⎫=+=⎪-⎝⎭， 因为 (3)()0f x ∇=，于是停顿 (3)(1,1)T x =-即为最优解。