《最优化方法》复习题.docx

《最优化方法》复习题

一、 简述题

1、怎样判断一个函数是否为凸函数.

(例如:判断函数f(x) =昇+ 2兀內+ 2近一 10州+ 5兀2是否为凸函数)

2、 写出几种迭代的收敛条件.

3、 熟练掌握利用单纯形表求解线性规划问题的方法(包括大M 法及二阶段法).

见书本61页(利用单纯形表求解)；

69页例题(利用大M 法求解、二阶段法求解)； 4、 简述牛顿法和拟牛顿法的优缺点.

简述共辘梯度法的基木思想.

写岀Goldstein> Wolfe 非精确一维线性搜索的公式。

5、叙述常用优化算法的迭代公式.

心=务+吕—％),

化-知1

仏二务+召一色)

(3) Newton —维搜索法的迭代公式：x k+i = x k -G~'g k ? (4) 推导最速下降法用于问题min/(x) = —+

+ c 的迭代公式:

耳+1 二无一-

Vfg

S k G k gx k

(5) Newton 法的迭代公式：x k+] = x k -[V 2/(^)]_l V/*(x A )? (6) 共轨方向法用于问题min/(x)=丄x r

Qx+b 1

x + c 的迭代公式:

2

忑+1 =

J

二、计算题

双折线法练习题 课本135页 例3.9.1

FR 共辘梯度法例题：课本150页 例4.3.5

(1) 0.618法的迭代公式:

A- =a

k +（1-厂）（勺一务）,

(2) Fibonacci 法的迭代公式: 伙= 1,2,…,一1）

二次规划有效集：课本213页例6.3.2,

所有留过的课后习题.

三、练习题：

1、 设A G R ,iXn

是对称矩阵，bwR”，cwR,求/(%) =丄*心+戻兀+ c 在任意点x 处 的梯度和

Hesse 矩阵.

解 V/*(x) = Ar + /?, V 2/(x) = A ?

2、 设0(/) = /(兀 + 力)，其屮/:/?" T R 二阶可导，XG R\de R\te R ,试求0"(/)?

解 0(/) = W(x + /d) 丁4,矿⑴=dF f(x~Hd)d .

3、 证明：凸规划min f(x)的任意局部最优解必是全局最优解.

xeS

证明 用反证法.设住S 为凸规划问题min /(x)的局部最优解，即存在丘的某

xeS

个5邻域N s (x),使f(x)

花S,使/(i) < /(x)?由于/(兀)为S 上的凸函数，因此

VA G (0,1),有

/(Ax + (1-2)x) < 2/(x) + (1-2)/(x) < f(x)?

当2充分接近1时，可使2元+(1 — 2)农 皿(元)「IS,于是/(x)

min f(x) = 2x t -x 2 +x 3; s.t. 3兀］+ x 2 + x 3 < 60,

x l - 2X 2 + 2X 3 <10,

%! + x 2 - x 3 < 20, (1)用单纯形法求解该线性规划问题;

(2)写出线性规划的对偶问题;

解 (1)引进变量兀，兀5,兀6,将给定的线性规划问题化为标准形式:

min /(%) = 2x t -x 2 +x 3; s.t. 3x ( + 兀 + 耳 + % = 60,

%j - 2X 2 + 2X 3 + 冯=10,

所给问题的最优解为x = （0,20,0）r ,最优值为/ = -20?

4、已知线性规划

:

（2）所给问题的对偶问题为：

max g（y） = -60^-10^ - 20%；皿_3”_旳_儿52,

< _必+2旳_儿S_l，

一开_2旳 + %<1，

儿力*3?°?

5、用0.618法求解min 0（f） = （f-3尸，要求缩短后的区间长度不超过0.2,初

始区间取[0,10]?

解第一次迭代：

取y [0,10],￡ = 0.2.

确定最初试探点人，“分别为

入=^+0.382（^-^,） = 3.82, M =坷+0.618（勺一马）=6?18 .

求目标函数值：°（人）=（3.82— 3）2 =0.67, °（“）= （6.18 — 3）2 =10.11.

比较目标函数值：0（人）< 0（"）?

比较 //| —6f| = 6.18 — 0 > 0.2 = E ?

第二次迭代：

a2 = a x = 0,Z?2= “| = 6.18,/ =人=3.82,。（角）=0（人）=0.67 .

入=口2 +0.382? - a?） = 0.382（6.18-0） = 2.36,0（&） = （2.36 —3）2 = 0.4. 0（入）V0（“2）,“2 一°2 =3.82>￡?

第三次迭代：

a3 = a2 = 0, b3 =角=3.82, “3 = & = 2.36,（p（p） ~ 0（希）=0.4.

入=色 + 0.382（伏—色）=0.382（3.82 — 0） = 1.46,俠入）=（1.46一3）2 = 2.37 . （pa） > 0（“3）,仇一入=3.82 -1.46 > ￡?

第四次迭代：

偽=人=1.46,$ =b3= 3.82, A4 =“3 = 2.36,卩（人）=0（角）=0.4 .

“4 =為 + 0618（勺一為）=1 ?46 + 0.0.618（3.82一1.46） = 2.918, °（角）

=0.0067 .

0（入）> 0（角），〃4 一入=3.82-2.36 >￡?

第五次迭代：

a5 = A4 = 2.36, b5 = /?4 = 3.82,入二仏=2.91& 卩（人）=— 0.0067 ?

“5 = a5 +0618（2 -@） = 3.262, °（“5）= 0.0686 ?

0（入）v 0（“5）,“5 一@ = 3.262-2.36 >￡?

第六次迭代：

a b = a5= 2.36,Q = = 3.262,//6 =入=2.918, ^（//6）=。（人）=0.0067 . 几6 = Q +0.382@6 —％） = 2.7045,。（人）=0.087 .

（P人）>（P3J, b& -九& =3.262-2.7045 >￡?

第七次迭代：

6f7 = A6 = 2.7045, $ = b? = 3.262,入== 2.91& 仅入）=— 0.0067 ?

角=為+0.618（$ —①）=3.049,俠角）=0.002 ?

（p@）>W，b十爲>￡ ?

第八次迭代：

遍=右=2.918, b& =h7 = 3.262,兔=角=3.049,卩（入）=。（角）=0.002 .

“8 = $ +0.618（2 —经）=3.131,叭吋=0.017 ?

（P（心业一遍>￡ ?

第九次迭代：

@ =兔=2.91 & 代=佻=3」31,角=入=3.049, ^（//9）=。（心）=0.002 ?

入=@ + 0.382（% — @） = 2.999 "Q）二0.000001 ?

0（入）v 0（〃9）,“9 一他=3.049-2.918<￡?

故*￥"024.

6、用最速下降法求解min/0)=彳+ 2西兀2 + 2€-4片-3兀2,取x?=(l,l)T,迭代 两次.

解 V/(x) = (2旺 + 2X 2 - 4,2兀］4- 4X 2 - 3)7

,

1

（2 2}

将/⑴写成f （x ） = — x 1

Gx-}-b I

x 的形式，则!2= ,b =

2

（2 4?丿

第一次迭代：

(0)

V/(x (0))7V/(x (0)) (0) V/(兀(oyGWCO 八)

7、用FR 共辘梯度法求解

min /（x ）=（西一兀2 +兀3尸 +（-兀i +x 2 +x 3）2 +（兀］+x 2-x 3）2,取兀? =（舟,1,舟）丁 ,迭代 两次.若给定￡ = 0.01,判定是否还需进行迭代计算.

解 f (^) = 3(x,2 + X 22 + X 32)- 2(XjX 2 + XjX 3 4- x 2x 3),

第一次迭代：

V/*(x (0)) = (0,4,0)T ，令 d° = -V/*(x (0) ) = (0,-4,0)r ,

（1）

（0,3）庠

V 2、

、2 4

丿

第二次迭代:

(2)

Y2⑴）Wf （d ）） V 仏⑴） 叫⑴）5?（卍）八

(-3/2,0)

-3/2、

°丿

(—312、 (7/4)

(1/4 丿

V 2、 ~3/2、

2 4>

< o >

再写成 f(x) = — x l

Gx,

(0,3)

(-3/2,0)

0广(1/4丿

<6

G= -2 Yf(x) = Gx ?

从少出发，沿进行一维搜索，即求咽F /(x

(o>

+ Ad (}) = 2-16A + 48A 2

的最优解, 得

入=l/6,x ⑴=2°)+入〃0二(1/2,1/3,1/2)卩?

第一次迭代：

d 、= —V/(兀⑴)+ a(Mo = (—4 / 3, —8 / 9, —4 / 3)丁 ?

从兀⑴岀发，沿％进行一维搜索，即求

的最优解，得

此时

号(兀⑵)=(

O ,O ,O

)T

,||W (2)

)|| = O < O .OI = ￡ ?

得问题的最优解为X = (0,0,0)r ,无需再进行迭代计算?

8、 求解问题(方法不限定)

min /(兀)=

-5X, -10x 2

s ?t ?2若一3兀2 5 30

取初始点(0,5)\

X, + 4兀2 S 20 兀I ,吃no

9、 采用精确搜索的BFGS 算法求解下面的无约束问题：

min f(x) = —xf + 兀;-x {x 2

1 4 1 R 1 4

型财(宀対)无亍亍討厂护-2

-2 6 -2 -2y

-2 6丿 /

(\ 4 \

---A 2 3

1 8 .

----- X 3 9 丄

士

，兀 S/2、

3 +- 了-4/3、 1/3 -8/9

8 1—4/3,

(0,0,0)'

?

& =-^,x (2>

= x ⑴ + 人

￡

10、用有效集法求解下面的二次规划问题：

min f (x) = Xj 2

+ — 2x } 一 4x 2

S.t. — X| — %2 +1 — 0

￡ > 0,x 2 > 0.

解:取初始可行点x (0) = (0,0),A) = A (X (O)) = {2,3}.求解等式约束子问题

min d ； +d ； - 2% _ 4d 2

s.t.d 、= 0, d° = 0

得解和相应的Lagrange 乘子

解：取%

(0) = (l,l)r

B 0=I Vf(x) =

兀】一七

、2兀2-仏

笫一步迭代：

0、

打

V/(x (0)) =

勺、

第二步迭代：

(1

<0 ]

1 ，w (l)

)=

2

,J —

1

<~2>

y (0)=W (l))-W (0)

)

丄

2

、一 1丿

■M 1 0 _o o - 「1/2 -f

■3/2 -1

—

+

0 1

0 1

-1 2_

-1 2_

~2 l~4>

,0（a ） = /（兀⑴+加⑴）,令0（a ） = 0,求得心=2。故

兀⑵二兀⑴+如⑴=

,由于Y/*（兀⑵）=

,故兀⑵为最优解。

0（a ）= /（x （o ）+G/（o ））= * +（l_G ）2+a,令0（Q ）= O ,求得

Q °=I /2；

x (,)=x (0)+a 0J (0)

B\ =

严=(0,0)学=(-2,-4)7' 故得

严=/0)=(0,0)\^=4)\{3} = {2}

转入第二次迭代。求解等式约束子问题

min d「+ d；— 2d、— 4d°

s.t.d A = 0

得解

d⑴=(0,2jJ0 计算

令

兀⑵二兀⑴ + a”⑴二(O,l)r,A2二人U {1}二{1,2}

转入第三次迭代。求解等式约束子问题

min d； + d； - 2d、- 2d?

+ 〃2 = °，4 =0

得解和相应的Lagrange乘子

d ⑺=(0,0)r,/l = (2,0)r

由于2⑵＞0,故得所求二次规划问题的最优解为

F=x(2)=(0,ljr,

相应的Lagrange乘子为

Z =(2,0,0/

最速下降法的优缺点: 优点：方法简单，计算量较小；最速下降法为全局收敛，对初始点的要求很少。

缺点：最速下降法的收敛速度与变量的尺度关系很大，对有些例子，在极小点附近产生显著的锯齿现象，收敛十分缓慢；最速下降法的最速下降仅是一种局部性质，即从局部来看目标函数的值下降得最快，但从总体来看它可能走了许多弯路。

牛顿法的优缺点：

优点：牛顿法的收敛速度快，为二阶收敛；公式简单, 计算方便。

缺点：牛顿法要求f（x）二阶可微，迭代中需多次计算 ;牛顿法具有局部收敛性，对初始点的要求比较苛刻。

共轨梯度法的优缺点：

优点：计算公式简单，存储量较小，对初始点要求很少，对二次函数具有二次终止性；收敛速度介于最速下降法和牛顿法之间，对高维（n较大）的非线性函数具有较高的效率。对于二次函数具有二次终止性，一般情况下优于共轨梯度法。

缺点：共轨梯度法的收敛性依赖于精确的一维搜索，计算量较大；共轨梯度法的一些理论背景至今尚不清楚，如周期性的重新开始，初始搜索放心的选取，一维搜索的精确性等，对共轨梯度法执行的影响仍有待进一步研究。

拟牛顿法的优缺点：

优点：拟牛顿法具有较快的收敛速度（是超线性的）；

对于二次函数具有二次终止性，一般情况下优于共轨梯度法。

缺点：拟牛顿法需要的存储量较大，对大型计算不便；DFP法远不如BFGS法数值稳定性好，BFGS法具有较强的数值计算稳定性。