《最优化方法》复习题(含答案)

附录5 《最优化方法》复习题

1、设n n A R ?∈是对称矩阵，,n b R c R ∈∈，求1()2

T

T f x x Ax b x c =++在任意点x 处的梯度和Hesse 矩阵．

解 2(),()f x Ax b f x A ?=+?=．

2、设()()t f x td ?=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求()t ?''． 解 2()(),()()T T t f x td d t d f x td d ??'''=?+=?+．

3、设方向n d R ∈是函数()f x 在点x 处的下降方向，令

()()()()()

T T

T T

dd f x f x H I d f x f x f x ??=--???， 其中I 为单位矩阵，证明方向()p H f x =-?也是函数()f x 在点x 处的下降方向． 证明 由于方向d 是函数()f x 在点x 处的下降方向，因此()0T f x d ?<，从而

()()()T T f x p f x H f x ?=-??

()()()()()()()()

T T

T

T T dd f x f x f x I f x d f x f x f x ??=-?--????

()()()0T T f x f x f x d =-??+?<，

所以，方向p 是函数()f x 在点x 处的下降方向． 4、n S R ?是凸集的充分必要条件是12122,,,

,,,,

,m m m x x x S x x x ?≥?∈的一切

凸组合都属于S ．

证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当2m =时，由凸集的定义知结论成立，下面考虑1m k =+时的情形．令1

1k i i i x x λ+==∑，

其中,0,1,2,,1i i x S i k λ∈≥=+，且1

1

1k i i λ+==∑．不妨设11k λ+≠（不然1k x x S +=∈，

结论成立），记11

1k

i

i i k y x λλ=+=-∑

，有111(1)k k k x y x λλ+++=-+，

又

11

1

0,1,2,,,111k

i

i

i k k i k λλλλ=++≥==--∑

，

则由归纳假设知，y S ∈，而1k x S +∈，且S 是凸集，故x S ∈．

5、设n R S ?为非空开凸集，R S f →:在S 上可微，证明：f 为S 上的凸函数的充要条件是2112112()()()(),,T f x f x f x x x x x S ≥+?-?∈．

证明 必要性．设f 是S 上的凸函数，则12,x x S ?∈及(0,1)λ∈，有

2121((1))()(1)()f x x f x f x λλλλ+-≤+-，

于是

121121(())()

()()f x x x f x f x f x λλ

+--≤-，

因S 为开集，f 在S 上可微，故令0λ+→，得

12121()()()()T f x x x f x f x ?-≤-，即2112112()()()(),,T f x f x f x x x x x S ≥+?-?∈．

充分性．若有2112112()()()(),,T f x f x f x x x x x S ≥+?-?∈， 则[0,1]λ?∈，取12(1)x x x S λλ=+-∈，从而

11()()()()T f x f x f x x x ≥+?-，22()()()()T f x f x f x x x ≥+?-，

将上述两式分别乘以λ和1λ-后，相加得

1212()(1)()()()((1))T f x f x f x f x x x x λλλλ+-≥+?+--

12()((1))f x f x x λλ==+-，

所以f 为凸函数．

6、证明：凸规划min ()x S

f x ∈的任意局部最优解必是全局最优解．

证明 用反证法．设x S ∈为凸规划问题min ()x S

f x ∈的局部最优解，即存在x 的某

个δ邻域()N x δ，使()(),()f x f x x N x S δ≤?∈．若x 不是全局最优解，则存在

x S ∈，使()()f x f x <．由于()f x 为S 上的凸函数，因此

(0,1)λ?∈，有

((1))()(1)()()f x x f x f x f x λλλλ+-≤+-<．

当λ充分接近1时，可使(1)()x x N x S δλλ+-∈，于是()((1))f x f x x λλ≤+-，矛盾．从而x 是全局最优解．

7、设n R S ?为非空凸集，R S f →:是具有一阶连续偏导数的凸函数，证明：x 是问题min ()x S

f x ∈的最优解的充要条件是：()()0,T f x x x x S ?-≥?∈．

证明 必要性．若x 为问题min ()x S

f x ∈的最优解．反设存在x S ∈，使得

()()0T f x x x ?-<，则d x x =-是函数()f x 在点x 处的下降方向，这与x 为问题

min ()x S

f x ∈的最优解矛盾．故()()0,T f x x x x S ?-≥?∈．

充分性．若()()0,T f x x x x S ?-≥?∈．反设存在x S ∈，使得()()f x f x <．

(())()

((1))()

f x x x f x f x x f x λλλλ

λ

+--+--=

()(1)()()

()()0((0,1)f x f x f x f x f x λλλλ

+--≤

=-

因S 为凸集，f 在S 上可微，故令0λ+→，得

()()()()0T f x x x f x f x ?-≤-<，这与已知条件矛盾，故x 是问题min ()x S

f x ∈的最优

解．

8、设函数()f x 具有二阶连续偏导数，k x 是()f x 的极小点的第k 次近似，利用

()f x 在点k x 处的二阶Taylor 展开式推导Newton 法的迭代公式为 211[()]()k k k k x x f x f x -+=-??．

证明 由于()f x 具有二阶连续偏导数，故

21

()()()()()()()()2

T T k k k k k k f x x f x f x x x x x f x x x ?≈=+?-+-?-．

且2()k f x ?是对称矩阵，因此()x ?是二次函数．为求()x ?的极小点，可令

()0x ??=，即2()()()0k k k f x f x x x ?+?-=，若2()k f x ?正定，则上式解出的()

x ?的平稳点就是()x ?的极小点，以它作为()f x 的极小点的第1k +次近似，记为

1k x +，即211[()]()k k k k x x f x f x -+=-??，这就得到了Newton 法的迭代公式.

9、叙述常用优化算法的迭代公式．

（1）0.618法的迭代公式：(1)(),

().

k k k k k k k k a b a a b a λτμτ=+--??=+-?

（2）Fibonacci 法的迭代公式：11

1(),(1,2,,1)()

n k k

k k k n k n k k k k k n k F a b a F k n F a b a F λμ---+--+?

=+-??=-?

?=+-??

．

（3）Newton 一维搜索法的迭代公式： 1()

()

k k k k t t t t ??+'=-''． （4）最速下降法用于问题1min ()2

T

T f x x Qx b x c =

++的迭代公式： 1()()

()()()

T k k k k k T

k k f x f x x x f x f x Q f x +??=-??? （5）Newton 法的迭代公式：211[()]()k k k k x x f x f x -+=-??． （6）共轭方向法用于问题1min ()2

T

T f x x Qx b x c =

++的迭代公式： 1()T k k

k k k T

k k

f x d x x d d Qd +?=-． 10、已知线性规划：

123123123123123min ()2;..360,2210,20,,,0.f x x x x s t x x x x x x x x x x x x =-+??++≤??

-+≤??+-≤??≥?

（1）用单纯形法求解该线性规划问题的最优解和最优值； （2）写出线性规划的对偶问题； （3）求解对偶问题的最优解和最优值．

解 （1）引进变量456,,x x x ，将给定的线性规划问题化为标准形式：

123123412351236126min ()2;..360,2210,20,,,,0.f x x x x s t x x x x x x x x x x x x x x x =-+??+++=??

-++=??+-+=??≥?

所给问题的最优解为(0,20,0)T x =，最优值为20f =-． （2）所给问题的对偶问题为：

123123123123123max ()601020;..32,21,21,,,0.g y y y y s t y y y y y y y y y y y y =---??---≤??

-+-≤-?

?--+≤??≥?

（1） （3）将上述问题化成如下等价问题：

123123123123123min ()601020;..32,21,21,,,0.h y y y y s t y y y y y y y y y y y y =++??---≤??

-+-≤-?

?--+≤??≥?

引进变量456,,y y y ，将上述问题化为标准形式：

123123412351236126min ()601020;..32,21,21,,,,0.h y y y y s t y y y y y y y y y y y y y y y =++??---+=??

-+-+=-??--++=??≥? （2）

问题（2）的最优解为(0,0,1)T y =，最优值为20h =（最小值）． 问题（1）的最优解为(0,0,1)T y =，最优值为20g =-（最大值）．

11、用0.618法求解 2min ()(3)t t ?=-，要求缩短后的区间长度不超过0.2，初始区间取[0,10]． 解 第一次迭代： 取11[,][0,10],0.2a b ε==． 确定最初试探点11,λμ分别为

11110.382() 3.82a b a λ=+-=，11110.618() 6.18a b a μ=+-=．

求目标函数值：21()(3.823)0.67?λ=-=，21()(6.183)10.11?μ=-=． 比较目标函数值：11()()?λ?μ<． 比较11 6.1800.2a με-=->=． 第二次迭代：

212121210, 6.18, 3.82,()()0.67a a b μμλ?μ?λ========．

2222220.382()0.382(6.180) 2.36,()(2.363)0.4a b a λ?λ=+-=-==-=．

2222()(), 3.82a ?λ?μμε<-=>．