《最优化方法》复习题(含答案)

《最优化方法》复习题(含答案)

附录5 《最优化方法》复习题

1、设n n A R ⨯∈是对称矩阵，,n b R c R ∈∈，求1()2

T

T f x x Ax b x c =++在任意点x 处的梯度和Hesse 矩阵．

解 2(),()f x Ax b f x A ∇=+∇=．

2、设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求()t ϕ''． 解 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+．

3、设方向n d R ∈是函数()f x 在点x 处的下降方向，令

()()()()()

T T

T T

dd f x f x H I d f x f x f x ∇∇=--∇∇∇， 其中I 为单位矩阵，证明方向()p H f x =-∇也是函数()f x 在点x 处的下降方向． 证明 由于方向d 是函数()f x 在点x 处的下降方向，因此()0T f x d ∇<，从而

()()()T T f x p f x H f x ∇=-∇∇

()()()()()()()()

T T

T

T T dd f x f x f x I f x d f x f x f x ∇∇=-∇--∇∇∇∇

()()()0T T f x f x f x d =-∇∇+∇<，

所以，方向p 是函数()f x 在点x 处的下降方向． 4、n S R ⊆是凸集的充分必要条件是12122,,,

,,,,

,m m m x x x S x x x ∀≥∀∈的一切

凸组合都属于S ．

证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当2m =时，由凸集的定义知结论成立，下面考虑1m k =+时的情形．令1

1k i i i x x λ+==∑，

其中,0,1,2,,1i i x S i k λ∈≥=+，且1

1

1k i i λ+==∑．不妨设11k λ+≠（不然1k x x S +=∈，

结论成立），记11

1k

i

i i k y x λλ=+=-∑

，有111(1)k k k x y x λλ+++=-+，

当λ充分接近1时，可使(1)()x x N x S δλλ+-∈，于是()((1))f x f x x λλ≤+-，矛盾．从而x 是全局最优解．

7、设n R S ⊆为非空凸集，R S f →:是具有一阶连续偏导数的凸函数，证明：x 是问题min ()x S

f x ∈的最优解的充要条件是：()()0,T f x x x x S ∇-≥∀∈．

证明 必要性．若x 为问题min ()x S

f x ∈的最优解．反设存在x S ∈，使得

()()0T f x x x ∇-<，则d x x =-是函数()f x 在点x 处的下降方向，这与x 为问题

min ()x S

f x ∈的最优解矛盾．故()()0,T f x x x x S ∇-≥∀∈．

充分性．若()()0,T f x x x x S ∇-≥∀∈．反设存在x S ∈，使得()()f x f x <．

(())()

((1))()

f x x x f x f x x f x λλλλ

λ

+--+--=

()(1)()()

()()0((0,1)f x f x f x f x f x λλλλ

+--≤

=-<∀，

因S 为凸集，f 在S 上可微，故令0λ+→，得

()()()()0T f x x x f x f x ∇-≤-<，这与已知条件矛盾，故x 是问题min ()x S

f x ∈的最

优解．

8、设函数()f x 具有二阶连续偏导数，k x 是()f x 的极小点的第k 次近似，利用

()f x 在点k x 处的二阶Taylor 展开式推导Newton 法的迭代公式为 211[()]()k k k k x x f x f x -+=-∇∇．

证明 由于()f x 具有二阶连续偏导数，故

21

()()()()()()()()2

T T k k k k k k f x x f x f x x x x x f x x x ϕ≈=+∇-+-∇-．

且2()k f x ∇是对称矩阵，因此()x ϕ是二次函数．为求()x ϕ的极小点，可令

()0x ϕ∇=，即2()()()0k k k f x f x x x ∇+∇-=，若2()k f x ∇正定，则上式解出的()

x ϕ的平稳点就是()x ϕ的极小点，以它作为()f x 的极小点的第1k +次近似，记为

1k x +，即211[()]()k k k k x x f x f x -+=-∇∇，这就得到了Newton 法的迭代公式.

9、叙述常用优化算法的迭代公式．

（1）0.618法的迭代公式：(1)(),

().

k k k k k k k k a b a a b a λτμτ=+--⎧⎨=+-⎩

（2）Fibonacci 法的迭代公式：11

1(),(1,2,,1)()

n k k

k k k n k n k k k k k n k F a b a F k n F a b a F λμ---+--+⎧

=+-⎪⎪=-⎨

⎪=+-⎪⎩

．

（3）Newton 一维搜索法的迭代公式： 1()

()

k k k k t t t t ϕϕ+'=-''． （4）最速下降法用于问题1min ()2

T

T f x x Qx b x c =

++的迭代公式： 1()()

()()()

T k k k k k T

k k f x f x x x f x f x Q f x +∇∇=-∇∇∇ （5）Newton 法的迭代公式：211[()]()k k k k x x f x f x -+=-∇∇． （6）共轭方向法用于问题1min ()2

T

T f x x Qx b x c =

++的迭代公式： 1()T k k

k k k T

k k

f x d x x d d Qd +∇=-． 10、已知线性规划：

123123123123123min ()2;..360,2210,20,,,0.f x x x x s t x x x x x x x x x x x x =-+⎧⎪++≤⎪⎪

-+≤⎨⎪+-≤⎪⎪≥⎩

（1）用单纯形法求解该线性规划问题的最优解和最优值； （2）写出线性规划的对偶问题； （3）求解对偶问题的最优解和最优值．

解 （1）引进变量456,,x x x ，将给定的线性规划问题化为标准形式：

123123412351236126min ()2;..360,2210,20,,,,0.f x x x x s t x x x x x x x x x x x x x x x =-+⎧⎪+++=⎪⎪

-++=⎨⎪+-+=⎪⎪≥⎩