最优化课程论文——无约束极值问题的PDF求解方法

无约束极值问题的PDF 求解方法

摘要:非线性规是研究约束非线性规划问题条件下，某一非线性目标函数达到最优的问题；目前非线性规划还没有适于各种问题的一般算法，通常不能用解析方法求出它的精确解。本文在学习最优化方法课程的基础上，运用改进牛顿法，近似求解无约束极值问题；

关键字:牛顿法；迭代法；二阶收敛。

0．引言

牛顿法最初由艾萨克-牛顿于1736年在 Method of Fluxions 中公开提出，这是18世纪数学界最重大的成果之一；由于这一方法收敛速度很快，而且可求复根，对于二次函数只需迭代一次便达到最优点，对非二次函数也能较快迭代到最优点，几十年来几乎在所有的领域中都得到广泛的应用。

但牛顿法对初始点要求较高、计算二阶偏导数矩阵及其逆阵工作量大，且要求迭代点处Hesse 矩阵正定，很多学者在这些方面都做了改进，如修正牛顿法、PDF 变尺度法、PSB 拟牛顿修正矩阵[1]、修正梯度法[2]、改进拉格朗日法[3]等。

1．牛顿法

1.1牛顿法的基本原理

假定无约束问题的目标函数f(x)二阶连续偏导，'x 为极小点的某一近似。目标函数f(x)在这个点附近的逼近二阶泰勒多项式为：

''''2'''1

f(x)f(x )f(x )(x x )(x x )f(x )(x x )(||x x ||)2

T T O =+?-+-?-+-

设目标函数 ()min f x , x n R ∈

若(k)x n R ∈是f(x)极小点第K 轮迭代点，(x)q 是f(x)在()x k 点处的二阶泰勒多项式

(k)(k)(k)(k)2(k)(k)1

(x)f(x )f(x )(x x )(x x )f(x )(x x )2

T T q =+?-+-?-，

注意到(k)(||x x ||)O -是比(k)||x x ||-高阶无穷小量，故f(x)q(x)≈。

令(x)0q ?=，记(k 1)x +为(x)q 的平稳点，则通常采用下面迭代公式：

(k 1)(k)2(k)1(k)x x [f(x )]f(x )+-=-?，

记(k 1)(k)(k)x x p +=+，(k)2(k)1(k)[f(x )]f(x )p -=-?；(k)p 即为迭代的第K 轮搜索方向。用k+1代替k ，重复以上过程，这样得到一个点列(k){x }。当(k){x }是有穷点列时，其最后一点是该问题的最优解；当(k){x }是无穷点列时，它有极限点，并且极限点就是原问题最优解。 1.2牛顿法算法基本步骤：

第一步：选取初始点(0)x 、设定终止条件0ε>令:0k =；

第二步：求梯度向量(k)f(x )?，并计算(k)||f(x )||?，若(k)||f(x )||ε?<，停止迭代，输出()x k ，否则转入下一步；

第三步：计算2(k)1[f(x )]-?，构造搜索方向(k)p ；

第四步：以(k 1)(k)(k)x x p +=+求出后继点，并另1k k =+,转入第二步。 第五步：停止计算，输出)(*x x k = 1．3牛顿迭代法的收敛性

定义：若}x x x {x n 21 ，，=，定义范数||.||∞如：1||x ||max{|x |}i i n

∞≤≤=；

若n n j i *,]x [x =，定义范数||.||∞如：11

||x ||max{|x |}n

i i n

j ∞≤≤==∑

定理：假设1：*x 是)f(x *的驻点，即0)g(x *=，)x (f )g(x ?=；

2：在*x 领域N 中，)f(x 具有直到三阶的连续偏导，且有界即，

对任意的N ∈x 有β≤????|x x x )

x (f |

3k

j i ，n 21j i ，，，，=k ； 3：Hesse 矩阵1)G(x -存在，且任意的N ∈x 有γ≤∞-||)G(x ||1；

那么牛顿迭代公式所产生的序列(k){x }，收敛于*x 时阶数为二。

证明：先证明二阶收敛性

因为(k){x }收敛，那么存在0>k ，对任意的(k 1)x N +∈。 又因为(k 1)(k)(k)1(k)x x (x )g(x )G +-=-，***1*x x (x )g(x )G -=- 所以(k 1)*(k)1*(k)(k)*(k)||x x ||||(x )[g(x )g(x )(x )(x x )]||G G +-∞∞-=--- 考虑到)g(x 的第i 个分量)(x g i 在()k x 处泰勒展开

)x x ()x (g )x x (2

1)x x ()(x g )(x g )(x g _

i 2

k i k i i k T T k k T

-?-+-?+=

令*x x =，则由条件(2)推得

*(k)(k)*(k)*(k)(k)*(k)||[g(x )g(x )(x )(x x )]|||[g (x )g (x )(x )(x x )]|

T i i i i i G g ∞---=--?-*(k)2**(k)1

|(x x )(x )(x x )|2

T T i g =-?- 3**(k)*(k)

1f (x )|(x x )(x x )|2x x x n n T j j l l l j i j l

?=--???∑∑

3**(k)2

1f (x )||(x x )||||2

x x x n

n

T l j

i j l ∞

?≤-???∑∑ 2*(k )

21

n ||(x x

)||

2

T β∞

≤

- 根据||.||∞定义与(k 1)*(k)1*(k)(k)*(k)||x x ||||(x )[g(x )g(x )(x )(x x )]||G G +-∞∞-=---得

2

2

(k 1)

*

(k)*||x

x ||||x x ||2

n β+∞∞-≤

- 这就证明了二阶收敛。

下面再证序列(k){x }收敛到*x ： 若初始点(0)*02

2x {x|x x 0}N N n

ααβγ∈=-≤

0{x }N ?； 当1k =，由上式2

(1)*

(0)*2||x x ||||x x ||2

n βγ-≤-，从而(1)*(0)*||x x ||||x x ||α-≤-，这

说明(1)0x N ∈；

假设k m =，()0x k N ∈，下证(k 1)0x N +∈。事实上，

2

(k 1)

*

(k)*2

(k)*||x

x ||||x x ||||x x ||2

n βγα+∞∞∞-≤

-≤-

即(k 1)0x N +∈，从而推理得证(k)0{}N x ?，其次又

(k 1)*()*1(0)*

||x x ||||x x ||x x k k αα++∞∞∞

-≤-≤

≤-

k →+∞，(1)*x x k +→；这这就证明了牛顿法迭代点列(k){x }收敛到*x ，并且是二

阶收敛；

2．PDF 法

实际问题中，因为目标函数往往相当复杂，牛顿法计算黑塞矩阵及逆阵难度大，为了避免巨大的计算量，常常构造黑塞阵逆阵)G(x 近似矩阵(k)(x )H ；下面给出_

(k)(x )H 的构造：

当f(x)是二次函数时，其黑塞矩阵1G -为常数阵，任意两点(k)x 、(k 1)x +处的梯度差等于

(k 1)(k)1(1)(k)f(x )f(x )(x x )k G +-+?-?=-，或(1)(k )(k 1)

(k )(x x )[f(x )f(x )]k G ++-=?-? 对于非二次函数，仿照上述情形，要求黑塞阵逆阵第1k +次近似阵(k 1)(x )H +满足关系

(1)(k)(k 1)(k 1)(k)(x x )(x )[f(x )f(x )]k H +++-=?-? (21)-

此式称为拟牛顿条件。

若令

()(k 1)

(k)(k)(1)(k)

f(x

)f(x )x x

x k k G ++??=?-????=-?? 则(21)-式子变为(k)(k)()x (x )k H G ?=?；现设(k)(x )H 已知，并用下式求(k 1)(x )H +（假定(k)(x )H 、(k 1)(x )H +都是对称矩阵）：

(k 1)(k)(k)(x )(x )(x )H H H +=+?

上式中(k)(x )H ?为第K 次校正矩阵，(k 1)(x )H +应满足拟牛顿条件，即要求：

(k)(k)(k)()x ((x )(x ))k H H G ?=+??，或

(k)()(k)(k)()(x )x (x )k k H G H G ??=?-? (22)-

此式可以假设(k)(x )H ?的一种简单形式为

(k)(k)(k)(k)()(k)(x )x (Q(x ))(x )((x ))T k T H H G W ?=?-? (23)-

式中(k)(k)Q(x )(x )W ，为两个待定向量。

将表达式(23)-代入(22)-得到

(k)(k)()(k)()(k)()(k)(k)()x (Q(x ))(x )((x ))=x (x )T k k T k k G H G W G H G ??-???-? 这就是说，应使

(k)()(k)()(Q(x ))((x ))=1T k T k G W G ?=? (24)-

由于(k)(x )H ?应是对称矩阵，最简单的方法就是取

(k)(k)

(k)()

Q(x )x

(x )k k k W H G

ηε?=???=??? (25)- 由(24)-式

(k)()()()(x )()=1T k k T k k k G G H G ηε??=??

设(k)()(x )T k G ??以及()()()k T k G H G ??皆不为0，则由

(k)()()(k)()()11(x )()x 1()k T k k T k k T k G G G H G ηε?

==??????

?

?=

????

于是得到校正矩阵

(k)(k)(k)()(k)(k)

()(k)()(k)()

x ((x ))(x )()(x )

(x )()(x )()(x )T k T k T k T k H G H H G G H G

????=-???? 从而得到

(k)(k)(k)()(k)(k 1)

(k)

()(k)()(k)()

x ((x ))(x )()(x )

(x

)(x )()(x )()(x )T k T k T k T k H G H H H G G H G

+???=+-???? (26)- 上述矩阵称为尺度矩阵，在整个迭代过程中是不断变化的。有了尺度矩阵，就可以进行迭代如下:

(k)(k)1(k)(k 1)

(k)(k)(k)(k)[H(x )]f(x )x x :min f (x )k k k p p p λ

λλλ-+?=-???=+??+?? 变尺度法计算步骤如下：

（1）选取初始点(0)x 、设定梯度允许误差0ε>；

（2）若(0)||f(x )||ε∞?<，则(0)x 即为近似极小点，停止迭代；否则转入下一步；

（3）令(0)(x )=I H ，(0)(0)(0)(x )f (x )p H =-?，在(0)(0)p 方向进行一维搜索，确定最佳步长0λ：

(0)(0)(0)(0)0min f (x )f (x )p p λ

λλ+=+

如此可得到下一个近似点

(1)(0)(0)0x x p λ=+

（4）一般的，设已得到近似点)(x k ，算出梯度向量(k)f(x )?，若(

k )||f (x )|

|ε∞

?<，

停止迭代，输出()x k ，否则按(26)-计算(k)(x )H ，并令(k)(k)1(k)[H(x )]f(x )p -=-?；在()k p 方向进行一维搜索，确定最佳步长k λ：

()()()()min f (x )f (x )k k k k k p p λ

λλ+=+

如此可得到下一个近似点

(1)()()x x k k k k p λ+=+

（5）若(1)x k +满足精度要求，停止计算，输出)1(*x x +=k 。否则转到（4），知道求出某点满足精度要求为止。

3．数值算例

例题1 22

1121221min f (x)x x 3x x 2x

+--=，初值0x (2)4T =-，，最优解x*1(),1T = ；

[1]李换琴,徐成贤.改进的PSB拟牛顿修正矩阵的收敛性[J].应用数学.2000,13

(2):46～48

[2]陶思俊.基于拟牛顿修正技术的两类修正梯度法[D]. 湖南大学,2010.

[3]陈加民.解一般约束优化问题的一种改进拉格朗日-拟牛顿法[J].西南民族大学学报.2012,38(5)