最优化论文

题目：非线性最小二乘法问题的一种解法--高斯-牛顿法

学生姓名：聂倩云

学号：113113001039

学院：理学院

专业名称：应用数学

非线性最小二乘法问题的一种解法--高斯-牛顿法

目录

前言 (1)

1. 拟牛顿法及相关讨论 (1)

2.牛顿法 (1)

3.拟牛顿法 (2)

3.1DFP公式 (2)

3.2BFGS公式 (4)

3.3限域拟牛顿法 (6)

4.针对二次非凸性函数的若干变形 (6)

参考文献： (7)

非线性最小二乘法问题一种解法--高斯-牛顿法

学生：聂倩云 学号：113113001039

摘 要：非线性最小二乘法问题在工程技术、测绘等各个领域有着非常广泛的应用，我们考虑无约束非线性最小二乘问题的一种常见的解法：高斯-牛顿法。求解无约束优化问题的基本方法是牛顿法，本文从这点出发，介绍此方法步骤，探讨此方法的收敛性，讨论它的收敛速度，并给出高斯-牛顿法的一种修正：阻尼高斯牛顿法。

关键词：非线性最小二乘；高斯-牛顿法；收敛性；收敛速度

前言

非线性最小二乘问题结构特殊，不仅可以用一般的最优化问题求解的方法，还可以对一般的无约束优化问题求解方法进行改造，得到一些特殊的求解方法。而这些方法基本思想就是形成对目标函数的海森矩阵不同的近似。

1.非线性最小二乘法问题概述

非线性最小二乘法模型为

()()[]()()()22

12

12121m in x r x r x r x r x f T

m i i ===∑= 其一阶、二阶导数分别为

()()()x r x A x g =

()()()()()()()x S x M x r x r x A x A x G m

i i i T

+=∇+=∑=12

其中()()()()()T

m x r x r x r x r ,,,21 =称为在点x 处的残向量，()x r i 为非线性函

数，且

()()()[]x r x r x A m ∇∇=,,1 ，其中()()()

T

x A x A x M =称为高斯-牛顿

矩阵，为()x G

中的线性项，()x S 为()x G 中的非线性项。

2.高斯-牛顿法

高斯-牛顿法主要思想是省略非线性项()x S

从而形成对海森矩阵的近似。

当()x r i

在目标函数最优解*

x 处等于0，称()x r 为0残量；当()x r i

在目标函

数最优解*

x 处取值较小，称()x r

为小残量，这时用近似逼近使()x S 为0，即这

时线性项()x M

去近似海森矩阵()x G 比较好，我们通过求解方程组

()()k k k T

k k r A g A A -=-=δ

的最优解()

k δ

，并将它作为搜索方向，此时迭代形式为

()()()k k k x x δ+=+1

这就是高斯-牛顿法。 2.1 方向的下降性

由于T

k k A A 半正定，所以

()k k T T k k T r A A A δδδ-=≤0

即

()()0≤=k T k k T g r A δδ

所以高斯-牛顿法的搜索方向不可能是()x f 的上升方向，这就保证了高斯-牛顿

法的可行性。 2.2收敛性和收敛速度 先给出一个定理： 定理：下列条件成立 （1）设D 为开凸集，()x f 在D 上二次连续可微；

（2）D x

∈∃*

使()()()0==***x r x A x g ；

（3）存在常数β，γ使

()()D y x y x y A x A ∈∀-≤-,,β ()()D y x y x y G x G ∈∀-≤-,,γ

（4）()x A

满秩且存在常数M ，σ使得

()()()D x M x M x H x A ∈∀≤=≤-,,1

σ

则高斯-牛顿法对所有的D x ∈都有定义，且

()

()()

()

()

(

)2

1k k k h

h

x

S x H h

O +≤*

*

+

其中()

()*-=x x h

k k

证明：由于()x A

满秩，所以T

k

k

A

A 正定，所以高斯-牛顿法搜索方向是下降方向，

从而对所有的D x ∈都有定义。

()()()()(

)

()

()()()(

)()()(

)()y

x y A y A y A x A y A x A x A x A y A y A x A x A y M x M T

T

T

T

T

T

-≤-+-≤-=-σβ2

()()()()()()()y

x y M y G x M x G y S x S -+≤+--=-σβγ2

()()()()

()()()[]()

y

x M y M x M y M x M y M x M y H x H -≤-=

-=-----σβ211112

而

()()()()()()()

(

)2

0k k k k h h x G x g x g ο+-==*

两边左乘k H ，则

()

()()

()

(

)

()

()()()

()()

()()

k k k k k k k k k k k k k h

S H H h S S H h x S x H h

h

h S H h *

*

*

*

*

+------=+---=12

0οδ

从而可以证明结论。

我们从上面定理结论可以看出：

若*

S 比较大，则高斯-牛顿法一般不收敛。

如果方法收敛，则当0=*S 时，有()

()(

)2

1k k h h

O ≤+，从而高斯-牛顿法

二次收敛；当0≠*

S

时，方法是线性收敛的。