数值分析小论文论文

对于牛顿型方法的改进

对于函数f(x),假定已给出极小点*

x 的一个较好的近似点0x ，则在0x 处将f(x)泰勒展开到二次项，得二次函数()x φ。按极值条件'()0x φ=得()x φ的极小点，用它作为*x 的第一个近似点。然后再在1x 处进行泰勒展开，并求得第二个近似点2x 。如此迭代下去，得到一维情况下的牛顿迭代公式'k 1''k ()()

k k f x x x f x +=- (k=0,1,2,…) 对于多元函数f(x),设k x 为f(x)极小点*x 的一个近似值，在k x 处将f(x)进行泰勒展开，保留到二次项得21()()()()()()()()2T T k k k k k k f x x f x f x x x x x f x x x ϕ≈=+∇-+

-∇-， 式中 2()k f x ∇—f(x)在k x 处的海赛矩阵。

设1k x +为()x ϕ的极小点，它作为f(x)极小点*x 的下一个近似点，根据极值必要条件

1()0k x ϕ+∇=即21()()()k k k k f x f x x x +∇+∇-得1

21()()k k k k x x f x f x -+⎡⎤=-∇∇⎣⎦ （k=0,1,2，…）

上式为多元函数求极值的牛顿法迭代公式。

对于二次函数，f(x)的上述泰勒展开式不是近似的，而是精确地。海赛矩阵是一个常矩阵，其中各元素均为常数。因此，无论从任何点出发，只需一步就可以找到极小点。因为若某一迭代法能使二次型函数在有限次迭代内达到极小点，则称此迭代方法是二次收敛的，因此牛顿方法是二次收敛的。

从牛顿法迭代公式的推演中可以看到，迭代点的位置是按照极值条件确定的，其中并未含有沿下降方向搜寻的概念。因此对于非二次函数，如果采用上述牛顿法公式，有时会使函数值上升，即出现1>k k f f +（x ）（x ）

现象。为此对上述牛顿方法进行改进，引入数学规划法的概念。

如果把1

2()()k k k d f x f x -⎡⎤=-∇∇⎣⎦看作是一个搜索方向，则采取如下的迭代公式

121()()k k k k k k k k x x a d x a f x f x -+⎡⎤=-=-∇∇⎣⎦ （k=0,1,2,…） 式中 k a —沿牛顿方向进行以为搜索的最佳步长k a 可通过如下极小化过程求得1()()()min k k k k k k k a f x f x a d f x a d

+=+=+。由于此种方法每次迭代都在牛顿方向上进

行一维搜索，这就避免了迭代后函数值上升的现象，从而保持了牛顿法二次收敛的特性，而对初始点的选取并没有苛刻的要求。其计算步骤如下：

1 给定初始点0x ，收敛精度ε，置0k ←。

2计算11

222()()()()()k k k k k k f x f x f x d f x f x --⎡⎤⎡⎤∇∇∇=-∇∇⎣⎦⎣⎦，，和。 3 求1a d k k k k x x +=+，其中k a 为沿k

d 进行一维搜索的最佳步长。

4 检查收敛精度。若1k k x x ε+-<则*1k x x +=，停机；否则，置1k k ←+，返回到2进行搜索。

两种方法的主要缺点是每次迭代都要计算函数的二阶导数矩阵。并对该矩阵求逆。这样工作量很大。特别是逆阵求解，当维数高时工作量更大。另外，从计算机存储方面考虑，牛顿型方法所需的存储量也是很大的。