牛顿迭代法
牛顿迭代法
xn1
xn
xne xn 1 e xn (1 xn )
xn
xn exn 1 xn
取x0=0.5,逐次计算得 x1=0.57102, x2=0.56716， x3=0.56714
1.5 牛顿下山法
通常,牛顿迭代法的收敛性依赖于初始值 x0 的选取,
如果 x0 偏离所求的根 x* 比较远,则牛顿法可能发散。
由定理2.2知,牛顿迭代法在 x* 附近局部收敛。又由 定理2.3知, 迭代公式至少具有二阶收敛速度。
利用泰勒公式
0
f (x*)
f (xk )
f (xk )(x*
xk )
f ( ) (x*
2
xk )2 ,
xk
x*
f f
(xk ) (xk )来自f 2f( )
(xk )
(x*
xk
)2
x*, xk
为了防止迭代发散,我们对牛顿迭代法的迭代过程再附
加一项要求,即具有单调性
f (xk1) f (xk )
满足这项要求的算法称下山法。 将牛顿迭代法与下山法结合起来使用,即在下山
法保证函数值下降的前提下,用牛顿迭代法加快收敛 速度。把这一算法称为牛顿下山法。即
xk 1
xk
f (xk ) f (xk )
xk
f (xk ) f (xk )
x*
f ( ) (x*
2 f (xk )
xk )2
所以
xk 1
x*
f ( )
2 f (xk )
(x*
xk
)2
lim x* xk1 f (x* ) k x* xk 2 2 f (x* )
证毕
1.3 牛顿迭代法的收敛性
分析论述牛顿迭代法
分析论述牛顿迭代法
牛顿迭代法（Newton's Iteration Method）是一种常用的数
值计算方法，它是由英国数学家牛顿发明的。
它的最大优点是收敛速度快，可以快速地求解方程的根，有效地减少计算时间，是解决方程组和非线性方程的有效方法。
牛顿迭代法是一种基于牛顿插值多项式的数值计算方法。
它把待求解函数f（x）看做一个多项式，然后按照牛顿插值
多项式的算法，从x0出发，反复求解f（x）的极值点，直至
收敛，从而找到函数f（x）的根。
牛顿迭代法的具体步骤如下：（1）给定函数f（x）的初
值x0；（2）计算f（x）的极值点x1；（3）根据误差e = |x1 - x0|，选定迭代次数或者误差界限；（4）更新x0 = x
1，重复（2）（3）步骤，直至误差小于指定界限；（5）得到函数f（x）的根。
牛顿迭代法的收敛速度很快，只需要几次迭代就可以求得函数f（x）的根，而且这种方法也比较简单易行，只要给出
初值，就可以用它来求解一般的非线性方程。
牛顿迭代法的主要缺点是只能求解单根问题，即一元函数的根。
另外，牛顿迭代法的初值必须比较接近函数f（x）的根，如果初值比较远，迭代收敛的速度就会变慢，甚至不收敛。
总之，牛顿迭代法是一种有效的求解一元函数的根的方法，它的收敛速度快，可以有效地减少计算时间。
但是，它只能求解单根问题，而且初值也必须比较接近函数f（x）的根，否
则它的收敛速度就会变慢。
第三节 牛顿迭代法
一 牛顿法及其收敛性
牛顿法是一种线性化方法，其基本思想是将非线性方 程 f (x)逐 步0 归结为某种线性方程来求解.
设已知方程 f (x有) 近0似根 （假定xk 将函数 f (在x)点 展x开k ，有
)，f (xk ) 0
f (x) f (xk ) f (xk )( x xk ),
C )2; C )2.
（3.5）
6
以上两式相除得
xk 1 xk 1
C C
xk xk
2
C C
.
据此反复递推有
xk 1 xk 1
C C
x0 x0
2k
C C
.
记
q x0 C , x0 C
整理（3.6）式，得
（3.6）
7
q 2k xk C 2 C 1 q2k .
对任意 x0，总0有 ，q故由1上式推知，当 时 xk ，C即迭代过程恒收敛.
10
在（3.7）中取 C ，1则称为简化牛顿法，这
f ( x0 )
类方法计算量省，但只有线性收敛，其几何意义是用平行 弦与 x轴交点作为 x的*近似. 如图7-4所示.
图7-4
11
（2） 牛顿下山法.
牛顿法收敛性依赖初值 的x0选取. 如果 偏离x0所求根 x较* 远，则牛顿法可能发散.
例如，用牛顿法求方程
牛顿法（2）的收敛性，可直接由上节定理得到，对（2） 其迭代函数为
g(x) x f (x) , f (x)
由于
g(x)
f (x) [ f (
f (x) x)]2
.
假定 x是* f 的(x一) 个单根，即 f (x*) 0，, f (x*) 0 则由上式知 g(x*)，于0是依据可以断定， 牛顿法在根 x *的邻近至少是平方收敛的.
研究生数值分析(5)牛顿(Newton)迭代法
z
0.612547 0.641384 0.641186
6 求方程 m重根的Newton法 设 s 是方程 f(x)=0 的 m 重根(m≥2), f(x)
在 s 的某邻域内有m阶连续导数 ,这时
f (s) f (s) f (m1) (s) 0, f (m) (s) 0
由Taylor公式,得
设 f '(x) 0 ，上式解为
x
xk
f (xk ) f ' (xk )
于是方程 f(x)=0的新的近似根xk+1，可由牛顿
迭代公式
xk 1
xk
f (xk ) f ' (xk )
k 0,1, 2,
求出
牛顿迭代公式具有明显的几何意义。 方程 y f (xk ) f '(xk )(x xk ) 是曲线 y=f(x)在点 (xk , f (xk )) 处的切线方程，迭代公式就是切线与x轴 交点的横坐标。因此，牛顿迭代法又称为切线法。
这表明牛顿迭代法用于求单根时至少是二阶收敛的。
（2）若 x* 是方程 f (x) 0 的 m(m 2) 重根，
即
f (x) (x x*)m q(x)
(q(x*) 0)
此时有
g ' (x*) lim g ' (x) lim
x x*
x x*
f (x) f '' (x) [ f ' (x)]2
k
xk
k
xk
4 0.635498 8 0.640964
5 0.643719 9 0.641285
6 0.640061 10 0.641142
牛顿迭代法
一 牛顿法及其收敛性
牛顿法是一种线性化方法，其基本思想是将非线性方 程 f ( x) 0逐步归结为某种线性方程来求解. 设已知方程 f ( x) 0 有近似根 xk（假定 f ( xk ) 0)， 将函数 f ( x) 在点 xk 展开，有
f ( x) f ( xk ) f ( xk )( x xk ),
x
表7 5 计算结果 k 0 1 2 3 xk 0.5 0.57102 0.56716 0.56714
5
二 牛顿法应用举例 对于给定的正数 C，应用牛顿法解二次方程
x 2 C 0,
可导出求开方值 C 的计算程序
xk 1 1 C ( xk ). 2 xk
（3.5）
这种迭代公式对于任意初值 x0 0 都是收敛的. 事实上，对（3.5）式施行配方手续，易知
10
在（3.7）中取C
1 ，则称为简化牛顿法，这 f ( x0 )
类方法计算量省，但只有线性收敛，其几何意义是用平行 弦与 x 轴交点作为 x *的近似. 如图7-4所示.
图7-4
11
（2）
牛顿下山法.
牛顿法收敛性依赖初值 x0的选取. 如果x0 偏离所求根 x* 较远，则牛顿法可能发散.
xk 1 xk 1 1 C ( xk 2 xk C 1 ( xk 2 xk C )2 ; C )2 .
6
以上两式相除得
xk 1 xk 1 xk C x C k C . C
2
据此反复递推有
xk 1 xk 1 x0 C x C 0 C C .
14
x1 17.9，它不满足条件（3.10）.
牛顿迭代法(Newton‘s Method)
牛顿迭代法（Newton’s Method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson Method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。
与一阶方法相比，二阶方法使用二阶导数改进了优化，其中最广泛使用的二阶方法是牛顿法。
考虑无约束最优化问题：其中 \theta^{\ast} 为目标函数的极小点，假设 f\left( \theta \right) 具有二阶连续偏导数，若第 k 次迭代值为 \theta^{k} ，则可将f\left( \theta \right)在\theta^{k}近进行二阶泰勒展开：这里，g_{k}=x^{\left( \theta^{k} \right)}=∇f\left( \theta^{k} \right)是f\left( \theta \right) 的梯度向量在点 \theta^{k}的值， H\left( \theta^{k} \right) 是 f\left( \theta \right) 的Hessian矩阵：在点 \theta^{\left( k \right)}的值。
函数 f\left( \theta \right) 有极值的必要条件是在极值点处一阶导数为0，即梯度向量为0，特别是当H\left( \theta\right) 是正定矩阵时，函数 f\left( \theta \right) 的极值为极小值。
牛顿法利用极小点的必要条件：这就是牛顿迭代法。
迭代过程可参考下图：在深度学习中，目标函数的表面通常非凸（有很多特征），如鞍点。
因此使用牛顿法是有问题的。
如果Hessian矩阵的特征值并不都是正的，例如，靠近鞍点处，牛顿法实际上会导致更新朝错误的方向移动。
这种情况可以通过正则化Hessian矩阵来避免。
常用的正则化策略包括在Hessian矩阵对角线上增加常数α 。
正则化更新变为：这个正则化策略用于牛顿法的近似，例如Levenberg-Marquardt算，只要Hessian矩阵的负特征值仍然相对接近零，效果就会很好。
牛顿迭代法
有一种迭代方法叫牛顿迭代法，是用于求方程或方程组近似根的一种常用的算法设计方法。
设方程为f(x)=0，用某种数学方法导出等价的形式x(n+1) = g(x(n)) = x (n)–f(x(n))/f‘(x(n)).然后按以下步骤执行：(1) 选一个方程的近似根，赋给变量x1;(2) 将x0的值保存于变量x1，然后计算g(x1)，并将结果存于变量x0;(3) 当x0与x1的差的绝对值还小于指定的精度要求时，重复步骤(2)的计算。
若方程有根，并且用上述方法计算出来的近似根序列收敛，则按上述方法求得的x0就认为是方程的根。
例1：已知f(x) = cos(x) - x。
x的初值为3.14159/4,用牛顿法求解方程f(x) =0的近似值，要求精确到10E－6。
算法分析：f(x)的Newton代法构造方程为：x(n+1) = xn - (cos(xn)-xn) / (-sin(xn)-1)。
#include<stdio.h>double F1(double x); //要求解的函数double F2(double x); //要求解的函数的一阶导数函数double Newton(double x0, double e);//通用Newton迭代子程序int main(){double x0 = 3.14159/4;double e = 10E-6;printf("x = %f\n", Newton(x0, e));getchar();return 0;}double F1(double x) //要求解的函数{return cos(x) - x;}double F2(double x) //要求解的函数的一阶导数函数{return -sin(x) - 1;}double Newton(double x0, double e)//通用Newton迭代子程序{double x1;do{x1 = x0;x0 = x1 - F1(x1) / F2(x1);} while (fabs(x0 - x1) > e);return x0; //若返回x0和x1的平均值则更佳}例2：用牛顿迭代法求方程x^2 - 5x + 6 = 0，要求精确到10E－6。
牛顿迭代法
一后逐步向某个位置逼近的方法称为迭代法。 迭代法也称辗转法，是一种不断用变量的旧值递 推新值的过程，跟迭代法相对应的就是直接法（或 称为一次解法） ，即一次性解决问题。迭代算法是用 计算机解决问题的一种基本方法。它利用计算机运 算速度快、适合做重复性操作的特点，让计算机对 一组指令（或一定步骤）重复执行，在每次执行这 组指令（或这些步骤）时，都从变量的原值推出他 的一个新值。 利用迭代法解决问题，需要做好以下三个方面的 工作： 一、确定迭代变量 在可以用迭代算法解决的问题中，至少存在一个 可直接或间接的不断由旧值递推出新值的变量， 这个变量就是迭代变量； 二、建立迭代关系式 所谓的迭代关系式，指如何从变量的前一个值递 推出其下一个值得公式（或关系） 。迭代关系式的 建立是解决迭代问题的关键，通常可以使用递推 或倒推的方法来完成。 三、对迭代过程进行控制 在什么时候结束迭代过程？这时编写迭代程序必
欧几里德算法（辗转相除法）
最经典的迭代算法是欧几里德算法，用于计算两 个整数 a,b 的最大公约数。 其计算原理依赖于下面 的定理： 定理：gcd(a,b)=gcd(b,a mod b) 证明：a 可以表示成 a=kb+r,则 r=a mod b. 假设 d 是 a,b 的一个公约数， 则有 a%d==0,b%d==0, 而 r=a-kb,因此 r%d==0,因此 d 是(b,a mod b)的公约 数 同理，假设 d 是(b,a mod b)的公约数，则 b%d==0, r%d==0， 但是 a=kb+r， 因此 d 也是(a,b)的公约数； 因此(a,b)和(b, a mod b)的公约数是一样的， 其最大 公约数也必然相等，得证。
牛顿迭代法
牛顿迭代法是求方程根的重要方法之一，其最大优 点是在方程 f(x)=0 的单根附近具有平方收敛， 而且该 法还可以用来求方程的重根、 复根， 此时线性收敛， 但是可通过一些方法变成超线性收敛。另外该方法 广泛用于计算机编程中。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
， xk1
xk
f (xk ) f '(xk )
xk
xk2 a 2xk
1 2 (xk
a xk
)
,
k
0,1, 2,
当a=115时，取初值 x0=10，迭代4次可得
10，10.7500，10.723837，10.723805， 10.723805
115 ≈10.723805 是否还能用牛顿法计算一个正数的立方根？
例 用牛顿迭代法求 3 a
解 令 x 3 a ,则x3-3=0,求 3 a 等价于求方程 f (x) x3 a 0
程的解逐步逼近非线性方程的解。
f (x)
f (xk )
f (xk )(x xk )
f
( xk 2!
)
(x
xk
)2
设 xk 在 x 附近时，有 f (x) f (xk ) f (xk )(x xk )
对 f (x*) 0 有 f (xk ) f (xk )(x xk ) 0 ，解出
0.20 ， x4
0.20
f (0.20) f (0.20)
0.20
所以 x* 0.20 。
例 造平方根表。用牛顿迭代法计算 a ( 其中a>0)
解 令 x a ,则x2-a=0,求 a 等价于求方程 f (x) x2 a 0
的正实根。因为 f′(x)=2x ，由牛顿迭代公式得
xk 1
的正实根。由牛顿迭代公式得
xk 1
xk
xk3 a 3xk2
1 3
(2xk
a xk2
)
,
k
0,1,
当a=4111.7910时，取初值 x0=8，迭代4次可得
7.48，7.439977, 7.439760, 7.439760
例 用牛顿迭代法造倒数表，计算 1
解 令 x1 ,
c
c
3、牛顿迭代法的计算步骤
(1)给出x0 , ε，N
(2)计算
x1
x0
f ( x0 ) f ( x0 )
(3)若 x1 x0 则转(4)；否则 (4)输出x1 ,结束。
x0 x1 ，转(2);
2.4.2 牛顿迭代法的收敛情况
1.局部收敛性
x x f (x) f (x)
(x) 1
f
'(x) f
'(x) f (x) f (x) [ f (x)]2
xk1 xk
f ( xk ) ,k 0,1,2, f ( xk )
y
y f x
pk xk , f ( xk )
x*
0
xk1 xk
x
例 用牛顿迭代法求方程 xeFra bibliotek-1=0 在x=0.5附近的根。
解 f ( x) xe x 1 f ( x) e x xe x
牛顿迭代法
xk 1
xk
xke xk 1 e xk xke xk
2.3 牛顿迭代法
2.3.1 迭代公式的建立 2.3.2 牛顿迭代法的收敛情况 2.3.3 牛顿迭代法的修正法
2.3.1 迭代公式的建立
1．导出：非线性方程 f (x) 0 ，若 f (xk ) 0 ，
建立迭代格式
xk 1 xk
f (xk ) f (xk )
k 0,1,
2．数学意义：把非线性方程线性化，用线性方
0
牛顿法至少具有平方收敛速度。
| (x ) |
f (x ) f (x )
结论： f(x)=0的单根x* 附近存在着连续的二阶导数，当初值在 单根x*附近时，牛顿法具有平方收敛速度。
证明
lim
k
ek 1 ek2
f (x ) 2 f (x )
将（ x )
k
f (x ) f (x )
代入lim k
xk 1 xk
f (xk ) f (xk )
k 0,1,
3.几何意义 过曲线上的点pk(xk , f(xk))作切线，切线方程
y=f(xk)+f (xk)(x – xk)
切线方程和横轴的交点(xk+1 , 0) ，即
0= f(xk)+f (xk)(xk+1 – xk)
若 f (xk )≠0，解出xk+1，则得Newton迭代公式
xk
xk e xk 1 xk
取x0=0.5，经计算可得
x1 0.57102044 x3 0.56714329
x2 0.567165569 x4 0.56714329
x 0.567143 普通迭代法18次才能得 到的计算结果。
例 证明方程 x5 5x 1 0 在区间(1, 0) 内有唯一的实根，并用牛
顿迭代法求这个根的近似值，使误差不超过0.01 。
解 令 f (x) x5 5x 1 ，则 f (x) 在[1, 0] 上连续，又
f (1) 5 0, f (0) 1 0 故由介值定理知至少存在一个x* (1, 0) 使 f (x* ) 0 ，又由 f (x) 5x4 5 0 ，知 f (x) 在[1, 0] 上单调增加，因而方程 x5 5x 1 0 在区间(1, 0) 内有唯一实根。
(x) x f (x)
f (x)
(x)
f (x) f (x) [ f (x)]2
牛顿迭代法局部收敛:
(x0) 1
f (x0)2 f (x0) f (x0)
2. 收敛速度
定理 设 f (x ) 0, f (x ) 0, f (x) 在x 邻域
连续，则牛顿法在x 局部收敛，且至少 2 阶收敛。并有
ek 1 ekp
( p) (x)
p!
lim
k
ek 1 ek2
f (x ) 2 f (x )
其中 p 2 ，则
例 设 x*是 f (x) 0 的根，对牛顿迭代法证明
lim
k
(
x k 1 xk
xk xk1 )
2
f "(x*) 2 f '(x*)
证
牛顿迭代法
xk 1
xk
f (xk ) f '(xk )
下面用牛顿迭代法求这个根的近似值。
因为 f (x) 20x3 0 取 x0 1 ( f (x0 ) f (x) 0) ，代入牛顿迭
代法 有
xk 1
xk
f (xk ) f (xk )
x1
1
5 55
0.05 ， x2
0.5
f (0.5) 0.26 f (0.5)
x3
0.26
f (0.26) f (0.26)
lim
k
ek 1 ek2
f (x ) 2 f (x )
证 牛顿法迭代函数 (x) x f (x)
f (x)
(x) f (x) f (x)
[ f (x)]2
当 f(x*)=0，而 f(x*)≠0 ，则x*是f(x)=0的单根,单根x*附近存
在着连续的二阶导数，有
(x )
f
(x ) f (x ) [ f (x )]2