定理2-5(牛顿法平方收敛性
牛顿法及其收敛性
⽜顿法及其收敛性⽬录0. 引论在⼯程中，很多的问题都可以归结为求解⼀组偏微分⽅程。
描述如下：在某⼀个区域Ω中，物理量u =u 1,u 2,⋯,u n 满⾜⼀组控制⽅程，并且在边界上满⾜若⼲条件：控制⽅程利⽤两个微分算⼦来表⽰A (u ),B (u )。
A (u )=A 1(u )=0A 2(u )=0⋮∈ΩB (u )=B 1(u )=0B 2(u )=0⋮∈∂Ω以上的问题，只有在求解域⽐较简单，控制⽅程形式⽐较特殊的时候才能求出解析表达，⼀般情况下，⼯程问题中的求解域是⽐较复杂的，控制⽅程往往是⾼阶⾮线性的，这个时候，只能借助于数值求解。
偏微分⽅程的数值解法，常见的有有限元法，有限差分法，有限体积法等。
这些数值解法的基本思想是⽤有限的⾃由度插值逼近真实解。
不管哪⼀种数值⽅式，偏微分⽅程系统离散之后，形成的是常微分⽅程组或者代数⽅程组。
在⼯程中，对于时间维度往往是特别对待的，含有时间项的问题称为⾮定常问题，也叫瞬态问题，这类问题在空间离散之后，形成的是关于时间的常微分⽅程，然后利⽤⼀些推进求解的⽅法，将时间维度离散，转换成纯粹的代数⽅程。
⽽控制⽅程不含时间项的问题称为稳态问题，对于稳态问题，将控制⽅程在空间离散之后，形成代数⽅程组。
可见，不论是那种问题，最后求解的是代数⽅程组。
因此，如何准确⾼效的求解代数⽅程组就显得⾄关重要。
这⼀部分的内容在数值分析⾥⾯有详细的介绍，对于⼯程师来说，⼀般不必去了解⾥⾯艰深的理论，但是，每⼀种求解⽅法的适⽤范围，求解速度，收敛性等重要特征，最好还是要了解。
这样才能在使⽤的时候不⾄迷茫。
代数⽅程组可以简记为如下的形式：F (u )=b还可以表⽰成为⽮量的形式：Au =b当系数矩阵A 与变量u 的取值没有关系时，问题是线性的，否在，是⾮线性问题。
众所周知，⾮线性问题的求解是困难的！！常⽤的线性⽅程组求解⽅法有：直接法⾼斯消去法、矩阵三⾓分解法（直接分解法、平⽅根⽅法、追赶法）迭代法雅可⽐迭代、⾼斯-赛德尔迭代、超松弛法、块迭代法、共轭梯度法、最速下降法常⽤的⾮线性⽅程组的求解⽅法有：迭代法⼆分法、不动点迭代、⽜顿法、简化⽜顿法、⽜顿下⼭法、弦截法、抛物线法{{多变量不动点迭代法、⽜顿法这⾥主要介绍⽜顿法的⼀些特性。
数值分析论文 (8)
牛顿迭代法及其应用[摘要]本文研究应用泰勒展开式构造出牛顿迭代法，论证了它的局部收敛性和收敛阶。
分别讨论了单根情形和重根情形，给出了实例应用。
最后给出了离散牛顿法的具体做法。
[关键词] 关键词：泰勒展开式，牛顿迭代法及其收敛性，重根，离散牛顿法。
1.牛顿法及其收敛性求方程f（x）=0的根，如果已知它的一个近似,可利用Taylor展开式求出f(x)在附近的线性近似，即，ξ在x与之间忽略余项，则得方程的近似右端为x的线性方程，若，则解,记作,它可作为的解的新近似，即(2.4.1)称为解方程的牛顿法.在几何上求方程的解，即求曲线y=f(x)与x轴交点.若已知的一个近似,通过点(，f())作曲线y=f(x)的切线，它与x轴交点为,作为的新近似，如图1所示图1关于牛顿法收敛性有以下的局部收敛定理.定理1设是f(x)=0的一个根，f(x)在附近二阶导数连续，且，则牛顿法(2.4.1)具有二阶收敛，且(2.4.2)证明由式(2.4.1)知迭代函数,，,而，由定理可知，牛顿迭代(2.4.1)具有二阶收敛，由式可得到式(2.4.2).证毕.定理表明牛顿法收敛很快，但在附近时才能保证迭代序列收敛.有关牛顿法半局部收敛性与全局收敛定理.此处不再讨论.例1用牛顿法求方程的根.,牛顿迭代为取即为根的近似，它表明牛顿法收敛很快.例2设＞0，求平方根的过程可化为解方程.若用牛顿法求解，由式(2.4.1)得(2.4.3)这是在计算机上作开方运算的一个实际有效的方法，它每步迭代只做一次除法和一次加法再做一次移位即可，计算量少，又收敛很快，对牛顿法我们已证明了它的局部收敛性，对式(2.4.3)可证明对任何迭代法都是收敛的，因为当时有即,而对任意，也可验证,即从k=1开始，且所以｛｝从k=1起是一个单调递减有下界的序列，｛｝有极限.在式(2.4.3)中令k→∞可得，这就说明了只要，迭代(2.4.3)总收敛到,且是二阶收敛.在例2.4的迭代法(3)中，用式(2.4.3)求只迭代3次就得到=1.732 051,具有7位有效数字.求非线性方程f(x)=0的根x*,几何上就是求曲线y=f(x)与x轴交点x*，若已知曲线上一点过此点作它的切线。
计算方法实验指导书
第一章 绪论一、主要要求通过实验，认真理解和体会数值计算的稳定性、精确性与步长的关系。
二、主要结果回顾：1、算法：电子计算机实质上只会做加、减、乘、除等算术运算和一些逻辑运算，由这些基本运算及运算顺序规定构成的解题步骤，称为算法．它可以用框图、算法语言、数学语言或自然语言来描述。
用计算机算法语言描述的算法称为计算机程序。
（如c —语言程序，c++语言程序，Matlab 语言程序等）。
2、最有效的算法：应该运算量少，应用范围广，需用存储单元少，逻辑结构简单，便于编写计算机程序，而且计算结果可靠。
3、算法的稳定性：一个算法如果输入数据有误差，而在计算过程中舍入误差不增长，则称此算法是数值稳定的，否则称此算法为不稳定的。
换句话说：若误差传播是可控制的,则称此算法是数值稳定的,否则称此算法为不稳定的。
4、控制误差传播的几个原则： 1）防止相近的两数相减； 2）防止大数吃小数；3）防止接近零的数做除数；4）要控制舍入误差的累积和传播；5）简化计算步骤,减小运算次数,避免误差积累。
三、数值计算实验（以下实验都需利用Matlab 软件来完成） 实验1.1（体会数值计算精度与步长关系的实验）实验目的：数值计算中误差是不可避免的，要求通过本实验初步认识数值分析中两个重要概念：截断误差和舍入误差，并认真体会误差对计算结果的影响。
问题提出：设一元函数f :R →R ，则f 在x 0的导数定义为：hx f h x f x f h )()(lim)('0000-+=→实验内容:根据不同的步长可设计两种算法,计算f 在x 0处的导数。
计算一阶导数的算法有两种：hx f h x f x f )()()('000-+≈（1）hh x f h x f x f 2)()()('000--+≈（2）请给出几个计算高阶导数的近似算法，并完成如下工作： 1、对同样的h ，比较(1)式和(2)式的计算结果；2、针对计算高阶导数的算法，比较h 取不同值时(1)式和(2)式的计算结果。
非线性方程的求根方法
取 x0=0,
3 xk xk 3 xk 1 xk 2 3 xk 1
(k = 0, 1, · · · · · )
y x1 x2 x3 x0 x
y=x3 – x – 3
Newton迭代法陷入死循环的另一个例子
f’<0, f”>0
f’>0, f”>0
f’>0, f”<0
f’<0, f”<0
牛顿迭代法的收敛域问题:
用牛顿迭代法求解复数方程 z3 – 1 = 0，该方程在复 平面上三个根分别是 z1 = 1
1 3 z2 i 2 2
1 3 z3 i 2 2
选择中心位于坐标原点，边长 为2的正方形内的任意点作初始 值，进行迭代，把收敛到三个 根的初值分为三类，并分别标 上不同颜色（例如红、黄、 蓝）。对充分多的初始点进行 实验，绘出牛顿迭代法对该方 程的收敛域彩色图。
牛顿法的计算步骤： 1）给出初始近似值x0，及精度 2）计算：按迭代公式
f ( x0 ) x0 x1 f ( x 0 )
计算出x1 3）若 x1 x0 ，则转向4);否则 x1 x0 转向2) 4）输出满足精度的根x1，结束
例2.5 用牛顿法解方程 x=e–x
在 x0=0.5 附近的根。
由定理2.5知牛顿迭代公式具有局部收敛性。
由定理2.6知 Newton迭代法至少平方收敛。因此用 Newton法求单根的收敛速度是较快的。
[ f ( x )]2 f ( x ) f ( x ) f ( x ) f ( x ) 2[ f ( x )]2 f ( x ) ( x ) [ f ( x )]3
x1 x*
f ( x1 ) x2 x1 ( x1 x0 ) f ( x1 ) f ( x0 ) xk 1 f ( xk ) xk ( x k x k 1 ) f ( x k ) f ( x k 1 ) ( k =1,2,· · · · · · ·)
Newton法的局部收敛性
另外也可能不收敛, 或者不是收敛到离初值最近的根. 当然, 对于三次 函数, 除了个别点, 牛迭总是收敛到某个根的, 因为初值远离原点时由 于函数的单调性, 总会被拉回"局部".
事实上在复平面上三次函数的根的牛迭收敛行为是个著名的分形 ...足 见全局收敛性的复杂.
定义6.2
设迭代过程xk 1 ( xk )收敛于方程x ( x)的根x*， 如果迭代误差ek xk x*当k 时成立下列渐近关系式 ek 1 C (C 0为常数) p ek
具体来说
局部收敛性有如下定理 1.设已知 f(x) = 0 有根 a, f(x) 充分光滑(各阶导数存在且连续). 2.若 f'(a) != 0(单重零点), 则初值取在 a 的某个邻域内时, 迭代法 x[n+1] = x[n] - f(x[n])/f'(x[n]) 得到的序列 x[n] 总收敛到 a, 且收敛速度至少是 二阶的. 3.若 f'(a) == 0(多重零点), 则初值取在 a 的某个邻域内时, 收敛速度是 一阶的.
则称该迭代过程是p阶收敛的。特别地，p=1时称为线性收敛，p>1时 称为超线性收敛，p=2时称为平方收敛。
定理6.3
对于迭代过程xk 1 ( xk ), 如果 ( p ) ( x) 在所求根x*的邻近连续，并且
' * '' * ( p 1) ( x* ) 0, ( x ) ( x ) ... ( p) * ( x ) 0, 则该迭代过程在点x*邻近是p阶收敛的.
记 g(x)=x-f(x)/f'(x), 其中"某个邻域"可由 |g'(x)|<1 的区间确定, 但是 g'(a)==0, 所以这样的邻域总是能取到的. 说收敛速度是 r 阶指的是: 存在 r 及常数 c 使 lim_{n->\inf} |x[n+1]a|/|x[n]-a|^r = c 至于牛顿迭代法的全局收敛性, 一般的数值分析书都没有详细叙述, 而 只是举一些例子. 因为牛迭是否收敛依赖于函数是否"单调", 一些"曲折"大的函数就可能 使迭代法不收敛了.
牛顿迭代法收敛条件
牛顿迭代法收敛条件牛顿迭代法是数值计算的一种重要的技术，是一种利用牛顿迭代法求解非线性方程组的有效方法。
牛顿迭代法的实现不仅要求计算出一个收敛的迭代结果，还要通过特定条件来证明这个收敛结果。
考虑到这项技术的重要性，它的收敛条件也受到了广泛的关注与研究。
一、牛顿迭代法收敛性的定义在计算机科学和应用中，牛顿迭代法是一种迭代方法，用于计算方程组的解，其中包括非线性方程组。
求解这类方程组的迭代计算不是在停止点处终止，而是要求迭代收敛的条件，这就是收敛性的定义。
收敛性是指在迭代计算过程中，特定的算法和条件下迭代序列必须向某个点收敛，而不是把它的值无限接近某一值，或者只在特定的时间段内能收敛，而不是收敛到特定点。
二、牛顿迭代法收敛性的判定牛顿迭代法收敛性的判定分为两种，一是函数收敛条件，二是牛顿迭代法本身的收敛条件。
1.函数收敛条件牛顿迭代法收敛的函数收敛条件要求函数在一定范围内的变化率不能无限逼近某个值，即认为一个函数在某一范围内的值收敛了，收敛的标准是函数在收敛范围内的变化率小于某一阈值。
2.牛顿迭代法本身的收敛条件牛顿迭代法本身的收敛条件就是给定一个序列，该序列必须在一定条件下收敛，这个条件是这些给定的序列必须严格满足强半正定矩阵上的平方和半正定矩阵性质，以及有足够多的解。
三、牛顿迭代法收敛性的应用1.牛顿迭代法在求解非线性方程的应用牛顿迭代法在计算机科学和应用中用于求解非线性方程组的解，其特点是快速收敛、算法简单、可以实现精确的解等。
当特定的非线性方程组的求解要求接近精确解时，利用牛顿迭代法可以获得满足收敛性要求的精确解。
2.牛顿迭代法在最优化问题中的应用牛顿迭代法也是用于解决最优化问题的一种有效方法，如求解最小化最大化目标函数，求解最优化问题的极小值或极大值等。
与传统最优化算法相比，牛顿迭代法具有计算快、收敛性强等优点，经常被用于解决最优化问题，从而获得较为精确的最优解。
3.牛顿迭代法在深度学习算法的应用牛顿迭代法在深度学习算法中也有重要的应用，例如误差反向传播算法(Error Back propagation, EBP)中就采用了牛顿迭代法。
第二节_牛顿迭代法
2 3 xk
2 f ( x) 3 x
k 0,1, 2,
4、牛顿迭代法的局部收敛性定理 设 x* 为方程 f (x) = 0的根，在包含x*的某个开区间内 f ( x) 连 B ( x *) [ x , x ]， f ( x ) 0 续，且 ，则存在 x* 的邻域 使得任取初值 x0 B ( x*)，由牛顿迭代法产生的序列xk 以不 低于二阶的收敛速度收敛于x*.
标即为 xk 1 。 y
( x0 , f ( x0 ))
x* x2 x x0 1
x
例2.5：写出求 a (a 0) 的牛顿迭代格式；写出求 a (a 0) 的牛顿迭代格式,要求公式中既无开方运算，又无除法运算。
2 f ( x ) x a 0 (a 0) 的正根 f ( x) 2x 解： 等价于求方程
f ( x ) f ( x0 ) f ( x0 )( x x0 ) f ( ) ( x x 0 ) 2 ， 2!
在 x0 和 x 之间
* 取 x x ，可将 (x* x0)2 看成高阶小量，则有：
0 f ( x*) f ( x0 ) f ( x0 )( x * x0 )
lim x n 注意到ξn 在xn 及x*之间,及 n
x n1 x* x n x*
2
x*
,故
f" ( n ) f " ( x* ) * 2 f ' ( xn ) 2 f' ( x )
0(二阶收敛)若 f "( x* ) 0 0(大于二阶收敛)若 f "( x* ) 0
Newton迭代公式是一种特殊的不动点迭代,其 迭代函数为: f ( x) ( x) x f '( x )
牛顿法及其收敛性课件
以上两式相除得
xk 1 xk 1 xk C x C k C . C
2
据此反复递推有
xk 1 xk 1 x0 C x C 0 C C .
2k
（4.6）
记
q x0 x0 C , C
整理（4.6）式，得
为克服这两个缺点，通常可用下述方法.
（1） 简化牛顿法，也称平行弦法.
xk 1 xk Cf ( xk )
其迭代公式为 （4.7）
C 0,1 ,.
迭代函数 ( x) x Cf ( x).
若在根 x * 附近成立 ( x) 1 Cf ( x) 1 ，即取 0 Cf ( x) 2，则迭代法（4.7）局部收敛.
x 3 x 1 0.
（4.8）
在 x 1.5 附近的一个根 x *. 设取迭代初值 x0 1.5，用牛顿法公式
xk 1
3 xk xk 1 xk 2 3 xk 1
（4.9）
x3 1.32472.
计算得
x1 1.34783, x2 1.32520,
迭代3次得到的结果 x3 有6位有效数字.
( x)
( x x*) g ( x) , mg ( x) ( x x*) g ( x)
故 x *是 ( x) 0 的单根.
对它用牛顿法，其迭代函数为
17
( x) x
( x) f ( x) f ( x) x . 2 ( x) [ f ( x)] f ( x) f ( x)
8
xk
C 2 C
q2
k
1 q
2k
.
对任意 x0 0，总有 q 1，故由上式推知，当 k 时 xk C ，即迭代过程恒收敛. 例8 解 求 115 .