42 非线性方程组的迭代解法讲解
牛顿迭代法解非线性方程（组）
牛顿迭代法解非线性方程（组）在辨识工作中，常常需要对辨识准则或者判据进行求极值，这往往涉及到求非线性方程（组）的解问题。
牛顿迭代法是一种常用方法。
下面把自己对牛顿迭代法的学习和理解做个总结。
1.一元非线性方程的牛顿迭代公式和原理以一元非线性方程 f(x)=0 为例，对函数 f(x)进行Taylor级数展开（只展开至线性项）得f(x) = f(x0)+f'(x0)(x-x0)所以方程可写成f(x0)+f'(x0)(x-x0) = 0其中x0是给定的已知值，则不难推导出方程的解（当然，只是近似解，毕竟Taylor展开过程中只取了线性项）x = x0 - f(x0) / f'(x0)其中x不是真实解，但是相比之前的x0更靠近真实解了，因此可以多重复几次上述过程，从而使得到的解非常接近准确值。
所以，对于一元非线性方程，牛顿拉夫逊迭代公式为：x(k+1) = x(k) - f(x(k)) / f'(x(k))根据Taylor级数的几何意义我们可以从几何上形象的看牛顿迭代法的求解f(x)=0的过程。
第一次迭代x1 = x0 - f(x0) / f'(x0)，其中f(x0) / f'(x0)的几何意义很明显，就是x0到x1的线段长度（这可以从直角三角形的知识得到）。
第二次迭代x2 = x1 - f(x1) / f'(x1)，其中f(x1) / f'(x1)的几何意义很明显，就是x1到x2的线段长度。
同理可以进行第三次迭代第四次迭代，可以明显的看出x的取值在不断逼近真实解x*。
可能有人问，迭代求得的结果会不会不收敛，也就是x会不会偏离x*。
由于x0是在x*附近区域取值的，因此x0到x1这段曲线应该认为是平滑的没有转折的，因此切线与x轴的交点只会越来越接近真实解x*。
但是如果x0的取值离x*比较远的话，那么x0到x1这段曲线上可能有“转折”，这样就可能引起迭代的不收敛。
第7章.非线性方程迭代法
f
的重根
=
的单根。
➢ 正割法 / Secant Method / ：
Newton’s Method 一步要计算 f 和 f ’，相当于2个函数值， 比较费时。现用 f 的值近似 f ’，可少算一个函数值。
割线
/ secant line /
收敛比Newton’s Method 慢， 且对初值要求同样高。
牛顿迭代法的改进与推广
➢ 重根 / multiple root / 加速收敛法：
Q1: 若 f (x*) ，0 Newton’s Method 是否仍收敛？ 设 x* 是 f 的 n 重根，则：f ( x) ( x x*)n q( x) 且 q( x*) 0。
因为 Newton’s Method 事实上是一种特殊的不动点迭代，
④
|
x
*
xk
|
1
1
L
|
xk 1
xk
|
?
✓ | xk1 xk | | x * xk | | x * xk1 | | x * xk | L | x * xk |
⑤
|
x*
xk
|
Lk 1 L
|
x1
x0
|
?
可用 | xk1 xk |来 控制收敛精度
| xk1 xk | | g( xk ) g( xk1 ) | | g(ξk )(xk xk1 ) |
3
| g( x) | | x2 | 1
现令 ( x) (1 K )x Kg( x) (1 K )x K ( x3 1)
3
希望 | ( x) | | 1 K Kx2 | 1，即
2 K 0 x2 1
在 (1, 2) 上可取任意 2 K，例0如K = 0.5，则对应
解非线性方程的牛顿迭代法及其应用
解非线性方程的牛顿迭代法及其应用一、本文概述非线性方程是数学领域中的一个重要研究对象，其在实际应用中广泛存在，如物理学、工程学、经济学等领域。
求解非线性方程是一个具有挑战性的问题，因为这类方程往往没有简单的解析解，需要通过数值方法进行求解。
牛顿迭代法作为一种古老而有效的数值求解方法，对于求解非线性方程具有重要的应用价值。
本文旨在介绍牛顿迭代法的基本原理、实现步骤以及在实际问题中的应用。
我们将详细阐述牛顿迭代法的基本思想，包括其历史背景、数学原理以及收敛性分析。
我们将通过具体实例，展示牛顿迭代法的计算步骤和实际操作过程，以便读者能够更好地理解和掌握该方法。
我们将探讨牛顿迭代法在各个领域中的实际应用，包括其在物理学、工程学、经济学等领域中的典型应用案例，以及在实际应用中可能遇到的问题和解决方法。
通过本文的介绍，读者可以深入了解牛顿迭代法的基本原理和应用技巧，掌握其在求解非线性方程中的实际应用方法，为进一步的研究和应用提供有力支持。
二、牛顿迭代法的基本原理牛顿迭代法，又称为牛顿-拉夫森方法，是一种在实数或复数域上近似求解方程的方法。
其基本原理是利用泰勒级数的前几项来寻找方程的根。
如果函数f(x)在x0点的导数f'(x0)不为零，那么函数f(x)在x0点附近可以用一阶泰勒级数来近似表示，即：这就是牛顿迭代法的基本迭代公式。
给定一个初始值x0，我们可以通过不断迭代这个公式来逼近f(x)的根。
每次迭代，我们都用当前的近似值x0来更新x0，即：这个过程一直持续到满足某个停止条件，例如迭代次数达到预设的上限，或者连续两次迭代的结果之间的差小于某个预设的阈值。
牛顿迭代法的收敛速度通常比线性搜索方法快，因为它利用了函数的导数信息。
然而，这种方法也有其局限性。
它要求函数在其迭代点处可导，且导数不为零。
牛顿迭代法可能不收敛，如果初始点选择不当，或者函数有多个根，或者根是重根。
因此，在使用牛顿迭代法时，需要谨慎选择初始点，并对迭代过程进行适当的监控和调整。
【文献综述】非线性方程组的迭代解法
文献综述信息与计算科学非线性方程组的迭代解法一、国内外状况 近年来，国内外专家学者非线性方程组的迭代解法的研究兴趣与日俱增，他们多方面、多途径地对非线性方程组进行了广泛的领域性拓展（科学、物理、生产、农业等），取得了一系列研究成果。
这些研究，既丰富了非线性方程组的内容，又进一步完善了非线性方程组的研究体系，同时也给出了一些新的研究方法，促进了数值计算教学研究工作的开展，推动了课程教学改革的深入进行。
非线性问题是数值分析中一种研究并解决数值计算问题的近似解的数学方法之一。
数值是各高校信息与计算科学专业的一门核心基础课程。
它既有数学专业课理论上的抽象性和严谨性，又有解决实际问题的实用性。
80年代以前，数值分析课程只在计算数学专业和计算机专业开设，限于计算机的发展，课程的重心在数学方法理论分析方面，是一门理论性较强的课程。
近年来，随着计算机技术的迅速发展，以及计算机的普及和应用，数值分析课程也在国内外各大高校得到了迅速的推广。
特别是Mathworks公司对Matlab软件的研发，给数值分析课程注入了新的活力。
利用Matlab 所含的数值分析计算工具箱，可以进行数值计算方法的程序设计，同时利用图形图像处理功能，可以对数值分析的近似解及误差进行可视化分析，特别是对非线性问题的求解，利用软件计算求解的方法简单多了。
二、进展情况经过多年的不断研究探索，非线性问题的理论性质得到了更多的认证，我们通过对理论的学习，将它融入其他知识体系中比如：动力学，农业学等等。
非线性问题在经过人们不断的探索努力下发现了很多定理定义，比如不动点迭代法，牛顿法，拟牛顿法，以及各种迭代法。
并且对于各种迭代法的收敛性质和收敛速度进行了深入的研究，从而了解了迭代法的构造、几何解释、并对它的收敛性（全部收敛和局部收敛）、收敛阶、误差估计等。
由于迭代法的计算步骤比较多，计算量大且复杂，很多学者对迭代法的加速方法进行了研究。
而对非线性方程组的迭代解法也初步有了研究的进展。
数值分析--非线性方程的迭代解法
非线性方程的迭代解法1．迭代函数对收敛性的影响实验目的：初步认识非线性问题的迭代法及其收敛性，认识迭代函数对收敛性的影响，知道当迭代函数满足什麽条件时，迭代法收敛。
实验内容：用迭代法求方程 012)(3=--=x x x f 的根。
方案一： 化012)(3=--=x x x f 为等价方程 )(213x x x φ=+= 方案二： 化012)(3=--=x x x f 为等价方程 )(123x x x φ=-= 实验要求：分别对方案一、方案二取初值00=x ，迭代10次，观察其计算值，并加以分析。
实验程序：实验结果:2. 初值的选取对迭代法的影响实验目的：通过具体的数值实验，体会选取不同的初值对同一迭代法的影响。
实验内容：用牛顿迭代法求方程 013=--x x 在x =1.5附近的根。
实验要求：对牛顿迭代公式 131231----=+k k k k k x x x x x ，分别取00=x ，5.10=x 迭代10次，观察比较其计算值，并分析原因。
实验程序：实验结果：3.收敛性与收敛速度的比较实验目的：通过用不同迭代法解同一非线性方程，比较各种方法的收敛性与收敛速度。
实验内容：求解非线性方程 0232=-+-x e x x 的根，准确到106-。
实验要求：(1) 用你自己设计的一种线性收敛的迭代法求方程的根，然后用斯蒂芬森加速迭代计算。
输出迭代初值、各次迭代值及迭代次数。
(2) 用牛顿迭代法求方程的根，输出迭代初值、各次迭代值及迭代次数，并与(1)的结果比较。
实验程序：1．普通迭代，选用初值0.52. 斯蒂芬森加速迭代3.牛顿迭代法实验结果：。
非线性方程的数值求法牛顿迭代法和弦截法PPT课件
26
Newton下山法
原理：若由 xk 得到的 xk+1 不能使 | f | 减小，则在 xk 和 xk+1 之 间找一个更好的点 xk1，使得 f ( xk1) f ( xk ) 。
xk
xk+1
xk1 (1 )xk , [0, 1]
xk 1
[xk
)g( xn
)
n1
n
mng(xn ) mg( xn ) n g(
xn
)
n2 g( xn )
mg( xn ) n g( xn )
n1
2 n
g( xn )
mg( xn ) n g( xn )
若 xn 收敛，即
n 0 (n ),
没有具体的描述，而且若x0 的值没有取好，有可 能得不到收敛的结果。
以下定理，给出了 f x 满足一定的条件时，要使得牛顿
迭代法收敛，x0 应满足什么条件。
又 f ( ) 0
( ) 0 1,
牛顿迭代法局部收敛于
又 ( ) 0
即有：牛顿迭代法具有二阶（平方）收敛速度。
注. 定理要求 x0 充分接近 (局部收敛)，充分的程度
没有具体的描述，而且若x0 的值没有取好，有可 能得不到收敛的结果。
以下定理，给出了 f x 满足一定的条件时，要使得牛顿
迭代法收敛，x0 应满足什么条件。
定理 设 f x 在区间 a,b 上的二阶导数存在，且满足： ① f (a) f (b) 0; （保证 a, b中至少存在一个根）
若 xn 收敛，即 n 0 (n )
lim n1 lim[1
4.2非线性方程组的迭代解法
连续,则F在x处可微,并称F在x处连续可微,且
f i ( x) F ( x) x j nn
（2）若F（x）在 x int D 可微，则F在x处连续；
（3）中值定理
f1( x 1h)T T f 2 ( x 2 h) F ( x h) F ( x ) h T f n( x n h)
f f f
1
( x) 0 ( x) 0 ( x) 0
2
2
n
n
令
F ( x) 0
向量形式
x1 x2 x x n
4.2 非线性方程组的迭代解法
一、 一般概念 1.非线性方程组的一般形式
f f f
一、 一般概念 1.非线性方程组的一般形式
f f f
1
( x1 , x 2 ,, x n ) 0 ( x1 , x 2 ,, x n ) 0 ( x1 , x 2 ,, x n ) 0
f1 ( x) f 2 ( x) F ( x) f ( x) n
x a 0
lim F ( x) l 0
3.向量值函数的极限、连续、可导、可微 （1）极限 F ( x) l lim F ( x) l (l R m ) xlim a 0
x a
0
lim f i ( x) lim f i ( x1 , x2 ,, xn ) li
这里
c ( f x1 ( p0 ), f x2 ( p0 ), , f xn ( p0 ))
f f f T f ( x) ( , ,, ) x1 x2 xn
非线性方程迭代法
迭代法——非线性方程与方程组的数值解法7.1方程求根与二分法二分法，取中点判断左右区间[a,b]-----x 0=(b+a)/2---f(x0)是否为0是：零点为x 0；否，f(x 0)与f(a)同号，则x 0取代a ；f(x 0)与f(b)同号，则x 0取代b 重新计算区间；7.2不动点迭代法及其收敛性不动点：将f(x)=0写成隐式x=φ(x)，若x*满足f(x*)=0，则x*=φ(x*) ；反之亦然，则x*为函数φ(x)的一个不动点。
迭代函数：φ(x)选初值x 0，x 1=φ(x 0)……有x k+1=φ(x k ),k=0,1,2….。
lim k→∞x k =x ∗等价于{xk}等价于迭代方程收敛不动点存在性: φ(x)在[a,b]区间内满足：（1）任意∀x ϵ[a,b]，有a ≤φ(x)≤b ；（2）∃1>L >0，使得∀x ，y ∈ a,b 都有丨∅ x −∅ y 丨≤L 丨x −y 丨； 则φ(x)在[a,b]区间内存在唯一不动点x*收敛误差计算： 丨xk −x ∗丨≤L k1−L 丨x1−x0丨丨xk +1−xk 丨≤L k 丨x1−x0丨丨x ∗−xk 丨≤11−L 丨xk +1−xk 丨局部收敛性：φ(x)在x*的某个领域R ：丨x-x*丨≤δ，对任意x0属于R 迭代后产生的｛xk ｝属于R ，且收敛到x*则称为局部收敛。
P 阶收敛：设迭代过程x k+1=φ(x)收敛于方程x=φ(x)的根x*，如果当k →∞，则有迭代误差e k =x k -x*满足渐进关系式：e k +1e k p →C （非零常数）则称迭代过程P 阶收敛。
领域内p 阶收敛：φ（p ）在所求根x*的领域内连续，有φ’(x*)=φ”(x*)=…= φ（p-1）(x*)=0；φ（p ）(x*)≠0，则在x*领域内p 阶收敛7.3收敛加速法1．艾特金加速收敛法x*=x 2x 0−x 12x 2−2x 1+x 0=x 0−（x 1−x 0）2x 2−2x 1+x 0；x k+1=φ(x k )x k+2=φ(x k+1)X k +1 =x k −（x k +1−x k ）2x k +2−2x k +1+x k =x k -（Δx k ）2/Δ2x k2．史蒂文森迭代法y k =φ(x k )，z k =φ(y k )，x k+1=x k −（y k −x k ）2zk −2y k +x k ，k=0，1，…改写为不动点迭代法：x k+1=Ψ(x k )，k=0，1，…Ψ(x)=x-（φ（x ）−x ）2φ（φ（x ））−2φ（x ）+x若x*为Ψ(x)的不动点，则x*也是φ（x ）的不动点；反之，若x*是φ（x ）的不动点，当φ”(x)存在， φ’(x)≠1时，x*也是Ψ(x)的不动点； 史蒂文森迭代法是二阶收敛的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x ( k ) x ( k 1) x
(k )
；
2o 由
L知简单迭代法是线性收敛的；
3o 对线性方程组迭代函数G ( x ) Bx d , 有L= B <1是收敛的充分 必要条件。
局部收敛定理 定理5(局部收敛定理 ) 设G：D R n R n ,x * int( D )
其中, 0 k 1, k 1, 2,
, n。
三、收敛向量序列的收敛速度
定义3 设向量序列 xk 收敛于 x * , ek x * xk 0,
k 1,2,
, 如果存在常数r 1和常数c 0，使极限
lim
k
e
k
e k 1
r
c
r
成立，或者使得当k K (某个常数)时，有 ek 1 ek
（4Байду номын сангаас2.2）
其中，F : D R n R n是定义在区域D R n上的向量 值函数。 若存在x * D , 使F ( x * ) ，则称x *是方程组(4.2.1)或 (4.2.2)的解。
二、多元微分学补充
定义1 设f ：D R n R，x int( D ) (即x是D的内点)， 若存在向量l ( x ) R n ,使极限
L (k ) ( k 1) L(1 L ) ( k ) ( k 1) x x x x 1 L 1 L L * (k ) 再让m , 得 x x x ( k ) x ( k 1) ■ 1 L
m
i 1 i 1
说明
1o 简单迭代法的精度控制与终止条件e( k ) x * x ( k +1) x x
f 1 ( x ) x 1 f ( x ) n x 1
f 1 ( x ) x 2 f n ( x ) x 2
f1 ( x ) x n f n ( x ) x n
称为F 在x处的Jacobi矩阵。
证明：由于F ( x ) f1 ( x ), f 2 )( x,
的序列 x ( k ) D0收敛于函数G ( x )在区域D0内存在唯一的不动点x * ;
k L (2) 成立误差估计式 x* x ( k ) x (1) x (0) 1 L L * (k ) x x x ( k ) x ( k 1) 1 L
(4.2.8)
(4.2.9)
, f n ( x ) ,所以，存在 定理
T
向量li ( x ) R n ,使极限 f i ( x h) - f ( x ) - li ( x )T h lim 0 hθ h
i 1,2,
2证 , n明
成立，与存在矩阵A( x ) Rnn ,使(4.2.4)式成立是等价的， T T T T 并且A( x ) l1 ( x ) , l2 ( x ) , , ln ( x ) ,即 f i ( x )(i 1,2, , n)在x处可微是F ( x )在x处可微的充分必
0, j 1,2,
,n
f ( x e j ) f ( x) f ( x ) 从而 lim l j ( x ), j 1,2, 0 x j
,n
存在，且有
f f f ( x ) l ( x ) , , x1 x2
f , xn
*
k
k
x * y* G ( x * ) G ( y * ) L x * y * x * y*
这表明，x*是F ( x ) 0在D0内的是唯一解。 k L * (k ) (2) 在(4.2.10)中，让m , 得 x x x (1) x (0) 1 L m m x ( k m ) x ( k ) x ( k i ) x ( k i 1) Li x ( k ) x ( k 1)
成立，则称序列 xk 收敛于 x* 具有 r 阶速度，简称
xk 是 r 阶收敛的，c是它的收敛因子。
当 r =1时，称序列 xk 是线性收敛的，此时必有0 c 1； 当r >1时，称序列 xk 是超线性收敛的； 当r =2时，称序列 xk 是平方收敛的；
§4.2.2 简单迭代法
(4.2.1)
其中，f i ( i 1,2,
, n)是定义在区域D R n上的n元实
值函数，且f i中至少有一个是非性性函数。
令 x x1 , x2 ,
, xn , F ( x ) f1 ( x ), f 2 ( x ),
T
, fn ( x ) ，
T
则方程组可表示为
F ( x)
( k m )
(k )
m
m
k i 1
(1)
(0)
i 1
i 1
k
m
k
(1)
(0)
(1)
(0)
(k )
n
0
(k )
*
o
0
在D0上连续，因而有x * lim x ( k 1) lim G ( x ( k ) ) G ( x * )，
即x 是方程组F ( x ) 0的解。 设x* , y* D0是F ( x ) 0的两个不同的解，则有
T
定理1
说明：
f f f ( x ) , , x1 x2
f , xn
1o f 在 x 处的导数 f ( x )又称为 f 在 x 处的梯度，可记 为gradf ( x )或f ( x )； 2o 梯度f ( x )存在只是函数f 在x处可微的必要条件而非 充分条件。
f ( x h) - f ( x ) - l ( x )T h lim 0 hθ h (4.2.3)
成立，则称f 在x处可微，向量l ( x )称为f 在x处的导数， 记为：f ( x ) l ( x )；若D是开区域且f 在D内每一点都可 微，则称f 在D内可微。
定理1 若f : D R n R在x int( D )处可微,则f 在x处 f 关于各自变量的偏导数 ( j 1,2, x j , n)存在，且有
Lk x (1) x (0)
(ki ) ( k i 1)
证明 (1) 由于x(0) D0以及条件1o可知由(4.2.6)产生的序 压 o 列有意义且 x ( k ) D0。又由条件2 得 (k ) ( k 1)缩 (k ) (k ) ( k 1) (k ) L x x G ( x ) G ( x ) x x
3o 若F 在开区域D内可微,D0 D为开凸区域，则对任意
f1( x 1h)T T f 2( x 2 h) F ( x +h) F ( x ) h f ( x h) T n n
的x D0和x h D0，以下等式成立
简单迭代法
适当选取初始向量x (0) D, 构成迭代公式
x( k +1) G( x( k ) ),
k 0,1,2,
(4.2.6)
迭代公式 (4.2.6) 称为求解方程组 F(x)=0 的简单迭代法， 又称为不动点迭代法。G(x)称为迭代函数。
定理4(压缩映象原理) 设G：D R n R n在闭域D0 D上满足条件
§4.2 非线性方程组的迭代解法
§4.2.1 预备知识 一、一般非线性方程组及其向量表示法
含有n个方程的n元非线性方程组的一般形式为
f1 ( x1 , x2 , , xn ) 0 f (x , x , , x ) 0 2 1 2 n f n ( x1 , x2 , , xn ) 0
映 当m 1时有 射 x x x x L x x 原 L (1 L ) L 理 x x x x (4.2.10) 1 L 1 L 的 因0 L 1, 所以当k趋于时，上式中的最后一项是无穷 证 小量，由Cauchy收敛原理，序列 x 在R 中收敛，又由 明 D 是闭区域， ( x) x 的极限x D 。又由条件2 知，G
n 定理 2 定理2 设F : D R n R 为向量值函数 ,则F 在x int( D )
处可微的充分必要条件是F的所有分量f i(i 1,2, x处可微；若F 在x处可微,则有
, n)在
f i ( x ) F ( x ) x j nn
例1 用简单迭代法求解以下方程组
3 x1 cos x1 sin x2 0 4 x2 sin x1 cos x2 0
例 1
要求满足精度e( k )
x ( k ) x ( k 1) x(k )
1012
解：设
1 (cos x1 sin x2 ) x1 3 x ,G ( x ) 1 x2 (sin x1 cos x2 ) 4 则方程组可改写成 x G( x )。
把方程组F ( x ) 0改写成与之等价的形式
x G ( x) (4.2.5)
其中G：D Rn Rn。若x* D满足x* G( x* ),则称x*
为函数G( x)的不动点。因此G( x)的不动点就是方程组 F ( x ) 0的解;求方程组F ( x ) 0的解就转化为求函数的 G( x)的不动点。
要条件。又根据定理2，当F ( x )在x处可微时，有
f i ( x ) F ( x ) x j nn
■
n 定理3 设F : D Rn R定理 3
1o 若F 在x处的Jacobi矩阵存在且连续，则F 在x处可