浙大计算方法 6 迭代法的收敛性及非线性方程组的解法(6.9-10)
非线性方程和非线性方程组的迭代解法
敛：ｐ＝２，ｃ＞０称序列至少平方收敛；若ｋ≥ｋ．，时，有Ｘｋ＝ｘ４成立，或
ｌｉｍ堕：。二型 ＝０
“‘｜｜Ｘ“一Ｘ＋旷 则称事列（Ｘ）为超ｐ阶收敛
定义４［１３假定迭代序列（ｘ。｝收敛于ｘ＋，量
！抽婪∑梨，当ｘｔ≠ｘ·对ｋ≥ｋ。 。
（１）公式的建立
设ｘ＋是方程ｆ（ｘ）＝ｏ的解，ｆ（ｘ）在ｘ＋的某邻域Ａ＝｛ｘｊ ｘ—ｘ４≤６｝存在
二阶导数，且ＶＸ∈Ａ，ｆ’（Ｘ）≠０，设ｘ。∈△为ｆ的近似值，将ｆ（ｘ）在Ｘ。处 展为一次Ｔａｙｌｏｒ多项式ｆ（Ｘ）＝ｆ（ｘｋ）＋ｆ ７（ｘ。）（ｘ—ｘ。），记ｐ（Ｘ）＝ｆ（ｘ．）十 ｆ’（Ｘ：）（Ｘ—Ｘ．），显然Ｐ（Ｘ）≈ｆ（ｘ）．令Ｐ（ｘ）＝Ｏ，解得
应用这个方法求解了非线性偏微分方程ｕ．＋“萎生等｝＜如Ｖ＞。Ｑ，ｓ（ｕ）＝。，其中
Ｑ“ｕ）２与竿导，万—ｉｉＦ数值计算中得到的非线性方程组，并通过迭代公
式（４－３）与Ｎｅｗｔｏｎ法的数值实验结果的比较，晚明了在相同精度要求卜Ｉ求解这 个问题时，ｆ＝｝｝式ｆ ４—３）优于＼ｅｎｔＯｔｌ法的几个方面．
第一章解非线性方程的常用迭代格式
在第三章写出了这几个迭代公式的相应算法设计，并将这些格式的数值实验 结果与Ｎｅｗｔｏｎ法、 弦截法、Ｍｕｌｌｅｒ法的数值实验结果进行了比较，说明了这 几个迭代格式的有效性．
在第四章中将预测式迭代法推广到了求解非线性方程组，分析了它的收敛 性、收敛阶，给出了其算法设计并进行了数值实验证明了方法的有效性．特别地，
兰州大学 硕士学位论文 非线性方程和非线性方程组的迭代解法及 姓名：尚秀丽 申请学位级别：硕士 专业：计算数学 指导教师：周宇斌
20041101
计算方法 6 非线性方程迭代法资料
推论 设 C[a, b]满足上面的条件1),且对x [a, b],存在常数L (0,1)，使
| ( x) | L 1， 则 ( x)在[a, b]上存在唯一的不动点.
充分性条件
迭代法的全局收敛性
定理2.2. 设 C[a, b]满足定理2.1中的条件,则对x0 [a, b],由格式
产生的序列{xk }收敛到的不动点x* ,且有误差估计 收敛速度？误差估计？
1)如果对x [a, b],有a ( x) b,则 ( x)在[a, b]上一定存在不动点.
2)在条件1)的基础上，且存在常数L (0,1)，使对x, y [a, b]都有
| ( x) - ( y) | L | x - y |， 称为全局Lipschitz条件
则不动点唯一.
证明. 令g( x) x- ( x), 注意到，
是：a2 : a1; b2 : x1.
否：a2 : x1; b2 : b1. 可知,[a2,b2 ] [a1,b1]. 上述过程继续下去
长度为b - a . 22
可得出一系列有根区间 [ak ,bk ] [a2,b2] [a1,b1] [a,b]. 区间[ak ,bk ]的长度为b2-ka .
事前误差估计
| xk
-
x*
|
L 1 L
|
xk
xk 1
|,
k
1, 2,
| xk
事后误差估计
-
x*
|
Lk 1 L
|
x1
x0
|,
k
1, 2,
称序列是适定的，它表明 迭代法算出的每个点是有 意义的！
证明. 设x*是在[a, b]上的唯一不动点.由格式产生的序列{xk }[a, b],
计算方法第六章(迭代法)
3、插值加速法
由线性插值公式：
x xk x xk 1 y xk xk 1 xk 1 xk xk xk 1
x xk x xk 1 x xk xk 1 xk 1 xk xk xk 1
xk 1 xk 1 xk 2 x xk 1 2 xk xk 1
2.102599958448522 2.094749937881704 2.094556446501749 2.094551657513653 2.094551538972266 2.094551536038016
x=2.5 10 y=x x=(2*y+5)**(1.0/3.0) if (abs(x-y).lt.0.00000001) then goto 15 endif 15 x=2.5 goto 10 20 y=x x=(2*y+5)**(1.0/3.0) x=1.15*x+(1.0-1.15)*y if (abs(x-y).lt.0.00000001) then goto 30 endif goto 20 30 end
1 2 f ( ) f ( xk ) f ( xk )( xk ) f ( xk )( xk ) 2! 1 (n) 1 n f ( xk )( xk ) f ( n 1) ( k )( xk ) n 1 n! (n 1)!
f ( ) f ( xk ) f ( xk )( xk )
f ( xk ) f ( xk ) 2 改进牛顿法： xk 1 xk f ( xk ) 3 f ( xk ) 2 f ( xk )
牛顿迭代法的收敛性： 牛顿迭代法二阶收敛，两种改进牛顿迭代法三阶收敛
1 0 f ( ) f ( xk ) f ( xk )( xk ) f ( xk )( xk ) 2 2!
非线性方程迭代法
迭代法——非线性方程与方程组的数值解法7.1方程求根与二分法二分法，取中点判断左右区间[a,b]-----x 0=(b+a)/2---f(x0)是否为0是：零点为x 0；否，f(x 0)与f(a)同号，则x 0取代a ；f(x 0)与f(b)同号，则x 0取代b 重新计算区间；7.2不动点迭代法及其收敛性不动点：将f(x)=0写成隐式x=φ(x)，若x*满足f(x*)=0，则x*=φ(x*) ；反之亦然，则x*为函数φ(x)的一个不动点。
迭代函数：φ(x)选初值x 0，x 1=φ(x 0)……有x k+1=φ(x k ),k=0,1,2….。
lim k→∞x k =x ∗等价于{xk}等价于迭代方程收敛不动点存在性: φ(x)在[a,b]区间内满足：（1）任意∀x ϵ[a,b]，有a ≤φ(x)≤b ；（2）∃1>L >0，使得∀x ，y ∈ a,b 都有丨∅ x −∅ y 丨≤L 丨x −y 丨； 则φ(x)在[a,b]区间内存在唯一不动点x*收敛误差计算： 丨xk −x ∗丨≤L k1−L 丨x1−x0丨丨xk +1−xk 丨≤L k 丨x1−x0丨丨x ∗−xk 丨≤11−L 丨xk +1−xk 丨局部收敛性：φ(x)在x*的某个领域R ：丨x-x*丨≤δ，对任意x0属于R 迭代后产生的｛xk ｝属于R ，且收敛到x*则称为局部收敛。
P 阶收敛：设迭代过程x k+1=φ(x)收敛于方程x=φ(x)的根x*，如果当k →∞，则有迭代误差e k =x k -x*满足渐进关系式：e k +1e k p →C （非零常数）则称迭代过程P 阶收敛。
领域内p 阶收敛：φ（p ）在所求根x*的领域内连续，有φ’(x*)=φ”(x*)=…= φ（p-1）(x*)=0；φ（p ）(x*)≠0，则在x*领域内p 阶收敛7.3收敛加速法1．艾特金加速收敛法x*=x 2x 0−x 12x 2−2x 1+x 0=x 0−（x 1−x 0）2x 2−2x 1+x 0；x k+1=φ(x k )x k+2=φ(x k+1)X k +1 =x k −（x k +1−x k ）2x k +2−2x k +1+x k =x k -（Δx k ）2/Δ2x k2．史蒂文森迭代法y k =φ(x k )，z k =φ(y k )，x k+1=x k −（y k −x k ）2zk −2y k +x k ，k=0，1，…改写为不动点迭代法：x k+1=Ψ(x k )，k=0，1，…Ψ(x)=x-（φ（x ）−x ）2φ（φ（x ））−2φ（x ）+x若x*为Ψ(x)的不动点，则x*也是φ（x ）的不动点；反之，若x*是φ（x ）的不动点，当φ”(x)存在， φ’(x)≠1时，x*也是Ψ(x)的不动点； 史蒂文森迭代法是二阶收敛的。
第三组：非线性方程迭代解法
一：非线性方程的基本迭代方法简单迭代法非线性方程的一般形式f(x)=0 其中f(x)是一元非线性函数。
若存在常数s 使f(s)=0，则称s 是方程的根。
把方程转化为其等价的方程)(x x ϕ=，因而有)(s s ϕ=。
选定s 的初始近似值0x ，用迭代公式)(1k k x x ϕ=+，得到}{k x 收敛于s ，就求出了方程的解。
收敛性：)(s s ϕ=,)(x ϕ'在包含s 的某个开区间内连续。
如果|)(x ϕ'|<1则存在δ>0，0x ∈[s-δ,s+δ]时，由该迭代函数产生的迭代法收敛。
收敛速度：（}{k x 收敛于s ，k e 为s 与k x 的差值绝对值，则c e e r k k k =+∞→1lim，c 是常数，则该迭代是r 阶收敛）Newton 法为了使迭代的收敛速度更快，应尽可能使)(x ϕ在s 处有更多阶的导数等于零。
令)(x ϕ=)()(x f x h x +,)(x h 为待定函数，已知)(s ϕ'=0，推出)(x h =)(1x f '-。
这就得出了牛顿法的迭代形式 )()(1k k k k x f x f x x '-=+，（k=0、1、···） 牛顿法是二阶收敛的迭代方法，但是牛顿法的是局部收敛的，因此要求初值要靠近根。
求解中，对于每一个k 都要计算)(k x f '，而导数的计算比较麻烦，否则会产生很大误差。
割线法 在牛顿法基础上，用11)()(----k k k k x x x f x f 来代替)(k x f '，其中1-x 、0x 预先给定。
得到了割线法的迭代形式 )()())((111--+---=k k k k k k k x f x f x x x f x x ，（k=0、1、···） 割线法的收敛速度至少为1.618这样就避免了牛顿法求导数的繁琐程序单点割线法单点割线法就是在割线法的基础上，用))(,(00x f x 代替))(,(11--k k x f x ，得到的迭代形式 )()()(001k k k k k x f x f x f x x x x ---=+，（k=1、2、···） 单点割线法是一阶收敛的方法，它比割线法初值要少取一个点更加容易选取初值二：非线性方程的迭代解法的拓展修正的Chebyshev 法思想：将函数)(x f 在k x 处进行泰勒展开既 +-''+-'+≈!2)()())(()()(2k k k k k x x x f x x x f x f x f ，如果)(x f ≠0，先取线性部分来代替原来函数，既)(x f =)(k x f +))((k k x x x f -'=0，得到k x x -=)()(k k x f x f '-； 再用二次多项式部分代替原函数，既!2)()())(()()(2k k k k k x x x f x x x f x f x f -''+-'+==0，合并这两次的结果得到)()()))((2)()(1(2k k k k k k x f x f x f x f x f x x ''''⋅+-=，令1+=k x x ，得到就得到了新的迭代公式，这就是Chebyshev 方法的思想，该方法的迭代公式具有三阶收敛速度。
迭代法的收敛性
x* Mx* g 由迭代公式有 M (x
k k
x ( k ) x* Mx ( k 1) g Mx* g
( k 1)
x ) M (x
* 2 * k
( k 2) (k )
x ) M (x
* k
(0)
x )
*
于是有 lim M ( x
1 1 例：Ax b, A 2 1 2
1 2 1 1 讨论用三种迭代法求解的收敛性。 2 1 1 2 解：因A为对称且其各阶主子式皆大于零，故A为对称正定矩 1 2 阵。由判别条件3，Gauss-Seidel迭代法与松弛法(0 2) 均收敛。A不是弱对角占优阵，故不能用条件1判断。 0 1 -1 Jacobi迭代法的迭代矩阵为B I - D A 2 1 2 1 2 0 1 2 1 2 1 2 0
1,
1,由推论1无法判别收敛性。
对一些特殊的系数矩阵可给出几个常用的判 别收敛条件
设有线性方程组Ax b, 下列结论成立（收敛充分条件） 1.若A为严格对角占优阵或不可约弱对角占优阵，则 Jacobi迭代法和Gauss-Seidel迭代法均收敛。 2.若A为严格对角占优阵， 0 1, 则松弛法收敛。 3.若A为对称正定阵，则松弛法收敛的充要条件为 0 2。 10 1 2 2 1 0 B 1 2 1 上两例中： A 1 10 2 1 1 5 0 1 2 A为严格对角占优阵，故Jacobi与Gauss-Seidel迭 代均收敛。B为非严格对角占优阵，但为对称正定 阵， =1.4故松弛法收敛。
推论1 对任意初始向量x 和右端项g，若 M 1,由迭代
迭代法和其收敛性
(1) xk1 xk2 xk 3, g(x) x2 x 3,
g(x) 2x 1, g(x*) g( 3) 2 3 1 1.
3
3
(2)
xk 1
xk
,
g(x)
, x
g( x)
3 x2
,
g( x*)
1.
(3)
xk 1
xk
1 4
( xk2
3),
g(x)
x
1 4
(x2
3),
g(x) 1 1 x, g(x*) 1 3 0.134 1.
上g存(x在) [a, b]
因 a g，(x)下列b设
及 g(a) ，a定 g(b) b
义函数
f (x) g (x) x.
显然 f (x) C，[a且, b满] 足
f (a) g (a) a 0, f (b)
g(b) b，由0 连续函数性质可知存在
x使* (a, b)
f (x*) ， 0即
L xk1 x * Lk x0 x *.
因 0 L，故1 当 k时序列 收敛{到xk } .
x*
再证明估计式（2.5），由李普希兹条件有
xk1 xk g(xk ) g(xk1) L xk xk1 .
（2.6）
反复递推得
xk 1 xk Lk x1 x0 .
于是对任意正整数 p有
g在(x区) 间3x2 中
[1,2] g(x) 1
10.3 局部收敛性与收敛阶
上面给出了迭代序列 {在xk区} 间 上[旳a, b收]敛性， 一般称为全局收敛性. 定理旳条件有时不易检验，实际应 用时一般只在不动点 x *旳邻近考察其收敛性，即局部收 敛性.
定义7.2.1 设 有(x不) 动点 ，假x *如存在 旳某x个* 邻域 R : x x ，* 对任意 ，迭x0 代（R 2.2）产生旳序列 {xk }，R且收敛到 ，x则*称迭代法（2.2）局部收敛.
迭代法的收敛性
即
det[I (D L)1U ] 0
从而 det(D L)1 det[(D L) U ] 0
所以
det[(D L) U ] 0
可得
因为
|aii| |aij | ji
i1
n
|||aii||| |aij ||| |aij |
j1
j i 1
i1
n
n
|| |aij| |aij| (||1) |aij|
(1)写出解该方程组旳Jacobi迭代旳迭代
阵，并讨论迭代收敛旳条件；
(2)写出解该方程组旳G-S迭代旳迭代阵， 并讨论迭代收敛旳条件。
17
补充例题
例：AX=b为二元线性方程组， 证明：解该方程组旳Jacobi迭代与G-S迭 代同步收敛或同步发散。
18
9
特殊方程组迭代法旳收敛性
4 1 1 问题：该矩阵具有怎样旳特点？
2 5 1 1
2
3
结论：该矩阵是严格对角占优阵
定义：假如矩阵A旳元素满足
jn
| aii | | aij | i 1,2,3,, n j 1 ji
则称A为严格对角占优矩阵。
10
特殊方程组迭代法旳收敛性
定理：若线性方程组AX=b旳系数矩阵A为 严格对角占优矩阵，则解该方程组旳Jacobi 迭代法和G-S迭代法均收敛。
2
一阶定常迭代法旳收敛性
则: (k 1) B (k ) B 2 (k 1) B k 1 (0)
注意 (0) x(0) x * 为非零常数向量
所以迭代法收敛旳充要条件
lim (k1) lim( x(k1) x*) 0
k
k
可转变为
lim Bk1 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
证 设λi为A的任意一个特征值，xi为对应的特征向量，则有
ixi Axi
两边取范数得
i xi ixi Axi A xi
i A
λi为A的任意一个特征值
2
(A) A
定理12 迭代法基本定理 迭代格式
14
例1. 用简单迭代法解方程组
4 x1 x1
x2 4 x2
0.1e x12
x1 1 /8 0
解: 作迭代格式
x1( k
1)
1 4
(1
x(k ) 2
0.1ex1(k ) )
x2(k 1)
1 4
[
x1( k
)
1 8
(
x1(
k
)
)2
]
取
x(0)
(
x(0) 1
,
x(0) 2
)T
(0, 0)T
令 k 0,1, 2,
x(1) 1
1 4
(1
x(0) 2
0.1ex1(0) )
0.225
x(1) 2
1 4
[
x1(
0)
1 8
(
x(0) 1
)2
]
0
15
x(1) 1
1 4
(1
x(0) 2
0.1ex1(0) )
J
D1 (L
U)
0
0
1 0
0
1
1 2
0 2
1 0
0 1 2
2 0 2
2 1 0
7
6.8.5 迭代法的收敛性(续）
det(I J)
det
1 2
2
2
2 1
3
0
所以 1,2,3 0 (J) max(| |) 0 1
作成迭代格式
x(k 1) i
i ( x1(k ) , x2(k ) ,
选取初始向量
xn(k ) ), i 1 n
x(0)
(
x1(
0)
,
x(0) 2
,
,
x(0) i
,
可得向量序列{x(k)}。
,
x(0) n
)T
令 k 0,1, 2,
如果方程组只有唯一解，且{x(k)}收敛，则得 逐次收敛于x的近似解x(k)。
[ x 1 (k 1)
41
1 8
( x1( k
1)
)2
]
18
取
x(0)
(
x(0) 1
,
x(0) 2
)T
(0, 0)T
令 k 0,1, 2,
x(1) 1
1 4
(1
x(0) 2
0.1ex1(0) )
0.225
x(1) 2
1 4
[
x(1) 1
1 8
(
x(1) 1
即Jaobi迭代法收敛
(2) 求高斯-赛德尔法的迭代矩阵
1 0 0 1 0 2 2
G
(D
L)1 U
1
2
1 2
0
1
0 0
0 0
1
0
8
G
0 0 0
2 2 0
2 3 2
1 0 2,3 2
F(X) 0
--------(3)
求解非线性方程组式（3），即求一个向量 X * (x1*, x2*, ..., xn*)T ，使得多元向量函数F( X ) 满足F ( X *) 0 。
为了简单起见，不对解非线性方程组的牛顿－拉夫逊方 法的收敛性进行分析（有兴趣的同学可以参考其他课本）， 仅讲授牛顿－拉夫逊方法的基本原理和步骤。
定理16 设解Ax = b 的SOR法收敛，则0<ω<2
11
6.9 非线性方程组的迭代解法 k 1,2,3,
12
3.9 非线性方程组的迭代解法
线性方程组存在直接解法（如高斯消元法，三角分解法 等），但是非线性方程组没有直接的解法，只能通过数值 迭代的方法加以求解。本节介绍非线性方程组的迭代解法：
3
6.8.5 迭代法的收敛性(续）
ε(k ) x * x(k ) Bkε(0) (k 1, 2, )
(B) 1时，lim Bk 0 limε(k) 0
k
k
即 lim x(k) x * k
必要性：设lim x(k) x * ，其中 x(k1) Bx(k) f k
(G) max(| |) 2 1
6.8.5 迭代法的收敛性(续）
所以高斯-赛德尔迭代法发散
或 特征方程为
det(I G) det[I (D L)1U] det(D L)1 det[(D L) U] 0 det(D L)1 0 det[(D L) U] 0
故x≈x(7)。
19
6.9.2 牛顿迭代法
是牛顿法向多元函数的扩展，其基本原理与解非线 性方程的牛顿法几乎一样。 设有非线性方程组
f1( x1, x2 , ..., xn ) 0
f2 ( x1,
x2 ,
...,
xn )
0
fn ( x1, x2 , ..., xn ) 0
设有非线性方程组
f1(x1, x2, ..., xn ) 0
f2
(
x1,
x2
,
...,
xn
)
0
fn (x1, x2 , ..., xn ) 0
--------(6.9.1)
13
6.9.1 简单迭代法
仿照方程求根的简单迭代法，将方程组（6.9.1）改写为
xi i (x1, x2 , xn ), i 1 n --------(6.9.2)
x1 x2
1
xn
2
xn
n
xn
则可证明， (x) L 1 时简单迭代收敛
17
类似于线性方程组的高斯赛德尔迭代法，非线性方程组高 斯赛德尔迭代格式为：
x(k 1) i
i ( x1(k 1) , x2(k 1) ,
,
x(k 1) i 1
6.8.5 迭代法的收敛性 设线性方程组 Ax b
等价方程组
x Bx f
相应的迭代格式是
x(k1) Bx(k) f (k 0,1, 2, )
问题：迭代矩阵B满足什么条件时，由迭代格式产生的向量 序列{x(k)}收敛到x*?
1
定理11
设B Rnn ,则lim Bk 0的充分必要条件是(B) 1 k
两边取极限得 x* Bx*f
从而有误差向量
ε(k) x * x(k) (Bx * f ) (Bx(k1) f ) Bε(k1) Bkε(0) (k 1, 2, )
定理11 设B Rnn,则lim Bk 4 0的充分必要条件是(B) 1 k
10
6.8.5 迭代法的收敛性(续）
定理14 设 Ax = b，如果A为严格对角占优阵，则Jacobi迭
代法和Gauss-Seidel 迭代法均收敛。
n
| aii | | aij |, (i 1, 2, , n) j 1 ji
A的每一行对角元素的绝对值都严格大于同行 其他元素绝对值之和。称A为严格对角占优 定理15 设Ax = b，如果A为对称正定矩阵，且0<ω<2，则 SOR 迭代法收敛。
( x2
x(k) 2
)
...
fi (xk x j
)
(xj
x(jk ) )
fi (xk xn
)
(
xn
xn( k
)
)]
...
fi (x(k))
n j1
fi (x(k ) x j
)
(xj
x(jk ) )
, i 1~ n
均取到线性项，得近似方程组
21
设 X (k ) ( x1(k ), x2(k ), ..., xn(k ) )T 为式（3）的一个近似估计解，将 函数F ( X ) 在X (k)处用多元函数泰勒级数展开。
fi(x)
fi
(x(k ) )
[ fi (x(k ) x1
)
( x1
x1(k ) )
fi (x(k ) ) x2
--------(1)
其中x1,x2,…,xn为未知变量，fi(x1,x2,…,xn)是关于未知 变量的非线性实函数，i=1,2,…n。
记
X ( x1, x2, ..., xn )T
F ( X ) ( f1( X ), f202( X ), ..., fn ( X ) )T
则式（1）可以改写为：
6.8.5 迭代法的收敛性(续）
ε(k ) x * x(k ) Bkε(0) (k 1, 2, )