第六章 线性与非线性方程组的迭代解法1
非线性方程和非线性方程组的迭代解法
敛：ｐ＝２，ｃ＞０称序列至少平方收敛；若ｋ≥ｋ．，时，有Ｘｋ＝ｘ４成立，或
ｌｉｍ堕：。二型 ＝０
“‘｜｜Ｘ“一Ｘ＋旷 则称事列（Ｘ）为超ｐ阶收敛
定义４［１３假定迭代序列（ｘ。｝收敛于ｘ＋，量
！抽婪∑梨，当ｘｔ≠ｘ·对ｋ≥ｋ。 。
（１）公式的建立
设ｘ＋是方程ｆ（ｘ）＝ｏ的解，ｆ（ｘ）在ｘ＋的某邻域Ａ＝｛ｘｊ ｘ—ｘ４≤６｝存在
二阶导数，且ＶＸ∈Ａ，ｆ’（Ｘ）≠０，设ｘ。∈△为ｆ的近似值，将ｆ（ｘ）在Ｘ。处 展为一次Ｔａｙｌｏｒ多项式ｆ（Ｘ）＝ｆ（ｘｋ）＋ｆ ７（ｘ。）（ｘ—ｘ。），记ｐ（Ｘ）＝ｆ（ｘ．）十 ｆ’（Ｘ：）（Ｘ—Ｘ．），显然Ｐ（Ｘ）≈ｆ（ｘ）．令Ｐ（ｘ）＝Ｏ，解得
应用这个方法求解了非线性偏微分方程ｕ．＋“萎生等｝＜如Ｖ＞。Ｑ，ｓ（ｕ）＝。，其中
Ｑ“ｕ）２与竿导，万—ｉｉＦ数值计算中得到的非线性方程组，并通过迭代公
式（４－３）与Ｎｅｗｔｏｎ法的数值实验结果的比较，晚明了在相同精度要求卜Ｉ求解这 个问题时，ｆ＝｝｝式ｆ ４—３）优于＼ｅｎｔＯｔｌ法的几个方面．
第一章解非线性方程的常用迭代格式
在第三章写出了这几个迭代公式的相应算法设计，并将这些格式的数值实验 结果与Ｎｅｗｔｏｎ法、 弦截法、Ｍｕｌｌｅｒ法的数值实验结果进行了比较，说明了这 几个迭代格式的有效性．
在第四章中将预测式迭代法推广到了求解非线性方程组，分析了它的收敛 性、收敛阶，给出了其算法设计并进行了数值实验证明了方法的有效性．特别地，
兰州大学 硕士学位论文 非线性方程和非线性方程组的迭代解法及 姓名：尚秀丽 申请学位级别：硕士 专业：计算数学 指导教师：周宇斌
20041101
线性方程组的迭代式求解方法
线性方程组的迭代式求解方法迭代法解方程的基本原理1.概述把 Ax=b 改写成 x=Bx+f ，如果这一迭代格式收敛，对这个式子不断迭代计算就可以得到方程组的解。
道理很简单：对 x^{(k+1)}=bx^{(k)}+f 两边取极限，显然如果收敛，则最终得到的解满足 \lim_{k\rightarrow\infty } x^{(k)}=x^*=Bx^*+f ，从而必然满足原方程 Ax^*=b 。
迭代方法的本质在于这一次的输出可以当作下一次的输入，从而能够实现循环往复的求解，方法收敛时，计算次数越多越接近真实值。
2.收敛条件充要条件：迭代格式 x=Bx+f 收敛的充要条件是 \rho (B)<1充分条件： \Vert B\Vert <1即 \Vert B\Vert <1 \Rightarrow \rho(B)<1\Leftrightarrow 迭代收敛一、Jacobi迭代法怎样改写Ax=b ，从而进行迭代求解呢？一种最简单的迭代方法就是把第i行的 x_i 分离出来(假定 a_{ii} \ne 0 )：\sum_{j=1}^{n}a_{ij}x_j=b_i\Rightarrow x_i=\frac{b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j}{a_{ii}}\quad \\这就是Jacobi(雅可比)迭代法。
迭代格式给定x^{(0)}=\left[x_1^{(0)},x_2^{(0)},\cdots,x_n^{(0)}\rig ht]^T ，则Jacobi法的迭代格式（也称分量形式）为x_i^{(k+1)}=\frac{1}{a_{ii}}\left ( {b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j^{(k)}}\right),\quadi=1,2,\cdots,n\\矩阵形式设 A=D-L-U。
Jacobi法的矩阵形式（也称向量形式）为x^{(k+1)}=B_Jx^{(k)}+D^{-1}b\\其中迭代矩阵 B_J=D^{-1}(L+U)收敛条件\begin{eqnarray} \left. \begin{array}{lll} \VertB_J\Vert <1 \\ A 严格对角占优\\ A, 2D-A对称正定\end{array} \right \} \end{eqnarray} \Rightarrow \rho (B_J)<1\Leftrightarrow 迭代收敛特别地，若 A 对称正定且为三对角，则 \rho^2(B_J)=\rho (B_G)<1 。
非线性方程组的迭代解法
非线性方程组的迭代解法
非线性方程组是指由非线性函数组成的方程组，它们通常无法使用数学公式解出解析解。
一种常用的求解非线性方程组的方法是迭代法。
迭代法是一种近似求解方法，它通过不断进行迭代来逼近解。
常用的迭代法有牛顿迭代法、共轭梯度法、线性共轭法等。
牛顿迭代法是一种常用的迭代法，它使用了泰勒展开式来逼近非线性函数，并使用这个近似函数的零点来迭代求解非线性方程组。
共轭梯度法是一种高效的迭代法，它使用了共轭梯度来求解非线性方程组。
线性共轭法是一种高效的迭代法，它通过使用共轭梯度来求解非线性方程组，并使用线性共轭条件来加速收敛。
这些迭代法都是基于迭代的方法，需要给定初始解和终止条件，并且在迭代过程中可能会出现收敛问题，所以需要设计合适的迭代步骤来保证收敛性。
第六章 非线性方程(组)的求解
* * 又当 n 充 分 大[ 以 a ,b 后 ] ， (x ,x ), 于是 m 为偶数 n n 时， x [ a ,b ],f (x ) 0 ,不 变 号 了 ！ n n
2）二分法线性收敛，收敛因子为1/2。
* x x n 1 1 * 1 * x x ( x a ) ( x x ), . n n 1 n 1 n 1 * 2 2 x x2 n 1
f (x) m(x x*)m1h(x) h(x) g(x) 1 (x x*)g(x),h(x*) 0, m f (x) (x) x x 1 (x-x* )g(x) / h(x), f (x) m (x*) 1 1 , (x*) 1 1 1 , m m 牛顿迭代线性收敛，且 随 m的增加收敛性越来越差 。 重根时的改进：
或
定理一的条件太强，不便于实际应用。下面给出一个局部 收敛定理。
由迭代（ 6 -1 -1 ） 产产生的 x 均收 数 敛收敛 n * 1 x x x x n n n 1 1 L n L * 或 x x x x n 1 L1 0
* * * 定理二 :如果 (x ) 连续 (x ， ) L 1, 则 x N (x ， 0 δ )
关于初值的问题： 一般来说采用试探法，但对于一些实际问题初值的选择并 不困难，它是明确的。
关于重根的问题：
* 设 x 是 f( x ) 的 m 重零 m 点 1) , 此 （时 * m * f( x ) ( x x ) g ( x ), g ( x ) 0 , 1 * m 1 * f ( x ) m ( x x ) [ g ( x ) ( x x ) g ( x )], m
称算法（6-1-1）为牛顿迭代法。 f (x) 证明：令 (x) x ,则 xN (x*), f (x) 0 x (x) f (x) (x) f *) 0 (x) 1 f ( x ), ( x ,牛顿迭代收敛 2 [ f (x)] () * * 又 xn1 x (xn) (x ) (xn x*)2; 2 xn1 x* () c,至少二阶收敛。 2 2 (x x*)
第六章线性和非线性方程组的迭代解法
x(0) x x(0) (I M )1 g (I M)1 (I M )x(0) g
(I M )1 x(0) Mx(0) g
(I M )1 x(0) Mx(0) g (I M )1 x(0) x(1) 代入前述不等式即得。
利用矩阵的范数判定迭代收敛只是一个充分条
li ui 1 li ui
li 1 li
1
li
ui
0
ui 1 li
li
ui
❖其次证明Gauss-Seidel迭代收敛，即 (M ) 1
设 为 M D L 1 U 的任意特征值，相应的
特征向量为 x 1, 2 ,L , n T ，且
i
x 1
则有 D L 1 Ux x
再对 x(k) x *
x(i ) x(i1) 两边取范数得
ik
x(k) x
x(i ) x(i1)
ik
i x(1) x(0)
k
x(1) x(0)
ik
1
Th6.2.5 设 B 为Jacobi法的迭代矩阵，若 B 1 1
则Gauss-Seidel迭代收敛，而且有估计式
上述方法称为Jacobi迭代法，简称J法或简单迭代法
分量形式：
i 1
n
bi
aij
x(k) j
aij
x
(k j
)
x ( k 1) i
j 1
ji 1
a ii
;i 1, 2,L , n
二、 Gauss-Seidel迭代法
在J迭代公式中，计算 xi(k1时) ，利用已经算出来的新的
x ( k 1) 1
x(k) x M ( x(k1) x ) L M k ( x(0) x )
6.1-6.2线性方程组迭代解法概论
数学问题的描述
返回引用
设有线性方程组
AX =b
即
a11 x1 a12 x2 a1n xn b1
a21 x1 a22 x2 a2n xn b2
an1 x1 an2 x2 ann xn bn
（3）
其中 A=(aij)nn 非奇异（A0），且a ii≠0 (i=1,2,…,n), 由式 （3）得
A=
-U
D
-L
Jacobi 迭代阵
x D1(L U )x D1b
B
f
xk1 D1(L U)xk D1b
a11
a22
D
a33
ann
0
a21
L
a31
an1
0 a32
an2
0 an3
0 a12 a13
0
a23
a1n
a2n
U
0
a3n
0
0
BJ D1(L U )
X= D-1（L+U）X+ D-1b
（6）
由此得到迭代公式
X（k+1）= D-1（L+U）X（k）+ D-1b （7）
即
x ( k 1) i
(bi
aij
x
(k j
)
)
/
aii
ji
(i 1,2,, n) (k 0,1,2,) （8）
返回节 这种迭代法，称为Jacobi迭代法。
Jacobi 迭代法
a1 11
a1 22
a1
33
0
a21
0
a31
a32
0
a1 nn
迭代法解非线性方程
目录 上页 下页 返回 结束
求解非线性方程的迭代法
构造 f (x) = 0 的一个等价方程：x 从某个近似根 x0 出发，计算
( x)
xk 1 ( xk )
得到一个迭代序列
k = 0, 1, 2, ... ... 迭代公式
xk k 0
f (x) = 0 f (x) 的零点
xk 1 f ( xk ) xk , k 1,2, f ' ( xk )
目录 上页 下页 返回 结束
求解非线性方程的迭代法
2. 牛顿迭代公式
f ( xk ) xk 1 xk , k 1,2, f ' ( xk )
称上式为方程f(x)=0的牛顿迭代公式, 简称 牛顿法。 牛顿法具有明显的几何意义， y f ( xk ) f ' ( xk )( x xk ) 是曲线在点(xk, f(xk))处的切线方程。 xk+1就是切线与x轴交点的横坐标， 所以牛顿法就是用切线与x轴交点的横坐标 近似代替曲线与x轴交点的横坐标。 因此牛顿法也称切线法。
目录 上页 下页 返回 结束
求解非线性方程的迭代法
2. 弦截法的迭代公式
ba x1 a f (a ), f (b) f (a ) xk a xk 1 a f ( x ) f (a ) f (a ), k xk b x b f (b ), k 1 f ( xk ) f ( b ) f ( a ) f ( xk ) 0 f ( a ) f ( xk ) 0
目录 上页 下页 返回 结束
求解非线性方程的迭代法
3.弦截法的Matlab编程实现 function root=chord_cut(f,a,b,e)
数值分析第六章线性方程组迭代解法
数值分析第六章线性方程组迭代解法线性方程组是数值分析中的重要内容之一，其求解方法有很多种。
其中一种常用的方法是迭代解法，即通过不断迭代逼近方程组的解。
本文将介绍线性方程组迭代解法的基本思想和常用方法。
线性方程组可以用矩阵形式表示为Ax=b，其中A是系数矩阵，b是常数向量，x是未知向量。
线性方程组的解可以是唯一解，也可以是无穷多个解。
迭代解法的基本思想是通过不断迭代，并利用迭代序列的极限，逼近线性方程组的解。
迭代解法适用于大型的线性方程组，而直接求解法则适用于小型的线性方程组。
常用的迭代解法有雅可比迭代法、高斯-赛德尔迭代法和逐次超松弛迭代法。
雅可比迭代法是最简单的线性方程组迭代解法之一、它的基本思想是将线性方程组的每个方程都单独表示为未知数x的显式函数，然后通过不断迭代求解。
雅可比迭代法的迭代公式为：x(k+1)=D^(-1)(b-(L+U)x(k))其中，D是A的对角元素构成的对角矩阵，L是A的下三角矩阵，U 是A的上三角矩阵，x(k)是第k次迭代的解。
高斯-赛德尔迭代法是雅可比迭代法的改进版。
它的基本思想是将每个方程的解带入到下一个方程中，而不是等到所有方程都迭代完毕后再计算下一组解。
高斯-赛德尔迭代法的迭代公式为：x(k+1)=(D-L)^(-1)(b-Ux(k))其中，D是A的对角矩阵，L是A的下三角矩阵（除去对角线），U是A的上三角矩阵（除去对角线），x(k)是第k次迭代的解。
逐次超松弛迭代法是对高斯-赛德尔迭代法的改进。
它引入了松弛因子w，通过调节松弛因子可以加快收敛速度。
逐次超松弛迭代法的迭代公式为：x(k+1)=(D-wL)^(-1)[(1-w)D+wU]x(k)+w(D-wL)^(-1)b其中，D是A的对角矩阵，L是A的下三角矩阵（除去对角线），U是A的上三角矩阵（除去对角线），w是松弛因子，x(k)是第k次迭代的解。
线性方程组迭代解法需要设置迭代停止准则，通常可以设置迭代次数上限或者设置一个精度要求。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
T
使得 A x 0
m ax xi
1 i n
k : x
j i
k
m ax xi
1 i n
, j: x
ij
j
则这两个集合均非空,
| a ii x i | | a ij x j |
| a ii |
j i
否 则 ，x 1
xn 0
1
1
1
证明：记 D 2 d ia g ( a 1 1 , a 2 2 , , a n n ), D D 2 D 2 . J法迭代矩阵:
D
1
(L U ) I D
1
1
A D
1 2
(I D
1 2
1 2
1 2
1
AD
)D
2
1 2
矩阵 D
(L U ) 和 I D
A D L U , x ( k 1) M
1
Nx
(k )
M
1
b , k 0 , 1, (* )
Gauss-Seidel迭代法：
取
M D L, N U
得Gauss-Seidel迭代法:
x
( k 1)
(D L) Ux
1
(k )
( D L ) b ; k 0 , 1, 2 ,
1
分量形式：
( k 1) (k ) (k ) (k ) x1 ( a 1 2 x 2 a 1 3 x 3 a 1 n x n b1 ) / a 1 1 ( k 1) ( k 1) (k ) (k ) x2 ( a 21 x1 a 23 x 3 a 2 n x n b2 ) / a 22 ( k 1) x ( k 1) ( a x ( k 1) a x ( k 1) a x n 1 bn ) / a nn n1 1 n2 3 n n 1 n
注:（1）迭代法是否收敛取决于迭代矩阵的谱半径，与
初始向量和常数项无关。 （2）可采用矩阵的1-范数、
-范数来判定收敛性。
1
（3）谱半径越小收敛速度越快。称 R ( M
N ) ln ( M
1
N)
为迭代法的渐进收敛速度,简称收敛速度.
Th6.2.3 若 M
则迭代法
x
(k )
1
N
j i
a ij ,
i 1, , n ,
i 1, , n ,
如果
a ii
j i
a ij ,
立，则称A 为弱对角占优矩阵。
Def 3 设 A R
( ) P A P
T
n n
，如果能找到排列阵 P ，使得
O A22
A1 1 A1 2
其中 A1 1与 A 2 2均为方
分量形式：
( ( ( x 1( k 1 ) ( a 1 2 x 2 k ) a 1 3 x 3 k ) a 1 n x nk ) b1 ) / a 1 1 ( k 1) (k ) (k ) (k ) x2 ( a 21 x1 a 23 x 3 a 2 n x n b2 ) / a 22 (k ) x ( k 1) ( a x ( k ) a x ( k ) a x n 1 bn ) / a nn n1 1 n2 3 nn 1 n
其中 x 为方程组解的初始近似值. 1 M 称(*)为单步定常线性迭代法， 1 N 为迭代矩阵， b M
(0)
为常数项。若对任意初始值 x ( 0 ) 都有
lim x
k
(k )
x
则称该迭代法收敛，否则为发散。
引理 6.2.1
迭代法(*)收敛的充要条件是 ( M
1
1
N ) 1.
AD
的任意特征值，则 0 .
由 2 D A 正定得 2 0 .
2
AD
2
的特征值为 1 .
从而 1 1 1 所以
(D
1
( L U )) ( I D
1 2
1 2
AD
) 1.
1 2 1 2 1 2 1
D
1
(L U ) I D
N)
1
(I M N )x x x
( k 1) (k )
( k 1)
M
1
b
两边取范数即可。 注: 此定理明可用 则.
x
( k 1)
x
(k )
作为迭代终止准
二、 Jacobi和Gauss-Seidel迭代法
Jacobi迭代法：
A D LU,
其中 a ii 0 ( i 1, 2 , , n ), D d ia g ( a 1 1 , a 2 2 , , a n n )
§6.1 Jacobi和Gauss-Seidel迭代法
一、经典迭代法及其收敛性
A x b ( M N ) x b , d et( M ) 0 1 1 Mx Nx b x M Nx M b 构造迭代格式: ( k 1) 1 (k ) 1 x M Nx M b , k 0 , 1, (* )
阵，称 A 为可约的 否则称 A 为不可约的
1 1
2
1
1
例如： 矩阵 A 0
0
0
1
是可约的
r1 r3
0
1
1
1
c1 c3
1
0
0
0
1 2
1 2
0
1
0
1
1 1
注意：
1. 系数矩阵可约，可将方程组简化为低阶方程组求解。 2.称不可约的弱对角占优矩阵为不可约对角占优矩阵。
（可约矩阵的等价定义） Def 3' 设矩阵 A R
不妨假设
a kk x k
xk m ax xi
1 i n
，
则由第k个方程得：
j k
a kj x j
j k
a kj x j
j k
a kj x k
a kk
j k
a kj
与 A 严格对角占优矛盾！
A不可约对角占优（反证法）：
假设存在非零向量 x ( x 1 , , x n ) 定义集合：
x1
x2
( k 1)
x3 )
(k )
2
(k )
( k 1)
x3 )
(k )
1
x3
( k 1)
( 3 x1
(k )
x2 )
(k )
(2)
x1
( k 1)
(3 x 2
(k )
x3 )
(k )
G-S
2
( 6 x1
( k 1)
迭 代 格 式
x2
( k 1)
0
1
0
5 2
(D
1
( L U ))
5 2
1
J法不收敛
G-S法的迭代矩阵：
1
2
0
0
0
1
1
G (D L) U
1
1
1
1
1 1
1
0
2 1
0
0
0
1
0
1
0
1 2 1 2 1 2
0
0
0
2 1 2
0
1
1 2
1
0
1 2
0
0
0
1
0
0
2 1
0
0
A D L U , x ( k 1) M
1
Nx
(k )
M
1
b , k 0 , 1, (* )
一个例子：
例2：写用J法和G-S法的迭代格式,并说明敛散性：
2
1
1
1
1
x1
x2
3
1
1
6
3
解：
Jacobi 迭 代 格 式
1
2
x3
(3 x 2
( 6 x1
(k )
1
证明： x M
x
(k )
Nx M
* ( k 1)
1
b, x M
k
1
Nx
1
k 1
M
(0)
b,
x M
(k ) k
1
N (x
x ) (M
1 k
N ) (x
1
k
x ),
Байду номын сангаас
故 lim x
x
(M
N) O M （
N)1
AD
有相同的特征值。
必要性
设J法收敛，则 ( D
1 2
1
( L U )) 1
记 D
1 2
AD
的特征值为 ,则D
1 1
1 2
1
( L U ) 的特征值为
1
1 2
(0, 2)
所以 D
AD
对称正定，从而A对称正定。
1 1 2 1 2 1
2
0