解线性方程组的迭代法
第2章解线性代数方程组的迭代法
第二章解线性代数方程组的迭代法2. 1 引言在许多实际问题中，常常需要求解这样的线性代数方程组，它的系数矩阵数很高，但非零元素很少，人们称其为大型稀疏线性代数方程组，对于这类方程组，如果它乂不具有带状性，那么，再用直接法求解就不太有效，因为用直接法进行消元或矩阵的三角分解时，没有考虑到系数矩阵的稀疏性，破坏了系数矩阵的形状，导致了计算量的增加和存储单元的浪费，于是，人们常用迭代法求解大型稀疏线性代数方程组。
迭代法只需要存储系数矩阵的非零元素，这样，占用内存在单元较少，能解高阶线性代数方程组。
山于迭代法是通过逐次迭代来逼近方程组的解，因此，收敛性和收敛速度是构造迭代法时要注意的问题。
那么，是否可以构造一种适用于一般情况的迭代法呢？回答是否定的，这是因为不同的系数矩阵具有不同的性态，一般地，每一种迭代法都具有一定的适用范围，在本章的学习中将会看到，有时，某种方法对一类方程组迭代收敛，而对另一类方程组进行迭代时就会发散。
因此，我们应该学会针对具有不同性质的线性代数方程组，构造合适的迭代方法。
本章主要介绍一些基本的迭代法，并在一定的范围内讨论其中儿种方法的收敛法。
2. 2 基本迭代法考虑线性方程组如坷+如勺+…+气兀”二勺a2t x i+a22x2 + - + a2…x n =b2■•••••••••••(2. 1)采用矩阵和向量记号，我们可以把(2.1)式写成Ax = h(2.2)其中，为非奇异矩阵，设下面我们介绍雅可比(Jacobi)迭代，高斯-塞德尔(Gauss-Seidel)迭代与S0R迭代以及SS0R迭代的基本思想和算法。
为了方便地给出矩阵表示式，我们引进下列矩阵分裂：4SD-U,(2.3)其中-a2\-a n\(1)雅可比迭代的基本思想从式(2.1)的第i个方程中解出X t=(/ = 1,2,•••,«)我们把迭代前面的值代入上式右边，山计算得到等式左边的值作为一次迭代的新值，然后再把这个新值代入右边，再从左边得到一个新值，如此反复，就得到了雅可比迭代公式。
第五章 解线性方程组的迭代解法
定义迭代法为： 定义迭代法为：
x ( k + 1) = G J x ( k ) + g
其中Jacobi迭代矩阵：GJ = D1 ( L + U ) 迭代矩阵： 其中 迭代矩阵
g = D 1b = (7.2, 8.3, 8.4)T 取 x ( 0 ) = (0, 0, 0)T , 代入迭代式，得x(1) = Bx ( 0 ) + g = (7.2, 8.3, 8.4)T x ( 2 ) = Bx (1) + g = (9.71,10.70,11.5)T x (9 ) = (10.9994,11.9994,12.9992) 精确解为 x = (11,12,13)T .
记
A = D L U
其中 D = diag (a11 ,, ann ) , L, U 分别为 A 的 严格下、上三角形部分元素构成的三角阵 严格下、上三角形部分元素构成的三角阵. Gauss-Seidel方法的矩阵形式为 方法的矩阵形式为
x ( k +1) = D1 ( Lx ( k +1) + Ux ( k ) + b)
或者
x ( k +1) = ( D L)1Ux ( k ) + ( D L)1 b
( 这说明Gauss-Seidel方法的迭代矩阵为 D L)1U 方法的迭代矩阵为 这说明
从而有
定理5.2 定理5.2 Gauss-Seidel方法收敛的充分必要条件为 方法收敛的充分必要条件为
ρ (GG ) < 1 或
计算方法3_线性方程组迭代解法
计算方法3_线性方程组迭代解法线性方程组的迭代解法是解决线性方程组的一种常见方法，常用于大规模的线性方程组求解。
该方法通过不断迭代更新解的近似值，直到满足一定的收敛准则为止。
线性方程组的迭代解法有很多种，其中最经典的是雅可比迭代法、高斯-赛德尔迭代法和超松弛迭代法。
本文将分别介绍这三种迭代解法及其计算方法。
雅可比迭代法是一种比较简单的线性方程组迭代解法，它的基本思想是先将线性方程组转化为对角占优的形式，然后通过迭代求解逐渐接近精确解。
雅可比迭代法的迭代公式为：其中，x^(k+1)是第k+1次迭代的近似解，n是未知数的个数，a_ij 是系数矩阵A的元素，f_i是方程组的右端向量的元素。
雅可比迭代法的计算步骤如下：1.将线性方程组转化为对角占优的形式，即保证矩阵A的对角元素绝对值大于其它元素的绝对值。
2.初始化向量x^(0)，设定迭代终止准则。
3.根据雅可比迭代公式，计算x^(k+1)。
4.判断迭代终止准则是否满足，如果满足，则停止迭代，返回近似解x^(k+1)；否则，继续进行下一次迭代。
高斯-赛德尔迭代法是雅可比迭代法的改进方法，它的基本思想是在每次迭代计算x^(k+1)时，利用已经计算出的近似解作为x的一部分。
高斯-赛德尔迭代法的迭代公式为：其中，x^(k+1)_i是第k+1次迭代的近似解中第i个未知数的值，x^(k)_i是第k次迭代的近似解中第i个未知数的值。
高斯-赛德尔迭代法的计算步骤如下：1.将线性方程组转化为对角占优的形式。
2.初始化向量x^(0)，设定迭代终止准则。
3.根据高斯-赛德尔迭代公式，计算x^(k+1)。
4.判断迭代终止准则是否满足，如果满足，则停止迭代，返回近似解x^(k+1)；否则，继续进行下一次迭代。
超松弛迭代法是对高斯-赛德尔迭代法的一种改进方法，它引入了松弛因子ω，通过调整参数ω的值，可以加快迭代的收敛速度。
超松弛迭代法的迭代公式为：其中，0<ω<2，x^(k+1)_i是第k+1次迭代的近似解中第i个未知数的值，x^(k)_i是第k次迭代的近似解中第i个未知数的值。
线性方程组的迭代式求解方法
线性方程组的迭代式求解方法迭代法解方程的基本原理1.概述把 Ax=b 改写成 x=Bx+f ，如果这一迭代格式收敛，对这个式子不断迭代计算就可以得到方程组的解。
道理很简单：对 x^{(k+1)}=bx^{(k)}+f 两边取极限，显然如果收敛，则最终得到的解满足 \lim_{k\rightarrow\infty } x^{(k)}=x^*=Bx^*+f ，从而必然满足原方程 Ax^*=b 。
迭代方法的本质在于这一次的输出可以当作下一次的输入，从而能够实现循环往复的求解，方法收敛时，计算次数越多越接近真实值。
2.收敛条件充要条件：迭代格式 x=Bx+f 收敛的充要条件是 \rho (B)<1充分条件： \Vert B\Vert <1即 \Vert B\Vert <1 \Rightarrow \rho(B)<1\Leftrightarrow 迭代收敛一、Jacobi迭代法怎样改写Ax=b ，从而进行迭代求解呢？一种最简单的迭代方法就是把第i行的 x_i 分离出来(假定 a_{ii} \ne 0 )：\sum_{j=1}^{n}a_{ij}x_j=b_i\Rightarrow x_i=\frac{b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j}{a_{ii}}\quad \\这就是Jacobi(雅可比)迭代法。
迭代格式给定x^{(0)}=\left[x_1^{(0)},x_2^{(0)},\cdots,x_n^{(0)}\rig ht]^T ，则Jacobi法的迭代格式（也称分量形式）为x_i^{(k+1)}=\frac{1}{a_{ii}}\left ( {b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j^{(k)}}\right),\quadi=1,2,\cdots,n\\矩阵形式设 A=D-L-U。
Jacobi法的矩阵形式（也称向量形式）为x^{(k+1)}=B_Jx^{(k)}+D^{-1}b\\其中迭代矩阵 B_J=D^{-1}(L+U)收敛条件\begin{eqnarray} \left. \begin{array}{lll} \VertB_J\Vert <1 \\ A 严格对角占优\\ A, 2D-A对称正定\end{array} \right \} \end{eqnarray} \Rightarrow \rho (B_J)<1\Leftrightarrow 迭代收敛特别地，若 A 对称正定且为三对角，则 \rho^2(B_J)=\rho (B_G)<1 。
第二章解线性方程组迭代法
A=(D-L)-U
上海理工大学 理学院
University of Shanghai for Science and Technology
College of Science
• 收敛条件
迭代格式X=GX+g 对任意的初值X0和向量g，收敛的充要条
件是G的谱半径 (G)<1。
下面我们看一些充分条件：
0 a12
0
U
0
a1n
0 an1n
0
上海理工大学 理学院
University of Shanghai for Science and Technology
College of Science
易知，Jacobi迭代有
(D L U )x b Dx (L U )x b
x D1(L U )x D1b
定理：若线性方程组AX=b的系数矩阵A，
①若A为行或列强对角占优阵，则Jacobi和Gauss-Seidel迭代都收敛；
② 若A对称正定阵，则Gauss-Seidel迭代收敛；
③ 若A对称正定阵，且2D A也为对称正定阵，则Jacobi迭代收敛。
上海理工大学 理学院
University of Shanghai for Science and Technology
College of Science
将方程组变形，化为：
11x1 x2 2x1 12x2
6x3 x3
4 1
x1 3x2 15x3 2
上海理工大学 理学院
University of Shanghai for Science and Technology
College of Science
解线性方程组的迭代法
解线性方程组的迭代法Haha送给需要的学弟学妹摘要:因为理论的分析表明，求解病态的线性方程组是困难的，但是实际情况是否如此，需要我们来具体检验。
系数矩阵H 为Hilbert 矩阵，是著名的病态问题。
因而决定求解Hx b =此线性方程组来验证上述问题。
详细过程是通过用Gauss 消去法、J 迭代法、GS 迭代法和SOR 迭代法四种方法求解Hx b =线性方程组。
关键词：病态方程组、Gauss 消去法、J 迭代法、GS 迭代法、SOR 迭代法目录：一、问题背景介绍二、建立正确额数学模型 三、求解模型的数学原理1、Gauss 消去法求解原理2、Jacobi 迭代法求解原理3、G-S 迭代法求解原理4、SOR 迭代法求解原理5、Jacobi 和G-S 两种迭代法收敛的充要条件 四、计算过程（一）Hilbert 矩阵维数n=6时1、Gauss 消去法求解2、Jacobi 迭代法求解3、G-S 迭代法求解4、SOR 迭代法求解（二）Hilbert 矩阵维数n=20、50和100时1、G-S 迭代法求解图形2、SOR 迭代法求解图形 五、编写计算程序 六、解释计算结果1、Gauss 消去法误差分析2、G-S 迭代法误差分析3、SOR 迭代法误差分析G-S 迭代法与SOR 迭代法的误差比较 七、心得体会正文：一、问题背景介绍。
理论的分析表明，求解病态的线性方程组是困难的。
实际情况是否如此，会出现怎样的现象呢？二、建立正确的数学模型。
考虑方程组Hx b =的求解，其中系数矩阵H 为Hilbert 矩阵，,,1(), , ,1,2,,1i j n n i j H h h i j n i j ⨯===+-这是一个著名的病态问题。
通过首先给定解（为方便计算，笔者取x 的各个分量等于1），再计算出右端,b Hx =这样Hx b =的解就明确了，再用Gauss 消去法、J 迭代法、GS 迭代法和SOR 迭代法四种方法分别求解,Hx b =将求解结果与给定解比较，而后求出上述四种方法的误差，得出哪种方法比较好。
解线性方程组的迭代法
|| x || 0 (非负性) ； （1）|| x || 0 ，当且仅当 x 0 时，
（2） || x ||| | || x || (齐次性)； （3） || x y |||| x || || y || (三角不等式). 则称 || x || 为向量 x 的范数 (或模).
4.1.2 向量范数和向量序列的极限
常用的向量范数：设 x R n （1）向量的 - 范数 (最大范数)： || x || max | xi |
1 i n
|| x ||1 （2）向量的 1 - 范数 (绝对值范数)：
（3）向量的 2 - 范数：|| x ||2 ( x , x ) (
|| A ||2 3+2 2 , || A ||F 6
4.1.3 矩阵范数和矩阵序列的极限
(k ) ) R nn ，如果存 定义5 (矩阵序列的极限) 设有矩阵序列 Ak (aij
在 A (aij ) R nn，使
k (k ) lim aij aij ,
i, j 1, 2,
（4） || AB |||| A || || B || ； 则称 || A || 为矩阵 A 的范数.
4.1.3 矩阵范数和矩阵序列的极限
相容性： 设有矩阵范数 || ||s 和向量范数 || ||t ，如果对任何向量 x R n 及矩阵 A R nn ，有/2 || A ||F ( aij ) i , j 1 n
它是与向量 2-范数相容的矩阵范数，但不是从属范数.
4.1.3 矩阵范数和矩阵序列的极限
解线性方程组的迭代法
0.9906
0.0355
5 1.01159 0.9953
1.01159 0.01159
6 1.000251 1.005795 1.000251 0.005795
7 0.9982364 1.0001255 0.9982364 0.0017636
可见,迭代序列逐次收敛于方程组的解, 而且迭代7次得到精确到小数点后两位的近似解.
a11x1 a12x2 a13x3 b1 a21x1 a22x2 a23x3 b2 a31x1 a32x2 a33x3 b3
从而得迭代公式
x1
a12 a11
x2
a13 a11
x3
b1 a11
x2
a21 a22
x1
a23 a22
x3
b2 a22
x3
a31 a33
M 00.8 00..75
但(M)=0.8<1,所以迭代法 x(k+1)=Mx(k)+g 是收敛的.
由(3.5)式可见,‖M‖越小收敛越快,且当‖x (k) -x(k-1) ‖很小时,‖x(k) –x*‖就很小,实际中用‖x (k) x(k-1) ‖<作为
迭代终止的条件。 例如，对例1中的Jacobi迭代计算结果
+‖x(k+1) –x*‖‖M‖‖x(k) –x(k-1)‖+‖M‖‖x(k) –x*‖ 从而得‖x(k) –x*‖‖M‖‖x (k) -x(k-1) ‖/（1- ‖M‖）
(3.5) (3.6)
估计式(3.5)得证。利用(3.5)式和
‖x(k+1) 得到
-x(k)
‖‖M‖‖x
(k)
-x(k-1)
‖
解线性方程组 的迭代法
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解。当迭代到第10次有
(10) (10) T x (10) ( x1(10) , x2 , x3 ) (3.000032,
1.999838 ,
0.9998813) T
计算结果表明，此迭代过程收敛于方程组的精 确解x*= (3, 2, 1)T。
11
例题
(k ) k) 代替旧分量 x1( k ) , x2 ,, xi( 1 , 就得到高斯-赛德尔迭代
法。其迭代法格式为： i 1 n 1 xi( k 1) (bi aij x (jk 1) aij x (jk ) ) aii j 1 j i 1
(i=1,2,…,n
k=0,1,2,…)
考察一般的方程组，将n元线性方程组
a11 x1 a12 x 2 a1n x n b1 a x a x a x b 21 1 22 2 2n n 2 a n1 x1 a n 2 x 2 a nn x n bn
写成
a x
16
雅可比（Jacobi）迭代法
在例2中,由迭代公式写出雅可比迭代矩阵为
3 2 0 8 8 4 1 B I D 1 A 0 11 11 6 3 0 12 12
雅可比迭代矩阵表示法，主要是用来讨论其收敛 性，实际计算中，要用雅可比迭代法公式的分量 形式。即
(k ) (k ) 如果 x ( k ) x1( k ) , x 2 ,, xn T
存在极限
x x , x , , x
* * 1 * 2
* T n
则称迭代法是收敛的，否则就
4
是发散的。
迭代法的基本思想
收敛时，在迭代公式
x ( k 1) Gx ( k ) d
中当
(k 0,1,)
记作
A= L+D +U
14
雅可比（Jacobi）迭代法
则 Ax b 等价于 ( L D U ) x b 即
Dx ( L U ) x b
x D 1 ( L U ) x D 1b
因为 aii 0(i 1,2,, n) ，则 这样便得到一个迭代公式
，最终获得满足精度要求的方程组的近似解。 设 A R nn 非奇异，b R n，则线性方程组 Ax b 有惟一解 x A 1b ，经过变换构造出一个等价
同解方程组
x Gx d
3
迭代法的基本思想
x
(k )
x
(k ) 1
,x
(k ) 2
, , x
(k ) T n
将上式改写成迭代式 x ( k 1) Gx ( k ) d (k 0,1,) ( 0) ( 0) (0) ( 0) T 选定初始向量 x x1 , x2 ,, xn ,反复不断地 使用迭代式逐步逼近方程组的精确解,直到满足精 度要求为止。这种方法称为迭代法
8
例题
解：从方程组的三个方程中分离出 x1 , x2 和 x3
3 1 5 x 2 x3 x1 8 4 2 4 1 x3 3 x 2 x1 11 11 1 1 3 x3 2 x1 4 x 2
9
例题
建立迭代公式
3 (k ) 1 (k ) 5 ( k 1) x 2 x3 x1 8 4 2 4 (k ) 1 (k ) ( k 1) x1 x3 3 x2 11 11 1 (k ) 1 (k ) ( k 1) x1 x 2 3 x3 2 4
19
例题
例3 用GaussSeidel 迭代格式解方程组
8 x1 x 2 x3 1 2 x1 10 x 2 x3 4 x x 5x 3 2 3 1 精确要求为ε =0.005
解 GaussSeidel 迭代格式为
(k ) (k ) x1( k 1) ( x 2 x3 1) / 8 ( k 1) ( k 1) (k ) x ( 2 x x 4) / 10 2 1 3 ( k 1) ( k 1) ( k 1)பைடு நூலகம் ( x1 x 2 3) / 5 x3
1
x
( k 1)
Bx
(k )
f
称为雅可比迭代公式, B称为雅可比迭代矩阵 其中
0 a 21 B ( I D 1 A) a 22 a n1 a nn a12 a11 0 an2 a nn a1n a11 a2n a 22 0
6
例题
x1(1) 3 (1) x2 3, x1( 2) 3 ( 2) x2 3, x1(3) 9 ( 3) x2 9, x1( 4) 15 ( 4) x2 15, x1(5) 33 ( 5) x2 33,
(k=0,1,2,…)
18
高斯-赛德尔迭代法
3 高斯-塞德尔（Gauss-Seidel）迭代法
1. 高斯-塞德尔迭代法的基本思想 在Jacobi迭代法中，每次迭代只用到前一次的
迭代值，若每次迭代充分利用当前最新的迭代值，
即在求 x
( k 1) i
( k 1) ( k 1) ( k 1) x , x , , x 时用新分量 1 2 i 1
i 1,2, n
上式称为解方程组的Jacobi迭代公式。
13
雅可比（Jacobi）迭代法
2. 雅可比迭代法的矩阵表示
设方程组 Ax b 的系数矩阵A非奇异，且主对 角元素 aii 0(i 1,2,, n) ，则可将A分裂成
0 0 a12 a13 a1n a11 a 0 0 a a 23 2n 21 a 22 A a31 a32 0 0 a n 1n a nn a a a 0 0 nn1 n1 n 2
x
( 4) i
x
( 3) i
0.005,
(i 1,2,3)
21
高斯-赛德尔迭代法
2. Gauss—Seidel 迭代法的矩阵表示
将A分裂成A =L+D+U，则 Ax b 等价于 ( L+D+U )x = b ，于是,则高斯—塞德尔迭代过程
Dx
故
( k 1)
Lx
( k 1)
, 故 x * 是方程组 Ax b 的解。 并非全部收敛
* * (k ) *, 则 k 时， x Gx d x x
对于给定的方程组可以构造各种迭代公式。
5
例题
例1 用迭代法求解线性方程组
2 x1 x2 3 2 x1 5 x2 3
解 构造方程组的等价方程组
( 0) ( 0) T 取初始向量 x ( 0) ( x1( 0) , x2 , x3 ) (0,0,0) T
进行迭代, 可以逐步得出一个近似解的序列：
(k ) (k ) ( x1( k ) , x2 , x3 ) （k=1, 2, …）
10
例题
直到求得的近似解能达到预先要求的精度，则迭代
第6章 解线性方程组的迭代法
§6.1 迭代法的基本概念 §6.2 雅可比迭代法与高斯-赛德尔迭代法
1
6.1 迭代法的基本概念
1 引言
我们知道，凡是迭代法都有一个收敛问题，有 时某种方法对一类方程组迭代收敛，而对另一类方 程组进行迭代时就会发散。一个收敛的迭代法不仅 具有程序设计简单，适于自动计算，而且较直接法
Ux
b
(k )
b
因为 D 0 ,所以 D L D 0
( D L) x
( k 1)
Ux
(k )
x ( k 1) ( D L) 1Ux ( k ) ( D L) 1 b
令
G1 ( D L) 1U , d1 ( D L) 1 b
迭代解离精确解 x1 1, x2 1 越来越远迭代不收敛
7
6.2 雅可比迭代法与高斯-赛德尔迭代法
1 雅可比（Jacobi）迭代法 1.雅可比迭代法算法构造
例2 用雅可比迭代法求解方程组
8 x1 3x 2 2 x3 20 4 x1 11x 2 x3 33 6 x 3x 12 x 36 2 3 1
x1 x1 x2 3 x2 2 x1 4 x2 3
据此建立迭代公式
(k ) ( 0) ( 0) x1( k 1) x1( k ) x2 3 取 x1 x2 0 ( k 1) (k ) (k ) x 2 x 4 x 计算得 1 2 3 2
j 1 ij
n
j
bi
i 1,2,, n
12
例题
若 aii 0 (i 1,2,, n) ,分离出变量 x i
n 1 xi (bi aij x j ) aii j 1 j i
i 1,2, , n
据此建立迭代公式
xi( k 1)
n 1 (bi aij x (jk ) ) aii j 1 j i
更少的计算量就可获得满意的解。因此，迭代法亦
是求解线性方程组，尤其是求解具有大型稀疏矩阵
的线性方程组的重要方法之一。
2
迭代法的基本思想
2 迭代法的基本思想
迭代法的基本思想是将线性方程组转化为便于 迭代的等价方程组，对任选一组初始值 xi( 0) (i 1,2,, n)
，按某种计算规则，不断地对所得到的值进行修正