第六章解线性方程组的迭代法
合集下载
第六章习题
,
BG
=
3 ab 100
故高斯—赛德尔迭代法收敛的充要条件是 ab < 100。 3
5、对线性方程组13
2 2
x1 x2
=
3 -1
若用迭代法x(k+1)
=x(k)
+
Ax(k) -b ,
k=0,1L 求解。问在什么范围内取值可使迭代收敛，取什么值可
第6章 解线性方程组的迭代解法
5x1+2x2 +x3=-12 1、对方程组 -x1+4x2 +2x3=20，试判断雅克比迭代法，
2x1-3x2 +10x3=3
高斯 — 赛德尔迭代法解此方程组的敛散性。
5 2 1
解:因A=
-1
4
2 ，
2 -3 10
5>2+1=3 , 4>1+2=3,10>2+3=5,
使迭代收敛最快？
解：所给迭代公式的迭代矩阵为B=I+ A=
1+3
其特征方程为
I -B
=
-（1+3） -
-2 -（1+2）=0
2
1+2
即2 -（2+5）+4 2 +5 +1= 2 -（2+5）+ +14 +1 = - +1 -4 +1 =0
-a
0
0
-a 10
0
解：雅可比法的迭代矩阵BJ
=
(完整版)6.4超松弛迭代法
0.75 x2( ( k 1)
6 0.25x3(k
)
7.5
x (k 1) 3
0.25x2(k1)
6
②取ω=1.25 ，即SOR迭代法：
xx21((kk11))
0.25x1(k) 0.9375x2(k) 7.5 0.9375x1(k1) 0.25x2(k) 0.3125x3(k)
-5.0183105
3.1333027
4.0402646
-5.0966863
4
3.0549316
3.9542236
-5.0114410
2.9570512
4.0074838
-4.9734897
5
3.0343323
3.9713898
-5.0071526
3.0037211
4.0029250
-5.0057135
6
3.0214577
3.9821186
-5.0044703
2.9963276
4.0009262
-4.9982822
7 3.0134110
3.9888241
-5.0027940
3.0000498
4.0002586
-5.0003486
迭代法若要精确到七位小数， Gauss-Seidel迭代法需要34次迭代； 而用SOR迭代法(ω=1.25)，只需要14次迭代。
因子ω。
返回引用
opt
(1
2
1 [(BJ )]2 )
（4）
这时，有ρ(Bopt
)=
ω
opt
-
1。
SOR法分类与现状
通常，
(1)当ω>1 时，称为超松弛算法； (2)当ω<1 时，称为亚松弛算法。
第六章6.3迭代法的收敛性
4 2 1
1 5 1
1
2
3
问题：该矩阵具有怎样的特点？ 结论：该矩阵是严格对角占优阵
定义：如果矩阵A的元素满足
jn
| aii | | aij | i 1,2,3,, n j 1 ji
则称A为严格对角占优矩阵。
9
特殊方程组迭代法的收敛性
定理：若线性方程组AX=b的系数矩阵A为 严格对角占优矩阵，则解该方程组的Jacobi 迭代法和G-S迭代法均收敛。
则: (k1) B (k ) B2 (k 1) Bk1 (0)
注意 (0) x(0) x * 为非零常数向量
因此迭代法收敛的充要条件
lim (k1) lim( x(k1) x*) 0
k
k
可转变为
lim Bk1 0
k
2
一阶定常迭代法的收敛性
定理：迭代格式 x(k1) Bx(k ) f 收敛 的充要条件为：lim Bk 0
k
lim Bk 0
k
即: (B) 1
B的所有特征值的绝对值小于1
B的谱半径
根据矩阵与其Jordan标准形及特征值的关系
3
一阶定常迭代法的收敛性
定理：设B为n阶实矩阵，则 lim Bk 0 k
的充要条件是 (B) 1
定理：迭代格式 x(k1) Bx(k ) f 收敛 的充要条件为：(B) 1
4
一阶定常迭代法的收敛性
例：判别下列方程组用Jacobi迭代法和G-S 法求解是否收敛。
1 2 2 x1 1 1 1 1 x2 1 2 2 1 x3 1
5
一阶定常迭代法的收敛性
解: (1) 求Jacobi法的迭代矩阵
1 0 0 0 2 2
线性方程组的迭代式求解方法
线性方程组的迭代式求解方法迭代法解方程的基本原理1.概述把 Ax=b 改写成 x=Bx+f ，如果这一迭代格式收敛，对这个式子不断迭代计算就可以得到方程组的解。
道理很简单：对 x^{(k+1)}=bx^{(k)}+f 两边取极限，显然如果收敛，则最终得到的解满足 \lim_{k\rightarrow\infty } x^{(k)}=x^*=Bx^*+f ，从而必然满足原方程 Ax^*=b 。
迭代方法的本质在于这一次的输出可以当作下一次的输入，从而能够实现循环往复的求解，方法收敛时，计算次数越多越接近真实值。
2.收敛条件充要条件：迭代格式 x=Bx+f 收敛的充要条件是 \rho (B)<1充分条件： \Vert B\Vert <1即 \Vert B\Vert <1 \Rightarrow \rho(B)<1\Leftrightarrow 迭代收敛一、Jacobi迭代法怎样改写Ax=b ，从而进行迭代求解呢？一种最简单的迭代方法就是把第i行的 x_i 分离出来(假定 a_{ii} \ne 0 )：\sum_{j=1}^{n}a_{ij}x_j=b_i\Rightarrow x_i=\frac{b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j}{a_{ii}}\quad \\这就是Jacobi(雅可比)迭代法。
迭代格式给定x^{(0)}=\left[x_1^{(0)},x_2^{(0)},\cdots,x_n^{(0)}\rig ht]^T ，则Jacobi法的迭代格式（也称分量形式）为x_i^{(k+1)}=\frac{1}{a_{ii}}\left ( {b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j^{(k)}}\right),\quadi=1,2,\cdots,n\\矩阵形式设 A=D-L-U。
Jacobi法的矩阵形式（也称向量形式）为x^{(k+1)}=B_Jx^{(k)}+D^{-1}b\\其中迭代矩阵 B_J=D^{-1}(L+U)收敛条件\begin{eqnarray} \left. \begin{array}{lll} \VertB_J\Vert <1 \\ A 严格对角占优\\ A, 2D-A对称正定\end{array} \right \} \end{eqnarray} \Rightarrow \rho (B_J)<1\Leftrightarrow 迭代收敛特别地，若 A 对称正定且为三对角，则 \rho^2(B_J)=\rho (B_G)<1 。
数值分析(李庆扬)第六章资料
（n1） B （n） g
若收敛
x x { （k）} * ，则
x* Bx* g
n 0，1，2，
即
(I B)x* g D1Ax* D1b
Ax* b
故如果序列收敛, 则收敛到解.B 称迭代矩阵.
例：用Jacobi迭代法求解 1x01x1 10xx2222xx337823 x1 x2 5x3 42
k
k
即x是方程组Ax b的解。
引入误差向量
(k 1) x(k 1) x
所以 lim x(k) x 等价于 lim (k) 0
k
k
由
x(k 1) Mx (k ) g
x Mx g
则可得
(k 1) M (k )
(k ) M (k 1) M k (0)
问题是在什么条件下
满足
x(k1) Bx(k) g (k 0,1, 2, )
此过程所给出的迭代法称为Jacobi迭代法，又称简单
迭代法。
Jacobid迭代的矩阵形式
0
B
b21
b12
0
b1n 1
b2n
0
0 1
0 1
0
b21
b 12 1
b1n b 2n
b b
n1
n2
0
0
0
1
, n).
0 b12 b13 若记 B b21 0 b23
bn1 bn2 bn3
b1n1 b1n
g1
b2n1
b2
n
g
g
2
bnn1 0
gn
则方程组可简记为 x Bx g
选初值向量x(0)代入 x(1) , x（1） Bx（0） g，代入x(1)
计算方法复习重点2
k k 2 n k v k Avk 1 1 a1x1 a2 x 2 an x n . 1 1
结论：
lim
k
vk
k 1
a1x1
(vk )i lim 1 k (v （第i个分量） k 1 ) i
1. 已知一个A矩阵，可以把它看成一下形式： a11 a A1 A 21 an1 c1 (a21 , a31 , , an1 )T . a12 a1n a22 a2 n a11 c1 an 2 ann
微分方程数值解关心的问题：
（1）局部的截断误差和阶数； （2）数值解Yn的误差估计和收敛性； （3）递推公式的稳定性；
内容主要为单步法 • 一：欧拉法
y f ( x, y ) y ( x0 ) y 0
积分曲线上每一点( x, y ) 的切线的斜率 y ( x) 等
于函数 f ( x, y ) 在这点的值。因此
但必须满足一定过的条件 1 2 n 0
第9章 常微分方程初值问题数值解法
实际问题一般可以归结为一阶常微分方程的初值问题：
y f ( x, y ) y ( x0 ) y 0
解存在条件：
在a ≤ x ≤ b,-∞ ＜ y ＜ ∞ 区域内连续； 满足李普希兹(Lipschitz)条件：
第六章 解线性方程组的迭代法
A R nn 非奇异， b R n 。线性方程组 Ax b 可
以转化为 x Gx d 。可以利用迭代法求 解线性方程组。 选定初始向量 x x , x , , x ( k 1) (k ) x Gx d (k 0,1,)
结论：
lim
k
vk
k 1
a1x1
(vk )i lim 1 k (v （第i个分量） k 1 ) i
1. 已知一个A矩阵，可以把它看成一下形式： a11 a A1 A 21 an1 c1 (a21 , a31 , , an1 )T . a12 a1n a22 a2 n a11 c1 an 2 ann
微分方程数值解关心的问题：
（1）局部的截断误差和阶数； （2）数值解Yn的误差估计和收敛性； （3）递推公式的稳定性；
内容主要为单步法 • 一：欧拉法
y f ( x, y ) y ( x0 ) y 0
积分曲线上每一点( x, y ) 的切线的斜率 y ( x) 等
于函数 f ( x, y ) 在这点的值。因此
但必须满足一定过的条件 1 2 n 0
第9章 常微分方程初值问题数值解法
实际问题一般可以归结为一阶常微分方程的初值问题：
y f ( x, y ) y ( x0 ) y 0
解存在条件：
在a ≤ x ≤ b,-∞ ＜ y ＜ ∞ 区域内连续； 满足李普希兹(Lipschitz)条件：
第六章 解线性方程组的迭代法
A R nn 非奇异， b R n 。线性方程组 Ax b 可
以转化为 x Gx d 。可以利用迭代法求 解线性方程组。 选定初始向量 x x , x , , x ( k 1) (k ) x Gx d (k 0,1,)
迭代解法全章
向量-矩阵范数旳相容性，得到
|λ| || x ||＝||λx|| =|| Ax|| ≤ || A || ||x||
从而，对A旳任何特征值λ均成立 |λ|≤|| A ||
（6.1）
设n阶矩阵A旳n个特征值为λ1,λ2，…λn。称
(
A)
max
1i n
i
为矩阵A旳谱半径，从（6.1）式得知，对矩阵A旳任何一
称(3)为求解(1)旳近似解旳迭代解法，称{x(k)}为(1)近
似解序列，称B为迭代矩阵。
假如 lim x (k ) x* 则有 k x*= Bx*+F
（4）
我们称迭代法(3)收敛，不然为发散。下面分析迭代格 式(3)收敛旳条件.
12/29/2023
19
x(k+1)= Bx(k)+F , k=0 ,1 , … , x*= Bx*+F
及向量
x*
( x1* ,
x2* ,,
x
* n
)T
假如
lim x(k) x* 0
k
则称向量序列 x(k) 收敛于向量 x* 。记作
lim x(k ) x* 或 x(k ) x*
k
向量序列 {x(k)} 收敛于向量 x*，当且仅当它旳每一 种分量序列收敛于x*旳相应分量，即
x(k)
x*
x(k) i
1
求解线性方程组旳数值解除了使用直接解法，迭代解 法也是经常采用旳一种措施，这种措施更有利于编程计 算，本章将简介这种措施。
§1 向量和矩阵旳范数
为了对线性方程组数值解旳精确程度，以及方程组 本身旳性态进行分析，需要对向量和矩阵旳“大小”引 进某种度量，范数就是一种度量尺度，向量和矩阵旳范 数在线性方程组数值措施旳研究中起着主要旳作用。
_第六章_线性方程组的数值解法迭代法
b 1
a 11
b2
f
a 22 bn
a nn
x(k1) B0x(k)f
--------(5)
第四节 解线性方程组的迭代法
令：
0 0 0
L
a 21
0
0 A的下三角部分矩阵
a n1 a n 2 0
0
U
0
a12 0
a1n a2n
A的上三角部分矩阵
第三节 向量范数和矩阵范数
（2）范数的另一个简单例子是二维欧氏空间的长度
0M x2 y2
欧氏范数也满足三个条件：
（勾股定理）
设x = (x1, x2) ① x 0 x >0 ② ax = a x a为常数 ③ x+ y ≤ x + y 前两个条件显然，第三个条件在几何上解释为三角形一边的长度不大于其它 两边长度之和。因此，称之三角不等式。
满足：
① A0,且A0,当且A 仅 0当
，若 A
正定
② A A,为任意实数
奇次
③ ABAB,A和 B为任意 n阶两 方个 三阵 角不等
则称 A 为矩阵A的范数。
第三节 向量范数和矩阵范数
2、矩阵范数与向量范数的相容性 对于任意的n维向量x，都有：
Ax A x
这一性质称为矩阵范数与向量范数的相容性。
n
A
max
1in
j1
aij
A的每行绝对值之和的最大值, 又称A的行范数
第三节 向量范数和矩阵范数
（3）矩阵的2范数
2范数 ||A|2 | ： (AT A )
(AAT) ?
矩阵的谱半径：
矩阵B的诸特征值为： i(i1,2, ,n)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（1） 如 时， ；
（2）m=1时， 的第2条对角线元素为1，其余为零；m=2时， 的第3条对角线元素为1，其余为零；m=3时， 的第4条对角线元素为1，其余为零。
简言之， 的第m+1条对角线元素为1，其余为零（当没有第m+1条对角线时， 应理解为零矩阵）。
2 计算约当块的幂次。
当 时，
3 一个极限性质
教学难点：
迭代法基本定理的证明以及作用。
教学方法及手段：
应用严格的高等代数、数学分析知识，完整地证明迭代法基本定理，讲清雅可比迭代法与高斯-塞德尔迭代法的关系，介绍雅可比迭代法与高斯-塞德尔迭代法在编程中的具体实现方法。
在实验教学中，通过一个具体实例，让学生掌握雅可比迭代法与高斯-塞德尔迭代法的具体实现，并能通过数值计算实验，揭示高斯-塞德尔迭代法是对雅可比迭代法的一种改进这一事实。
教学时间：
本章的教学的讲授时间为6学时，实验学时4学时。
教学内容：
一迭代法定义
对于给定的线性方程组 ，设它有唯一解 ，则
(6.1)
又设 为任取的初始向量，按下述公式构造向量序列
(6.2)
这种逐步代入求近似解的方法称为迭代法（这里B与f与k无关）。如果 存在（记为 ），称此迭代法收敛，显然 就是方程组的解，否则称此迭代法发散。
形成迭代式
对于任意初值 ， （ ）
这就是雅可比迭代法。
注：
1形成雅可比迭代式的条件是A的主对角线元素均非零。
2雅可比迭代收敛的条件是 。
【例题2】对于线性方程组
利用雅可比迭代法求其近似解（允许的最大迭代次数N，近似解的精度eps，由用户设定）。
（二）高斯-塞德尔迭代法。
从雅可比迭代的分量形式可以发现，在进行第k次迭代时，利用 ， ，…， ，生成向量 ，其分量产生的次序是 ， ，…， 。我们对雅可比方法进行以下改变设计：
步1应用信息 ， ，…， ，据雅可比迭代分量式，生成分量 ；
步2应用信息 ， ，…， ，据雅可比迭代分量式，生成分量 ；
步3应用信息 ， ，…， ，据雅可比迭代分量式，生成分量 ；
……
步n应用信息 ， ，…， ， ，据雅可比迭代分量式，生成分量 。
如此生成 的设计方案，是想更好地利用已有的最新有用信息。有理由相信，如此所获得的迭代式，其计算效果应该会更好一些。
下面，我们具体给出这种迭代法的表达形式。
……
即
……
左边可改写为
右边可改写为
亦即
注意到： ，于是有
迭代矩阵为
迭代向量为
故高斯-塞德尔迭代式为
（ ）
故高斯-塞德尔迭代式的分量计算公式为
，（ ）
实现高斯-塞德尔迭代法的分量计算公式的算法
步1 ，输入允许的最大迭代次数N，用户精度eps，k=0。
步2对于i=1,2,…,n，
迭代法求方程近似解的关键是是讨论由(6.1)式所构造出来的向量序列 是否收敛。为此，我们引入误差向量
将(6.2)式与(6.1)式相减，我们可得
递推下去，得
要考察 的收敛性，就要研究 在什么条件下有
也就是要研究 在什么条件下有
。
二迭代法收敛性定理
矩阵的收敛性定义
设有矩阵序列 及 ，如果 个数列极限均存在且有
则称 收敛于 ，记为 。
注：
矩阵序列的收敛性是根据矩阵的每个分量序列的收敛性来定义的。
【例题1】讨论约当块矩阵的幂次所构成的矩阵序列的收敛性。
形如
的矩阵称之为n阶的约当块。它可以分解成为
下面，我们分几步来研究矩阵序列
的收敛性。
1 矩阵 的幂阵的性质
我们不妨以4阶阵来看看这种性质。
， ，
，
的性质可归纳为以下两点：
小结：
本章主要介绍了解大型稀疏线性方程组的一些基本迭代方法，如雅可比迭代法、G-S迭代法，SOR法等，建立了迭代法收敛的基本理论。
迭代法是一种逐次逼近的方法，在使用迭代法解方程组时，其系数矩阵在计算过程中始终不变。迭代法具有循环的计算公式，方法简单，适宜解大型稀疏矩阵方程组，不过在使用迭代法时候要注意收敛性和收敛速度问题。
由定理2知 。
再由定理3，即得 。
判断迭代收敛时，需要计算 ，一般情况下，这不太方便。由于 ，在实际应用中，常常利用矩阵B的范数来判别迭代法的收敛性。
【定理5】（迭代法收敛的充分条件）设有方程组
以及迭代法
（ ）
如果有B的某种范数 ，则
（1）迭代法收敛，即对任取 有
且 。
（2） 。
（3） 。
（4） 。
故 的充要条件是 。
【定理4】（迭代法基本定理）设有方程组
以及迭代法
对任意选取初始向量 ，迭代法收敛的充要条件是矩阵 的谱半径 。
证明充分性设
则矩阵 的特征值均大于零，故 非奇异。
有唯一解 ，且 ，即 。
误差向量
由设 ，应用定理3，有 。
于是，对任意 ，有 ，即 。
必要性设对任意 有
其中 ，显然，极限 是方程组 的解，且对任意 有
【例题3】对于线性方程组
1高斯－塞德尔迭代法求其近似解（允许的最大迭代次数N，近似解的精度eps，由用户设定）。
2通过数值实验说明，求该线性方程组的近似解时，高斯－塞德尔迭代法的收敛速度较雅可比迭代法要快一些。
3采用分量计算公式编程求该线性方程组的近似解，验证用矩阵迭代形式求解所得的结果。
四关于解某些特殊方程组迭代法的收敛性
证明 （1）由基本定理4，结论（1）是显然的。
（2）由关系式 ，有
（3）
即
显然 亦成立。
（4） 。
注：
该定理中的第3款可作为误差的事后估计式。
三几种常见的迭代法及收敛性
下面，我们讨论线性方程组
如何用迭代法求近似解的问题。
这里， 为非奇异矩阵， 。
（一）雅可比迭代法。
设 ，将A分解成以下三部分
记 ，
那么
步3对于i=1,2,…,n
步4 k=k+1
步5若 ，输出近似解 ，停止计算。否则，执行步6。
步6若k=N，输出达到迭代次数信息，程序中止。否则，执行步7。
步7对于i=1,2,…,n， ，返回步2。
注：
1形成高斯-塞德尔迭代式的条件是 存在，而 ，故只要A的主对角线元素均非零，该逆阵存在。
2高斯-塞德尔迭代收敛的条件是 。
因为 ，得到
这里，注意事实
4 约当块幂阵的收敛性结论
当 时， 收敛于零矩阵；当 ， 发散。
矩阵序列极限的概念可以用矩阵范数来描述。
【定理1】 ，其中 为矩阵的任意一种范数。
证明 显然有
再利用矩阵范数的等价性，可证明定理对其他矩阵范数也成立。
【定理2】 的充要条件是 ，有 。
证明 必要性 记 ，据 ，可知 。
其中， ， 。
从而 ，雅可比迭代法收敛。
同样，也可以生成高斯-塞德尔迭代
其中， ， 。
下面考察B的特征值情况。设 为B的任一特征值，于是有
由于 ，于是
记
下面来证明，当 时，则 ，于是便证明了B的任一特征值 均满足 ，从而 ，高斯-塞德尔迭代法收敛。
事实上，当 时，由A为严格对角占优矩阵，则有
即C矩阵为严格对角占优，故 。
设 ，对于 ，有
由 可知， 。
类似地，可证明 。
这里， 是 中的基本单位向量组。
，则
即 ，
亦即 。
充分性 据 ，有 ，
由 的任意性，如果取 ，则
，
亦即
类似地，可分别让 ，可得
故
从而 。
【定理3】非奇奇异矩阵P使
其中约当块
且 ，显然有
其中
于是
据例题1的结论， 的充要条件是
在科学及工程计算中，要求方程组 ，其矩阵 常常具有某些特性。例如， 具有对角占优性质或 为不可约阵，或 是对称正定阵等，下面讨论用基本迭代法解这些方程组的收敛性。
【定义1】设
1 如果A的元素满足
称A为严格对角占优阵。
2 如果A的元素满足
且上式至少有一个不等式严格成立，称A为弱对角占优阵。
【定义2】设 ( )，如果存在置换阵P，使
即
与假设矛盾，故 ，A为非奇异矩阵。
【定理7】设 ，如果
1 A为严格对角占优矩阵，则解 的雅可比迭代法，高斯-塞德尔迭代法均收敛。
2 A为弱对有占优阵，且A为不可约矩阵，则解 的雅可比迭代法，高斯-塞德尔迭代法均收敛。
证明 只证明1
A为严格对角占优矩阵，故
，
故A的主对角元素均为非零的，可以生成雅可比迭代式
其中， 为r阶方阵， 为n-r阶方阵( )，则称A为可约矩阵。否则，则称A为不可约矩阵。
【定理6】（对角占优定理）如果 为严格对角占优矩阵或A为不可约弱对角占优矩阵，则A为非奇异矩阵。
证明 只就A为严格对角占优矩阵证明此定理。采用反证法，如果 ，则 有非零解，记为 ，则 。
由齐次方程组第k个方程
则有
第五章解线性方程组的迭代法
本章主要内容：
迭代法收敛定义，矩阵序列收敛定义，迭代法基本定理，雅可比迭代法，高斯-塞德尔迭代法，系数矩阵为严格对角占优阵的采用雅可比迭代、高斯-塞德尔迭代的收敛性。
教学目的及要求：
使学生了解迭代法收敛定义，迭代法基本定理，掌握雅可比迭代法、高斯-塞德尔迭代法。
教学重点：
雅可比迭代法，高斯-塞德尔迭代法。
（2）m=1时， 的第2条对角线元素为1，其余为零；m=2时， 的第3条对角线元素为1，其余为零；m=3时， 的第4条对角线元素为1，其余为零。
简言之， 的第m+1条对角线元素为1，其余为零（当没有第m+1条对角线时， 应理解为零矩阵）。
2 计算约当块的幂次。
当 时，
3 一个极限性质
教学难点：
迭代法基本定理的证明以及作用。
教学方法及手段：
应用严格的高等代数、数学分析知识，完整地证明迭代法基本定理，讲清雅可比迭代法与高斯-塞德尔迭代法的关系，介绍雅可比迭代法与高斯-塞德尔迭代法在编程中的具体实现方法。
在实验教学中，通过一个具体实例，让学生掌握雅可比迭代法与高斯-塞德尔迭代法的具体实现，并能通过数值计算实验，揭示高斯-塞德尔迭代法是对雅可比迭代法的一种改进这一事实。
教学时间：
本章的教学的讲授时间为6学时，实验学时4学时。
教学内容：
一迭代法定义
对于给定的线性方程组 ，设它有唯一解 ，则
(6.1)
又设 为任取的初始向量，按下述公式构造向量序列
(6.2)
这种逐步代入求近似解的方法称为迭代法（这里B与f与k无关）。如果 存在（记为 ），称此迭代法收敛，显然 就是方程组的解，否则称此迭代法发散。
形成迭代式
对于任意初值 ， （ ）
这就是雅可比迭代法。
注：
1形成雅可比迭代式的条件是A的主对角线元素均非零。
2雅可比迭代收敛的条件是 。
【例题2】对于线性方程组
利用雅可比迭代法求其近似解（允许的最大迭代次数N，近似解的精度eps，由用户设定）。
（二）高斯-塞德尔迭代法。
从雅可比迭代的分量形式可以发现，在进行第k次迭代时，利用 ， ，…， ，生成向量 ，其分量产生的次序是 ， ，…， 。我们对雅可比方法进行以下改变设计：
步1应用信息 ， ，…， ，据雅可比迭代分量式，生成分量 ；
步2应用信息 ， ，…， ，据雅可比迭代分量式，生成分量 ；
步3应用信息 ， ，…， ，据雅可比迭代分量式，生成分量 ；
……
步n应用信息 ， ，…， ， ，据雅可比迭代分量式，生成分量 。
如此生成 的设计方案，是想更好地利用已有的最新有用信息。有理由相信，如此所获得的迭代式，其计算效果应该会更好一些。
下面，我们具体给出这种迭代法的表达形式。
……
即
……
左边可改写为
右边可改写为
亦即
注意到： ，于是有
迭代矩阵为
迭代向量为
故高斯-塞德尔迭代式为
（ ）
故高斯-塞德尔迭代式的分量计算公式为
，（ ）
实现高斯-塞德尔迭代法的分量计算公式的算法
步1 ，输入允许的最大迭代次数N，用户精度eps，k=0。
步2对于i=1,2,…,n，
迭代法求方程近似解的关键是是讨论由(6.1)式所构造出来的向量序列 是否收敛。为此，我们引入误差向量
将(6.2)式与(6.1)式相减，我们可得
递推下去，得
要考察 的收敛性，就要研究 在什么条件下有
也就是要研究 在什么条件下有
。
二迭代法收敛性定理
矩阵的收敛性定义
设有矩阵序列 及 ，如果 个数列极限均存在且有
则称 收敛于 ，记为 。
注：
矩阵序列的收敛性是根据矩阵的每个分量序列的收敛性来定义的。
【例题1】讨论约当块矩阵的幂次所构成的矩阵序列的收敛性。
形如
的矩阵称之为n阶的约当块。它可以分解成为
下面，我们分几步来研究矩阵序列
的收敛性。
1 矩阵 的幂阵的性质
我们不妨以4阶阵来看看这种性质。
， ，
，
的性质可归纳为以下两点：
小结：
本章主要介绍了解大型稀疏线性方程组的一些基本迭代方法，如雅可比迭代法、G-S迭代法，SOR法等，建立了迭代法收敛的基本理论。
迭代法是一种逐次逼近的方法，在使用迭代法解方程组时，其系数矩阵在计算过程中始终不变。迭代法具有循环的计算公式，方法简单，适宜解大型稀疏矩阵方程组，不过在使用迭代法时候要注意收敛性和收敛速度问题。
由定理2知 。
再由定理3，即得 。
判断迭代收敛时，需要计算 ，一般情况下，这不太方便。由于 ，在实际应用中，常常利用矩阵B的范数来判别迭代法的收敛性。
【定理5】（迭代法收敛的充分条件）设有方程组
以及迭代法
（ ）
如果有B的某种范数 ，则
（1）迭代法收敛，即对任取 有
且 。
（2） 。
（3） 。
（4） 。
故 的充要条件是 。
【定理4】（迭代法基本定理）设有方程组
以及迭代法
对任意选取初始向量 ，迭代法收敛的充要条件是矩阵 的谱半径 。
证明充分性设
则矩阵 的特征值均大于零，故 非奇异。
有唯一解 ，且 ，即 。
误差向量
由设 ，应用定理3，有 。
于是，对任意 ，有 ，即 。
必要性设对任意 有
其中 ，显然，极限 是方程组 的解，且对任意 有
【例题3】对于线性方程组
1高斯－塞德尔迭代法求其近似解（允许的最大迭代次数N，近似解的精度eps，由用户设定）。
2通过数值实验说明，求该线性方程组的近似解时，高斯－塞德尔迭代法的收敛速度较雅可比迭代法要快一些。
3采用分量计算公式编程求该线性方程组的近似解，验证用矩阵迭代形式求解所得的结果。
四关于解某些特殊方程组迭代法的收敛性
证明 （1）由基本定理4，结论（1）是显然的。
（2）由关系式 ，有
（3）
即
显然 亦成立。
（4） 。
注：
该定理中的第3款可作为误差的事后估计式。
三几种常见的迭代法及收敛性
下面，我们讨论线性方程组
如何用迭代法求近似解的问题。
这里， 为非奇异矩阵， 。
（一）雅可比迭代法。
设 ，将A分解成以下三部分
记 ，
那么
步3对于i=1,2,…,n
步4 k=k+1
步5若 ，输出近似解 ，停止计算。否则，执行步6。
步6若k=N，输出达到迭代次数信息，程序中止。否则，执行步7。
步7对于i=1,2,…,n， ，返回步2。
注：
1形成高斯-塞德尔迭代式的条件是 存在，而 ，故只要A的主对角线元素均非零，该逆阵存在。
2高斯-塞德尔迭代收敛的条件是 。
因为 ，得到
这里，注意事实
4 约当块幂阵的收敛性结论
当 时， 收敛于零矩阵；当 ， 发散。
矩阵序列极限的概念可以用矩阵范数来描述。
【定理1】 ，其中 为矩阵的任意一种范数。
证明 显然有
再利用矩阵范数的等价性，可证明定理对其他矩阵范数也成立。
【定理2】 的充要条件是 ，有 。
证明 必要性 记 ，据 ，可知 。
其中， ， 。
从而 ，雅可比迭代法收敛。
同样，也可以生成高斯-塞德尔迭代
其中， ， 。
下面考察B的特征值情况。设 为B的任一特征值，于是有
由于 ，于是
记
下面来证明，当 时，则 ，于是便证明了B的任一特征值 均满足 ，从而 ，高斯-塞德尔迭代法收敛。
事实上，当 时，由A为严格对角占优矩阵，则有
即C矩阵为严格对角占优，故 。
设 ，对于 ，有
由 可知， 。
类似地，可证明 。
这里， 是 中的基本单位向量组。
，则
即 ，
亦即 。
充分性 据 ，有 ，
由 的任意性，如果取 ，则
，
亦即
类似地，可分别让 ，可得
故
从而 。
【定理3】非奇奇异矩阵P使
其中约当块
且 ，显然有
其中
于是
据例题1的结论， 的充要条件是
在科学及工程计算中，要求方程组 ，其矩阵 常常具有某些特性。例如， 具有对角占优性质或 为不可约阵，或 是对称正定阵等，下面讨论用基本迭代法解这些方程组的收敛性。
【定义1】设
1 如果A的元素满足
称A为严格对角占优阵。
2 如果A的元素满足
且上式至少有一个不等式严格成立，称A为弱对角占优阵。
【定义2】设 ( )，如果存在置换阵P，使
即
与假设矛盾，故 ，A为非奇异矩阵。
【定理7】设 ，如果
1 A为严格对角占优矩阵，则解 的雅可比迭代法，高斯-塞德尔迭代法均收敛。
2 A为弱对有占优阵，且A为不可约矩阵，则解 的雅可比迭代法，高斯-塞德尔迭代法均收敛。
证明 只证明1
A为严格对角占优矩阵，故
，
故A的主对角元素均为非零的，可以生成雅可比迭代式
其中， 为r阶方阵， 为n-r阶方阵( )，则称A为可约矩阵。否则，则称A为不可约矩阵。
【定理6】（对角占优定理）如果 为严格对角占优矩阵或A为不可约弱对角占优矩阵，则A为非奇异矩阵。
证明 只就A为严格对角占优矩阵证明此定理。采用反证法，如果 ，则 有非零解，记为 ，则 。
由齐次方程组第k个方程
则有
第五章解线性方程组的迭代法
本章主要内容：
迭代法收敛定义，矩阵序列收敛定义，迭代法基本定理，雅可比迭代法，高斯-塞德尔迭代法，系数矩阵为严格对角占优阵的采用雅可比迭代、高斯-塞德尔迭代的收敛性。
教学目的及要求：
使学生了解迭代法收敛定义，迭代法基本定理，掌握雅可比迭代法、高斯-塞德尔迭代法。
教学重点：
雅可比迭代法，高斯-塞德尔迭代法。