研究生课程《数值分析》-第六章线性方程组的迭代解法
数值分析--第6章 解线性方程组的迭代法
数值分析--第6章解线性方程组的迭代法第6章 解线性方程组的迭代法直接方法比较适用于中小型方程组。
对高阶方程组，即使系数矩阵是稀疏的，但在运算中很难保持稀疏性，因而有存储量大，程序复杂等不足。
迭代法则能保持矩阵的稀疏性，具有计算简单，编制程序容易的优点，并在许多情况下收敛较快。
故能有效地解一些高阶方程组。
1 迭代法概述迭代法的基本思想是构造一串收敛到解的序列，即建立一种从已有近似解计算新的近似解的规则。
由不同的计算规则得到不同的迭代法。
迭代法的一般格式(1)()(1)()(,,,),0,1,k k k k m kF k +--==x x x x式中(1)k +x 与()(1)(),,,k k k m --x x x 有关，称为多步迭代法。
若(1)k +x 只与()k x 有关，即(1)()(),0,1,k k kF k +==x x称为单步迭代法。
再设kF 是线性的，即(1)(),0,1,k kk kk +=+=x B x f式中n nk ⨯∈B R ，称为单步线性迭代法。
kB 称为迭代矩阵。
若k B 和kf 与k 无关，即(1)(),0,1,k k k +=+=x Bx f称为单步定常线性迭代法。
本章主要讨论具有这种形式的各种迭代方法。
1.1 向量序列和矩阵序列的极限由于nR 中的向量可与nR 的点建立——对应关系，由点列的收敛概念及向量范数的等价性，可得到向量序列的收敛概念。
定义6.1 设(){}k x 为n R 中的向量序列，nx R ∈，如果()lim 0k k x x →∞-=其中为向量范数，则称序列(){}k x 收敛于x ，记为()lim k k x x →∞=。
定理6.1 nR 中的向量序列(){}k x 收敛于nR 中的向量x 当且仅当()lim (1,2,,)k i i k x x i n →∞==其中()()()()1212(,,,),(,,,)k k k k T Tnnx x x x x x x x ==。
第六章 迭代法-数值分析
由极限存在准则得 即
k
lim xi( k ) xi =0
k
(i 1, 2, , n)
, n)
lim xi( k ) xi
(i 1, 2,
定义：设{ A( k ) }为n阶方阵序列，A为n阶方阵，如果 lim A( k ) A 0
k
其中 为矩阵范数，则称序列{ A( k ) }收敛于矩阵A，记为 lim A( k ) A
g
n
其中bij
aij aii
, (i j , i, j 1, 2,
, n), g i
bi (i 1, 2, aii
, n).
迭代公式x ( k 1) Bx ( k ) g (k 0,1, 2, )用方程组表示为
(k ) (k ) (k ) ( k 1) b13 x 3 b1n x n g x b 1 12 x 2 1 (k ) (k ) (k ) ( k 1) b 23 x 3 b 2 n x n g x2 b 21 x 1 2 ( k 1) (k ) (k ) (k ) b n1 x1 b n 2 x 2 b n,n 1 x n 1 g x n n 因此，在Jacobi迭代法的计算过程中，需同时保留两个
k k
即x是方程组Ax b的解。
引入误差向量
k
(k ) (k ) lim x x lim 0 所以 等价于 k
( k 1)
x
( k 1)
x
由
x ( k 1) Mx ( k ) g
x Mx g
则可得
( k 1)
数值分析第六章线性方程组迭代解法
1)
b2 a21x1(k) a23x3(k)
xn( k
1)
bn an1x1(k) an2 x2(k)
a1n
x(k) n
a11
a2n xn(k) a22
an,n1
x(k) n1
ann
x(k1) D1(L U ) x(k) D1b
D1(D A) x(k) D1b
(I D1A) x(k) D1b x(k) D1(b Ax(k) )
x(7) = ( 2.0000, 3.0000, -1.0000 )T 如何确定 SOR 迭代中的最优松弛因子是一件很困难的事
26
收敛性
收敛性定理 Jacobi 迭代收敛的充要条件 (J)<1 G-S 迭代收敛的充要条件 (G)<1 SOR 迭代收敛的充要条件 (L)<1
Jacobi 迭代收敛的充分条件 ||J|| <1 G-S 迭代收敛的充分条件 ||G|| < 1 SOR 迭代收敛的充分条件 ||L|| < 1
x1( k x2( k
1) 1)
1
x(k) 2
2
8
x ( k 1) 1
x(k) 3
3
x3(k1)
5
x ( k 1) 2
2
迭代可得： x(1) = ( 0.5000, 2.8333, -1.0833 )T
x(9) = ( 2.0000, 3.0000, -1.0000 )T
25
举例
SOR 迭代：
x(k1) i
bi
i 1
a x(k1) ij j
n
aij
x(jk
)
aii
j 1
j i 1
数值分析课件_Chapter_6线性方程组的迭代解法共74页
16、业余生活要有意义，不要越轨。——华盛顿 17、一个人即使已登上顶峰，也仍要自强不息。——罗素·贝克 18、最大的挑战和突破在于用人，而用人最大的突破在于信任人。——马云 19、自己活着，就是为了使别人过得更美好。——雷锋 20、要掌握书，莫被书掌握；要为生而读，莫为读而生。——布尔沃
数值分析课件_Chapter_6线性方程组 的迭代解法
6、法律的基础有两个，而且只有两个……公平和实用。——伯克 7、有两种和平的暴力，那就是法律和礼节。——歌德
8、法律就是秩序，有好的法律才有好的秩序。——亚里士多德 9、上帝把法律和公平凑合在一起，可是人类却把它拆开。——查·科尔顿 10、一切法律都是无用的，因为好人用不着它们，而坏人又不会因为它们而变得规矩起来。——
数值分析线性方程组的迭代解法
数值分析课程实验报告实验名称 线性方程组的迭代解法Ax b =的系数矩阵对角线元素容许误差。
雅可比（Jacobi ）迭代法解方程组的算法描述如下：任取初始向量(0)(0)1(xx =1+，并且 1,2,...,n ，计算 11(ni j ii j ib a a =≠-∑()k x ，结束；否则执行④，则不收敛，终止程序；否则转② 迭代法的算法描述）迭代法中，如果当新的分量求出后，马上用它来代替旧的分量，则可能会更快地接近方程组的准确解。
基于这种设想构造的迭代公式,n ，k = （2）算法可相应地从雅可比（Jacobi ）迭代法改造得到(Gauss-Seidel)迭代得到的值进一()()()1((1k i ii k k i i x b a x x ωω==+-1,2,,n ，2,k =（3）为松弛因子（显然当1ω=塞德尔迭代公式） ()k ix 通常优于旧值(1)k ix -，在将两者加工成松弛值时，自然要求松弛因子1ω>，以尽量发挥新值的优势，这类迭代就称为逐次超松弛迭代法。
SOR 迭代的关键在于选取合适的松弛因子，松弛因子的取值对收敛速度影响很大，但如何选取最佳松弛因子的问题，至今仍未有效解决，在实际计算时，通常依据系数矩阵的特点，并结合以往的经验选取合适的松弛因子。
练习与思考题分析解答(0)(1,1,1,1)x =[ -0.999976, -0.999976, -0.999976, -0.999976]x =[ -0.99999, -0.999991, -0.999992, -0.999993]x =塞德尔迭代算法的收敛速度要比雅可比迭代算法的收敛速度快SOR 迭代实质上是高斯原理和基本方法相同。
如果选择合适的松弛因子，它能够加快收敛速度。
SOR 迭代算法更加普通，当选取一个合适的松弛因子后收敛速度明显加快。
迭代算法将前一步的结果[ -0.99999, -0.999991, -0.999992, -0.999993]x =[ -0.999992, -0.999993, -0.999994, -0.999995]x =[ -0.999993, -0.999994, -0.999995, -0.999995]x =[ -0.999992, -0.999993, -0.999994, -0.999995]x =[ -0.999999, -1.0, -1.0, -1.0]x =[ -0.999999, -1.0, -1.0, -1.0]x =因为为了保证迭代过程收敛，松弛因子1.3左右。
第6章 解线性代数方程组的迭代法 数值分析 第五版 教学课件
收l敛 iε ( m k ) 0 ： liB m k 0 .
k
k
要研 B 满 究 足什B 么 k 0条 k( 件 ) . 下
2020/10/29
2020/10/29
取初x 始 (0)， 向量 x(k1)B(kx )f,k0,1, ,
(2.3)
其B 中 M 1NM 1(M A )IM 1A ,fM 1b.
2020/10/29
2020/10/29
一般地 A xb ， 变由 形得x 到 B等 xf.价的
设x * 有 则 , 解
Hale Waihona Puke x * B * x f(1
又设任x(0 取 ),则初 可值 构造迭代序
x(k1)B(k x)f
(1.
定1(义 1 对 ) 于x方 B 程 xf， 组 用 (1.6)公 逐式 步
0
1 1
4
(ai ,bi , ci都不为零 )，
1 0 2 1 2 3
1 2 3
C 2 1 2 0 1 2，D 3 2 1.
1 0 3 0 1 3
0 1 2
2020/10/29
2020/10/29
2020/10/29
证明 若矩阵A按行严格对角占优，或按行(或列)弱对角占优不可约，
则GS迭代收敛。假若不然，ρ(BG)≥1，即迭代矩阵BG的某一特征
2020/10/29
2020/10/29
2020/10/29
2020/10/29
an1 an2 an,n1 ann
i 1 n i 1 n
|2020/|10/2|9a i|i ( )| | j 1 |a i|j j i 1 |a i| j j 1 |a i|j j i 1 |a i|.j
_第六章_线性方程组的数值解法迭代法
b 1
a 11
b2
f
a 22 bn
a nn
x(k1) B0x(k)f
--------(5)
第四节 解线性方程组的迭代法
令：
0 0 0
L
a 21
0
0 A的下三角部分矩阵
a n1 a n 2 0
0
U
0
a12 0
a1n a2n
A的上三角部分矩阵
第三节 向量范数和矩阵范数
（2）范数的另一个简单例子是二维欧氏空间的长度
0M x2 y2
欧氏范数也满足三个条件：
（勾股定理）
设x = (x1, x2) ① x 0 x >0 ② ax = a x a为常数 ③ x+ y ≤ x + y 前两个条件显然，第三个条件在几何上解释为三角形一边的长度不大于其它 两边长度之和。因此，称之三角不等式。
满足：
① A0,且A0,当且A 仅 0当
，若 A
正定
② A A,为任意实数
奇次
③ ABAB,A和 B为任意 n阶两 方个 三阵 角不等
则称 A 为矩阵A的范数。
第三节 向量范数和矩阵范数
2、矩阵范数与向量范数的相容性 对于任意的n维向量x，都有：
Ax A x
这一性质称为矩阵范数与向量范数的相容性。
n
A
max
1in
j1
aij
A的每行绝对值之和的最大值, 又称A的行范数
第三节 向量范数和矩阵范数
（3）矩阵的2范数
2范数 ||A|2 | ： (AT A )
(AAT) ?
矩阵的谱半径：
矩阵B的诸特征值为： i(i1,2, ,n)
第六章 解线性方程组的迭代法.ppt
称 J 为解 Ax b的雅可比迭代法的迭代阵.
（2.5）
15
研究雅可比迭代法(2.5)的分量计算公式.
记 x(k ) ( x1(k ) ,, xi(k ) ,, xn(k ) )T ,
由雅可比迭代公式(2.5), 有
Dx(k1) (L U )x(k ) b,
或
i1
n
aii
9
定义1 (1) 对于给定的方程组 x Bx f，用公式(1.6) 逐步代入求近似解的方法称为迭代法(或称为一阶定常迭代 法，这里 B与 k无关).
(2) 如果 lim x(k) 存在(记为 x * )，称此迭代法收敛， k
显然 x *就是方程组的解，否则称此迭代法发散. 研究 {x(k )}的收敛性. 引进误差向量
22
例2 用高斯-塞德尔迭代法解线性方程组(1.2).
8x1 3x2 2x3 4x1 11x2 x3
20, 33,
6x1 3x2 12x3 36.
（1.2）
取 x(0) (0, 0, 0)T， 按高斯-塞德尔迭代公式
x ( k 1) 1
记为 Ax b , 其中
（1.2）
8 A4
6
3 2 11 1, 3 12
x1 x x2 ,
x3
20 b 33 .
36
方程组的精确解是 x* (3, 2, 1)T . 现将(1.2)改写为
4
12
于是，求解 Ax b转化为求解 Mx Nx b，即求解
Ax b 求解x M 1Nx M 1b.
可构造一阶定常迭代法
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
若x(k) x（ k ）,则有 x Bx f
即x就 是Ax b的 解 。
3
定义： 迭代格式： x(k1) Bx(k) f , k 0,1, 2,
迭代矩阵：矩 阵B 迭代过程收敛： 若序列{x(k)}极限存在，称此迭代过程收敛，否则称为发散。 迭代 法计算精度可控，特别适用于求解系数为大型稀 疏矩阵 /* sparse matrices */ 的方程组。
k
x1(k)
x2(k)
x3(k)
1
0.72
0.83
0.84
2
0.971
1.07
1.15
……
……
…….
……
11
1.099993 1.199993 1.299991
12
1.099998 1.199998 1.299997
从上表可以看出，迭代序列收敛于x*，若取x(12)作为近似
解，则误差不超过 10-5
x (k1) 1
1 a11
a12 x2(k ) ... a1n xn(k ) b1
x (k1) 2
1 a22
a21 x1(k ) ... a2n xn(k ) b2
...
...
...
...
按此格式迭代求解 的方法称为雅可比 迭代法,简称J法。
x (k1) n
1 ann
7
写成矩阵形式：把A分解成 A D L U，其中
D diag (a11, a22 ,, ann ),
0
L
a21
an1
0
an,n1
, 0
0 U
a12 0
a1n
an1,n 0
.
Ax b (D L U )x b Dx (L U )x b
x D1(L U)x D1b
B
f
Jacobi 迭代阵，简记为BJ
x(k1) D1(L U)x(k) D1b
8
三、Gauss–Seidel（高斯—塞德尔）迭代法
x ( k 1) 1
1 a11
(a12 x2(k )
a13 x3(k )
a14 x4(k )
a1n xn(k)
b1 )
x ( k 1) 2
1 a22
(a21 x1(k1)
a23 x3(k )
a24 x4(k )
a2n xn(k )
b2 )
x ( k 1) 3
1 a33
(a31 x1(k1)
a x(k1) 32 2
a34 x4(k )
a3n xn(k )
b3 )
…………
x ( k 1) n
1 ann
(an1 x1(k1)
an2 x2(k1)
an3 x3(k1)
ann
an1 x1(k )
...
a x (k) nn 1 n1
bn
可以缩写为：
x (k1) i1Fra bibliotekaiii 1
aij x j(k )
j 1
n
aij x j(k )
j i 1
bi
(i 1,2,, n)
6
例1
用雅可比迭代法解线性方程组
10x1 x2 2x3 7.2
x1
10x2
2x3
8.3
1
x ( k 1) n1
bn )
写成矩阵形式： x(k1) D1(Lx(k1) Ux(k) ) D1b
(D L)x(k1) Ux(k) b
x(k1) (D L)1Ux(k) (D L)1b
Gauss-Seidel 迭代阵，
B
简记为BGS
f
9
Gauss-Seidel迭代法的分量形式为：
x1
1 5
(1
x2
3x3
)
x2
1 4
(2
2 x1
x3 )
x3
1 11
(3
4
x1
6
x2
)
10
建立 Jacobi 迭代格式如下
x1( k 1) x2( k 1) x3( k 1)
数值分析课件 第六章
线性方程组的迭代解法
1. 基本迭代方法 2. 迭代法的收敛性 3. 松弛迭代法
1
§1 基本迭代方法
一、问题的提出
1．直接方法的缺陷(以Gauss消去法为代表)：
对于低中阶数（n ≤ 100）的线性方程组十分有效，
但n 很大时，特别是由某些微分方程数值解所提出来的 线性方程组，由于舍入误差的积累以及计算机的存贮困 难，直接方法却无能为力。
2．解决方法：（利用迭代方法）
迭代方法：把线性方程组的数值求解问题化为一个 迭代序列来实现。
2
由于迭代方法能避免系数矩阵中零元的存贮与计算， 特别适用于解系数矩阵阶数很高而非零元极少（即大型 稀疏）的线性方程组。
具体做法
(1) Ax b x Bx f
(2) 取任意初始向量 x(0) 构成迭代序列:
,,
xn(0) )T
, 可计算x(1) ,
x(2) ,,若 lim k
x(k)
x*,
则x * 是方程Ax b的解
迭代初值
如何构造迭代方程
收敛 5
二、Jacobi （雅可比）迭代法
a11 x1 a12 x2 ... a1n xn b1
x1
1 a11
a12 x2
...
a1n xn
b1
解 雅可比迭代格式：
x1 x2 5x3 4.2
x (k1) 1
x (k1) 2
0.1x2(k ) 0.1x1(k )
0.2 x3(k) 0.2 x3(k)
0.72 0.83
x3
(
k
1)
0.2 x1(k )
0.1x2(k )
0.84
取x(0)＝ 0,0,0T , 迭代结果见下表 准确解x *＝1.1,1.2,1.3T
a21 x1 a22 x2 ... a2n xn ... ... ... ...
b2
aii
0
an1 x1 an2 x2 ... ann xn bn
x2
1 a22
a21 x1
...
a2n xn
b2
...
...
...
...
建立迭代格式：
xn
1 ann
an1x1 ... ann1xn1 bn
4
迭代法要解决的主要问题如下 ：
1.如何构造迭代格式？
2.构造的格式所产生的序列在什么情况下收敛？
3.如果收敛，收敛的速率如何？
迭代方程
4.近似解的误差估计。
迭代格式
方程
Ax b x Bx f , x(k1) Bx(k) f , k 1, 2,
任给
x(0)
(
x(0) 1
,
x(0) 2
xi(k1)
1 aii
[bi
i 1
aij
x
(k j
1)
j 1
n
aij x(jk ) ]
j i 1
,
i 1,2,, n
例2 分别给出以下线性方程组的Jacobi迭代格式和
5 1 3 x1 1
Gauss-Seidel迭代格式： 2 4 1 x2 2
4
6
11
x3
3
解
原方程等价于