数值分析复习--- 第六章 解线性方程组的迭代法

§6.2 几种常用的迭代格式
Gauss—Seidel 迭代法的矩阵表示
因为 D ≠ 0 ,所以 D + L = D ≠ 0 故 (D + L)x (k+1) = −Ux(k) + b
x(k+1) = −(D+ L)−1Ux(k) +(D+ L)−1b
令 B1 = −(D + L)−1U , g1 = (D + L)−1b 则高斯-塞德尔迭代形式为：
§6.3 迭代法的收敛性及误差估计
由迭代格式，有
x(k) − x(k−1) = G(x(k−1) − x(k−2) ) = G2(x(k−1) − x(k−2) ) = = Gk−1(x(1) − x(0) )
两边取范数，代入上式，得
x * − x (k ) ≤ G k x (1) − x (0) 1− G
高斯-塞德尔（Gauss-Seidel）迭代法
在Jacobi迭代法中，每次迭代只用到前一次的迭代值，若每
次迭代充分利用当前最新的迭代值，即在求
x (k +1) i
时用新分
量
x1( k
+1)
,
x
(k 2
+1)
,
, x (k +1) i −1
代替旧分量
x1(
k
)
,
x
(k 2
)
,
,
x(k) i −1
⎧ ⎪ ⎪⎪ ⎨
e(k) = x(k) − x* = Gx(k−1) + d − (Gx* + d) = G(x(k−1) − x*) = Ge(k−1)
于是 e(k ) = Ge (k −1) = G e2 (k −2) = … = G k e (0)
由于 e (0) 可以是任意向量,故 e(k) 收敛于0当且仅 当 G k 收敛于零矩阵，即当 k → ∞ 时 Gk → 0 所以必 ρ (G ) < 1
当ω=1时，便为高斯-塞德尔迭代法。 当0<ω< 1时，低松弛法； 当1<ω< 2时称为超松弛法。
但通常统称为超松弛法(SOR)。
12/50
郑州大学研究生2009-2010学年课程 数值分析 Numerical Analysis
§6.2 几种常用的迭代格式 SOR迭代法的矩阵表示
令 Lω = ( D + ω L ) −1 [(1 − ω ) D − ω U ]
x ( k +1) = B1 x ( k ) + g1
10/50
郑州大学研究生2009-2010学年课程 数值分析 Numerical Analysis
§6.2 几种常用的迭代格式 SOR方法
⑴ 用高斯—塞德尔迭代法定义辅助量。
∑ ∑ ~xi(k+1)
=
1 a ii
⎡ ⎢bi ⎣
−
i −1
a x (k +1) ij j j =1
定理6.3.2 (迭代法收敛的充分条件) 若迭代矩阵G的一种范数 G < 1,则迭代公式
x(k+1) = Gx (k) + d (k = 0,1, )
收敛,且有误差估计式,且有误差估计式
x* − x(k) ≤ G 1− G
x (k ) − x (k −1)
及
x* − x(k) ≤ G k
x (1) − x (0)
≤ G x* − x (k ) + G x (k ) − x (k −1)
(1 − G ) x* − x (k ) ≤ G x (k ) − x (k −1)
∴
19/50
x* − x (k ) ≤ G x (k ) − x (k−1) 1− G
郑州大学研究生2009-2010学年课程 数值分析 Numerical Analysis
Jacobi迭代法
据此建立迭代公式
∑ x (k+1) i
=
1 aii
(bi
−
n
aij
x
(k j
)
)
j =1
j≠i
i = 1,2, n
上式称为解方程组的Jacobi迭代公式。
也称为 简单迭代法。
3/50
郑州大学研究生2009-2010学年课程 数值分析 Numerical Analysis
雅所以
lim G k
k →∞
=0
, 即 lim G k k→∞
= 0 。故
e(k)
收敛于 0,
x (k) 收敛于 x *
由此定理可知，不论是雅可比迭代法、高斯—
塞德尔迭代法还是超松弛迭代法，它们收敛的
充要条件是其迭代矩阵的谱半径 ρ(G) < 1 。
16/50
郑州大学研究生2009-2010学年课程 数值分析 Numerical Analysis
1− G
17/50
郑州大学研究生2009-2010学年课程 数值分析 Numerical Analysis
§6.3 迭代法的收敛性及误差估计
证: 矩阵的谱半径不超过矩阵的任一种范数, 已知 G < 1,因此 ρ(G) < 1,根据定理6.3.1可 知迭代公式收敛
又因为 G < 1 , 则det (I-G )≠0, I-G为非奇异矩阵, 故x＝Gx＋d有惟一解 , 即 x* = Gx* + d 与迭代过程 x(k ) = Gx(k−1) + d 相比较, 有
−
n
a
ij
x
j
(
k
)
⎤ ⎥,
(i
j =i +1
⎦
= 1,2,..., n)
⑵
把
xi(k +1) 取为
x(k) i
与 ~xi(k+1) 的加权平均，即
x (k +1) i
=
(1
−
ω
)
x
( i
k
)
+ ω~xi(k +1)
=
x (k ) i
+ ω (~xi(k +1)
−
x
( i
k
)
)
合并表示为：
∑ ∑ x(k+1) i
5/50
郑州大学研究生2009-2010学年课程 数值分析 Numerical Analysis
§6.2 几种常用的迭代格式 （Jacobi迭代公式）
令
B = (I − D−1A) g = D−1b
则有
x (k +1) = Bx (k ) + g （k = 0,1,2…）
称为雅可比迭代公式, B称为雅可比迭代矩阵
14/50
郑州大学研究生2009-2010学年课程 数值分析 Numerical Analysis
定理6.3.1 迭代公式 x(k+1) = Gx(k) + d (k = 0,1,…) 收敛 的充分必要条件是迭代矩阵G的谱半径 ρ(G) < 1 证:必要性 设迭代公式收敛,当k→∞时, x(k) → x* 则在迭代公式两端同时取极限得 x * = Gx * + d 记 e(k) = x(k) − x* ,则 e(k) 收敛于0(零向量),且有
= (1 − ω)xi(k)
+
ω
aii
(bi
−
i −1
a x (k+1) ij j
j =1
−
n
aij
x
(k j
)
)
j =i +1
11/50
郑州大学研究生2009-2010学年课程 数值分析 Numerical Analysis
§6.2 几种常用的迭代格式 SOR方法
式中系数ω称为松弛因子，为了保证迭代过程收 敛，要求0<ω< 2。
Dx = −(L + U ) x + b
因为 aii ≠ 0(i = 1,2, , n) ，则
x = −D −1 (L + U )x + D −1b 这样便得到一个迭代公式
x (k+1) = −D −1 (L + U )x (k ) + D −1b
= −D −1 ( A − D)x (k ) + D −1b = (I − D −1 A) x (k ) + D −1b
证毕
20/50
郑州大学研究生2009-2010学年课程 数值分析 Numerical Analysis
§6.3 迭代法的收敛性及误差估计
由定理知，当 G < 1 时，其值越小，迭代 收敛越快，在程序设计中通常用相邻两次迭代
x (k ) − x (k −1) < ε
郑州大学研究生课程 （2009-2010学年第一学期）
数值分析 Numerical Analysis
习题课 第六章 解线性代数方程组的迭代法
一、要点回顾
⎪⎧x1( k +1) ⎪
=
1 a11
(−a12 x2(k)
− a13 x3(k)
−
⎪⎪⎨x2( k +1)
=
1 a22
(−a21 x1( k )
0
⎥⎢
ann
⎥ ⎦
⎢ ⎢⎣
a1n ⎤
a2n
⎥ ⎥
⎥
an−1n
⎥ ⎥
0 ⎥⎦
记作 A = L + D + U
4/50
郑州大学研究生2009-2010学年课程 数值分析 Numerical Analysis
§6.2 几种常用的迭代格式 （Jacobi迭代公式）
则 Ax = b 等价于 ( L + D + U ) x = b