第三章 迭代法

按行严格对角占优（ 推论 若A按行严格对角占优（ aii > j =∑≠i aij ）， 按行严格对角占优 1, j 则解Ax=b的Jacobi迭代和 迭代和Gauss-Seidel迭代 则解 的 迭代和 迭代 均收敛。 均收敛。 证明思路：用定理3.4. A严格对角占优， 则 严格对角占优， 证明思路：用定理 严格对角占优 无穷大范数 ||G||<1
算法简单 收敛有保证 只要f(x)连续 只要 连续
缺点
对区间两端点选取条件苛刻 收敛速度慢
§3.2 迭代法原理
迭代法的思想 不动点原理 局部收敛性 收敛性的阶
迭代法的思想
条件: 条件 f(x)=0 在x0附近有且仅有一个根 设计同解变形 x=g(x) 迭代式 xk=g(xk-1), k=1,2,… 如果收敛 xk →x*, 则x*是f(x)=0 的根 是
2 Jacobi迭代和Gauss-Seidel迭代 Jacobi迭代和 迭代和Gauss-Seidel迭代
例3.7
10 x1 − x2 − 2 x3 = 7.2 − x1 + 10 x2 − 2 x3 = 8.3 − x − x + 5 x = 4.2 3 1 2
解：变形
x1 = 0.72 + 0.1x2 + 0.2 x3 x2 = 0.83 + 0.1x1 + 0.2 x3 x = 0.84 + 0.2 x + 0.2 x 1 Newton迭代法优势越明显 迭代法优势越明显
“迭代－加速”技术 迭代－加速”
加快迭代过程的收敛速度 将发散的迭代格式加工成收敛的 附近大约为D, 若g’(x)在x*附近大约为 改进 k = g(xk-1) 为 在 附近大约为 改进x
1 xk = [ g ( xk −1 ) − Dxk −1 ] 1− D
g ′( x ) =
∗
f ( x ∗ ) f ′′( x ∗ )
m重根：线性收敛 重
g ′( x ∗ ) = lim
x → x*
[ f ′( x )]
∗
2
=0
f ( x) f ′′( x) 1 = 1 − (习题6) m [ f ′( x)]2
例3.5 （P56)
Newton迭代法，计算3次达到 位有效数字 迭代法，计算 次达到 次达到4位有效数字 迭代法 计算4次达到 次达到4位有效数字 计算 次达到 位有效数字 xk = 3 xk −1 + 1
L Lk x1 − x0 x − xk ≤ x k − x k −1 ≤ 1− L 1− L
*
后验估计
先验估计
算法设计中迭代结束条件: 近似使用|x 算法设计中迭代结束条件 近似使用 k-xk-1|<ε ε
不动点原理
证明步骤
解的存在性; 解的存在性 解的唯一性; 解的唯一性 解的收敛性; 解的收敛性 误差估计式。 误差估计式。
初值取 x1(0) = x2(0) = x3(0) = 1 ，精度要求ε =10-3。 计算得 ||x(6)− x(5)||∞≤10-3.
Gauss-Seidel迭代 Gauss-Seidel迭代
Gauss-Seidel迭代 迭代
( ( x1( k ) = 0.72 + 0.1x2k −1) + 0.2 x3k −1) (k ) (k ) ( k −1) x2 = 0.83 + 0.1x1 + 0.2 x3 x ( k ) = 0.84 + 0.2 x ( k ) + 0.2 x ( k ) 1 2 3
第三章迭代法
§3.1 二分法 §3.2 迭代法原理 §3.3 Newton迭代法和迭代加速 迭代法和迭代加速 §3.4 解线性方程组的迭代法
§3.1 二分法
根的估计 二分法
根的估计
引理3.1（连续函数的介值定理） 引理 （连续函数的介值定理） 设f(x)在 在 [a,b]上连续，且f(a)f(b)<0，则存在 ∈(a,b) 上连续， 上连续 ，则存在x*∈ 使f(x*)=0。 。 证明x 有且仅有3个实根 个实根， 例3.1 证明 3−3x−1 = 0 有且仅有 个实根，并 − 确定根的大致位置使误差不超过ε 确定根的大致位置使误差不超过ε =0.5。 。 解:
初值取 ，精度要求ε =10-3。 计算得 ||x(5)− x(4)||∞≤10-3.
(0) (0) x1(0) = x2 = x3 = 1
编程计算公式
Jacobi迭代 迭代
xi( k )
n 1 = [bi − ∑ aij x (jk −1) ], i = 1,L , n aii j =1, j ≠ i
例3.3
3 (1) xk = xk −1 − 1
不收敛 收敛
(2) xk = 3 xk −1 + 1
g : [1,2] → [1,2]
1 g ′( x) ≤ = L < 1 3
局部收敛性(格式收敛) 局部收敛性(格式收敛)
g ′( x∗ ) < 1 定理3.2 局部收敛性） 连续, 定理 （局部收敛性）设g’(x)连续, 连续
条件是否可靠? 条件是否可靠?
计算公式矩阵形式
和分解： 和分解：
A=L(下三角 下三角)+D (对角 +U (上三角 对角) 上三角) 下三角 对角 上三角
迭代
x(k)= Gx (k-1) + f, k=1,2,…
Jacobi迭代 迭代
G = -D-1(L+U) = I-D-1A f = D-1 b
Gauss-Seidel迭代 迭代
G = - (L+D)-1 U f = (L+D)-1 b
3 迭代的收敛性
定理3.4 设G的某种范数 的某种范数||G||<1，则x=Gx+f存 定理 的某种范数 ， 存 在唯一解，且对任意初值， 在唯一解，且对任意初值，迭代序列 x(k)= Gx (k-1) + f 收敛于x*， 收敛于 ，进一步有误差估计式
不动点原理(迭代过程收敛) 不动点原理(迭代过程收敛)
定理3.1 (不动点原理 设映射 不动点原理) 定理 不动点原理 设映射g(x)在[a,b]上有连续的 在 上有连续的 一阶导数且满足 1o 封闭性：∀x ∈ [a,b], g(x) ∈ [a,b] , 封闭性： 2o 压缩性： ∃L ∈(0,1)使对∀x ∈ [a,b], |g'(x)|≤L, 压缩性： 使对∀ 使对 ≤ 则在[a,b]上存在唯一的不动点 ， 且对 ∀ x0 ∈ [a,b], 上存在唯一的不动点x*， 且对∀ 则在 上存在唯一的不动点 xk=g(xk-1)收敛于 。进一步，有误差估计式 收敛于x* 进一步， 收敛于
则存在充分靠近x*的初值，使迭代收敛于 。 则存在充分靠近 的初值，使迭代收敛于x*。 的初值 ′( x∗ ) + 1) / 2 < 1 证明：利用定理3.1, 3.1,取 = 证明：利用定理3.1,取L= ( g
应用中: 近似使用|g'(x0)|<1判断 应用中 近似使用 判断
具有局部收敛性的迭代计算上不一定收敛， 具有局部收敛性的迭代计算上不一定收敛， 它是否收敛还要看初值是否取的恰当； 它是否收敛还要看初值是否取的恰当； 而不具有局部收敛性的迭代对任何初值都不 可能收敛。 可能收敛。
收敛性的阶(局部收敛速度) 收敛性的阶(局部收敛速度)
定义3.1 当xk→x*，记ek= x* - xk ，若存在 定义 ， 实数p， 实数 ，使 ek+1/epk → c≠0， ≠ ， 则称{x 有 阶收敛速度。 则称 k}有p阶收敛速度。
线性收敛 p=1 平方收敛 p=2
•定理 设xk=g(xk-1) → x*，则 定理3.3 定理 ， (1) 当g'(x*)≠0时，{xk}线性收敛； 线性收敛； ≠ 时 线性收敛 (2) 当g'(x*)=0,而g''(x*) ≠0时，{xk}平方收敛。 平方收敛。 而 时 平方收敛
3.3 Newton迭代法和迭代加速 Newton迭代法和迭代加速
牛顿(Newton)迭代法 迭代法 牛顿 “迭代－加速”技术 迭代－加速”
牛顿(Newton)迭代法 牛顿(Newton)迭代法
原理(1次近似 直线代替曲线) 原理 次近似, 直线代替曲线 次近似
f ( x∗ ) ≈ f ( xk −1 ) + f ′( xk −1 )( x∗ − xk −1 )
Gauss-Seidel迭代 迭代
xi( k )
i −1 n 1 = [bi − ∑ aij x (jk ) − ∑ aij x (jk −1) ], i = 1,L , n aii j =1 j = i +1
迭代结束条件一般用 ||x(k)− x(k-1)||≤ε ≤ε (1)收敛性条件 收敛性条件? 问题(1)收敛性条件? (2) ||x(k)− x(k-1)||≤ε 作为结束 ≤ε
例3.6 （P57)
§4 解线性方程组的迭代法
1 迭代思想 2 Jacobi迭代和 迭代和Gauss-Seidel迭代 迭代和 迭代 3 迭代的收敛性 4 迭代加速 迭代加速——逐次超松弛（SOR）法 逐次超松弛（ 逐次超松弛 ）
1 迭代思想
解大型稀疏型方程组比直接法存储量小 条件: 条件 Ax=b 解存在唯一 设计同解变形 x=Gx+f 迭代式 x(k)=Gx (k-1)+f, k=1,2,… 取初值x 取初值 (0) ，如果收敛 x(k) →x*, 则x*是Ax=b 是 的解 k →∞ x(k) →x* ⇔ x∗ − x ( k ) 0 →
单调性分析和解的位置 选步长h=2ε, 扫描节点函数值 选步长 ε 异号区间内有根
f(x)= x3−3x−1