迭代法的收敛性
7.2 迭代法及其收敛性

k4.1045
1/ 2
表 7.2.1 用不动点迭代法计算例7.2.1的结果
0 (a) 1.5 -0.625 6.447 -378.2 5.3697e7 -1.547e23 (b) 1.5 0.912871 2.454577 (c) (d) (e) 1.5 1.5 1.5 1.241638702 1.333333333 1.365079365 1.424290116 1.305205188 1.387624336 1.332682451 1.370291856 1.344991115 1.362217505 1.350582520 1.358732441 1.355350555 1.354767869 1.355301399 1.355384418 1.355301398 1.355288480 1.355303407 1.355301085 1.355301446 1.355301390
*
k
xk x L x0 x L max x0 a , b x0 ,
* k * k
从而 7.2.4 成立.
再由 7.2.3 , 对m k 1, 我们有
x m x k x m x m 1 x m 1 x m 2 x k 1 x k x m x m 1 x m 1 x m 2 x k 1 x k Lm 1 x1 x0 Lm 2 x1 x0 Lk x1 x0 Lk x1 x0 1 L L2 Lm k 1 .
(7.2.1)
其中 ( x )为连续函数,其取法不唯一,例如可取
方程(7.2.1)的解称为函数 ( x )的不动点, 求方程 (7.2.1)的解的问题称为不动点问题.
第5节_迭代法的收敛性

Bx x
≥
Bx1 ቤተ መጻሕፍቲ ባይዱ1
= 1,与已知矛盾!
线性方程组迭代法收敛性
推论1:对任意初始向量x (0)和右端项g,若 M < 1, 由迭代式 x ( k +1) = Mx ( k ) + g产生的向量序列{ x ( k ) }收敛.
证明:矩阵范数性质3:ρ ( A) ≤ || A ||
迭代法收敛与否只决定于迭代矩阵的谱半径,与初始向 量及右端项无关。 对同一方程组,由于不同的迭代法迭代矩阵不同,可能 出现有的方法收敛,有的方法发散的情形。
且至少有一个i值,使上式中不等号严格成立,则称A为弱 对角占优阵。若对所有i,上式不等号均严格成立,则称A 为严格角占优阵。
定义:如果矩阵A不能通过行的互换和相应的列互换成 A11 为形式 A = 0 A12 ,其中A11,A22为方阵,则称A为不可约。 A22
1 1 0 2 1 0 P = I13 例: A = 1 1 0 PT AP = 0 1 1 → 0 1 2 0 1 1
k →∞
证:设u为A特征值λ对应的特征向量, 则:Ak u = λ Ak -1u =...=λ k u 即:λ k为矩阵Ak的特征值。
ρ 所以:(Ak) [ ρ ( A)]k =
线性方程组迭代法收敛性
1- ρ ( A) > 0, 2 定理:设A为任意n阶方阵, 存在矩阵范数 ,使得 则对任意正数ε , 存在矩阵 1 + ρ ( A) A ≤ ρ ( A) + ε = <1 范数 ,使得: 2 证: 充分性:若ρ ( A) < 1 ,取ε = 则有: A = 0 lim
Gauss-Seidel迭代收敛性:
5.2.2Jacobi迭代法和Gauss-Seidel迭代法的收敛性

i k j J ik (i I Ei )k Ck i Ei j Ckjik j Ei j j 0 j 0 k ni 1
第五章线性方程组迭代解法
ik
kik 1
ik
ni 1 k ni 1 Ck i , k 1 ki k i ni ni
lim e
k
(k )
0 ,即 lim x
k
(k )
x 。
*
k
第五章线性方程组迭代解法
再证必要性。设对任意初始向量x ( 0 ) 和右端顶 f ,均有 lim x ( k ) x * , 则得 x Bx f , x
* *
k
x ) 。因此,对任意 x 都有 lim B k ( x ( 0) x* ) 0 ,由此推出 lim B k 0 ,即得 ( B ) 1 。定理得证。
其中, Ei0 I , Ckj k! / j!(k j )! 。 由于 lim k s k 0( 1, s 0), 所以 lim J ik 0 的充分必要条件
是
i 1(i 1,2,, r) 。定理得证。
k
k
Байду номын сангаас
定理 5.2 对于任意的初始向量 x ( 0 )和右端向量 f ,解方程组(5.1.2) 的迭代法(5.1.3)收敛的充分必要条件是 ( B ) 1 。 证 先证充分性。设 ( B ) 1,则矩阵 I B 非奇异,方程组 (5.1.2)有惟一解 x* ,从而的(5.2.1)。由定理 5.1 知 lim B k 0 ,因此 ,
* e( k ) x ( k ) x ,则有
数值分析10迭代法的收敛性分析

研究方向
进一步深入研究迭代法的收敛性,探索更有 效的迭代公式和算法,以提高收敛速度和稳 定性。
展望
随着计算技术的发展,迭代法在数值分析中 的应用将更加广泛,其收敛性分析将为解决 实际问题提供更有力的支持。同时,随着数 学理论的发展,迭代法的收敛性分析将更加 深入和完善。
感谢您的观看
THANKS
例如,梯度下降法和牛顿法是两种常见的求解优化问 题的迭代法。通过收敛性分析,可以发现梯度下降法 在一般情况下是收敛的,但可能会遇到收敛速度较慢 或者不收敛的情况;而牛顿法在一般情况下也是收敛 的,且收敛速度可能比梯度下降法更快。因此,在实 际应用中,可以根据问题的具体情况选择合适的迭代 方法。
06
迭代法收敛的充要条件
迭代法收敛的充要条件是迭代矩阵的谱半径小于1。谱半径是迭代矩阵所有特征值的模的最大值。
收敛性的判定方法
可以通过计算迭代矩阵的特征值来判断迭代法的收敛性,也可以通过迭代矩阵的范数来近似判断。
收敛速度的度量
01
02
03
迭代次数
迭代次数是衡量收敛速度 的一个直观指标,迭代次 数越少,收敛速度越快。
在非线性方程求解中的应用
非线性方程的求解是数值分析中的另一个重 要问题,迭代法也是求解非线性方程的重要 方法之一。与线性方程组求解类似,收敛性 分析在非线性方程求解中也有着重要的作用 。通过收敛性分析,可以判断迭代法的收敛 速度和收敛性,从而选择合适的迭代方法和 参数,提高求解效率。
类矩阵两种迭代法的收敛性比较

类矩阵两种迭代法的收敛性比较引言:在科学计算中,线性方程组的求解是很普遍的问题。
尤其是在大型科学计算中,线性方程组的求解是最重要的任务之一。
线性方程组的求解有很多种方法,例如高斯消元法、LU分解法、迭代法等等,其中迭代法是一种高效的方法。
迭代法的思想是从一个初值解开始,逐步改进解的准确度,直到满足误差要求。
在本文中,我们将讨论两种类矩阵迭代法的收敛性比较,即雅可比迭代法和高斯-赛德尔迭代法。
1.雅可比迭代法(Jacobi Iterative Method):雅可比迭代法是最简单的迭代法之一。
它是基于线性方程组的矩阵形式 Ax=b,将 A 分解成 A=D-L-U(D为A的对角线元素,L为A的下三角矩阵,U为A的上三角矩阵),其中 D 为对角线元素,L为严格下三角矩阵,U 为严格上三角矩阵。
则有如下迭代关系式: x^{(k+1)}=D^{-1}(L+U)x^{(k)}+D^{-1}b (1)其中,x^{(k)} 为 k 次迭代后的解,x^{(0)} 为初始解。
雅可比迭代法的迭代矩阵为M = D^{-1}(L+U)。
以下是雅可比迭代法的收敛性分析:定理1:若矩阵 A 为对称正定矩阵,则雅可比迭代法收敛。
证明:由于 A 为对称正定矩阵,所以存在唯一的解。
假设迭代后得到的解为 x^{(k)},则我们可以用误差向量 e^{(k)} = x-x^{(k)} 表示剩余项,则有 Ax^{(k)}-b = e^{(k)}。
对 (1) 式两边同时乘以 A^-1,得:x^{(k+1)}=x^{(k)}-A^{-1}e^{(k)}。
(2)将 (2) 式代入 Ax^{(k)}-b = e^{(k)} 中,得:Ax^{(k+1)}-b = Ae^{(k)}.(3)由于 A 为对称正定矩阵,则存在 A=Q\\Lambda Q^{-1},其中Q 为正交矩阵,\\Lambda 为对角矩阵。
因此,我们可以将 (3) 式转化为:\\| x^{(k+1)}-x \\|_{A} =\\| Q^{-1}A^{-1}Qe^{(k)}\\|_{\\Lambda} \\leq \\rho (Q^{-1}A^{-1}Q)\\|e^{(k)}\\|_{A}。
2.2 迭代法的一般形式与收敛性定理

设aii0 (i=1,2,,n),并将A写成三部分
0 a11 a 21 0 a 22 A a n 1 ,1 a n 1 , 2 0 a nn a n 2 a n , n 1 a n1 0 a12 a1,n1 a1n 0 a 2 , n 1 a 2 n 0 a n 1, n 0 D LU. 0
则
k
B ( H )
k
两边取对数得: k ln ( H ) ln k
ln ln ( H )
定义:
ln ( H )
为迭代法(2.2.3)的渐近收敛速 度。
解线性方程组的迭代法
线性方程组
a11 x1 a12 x2 a x a x 21 1 22 2 an1 x1 an 2 x2 a1n xn b1 a2 n xn b2 ann xn bn
复习:矩阵的谱半径 设λ是矩阵A相应于特征向量x的特征值,即 Ax=λx 向量-矩阵范数的相容性,得到 |λ| || x ||=||λx|| =|| Ax|| ≤ || A || ||x|| 从而,对A的任何特征值λ均成立 |λ|≤|| A || ( 3)
设n阶矩阵A的n个特征值为λ1,λ2,…λn,称 ( A) max i
x ( k 1) x* H ( x ( k ) x* )
由此递推:x ( k 1) x* H k 1 ( x ( 0) x* ), k 0,1,2,
x 是线性方程组Ax=b的解
x* Hx* g
x
k 1
*
第3章3-06迭代法和收敛性

解 方程组化为等价的方程组 0.2 x2 + 0.1x3 + 0.3 x1 = + 0.1x3 + 1.5 x2 = 0.2 x1 x = 0.2 x + 0.4 x + 2 1 2 3 构造高斯 赛德尔迭代公式 高斯构造高斯-赛德尔迭代公式 ( ( x1( k +1) = 0.2 x2k ) + 0.1x3k ) + 0.3 ( k +1) ( x2 = 0.2 x1( k +1) + 0.1x3k ) + 1.5, k = 0,1, 2,L ( k +1) ( x3 = 0.2 x1( k +1) + 0.4 x2k +1) + 2
雅可比迭代公式
i −1 n 1 ( k +1) (k ) (k ) xi = (bi − ∑ aij x j − ∑ aij x j ) , (i = 1,2,L, n) aii j =1 j =i +1
分量形式
( k +1) 1 ( ( ( x1 = (b1 − a12 x2k ) − a13 x3k ) − L − a1n xnk ) ) a11 ( k +1) 1 ( ( x2 = (b2 − a21 x1( k ) − a23 x3k ) − L − a2 n xnk ) ) a22 LLLL ( k +1) 1 ( ( ) xn = (bn − an1 x1( k ) − an 2 x2k ) − L − ann −1 xnk 1 ) − ann
高斯-赛德尔 高斯 赛德尔(Seidel)迭代公式 赛德尔 迭代公式
i −1 n 1 ( k +1) ( k +1) (k ) xi = (bi − ∑aij x j − ∑aij x j ), aii j =1 j =i +1
迭代法的收敛性

即
det[I (D L)1U ] 0
从而 det(D L)1 det[(D L) U ] 0
所以
det[(D L) U ] 0
可得
因为
|aii| |aij | ji
i1
n
|||aii||| |aij ||| |aij |
j1
j i 1
i1
n
n
|| |aij| |aij| (||1) |aij|
(1)写出解该方程组旳Jacobi迭代旳迭代
阵,并讨论迭代收敛旳条件;
(2)写出解该方程组旳G-S迭代旳迭代阵, 并讨论迭代收敛旳条件。
17
补充例题
例:AX=b为二元线性方程组, 证明:解该方程组旳Jacobi迭代与G-S迭 代同步收敛或同步发散。
18
9
特殊方程组迭代法旳收敛性
4 1 1 问题:该矩阵具有怎样旳特点?
2 5 1 1
2
3
结论:该矩阵是严格对角占优阵
定义:假如矩阵A旳元素满足
jn
| aii | | aij | i 1,2,3,, n j 1 ji
则称A为严格对角占优矩阵。
10
特殊方程组迭代法旳收敛性
定理:若线性方程组AX=b旳系数矩阵A为 严格对角占优矩阵,则解该方程组旳Jacobi 迭代法和G-S迭代法均收敛。
2
一阶定常迭代法旳收敛性
则: (k 1) B (k ) B 2 (k 1) B k 1 (0)
注意 (0) x(0) x * 为非零常数向量
所以迭代法收敛旳充要条件
lim (k1) lim( x(k1) x*) 0
k
k
可转变为
lim Bk1 0
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
x* Mx* g 由迭代公式有 M (x
k k
x ( k ) x* Mx ( k 1) g Mx* g
( k 1)
x ) M (x
* 2 * k
( k 2) (k )
x ) M (x
* k
(0)
x )
*
于是有 lim M ( x
1 1 例:Ax b, A 2 1 2
1 2 1 1 讨论用三种迭代法求解的收敛性。 2 1 1 2 解:因A为对称且其各阶主子式皆大于零,故A为对称正定矩 1 2 阵。由判别条件3,Gauss-Seidel迭代法与松弛法(0 2) 均收敛。A不是弱对角占优阵,故不能用条件1判断。 0 1 -1 Jacobi迭代法的迭代矩阵为B I - D A 2 1 2 1 2 0 1 2 1 2 1 2 0
1,
1,由推论1无法判别收敛性。
对一些特殊的系数矩阵可给出几个常用的判 别收敛条件
设有线性方程组Ax b, 下列结论成立(收敛充分条件) 1.若A为严格对角占优阵或不可约弱对角占优阵,则 Jacobi迭代法和Gauss-Seidel迭代法均收敛。 2.若A为严格对角占优阵, 0 1, 则松弛法收敛。 3.若A为对称正定阵,则松弛法收敛的充要条件为 0 2。 10 1 2 2 1 0 B 1 2 1 上两例中: A 1 10 2 1 1 5 0 1 2 A为严格对角占优阵,故Jacobi与Gauss-Seidel迭 代均收敛。B为非严格对角占优阵,但为对称正定 阵, =1.4故松弛法收敛。
推论1 对任意初始向量x 和右端项g,若 M 1,由迭代
(0)
格式
x ( k 1) Mx ( k ) g
( k 0,1, 2, )
产生的向量序列{x ( k ) }收敛.
推论2 松弛法收敛的必要条件是0 2。
迭代法收敛与否只决定于迭代矩阵的谱半径,与初始向 量及右端项无关。对同一方程组,由于不同的迭代法迭代 矩阵不同,可能出现有的方法收敛,有的方法发散的情形。
Jacobi迭代法的迭代矩阵为
0 2 1 B I D A 1 0 2 2 2 1 0
其特征方程为
2
I B 1
2
2
2 1 3 0
因此有1 2 3 0, 于是 ( B ) 0 1, 所以Jacobi迭代法收敛。
x1 2 x2 2 x3 1 例:对方程组 x1 x2 x3 2 2 x 2 x x 3 2 3 1 讨论Jacobi迭代法与Gauss-Seidel迭代法的收敛性。
解:求迭代矩阵判别其谱半径是否小于1。 1 A 1 2 0 L 1 2 2 2 1 1 2 1 0 0 0 0 2 0 1 D 0 0 0 U 0 0 0 0 1 0 0 1 2 2 0 1 0 0
(0)
x ) lim( x
x )0
*
因为x (0)为任意n维向量,因此上式成立必须 由定理 (M ) 1.
lim M k 0
k
充分性:若 ( M ) 1, 则 1不是M 的特征值,因而有 det( I M ) 0, 于是对任意n维向量g , 方程组 I M x g 有唯一解,记为x* , 即 并且 又因为 lim M k 0
1.迭代法的收敛条件
定理:对任意初始向量x (0)和常数项g,由迭代格式 x ( k 1) Mx ( k ) g ( k 0,1, 2, ) 产生的向量序列{x ( k ) }收敛的充要条件是 (M ) 1.
证:必要性: 设存在n维向量x* , 使得 lim x ( k ) x*,则x*满足
1
特征方程 I M 0 2 3 ( 2) 2 0 0 0 2
特征值为1 0, 2 3 2, 故 ( M ) 2 1, 所以迭代发散。
上例说明了 0 2确实只是松弛法收敛的 必要条件,而非充要条件,因为Gauss-Seidel 迭代记为 1的情形。 判断定理虽然给出了判别迭代收敛的充要条 件,但要求逆矩阵和特征值。推论1与2仅分别 给出了收敛的充分与必要条件,许多情形下不 能起作用。如上例,两个方法均有 B M
k
x* Mx* g
x ( k ) x* M ( x ( k 1) x* ) M k ( x (0) x* ) lim (x ( k ) x* ) lim M k ( x (0) x* )=0
k k
所以,对任意初始向量x (0) , 都有 即由迭代公式x ( k 1) Mx ( k ) g 产生的向量序列{x ( k ) }收敛.
Gauss-Seidel迭代,M (D L) U ,由
1 0 0 DL 1 1 0 2 2 1 1 0 1 M ( D L ) U 1 1 0 2 1 0 0 ( D L) 1 1 1 0 0 2 1 0 0 2 2 0 2 2 0 0 0 1 0 2 3 1 0 0 0 0 0 2 2 2