第四讲Krylov子空间方法(II)
Krylov子空间方法II
max {q (λi )2 }
2 yi λi
min
max {q (λi ) } y Λy
5/76
= = 即
q ∈Pk , q (0)=1 1≤i≤n q ∈Pk , q (0)=1 1≤i≤n
min
max {q (λi )2 } ϵ0 Aϵ0 max {q (λi )2 } ∥ϵ0 ∥2 A,
⊺
min
11/76
(4.6)
又 Λ 是对角矩阵, 所以 ∥q (Λ)∥2 = max |q (λi )|.
1≤i≤n
设 x(k) 是由 GMRES 方法得到的近似解. 由 GMRES 方法的最优性可 知, x(k) 极小化残量的 2 范数. 因此, ∥b − Ax(k) ∥2 = = ≤
x∈x(0) +Kk (A,r0 ) q ∈Pk , q (0)=1 q ∈Pk , q (0)=1
1+ε δ
10/76
5.2 GMRES 方法的收敛性
正规矩阵情形 设 A 是正规矩阵, 即 A = U ΛU ∗ , 其中 Λ = diag(λ1 , λ2 , . . . , λn ) 的对角线元素 λi ∈ C 为 A 的特征值. 设 x ∈ x(0) + Kk (A, r0 ), 则存在多项式 p(t) ∈ Pk−1 使得 x = x(0) + p(A)r0 . 于是 b − Ax = b − Ax(0) − Ap(A)r0 = (I − Ap(A))r0 ≜ q (A)r0 , 其中 q (t) = 1 − t p(t) ∈ Pk 满足 q (0) = 1. 直接计算可知 ∥b − Ax∥2 = ∥q (A)r0 ∥2 = ∥U q (Λ)U ∗ r0 ∥2 ≤ ∥U ∥2 ∥U ∗ ∥2 ∥q (Λ)∥2 ∥r0 ∥2 = ∥q (Λ)∥2 ∥r0 ∥2 .
基于Krylov子空间及区域分解理论的二维矩阵特征线方法
摘 要 ：针对传统特征线方法 （ ＭＯ Ｃ） 求 解中子输运方程计算效率较低 的缺陷 ，构造基于 Ｋｒ ｙ ｌ ｏ ｖ子空 间
及区域分解理论的矩阵特征线方法。该方法可得到与传统 ＭＯ Ｃ的基本方程等价的线性代数方程组，并通过 基于 Ｋ ｒ ｙ ｌ ｏ ｖ子空 间理论 的广义极小残余 （ Ｇ ＭＲ Ｅ Ｓ ） 算 法进行高效 的矩阵求解 ；进而提 出矩 阵 ＭＯ Ｃ 的空间
２
核 动 力 工 程
Ｖ ｂ １ ． ３ ４ ． ＮＯ ． ４ ． ２ ０ １ ３
，
ａ ｎ ｉ ｓ ｏ
＋ 肚 ’ ｉ ｌ Ｉ （ ） 一 ￣ ／ ｉ ， ｋ ， ｏ ｕ ｔ （ ） Ｊ ｝
（ ２ ）
＝
式 中， 、
和 分别为平源区 ｆ 的体积以及
，
一ｅ Ｉ ｔ ｇ ＝ Ｉ
∑
Ｇ
＝
ｇ ， ＋ ∑‰ 丸 ＾ ｇ ， （ ５ ）
ｇ ＝ ｌ
，
其内特征线段 七 的长度和宽度 ； ￣ ／ ｉ （ ） 为线段 ｋ ， ｏ ｕ ｔ ｋ 从 平 源 区 ｆ的 出 射 角 通 量 ； Ｏ ∞（ ）和
．
，
ａ ｎ ｉ 。 。 ， ｇ （ ） ＝ ’ ｓ ， 。 。 ） ｇ（
基于 Ｋ ｒ ｙ ｌ ｏ ｖ子 空 间及 区域分解 理论 的 二维矩 阵特征 线方法
张宏博 ，吴宏春 ，曹 良志 ，郑友琦 ，夏榜样 ２
１ ．西安交通大学核科学与技术学院，西安 ，７ １ ０ ０ ４ ９ ；２ ．中国核动力研究设计 院核反应堆 系统设计技术重点实验室，成都 ，６ １ ０ ４１ ０
２ 理论模型
２ ． １ 基于 Ｋ ｒ ｙ ｌ ｏ ｖ 子空间求解技术的矩阵 Ｍ Ｏ Ｃ
Krylov迭代法(续)
数值模拟导论-第七讲Krylov子空间矩阵解法雅克比·怀特感谢Deepak Ramaswamy, Michal Rewienski,Karen Veroy and Jacob White概要·回顾GCR－最小残向量解法－Krylov子空间－与多项式关系·回顾特征值和范数－诱导范数－谱半径定理·收敛速度的评估－Chebychev多项式·预处理－对角预处理－近似LU预处理GCR 算法标准化图示运算步1）正交化2）解计算r 的最小值i Mr s′kx吸热Krylov方法“与外界物热交换的例子”绝缘棒和矩阵近端温度远端温度离散化节点平衡方程Krylov方法“与外界有热交换”的例子导体棒和矩阵近端温度远端温度离散化节点平衡方程GCR性能（随机的Rhs）反复迭代后的残向量对数图GCR性能( Rhs＝－1，＋1，－1，＋1….）反复迭代后的残向量对数图诱导范数矩阵的放大倍数问题假设，那么y 比x 大多少？或者y 相对于x 扩大了多少倍？y Mx =诱导范数回顾向量的范数L 2范数：L 1范数：范数：L ∞特征值和特征向量应用谱半径理论iλ()01...pp f x x xααα=+++()01...pp f M M Mααα=+++()()()()spectrum f M f spectrum M =给定一个多项式将多项式扩展到矩阵那么就有Krylov方法收敛性分析矩阵多项式的标准化M特征空间的条件数图中英文为：矩阵M的特征向量Krylov方法收敛性分析矩阵多项式的标准化Krylov方法对称矩阵的收敛性多项式的残余量如果M 是对称矩阵，那么1）M有标准正交的特征向量2）M有实数特征值如果M正定，那么()0λ>M导热棒矩阵的多项式残余量图无热量散失情况（n=10）Krylov方法对称矩阵的收敛性Chebyshev方法解最值问题Chebyshev多项式：Chebyshev多项式的最小化超出了[1，10]Krylov方法对称矩阵的收敛性Chebyshev的范围Krylov方法对称矩阵的收敛性Chebyshev的结果Krylov方法前处理对角矩阵的例子是什么原因使GCR收敛更加迅速？Krylov 方法前处理对角矩阵的例子让M=D+M 其中D 是对角矩阵应用GCR 到矩阵的逆在计算机中很容易求出经常用来提高收敛性()()111nd D M x I D M x D b −−−=+=导热棒的例子系统离散化图中：一个小的x∆x∆下面哪个收敛曲线是GCR迭代导体棒的例子前处理矩阵特征值残余值最小化的Krylov子空间运算法则，可以通过直接设置多项式零点来去除无关的特征值。
Krylov子空间方法
由于 x ˜ ∈ x(0) + K, 因此存在向量 y ∈ Rm 使得 x ˜ = x(0) + V y 由正交性条件 (4.4) 可知 r0 − AV y ⊥ wi , i = 1, 2, . . . , m , 即 W ⊺ AV y = W ⊺ r0 .
x ˆ≜x ˜ − x(0) = V y
9/115
Arnoldi 过程: 计算 Km 的一组正交基
算法 2.1 基于 Gram-Schmidt 正交化的 Arnoldi 过程
1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13:
给定非零向量 r, 计算 v1 = r/∥r∥2 for j = 1, 2, . . . , m − 1 do wj = Avj for i = 1, 2, . . . , j do hij = (wj , vi ) end for j ∑ wj = wj − hij vi hj +1,j = ∥wj ∥2 if hj +1,j = 0 then break end if vj +1 = wj /hj +1,j end for
若给定初值 x(0) ∈ Rn , 则改用仿射空间 x(0) + K, 即 find x ˜ ∈ x(0) + K such that b − Ax ˜ ⊥ L. (4.3)
好的初值一般都包含有价值 的信息
事实上, 如果将 x ˜ 写成: x ˜ = x(0) + x ˆ, 其中 x ˆ ∈ K, 则 (4.3) 就等价于 find x ˆ∈K such that r0 − Ax ˆ ⊥ L, (4.4)
定解条件
r = b − Ax ˜⊥L 其中 x ˜ 是近似解, L 是另一个 m 维子空间. 不同的 L 对应不同的投影方法 当 L = K 时, 我们称为 正交投影法 , 否则称为 斜投影法
Krylov子空间迭代法
采用IOM后，仍然需要存储v(1), v(2), …v(m),因为在第(vi)步 中仍然需要这些向量. 解决这个问题可以考虑采用H的LU分解，通过自身分解的迭代更新以减少每 一步的存储量 使xm的更新依赖于xm-1,
14
Arnoldi方法-DIOM
lower bidiagonal
banded upper triangular
15
Arnoldi方法-DIOM
16
Arnoldi方法-DIOM
17
Thanks for your time !
18
得到基于Galerkin原 理构成的算法
5
Arnoldi方法-基本算法
6
Arnoldi方法-基本算法
7
Arnoldi方法-MGS
8
Arnoldi方法-HO
9
Arnoldi方法-FOM
10
Arnoldi方法-FOM
11
Arnoldi方法-FOM（m）
12
Arnoldi方法-IOM
13
Arnoldi方法-DIOM
Krylov子空间方法
March 23, 2016
内
• Arnoldi算法
– Arnoldi过程 – Gram-Schmidt Arnoldi – HouseHolder Arnoldi
容
• 子空间和Krylov子空间
• FOM
– IOM – DIOM
2
子空间
• 空间
– 集合，元素都是向量 – 线性空间（向量空间）
• 线性空间（交换律，结合律，幺元性，零元性，可 逆性，数乘分配律等）
• 子空间
– 线性空间的非空子集
Krylov子空间、优化问题与共轭梯度法
Krylov 子空间、优化问题与共轭梯度法自动化 富晓鹏工程实践中经常需要求解大型线性系统KU=F 。
在很多情况下矩阵K 是非常稀疏的，比如来自偏微分方程的离散化等，此时矩阵中每行仅有较少的非零元素。
面临这样的问题，我们首先面对的问题是，应该采用直接消元法还是迭代方法。
对前者来说，为充分利用系数特性，节点重编号是重要的；而对后者来说，适当的预处理是关键。
本文将重点放在后一类方法中的一种进行介绍与分析，即共轭梯度法。
共轭梯度法适用于矩阵K 为对称阵的情况，算法本身简洁高效，且与一些其他的数学理论、概念相紧密联系，本文分析了共轭梯度法与Krylov 子空间，以及优化问题之间隐含的联系，并简要给出算法框架。
1. 线性方程组迭代解法与Krylov 子空间我们考虑迭代法求解线性方程组Ax=b 。
假定未采用预处理矩阵P ，或P 矩阵已经隐含在A 与b 中。
迭代法求解格式如下：1()k k P x P A x b +⋅=-⋅+ (1)为说明问题，我们考虑简单的迭代格式P=I ，并且x 1=b 。
则迭代的最初几步为：2()2x I A b b b Ab =-+=- (2)232()33x I A x b b Ab A b =-+=-+ (3) …由上面几个式子可得，以上迭代格式第j 步的解x j 是b ，Ab ，…，A j -1b 的线性组合。
当A 矩阵稀疏时，这些向量可以采用矩阵向量乘法的稀疏技巧很快得到。
以上发现自然与Krylov 子空间的概念相联系起来。
Krylov 矩阵： K j = [b Ab A 2b … A j -1b]Krylov 子空间：K j = b ，Ab ，…，A j -1b 的所有线性组合Krylov 命名了向量b ，Ab ，…，A j -1b 的全部线性组合构成的子空间，并认为在这一子空间中，有比上例中特定元素更与线性方程组的解相接近的元素。
共轭梯度法就是在这一子空间中，每一步迭代都依照某种标准寻求最优元素的线性方程组解法。
krylov子空间算法
Krylov 子空间的定义：定义：令N R υ∈，由1m A υυυ-，，，A 所生成的子空间称之为由υ与A 所生成的m 维Krylov 子空间，并记(),m K A v 。
主要思想是为各迭代步递归地造残差向量，即第n 步的残差向量()n r 通过系数矩阵A 的某个多项式与第一个残差向量()0r 相乘得到。
即()()()0n r p A r =。
但要注意，迭代多项式的选取应该使所构造的残差向量在某种内积意义下相互正交，从而保证某种极小性（极小残差性），达到快速收敛的目的。
Krylov 子空间方法具有两个特征：1.极小残差性，以保证收敛速度快。
2.每一迭代的计算量与存储量较少，以保证计算的高效性。
投影方法线性方程组的投影方法方程组Ax b =,A 是n n ⨯的矩阵。
给定初始()0x ,在m 维空间K(右子空间）中寻找x 的近似解()1x 满足残向量()1r b Ax =-与m 维空间L(左子空间）正交，即()1b Ax L -⊥，此条件称为Petrov-Galerkin 条件。
当空间K=L 时，称相应的投影法为正交投影法，否则称为斜交投影法.投影方法的最优性：１. (误差投影)设A 为对称正定矩阵,()0x 为初始近似解,且K=L,则()1x 为采用投影方法得到的新近似解的充要条件是()()()()01min z x Kx z ϕϕ∈+=其中,()()()12,z A x z x z ϕ=--2.(残量投影)设A 为任意方阵,()0x 为初始近似解,且L AK =,则()1x 为采用投影方法得到的新近似解的充要条件是()()()()01min z x Kx z ψψ∈+=其中()()122,z b Az b Az b Az ψ=-=--矩阵特征值的投影方法对于特征值问题Ax x λ=,其中A 是n ×n 的矩阵，斜交投影法是在m 维右子空间K 中寻找i x 和复数i λ满足i i i Ax x L λ-⊥,其中L 为m 维左子空间.当L=K 时，称此投影方法为正交投影法. 误差投影型方法： 取L=K 的正交投影法非对称矩阵的FOM 方法（完全正交法） 对称矩阵的IOM 方法和DIOM 方法 对称矩阵的Lanczos 方法 对称正定矩阵的CG 方法 残量投影型方法： 取L=AK 时的斜交投影法GMERS 方法（广义最小残量法） 重启型GMERS 方法、QGMERS 、DGMERSArnoldi 方法标准正交基方法：Arnoldi 方法是求解非对称矩阵的一种正交投影方法。
(完整版)Krylov子空间迭代法
February 10, 2020
内容
• 子空间和Krylov子空间
• Arnoldi算法
– Arnoldi过程 – Gram-Schmidt Arnoldi – HouseHolder Arnoldi
• FOM
– IOM – DIOM
2
子空间
• 空间
– 集合，元素都是向量 – 线性空间（向量空间）
根据Cayley-Hamilton定理有
������������ + ������������−1������������−1+. . . +������1������1 + ������0������0 = 0
即
VP= -������������ 其中������ = [������0, ������1, . . . , ������������−1ሿ，������ = ������0, ������1, . . . , ������������−1 ������ Krylov子空间： ������������(������, ������) = ������������������������{������, ������������, . . . , ������������−1������ሽ Krylov矩阵： ������������(������, ������) = [������, ������������, . . . , ������������−1������ሿ
• 线性空间（交换律，结合律，幺元性，零元性，可 逆性，数乘分配律等）
• 子空间
– 线性空间的非空子集
• 包含零元素，并且满足加法和乘法的封闭性
– 扩张（符合记作span）
第四讲Krylov子空间方法
如果没有特别注明, 本章内容都是在实数域中讨论.
4.1 投影方法
设 K 是 Rn 的一个子空间, 维数为 dim(K) = m ≪ n. 我们需要在 K 中寻找精确解的一 个 “最佳” 近似. 由于 K 的维数是 m, 为了能够唯一确定这个近似解, 我们需要设置 m 个约 束. 在通常情况下, 我们要求残量满足 m 个正交性条件:
x˜ = x(0) + V y.
· 4-2 ·
由正交性条件 (4.5) 可知 r0 − AV y ⊥ wi, i = 1, 2, . . . , m,
即 W AV y = W r0.
如果 W AV 是非奇异的, 则可解得 y = (W AV )−1W r0. 因此, 近似解 x˜ 可表示为 x˜ = x(0) + V (W AV )−1W r0.
vj+1 = wj /hj+1,j
14: end for
如果计算到第 k (k < m) 步时有 hk+1,k = 0, 则方法会提前终止. 此时 Avk 必定可以由 v1, v2, . . . , vk 线性表出 (这里不考虑浮点运算的舍入误差).
算法 4.1 中的向量 vi 称为 Arnoldi 向量. 需要注意的是, 在该算法中, 我们是用 A 乘以 vj, 然后与之前的 Arnoldi 向量正交化, 而不是计算 Ajr. 事实上, 它们是等价的.
r = b − Ax˜ ⊥ L,
(4.2)
其中 x˜ 是我们所要寻找的近似解, L 是另一个 m 维子空间. 这就是数值计算中常用的 PetrovGalerkin 条件. 如果 L = K, 则称为 Galerkin 条件. 子空间 L 也称为 约束空间 (constraint subspace). 相应地, K 通常称为 搜索空间.
krylov子空间算法
Krylov 子空间的定义:定义:令N R υ∈,由1m A υυυ-L ，，，A 所生成的子空间称之为由υ与A 所生成的m 维Krylov 子空间,并记(),m K A v 。
主要思想就是为各迭代步递归地造残差向量,即第n 步的残差向量()n r 通过系数矩阵A 的某个多项式与第一个残差向量()0r 相乘得到。
即()()()0n r p A r =。
但要注意,迭代多项式的选取应该使所构造的残差向量在某种内积意义下相互正交,从而保证某种极小性(极小残差性),达到快速收敛的目的。
Krylov 子空间方法具有两个特征:1、极小残差性,以保证收敛速度快。
2、每一迭代的计算量与存储量较少,以保证计算的高效性。
投影方法线性方程组的投影方法方程组Ax b =,A 就是n n ⨯的矩阵。
给定初始()0x ,在m 维空间K(右子空间)中寻找x 的近似解()1x 满足残向量()1r b Ax =-与m 维空间L(左子空间)正交,即()1b Ax L -⊥,此条件称为Petrov-Galerkin 条件。
当空间K=L 时,称相应的投影法为正交投影法,否则称为斜交投影法、投影方法的最优性:１、 (误差投影)设A 为对称正定矩阵,()0x 为初始近似解,且K=L,则()1x 为采用投影方法得到的新近似解的充要条件就是()()()()01min z x Kx z ϕϕ∈+=其中,()()()12,z A x z x z ϕ=--2.(残量投影)设A 为任意方阵,()0x 为初始近似解,且L AK =,则()1x 为采用投影方法得到的新近似解的充要条件就是()()()()01min z x Kx z ψψ∈+=其中()()122,z b Az b Az b Az ψ=-=--矩阵特征值的投影方法对于特征值问题Ax x λ=,其中A 就是n ×n 的矩阵,斜交投影法就是在m 维右子空间K 中寻找i x 与复数i λ满足i i i Ax x L λ-⊥,其中L 为m 维左子空间、当L=K 时,称此投影方法为正交投影法、 误差投影型方法: 取L=K 的正交投影法非对称矩阵的FOM 方法(完全正交法) 对称矩阵的IOM 方法与DIOM 方法 对称矩阵的Lanczos 方法 对称正定矩阵的CG 方法 残量投影型方法: 取L=AK 时的斜交投影法 GMERS 方法(广义最小残量法)重启型GMERS 方法、QGMERS 、DGMERSArnoldi 方法标准正交基方法:Arnoldi 方法就是求解非对称矩阵的一种正交投影方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
设 A 对称正定 .
令 x(k) 是 CG 方法在仿射空间 x(0) + Kk(A, r0) 中找到的近似解. 则由 CG 方法的最优性质可知
∥x(k) − x∗∥A =
min
∥x − x∗∥A
x∈x(0) +Kk (A,r0 )
(4.1)
记 Pk 为所有次数不超过 k 的实系数多项式集合. 则 Kk(A, r0) 中任何 一个向量都可以写成 p(A)r0 形式, 其中 p ∈ Pk−1. 设 x ∈ x(0) + Kk(A, r0), 则存在多项式 p(t) ∈ Pk−1 使得
i=1
yi2λiq(λi)2
∑n
≤
min
q∈Pk, q(0)=1
max {q(λi)2}
1≤i≤n
i=1
yi2λi
= min max {q(λi)2} y⊺Λy q∈Pk, q(0)=1 1≤i≤n
5/76
=
min
q∈Pk, q(0)=1
max {q(λi)2}
1≤i≤n
ϵ⊺0 Aϵ0
=
min
q∈Pk, q(0)=1
≤
min
q∈Pk, q(0)=1
max |q(λi)|.
1≤i≤n
(4.3)
需要指出的是, (4.3) 中上界是紧凑的, 即对任意 k, 总存在某个右端项 b 或某个初始值 x(0) (与 k 和 A 有关), 使得 (4.3) 中的等号成立. 也就是 说, (4.3) 中的上界描述了 CG 方法在最坏情况下的收敛情况.
x = x(0) + p(A)r0.
3/76
记 ϵ0 ≜ x(0) − x∗, 则
x − x∗ = x(0) + qk(A)r0 − x∗ = ϵ0 + p(A)(b − Ax(0)) = ϵ0 + p(A)(Ax∗ − Ax(0)) = (I − Ap(A))ϵ0.
于是
∥x − x∗∥2A = ∥(I − Ap(A))ϵ0∥2A = ϵ⊺0(I − Ap(A))⊺A(I − Ap(A))ϵ0 ≜ ϵ⊺0q(A)⊺Aq(A)ϵ0,
注记
A 的条件数越小, 则收敛越快. 但是, 如果 A 的条件数很大, 却并不 一定表明 CG 会收敛很慢.
注记
事实上, 在很多实际应用中, 人们观察到 CG 方法往往具有超收敛 性, 即方法的平均收敛速度随着迭代步数的增加而不断加快.
8/76
定理 3 (CG 方法的超收敛性) 设 A 对称正定, 且其特征值为
收敛性分析不仅仅给出理论结果, 还有助于寻求改善迭代的方法
本节主要讨论 CG 方法和 GMRES 方法的收敛性.
一般来讲, 如果 A 是可以酉 对角化的, 则 CG 方法和 GMRES 方法的收敛性主要取决 于 A 的特征值分布.
但对于一般矩阵, 则比较复 杂, 目前还没有定论.
2/76
5.1 CG 方法的收敛性
∥x(k)
−
x∗∥2A
=
min ∥x
x∈x(0) +Kk (A,r0 )
−
x∗∥2A
=
min
q∈Pk, q(0)=1
ϵ⊺0
q(A)⊺
Aq(A)ϵ0
=
min
q∈Pk, q(0)=1
ϵ⊺0 Qq (Λ)⊺ Λq (Λ)Q⊺ ϵ0
= min y⊺q(Λ)⊺Λq(Λ)y
q∈Pk, q(0)=1
∑n
=
min
q∈Pk, q(0)=1
第四讲 Krylov 子空间方法 (II)
5 收敛性分析 6 基于双正交化过程的迭代方法 7 免转置迭代方法 8 正规方程的迭代方法
5 收敛性分析
5.1 CG 方法的收敛性 5.2 GMRES 方法的收敛性
理论上, 若不考虑舍入误差, 则 Krylov 子空间方法都将在 n 步内终止. 但实际应用中, 我们通常希望收敛所需的迭代步数远远小于 n. 另一方面, 由于舍入误差的存在, 使得方法不一定都能在 n 步内收敛.
0 < λn ≤ · · · ≤ λn+1−i ≤ b1 ≤ λn−i ≤ · · · ≤ λj+1 ≤ b2 ≤ λj ≤ · · · ≤ λ1.
则当 k ≥ i + j 时有
∥x(k) − x∗∥A ∥x(0) − x∗∥A
( b − 1 )k−i−j
{
≤2
max
∏n
( λ − λℓ ) ∏j ( λℓ − λ )} ,
b+1
λ∈[b1,b2] ℓ=n+1−i
λℓ
ℓ=1
λℓ
其中
( )1
b=
b2
2
≥ 1.
b1
由定理结论可知, 当 b1 与 b2 非常接近时, i + j 步后, CG 收敛会非常快.
,
(4.4)
其中 κ(A) = λmax/λmin 是 A 的 (谱) 条件数.
(板书)
7/76
注记
上界 (4.3) 和 (4.4) 有着本质性的差异. 它们的值可能会相差很大. 上 界 (4.4) 描述的是区间 [λmin, λmax] 的所有特征值分布的最坏情况. 所 以 (4.4) 并不能完全描述 CG 方法的收敛性质.
6/76
由于 (4.3) 中的上界依赖于 A 的所有特征值. 在通常情况下, A 的特征 值是很难计算的. 因此该结论的实用性不大.
但是, 如果我们知道 A 的最大和最小特征值的话, 则可进一步缩放为
∥x(k) − x∗∥A ∥x(0) − x∗∥A
≤ min q∈Pk, q(0)=1
max |q(λi)| ≤ min
(4.2)
其中 q(t) = 1 − t p(t) ∈ Pk 满足 q(0) = 1.
4/76
令 A = QΛQ⊺ 是 A 的特征值分解, 其中 Q 是正交矩阵,
Λ = diag(λ1, λ2, . . . , λn), λi > 0.
记 y = [y1, y2, . . . , yn]⊺ ≜ Q⊺ϵ0. 由 (4.1) 和 (4.2) 可知
max {q(λi)2}
1≤i≤n
∥ϵ0∥2A,
即
∥x(k) − x∗∥2A ∥x(0) − x∗∥2A
≤ min max {q(λi)2}. q∈Pk, q(0)=1 1≤i≤n
定理 1 设 A 对称正定, 则由 CG 方法得到的近似解 x(k) 满足
∥x(k) − x∗∥A ∥x(0) − x∗∥A
1≤i≤n
q∈Pk, q(0)=1
max |q(λ)|.
λmin ≤λ≤λmax
然后利用 Chebyshev 多项式的性质, 我们可以得到下面的结论.
定理 2 设 A 对称正定, 最大与最小特征值分别为 λmax 和 λmin, 则
(√
)k
∥x(k) − x∗∥A ∥x(0) − x∗∥A
≤
2
√κ(A) − 1 κ(A) + 1