第四讲Krylov子空间方法.pdf
Krylov子空间方法
由于 x ˜ ∈ x(0) + K, 因此存在向量 y ∈ Rm 使得 x ˜ = x(0) + V y 由正交性条件 (4.4) 可知 r0 − AV y ⊥ wi , i = 1, 2, . . . , m , 即 W ⊺ AV y = W ⊺ r0 .
x ˆ≜x ˜ − x(0) = V y
9/115
Arnoldi 过程: 计算 Km 的一组正交基
算法 2.1 基于 Gram-Schmidt 正交化的 Arnoldi 过程
1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13:
给定非零向量 r, 计算 v1 = r/∥r∥2 for j = 1, 2, . . . , m − 1 do wj = Avj for i = 1, 2, . . . , j do hij = (wj , vi ) end for j ∑ wj = wj − hij vi hj +1,j = ∥wj ∥2 if hj +1,j = 0 then break end if vj +1 = wj /hj +1,j end for
若给定初值 x(0) ∈ Rn , 则改用仿射空间 x(0) + K, 即 find x ˜ ∈ x(0) + K such that b − Ax ˜ ⊥ L. (4.3)
好的初值一般都包含有价值 的信息
事实上, 如果将 x ˜ 写成: x ˜ = x(0) + x ˆ, 其中 x ˆ ∈ K, 则 (4.3) 就等价于 find x ˆ∈K such that r0 − Ax ˆ ⊥ L, (4.4)
定解条件
r = b − Ax ˜⊥L 其中 x ˜ 是近似解, L 是另一个 m 维子空间. 不同的 L 对应不同的投影方法 当 L = K 时, 我们称为 正交投影法 , 否则称为 斜投影法
Krylov子空间迭代法
采用IOM后，仍然需要存储v(1), v(2), …v(m),因为在第(vi)步 中仍然需要这些向量. 解决这个问题可以考虑采用H的LU分解，通过自身分解的迭代更新以减少每 一步的存储量 使xm的更新依赖于xm-1,
14
Arnoldi方法-DIOM
lower bidiagonal
banded upper triangular
15
Arnoldi方法-DIOM
16
Arnoldi方法-DIOM
17
Thanks for your time !
18
得到基于Galerkin原 理构成的算法
5
Arnoldi方法-基本算法
6
Arnoldi方法-基本算法
7
Arnoldi方法-MGS
8
Arnoldi方法-HO
9
Arnoldi方法-FOM
10
Arnoldi方法-FOM
11
Arnoldi方法-FOM（m）
12
Arnoldi方法-IOM
13
Arnoldi方法-DIOM
Krylov子空间方法
March 23, 2016
内
• Arnoldi算法
– Arnoldi过程 – Gram-Schmidt Arnoldi – HouseHolder Arnoldi
容
• 子空间和Krylov子空间
• FOM
– IOM – DIOM
2
子空间
• 空间
– 集合，元素都是向量 – 线性空间（向量空间）
• 线性空间（交换律，结合律，幺元性，零元性，可 逆性，数乘分配律等）
• 子空间
– 线性空间的非空子集
Krylov子空间、优化问题与共轭梯度法
Krylov 子空间、优化问题与共轭梯度法自动化 富晓鹏工程实践中经常需要求解大型线性系统KU=F 。
在很多情况下矩阵K 是非常稀疏的，比如来自偏微分方程的离散化等，此时矩阵中每行仅有较少的非零元素。
面临这样的问题，我们首先面对的问题是，应该采用直接消元法还是迭代方法。
对前者来说，为充分利用系数特性，节点重编号是重要的；而对后者来说，适当的预处理是关键。
本文将重点放在后一类方法中的一种进行介绍与分析，即共轭梯度法。
共轭梯度法适用于矩阵K 为对称阵的情况，算法本身简洁高效，且与一些其他的数学理论、概念相紧密联系，本文分析了共轭梯度法与Krylov 子空间，以及优化问题之间隐含的联系，并简要给出算法框架。
1. 线性方程组迭代解法与Krylov 子空间我们考虑迭代法求解线性方程组Ax=b 。
假定未采用预处理矩阵P ，或P 矩阵已经隐含在A 与b 中。
迭代法求解格式如下：1()k k P x P A x b +⋅=-⋅+ (1)为说明问题，我们考虑简单的迭代格式P=I ，并且x 1=b 。
则迭代的最初几步为：2()2x I A b b b Ab =-+=- (2)232()33x I A x b b Ab A b =-+=-+ (3) …由上面几个式子可得，以上迭代格式第j 步的解x j 是b ，Ab ，…，A j -1b 的线性组合。
当A 矩阵稀疏时，这些向量可以采用矩阵向量乘法的稀疏技巧很快得到。
以上发现自然与Krylov 子空间的概念相联系起来。
Krylov 矩阵： K j = [b Ab A 2b … A j -1b]Krylov 子空间：K j = b ，Ab ，…，A j -1b 的所有线性组合Krylov 命名了向量b ，Ab ，…，A j -1b 的全部线性组合构成的子空间，并认为在这一子空间中，有比上例中特定元素更与线性方程组的解相接近的元素。
共轭梯度法就是在这一子空间中，每一步迭代都依照某种标准寻求最优元素的线性方程组解法。
(完整版)Krylov子空间迭代法
February 10, 2020
内容
• 子空间和Krylov子空间
• Arnoldi算法
– Arnoldi过程 – Gram-Schmidt Arnoldi – HouseHolder Arnoldi
• FOM
– IOM – DIOM
2
子空间
• 空间
– 集合，元素都是向量 – 线性空间（向量空间）
根据Cayley-Hamilton定理有
������������ + ������������−1������������−1+. . . +������1������1 + ������0������0 = 0
即
VP= -������������ 其中������ = [������0, ������1, . . . , ������������−1ሿ，������ = ������0, ������1, . . . , ������������−1 ������ Krylov子空间： ������������(������, ������) = ������������������������{������, ������������, . . . , ������������−1������ሽ Krylov矩阵： ������������(������, ������) = [������, ������������, . . . , ������������−1������ሿ
• 线性空间（交换律，结合律，幺元性，零元性，可 逆性，数乘分配律等）
• 子空间
– 线性空间的非空子集
• 包含零元素，并且满足加法和乘法的封闭性
– 扩张（符合记作span）
krylov子空间算法
Krylov 子空间的定义：定义：令N R υ∈，由1m A υυυ-，，，A 所生成的子空间称之为由υ与A 所生成的m 维Krylov 子空间，并记(),m K A v 。
主要思想是为各迭代步递归地造残差向量，即第n 步的残差向量()n r 通过系数矩阵A 的某个多项式与第一个残差向量()0r 相乘得到。
即()()()0n r p A r =。
但要注意，迭代多项式的选取应该使所构造的残差向量在某种内积意义下相互正交，从而保证某种极小性（极小残差性），达到快速收敛的目的。
Krylov 子空间方法具有两个特征：1.极小残差性，以保证收敛速度快。
2.每一迭代的计算量与存储量较少，以保证计算的高效性。
投影方法线性方程组的投影方法方程组Ax b =,A 是n n ⨯的矩阵。
给定初始()0x ,在m 维空间K(右子空间）中寻找x 的近似解()1x 满足残向量()1r b Ax =-与m 维空间L(左子空间）正交，即()1b Ax L -⊥，此条件称为Petrov-Galerkin 条件。
当空间K=L 时，称相应的投影法为正交投影法，否则称为斜交投影法.投影方法的最优性：１. (误差投影)设A 为对称正定矩阵,()0x 为初始近似解,且K=L,则()1x 为采用投影方法得到的新近似解的充要条件是()()()()01min z x Kx z ϕϕ∈+=其中,()()()12,z A x z x z ϕ=--2.(残量投影)设A 为任意方阵,()0x 为初始近似解,且L AK =,则()1x 为采用投影方法得到的新近似解的充要条件是()()()()01min z x Kx z ψψ∈+=其中()()122,z b Az b Az b Az ψ=-=--矩阵特征值的投影方法对于特征值问题Ax x λ=,其中A 是n ×n 的矩阵，斜交投影法是在m 维右子空间K 中寻找i x 和复数i λ满足i i i Ax x L λ-⊥,其中L 为m 维左子空间.当L=K 时，称此投影方法为正交投影法. 误差投影型方法： 取L=K 的正交投影法非对称矩阵的FOM 方法（完全正交法） 对称矩阵的IOM 方法和DIOM 方法 对称矩阵的Lanczos 方法 对称正定矩阵的CG 方法 残量投影型方法： 取L=AK 时的斜交投影法GMERS 方法（广义最小残量法） 重启型GMERS 方法、QGMERS 、DGMERSArnoldi 方法标准正交基方法：Arnoldi 方法是求解非对称矩阵的一种正交投影方法。
第四讲Krylov子空间方法
如果没有特别注明, 本章内容都是在实数域中讨论.
4.1 投影方法
设 K 是 Rn 的一个子空间, 维数为 dim(K) = m ≪ n. 我们需要在 K 中寻找精确解的一 个 “最佳” 近似. 由于 K 的维数是 m, 为了能够唯一确定这个近似解, 我们需要设置 m 个约 束. 在通常情况下, 我们要求残量满足 m 个正交性条件:
x˜ = x(0) + V y.
· 4-2 ·
由正交性条件 (4.5) 可知 r0 − AV y ⊥ wi, i = 1, 2, . . . , m,
即 W AV y = W r0.
如果 W AV 是非奇异的, 则可解得 y = (W AV )−1W r0. 因此, 近似解 x˜ 可表示为 x˜ = x(0) + V (W AV )−1W r0.
vj+1 = wj /hj+1,j
14: end for
如果计算到第 k (k < m) 步时有 hk+1,k = 0, 则方法会提前终止. 此时 Avk 必定可以由 v1, v2, . . . , vk 线性表出 (这里不考虑浮点运算的舍入误差).
算法 4.1 中的向量 vi 称为 Arnoldi 向量. 需要注意的是, 在该算法中, 我们是用 A 乘以 vj, 然后与之前的 Arnoldi 向量正交化, 而不是计算 Ajr. 事实上, 它们是等价的.
r = b − Ax˜ ⊥ L,
(4.2)
其中 x˜ 是我们所要寻找的近似解, L 是另一个 m 维子空间. 这就是数值计算中常用的 PetrovGalerkin 条件. 如果 L = K, 则称为 Galerkin 条件. 子空间 L 也称为 约束空间 (constraint subspace). 相应地, K 通常称为 搜索空间.
krylov子空间算法
Krylov 子空间的定义:定义:令N R υ∈,由1m A υυυ-L ，，，A 所生成的子空间称之为由υ与A 所生成的m 维Krylov 子空间,并记(),m K A v 。
主要思想就是为各迭代步递归地造残差向量,即第n 步的残差向量()n r 通过系数矩阵A 的某个多项式与第一个残差向量()0r 相乘得到。
即()()()0n r p A r =。
但要注意,迭代多项式的选取应该使所构造的残差向量在某种内积意义下相互正交,从而保证某种极小性(极小残差性),达到快速收敛的目的。
Krylov 子空间方法具有两个特征:1、极小残差性,以保证收敛速度快。
2、每一迭代的计算量与存储量较少,以保证计算的高效性。
投影方法线性方程组的投影方法方程组Ax b =,A 就是n n ⨯的矩阵。
给定初始()0x ,在m 维空间K(右子空间)中寻找x 的近似解()1x 满足残向量()1r b Ax =-与m 维空间L(左子空间)正交,即()1b Ax L -⊥,此条件称为Petrov-Galerkin 条件。
当空间K=L 时,称相应的投影法为正交投影法,否则称为斜交投影法、投影方法的最优性:１、 (误差投影)设A 为对称正定矩阵,()0x 为初始近似解,且K=L,则()1x 为采用投影方法得到的新近似解的充要条件就是()()()()01min z x Kx z ϕϕ∈+=其中,()()()12,z A x z x z ϕ=--2.(残量投影)设A 为任意方阵,()0x 为初始近似解,且L AK =,则()1x 为采用投影方法得到的新近似解的充要条件就是()()()()01min z x Kx z ψψ∈+=其中()()122,z b Az b Az b Az ψ=-=--矩阵特征值的投影方法对于特征值问题Ax x λ=,其中A 就是n ×n 的矩阵,斜交投影法就是在m 维右子空间K 中寻找i x 与复数i λ满足i i i Ax x L λ-⊥,其中L 为m 维左子空间、当L=K 时,称此投影方法为正交投影法、 误差投影型方法: 取L=K 的正交投影法非对称矩阵的FOM 方法(完全正交法) 对称矩阵的IOM 方法与DIOM 方法 对称矩阵的Lanczos 方法 对称正定矩阵的CG 方法 残量投影型方法: 取L=AK 时的斜交投影法 GMERS 方法(广义最小残量法)重启型GMERS 方法、QGMERS 、DGMERSArnoldi 方法标准正交基方法:Arnoldi 方法就是求解非对称矩阵的一种正交投影方法。
子空间ppt课件
由定理6.2.1 ，V的一个子空间也是F上一个向量空间， 并且一定含有V的零向量。
例1向量空间V总是它自身的一个子空间。另一方面，单 独一个零向量所成的集合{0}显然对于V的加法和标量 与向量的乘法是封闭，因而也是V的一个子空间，称 为零空间。
一个向量空间V本身和零空间叫做V的平凡子空间。 V的非平凡子空间叫做V的真子空间。
子空间？是不是
是不是
的子空间？
例2
的
解 U中的矩阵是上三角形矩阵，显然U为向量空间的非空子集。又中 的运算是矩阵的加法及数与矩阵的乘法，而两个上三角形的和仍是一个 上三角形矩阵，一个数与一个上三角形矩阵的乘积 仍是上三角形矩阵，所以，由子空间的定义 ，U是的 一个子空间。不是 的子空间，因为n阶单位矩阵I及 – I ∈W，但例3 在空间V2里，平行于一条固定直线的一切向量空间作成V2 的一个子空间。在间间V3里，平行于一条固定直线或一张固定平面的一切向量分别作 成V 的子空间(6.1,例1)。
由于0∈W1 ，0∈W2 ，所以0=0+0∈W1+W2 ，因此 W1+W2≠ф。设a, b∈F, α,β ∈W1+W2, 那么, 因为 W1,W2都是子空间,所以 ,,于是
这就证明了W1+ W2是V的子空间,这个子空间叫做 W1与W2 的和.
例8 在 中，终点位于过原点的同一条直线l上的所有向量作成 的子空间W。为叙述简便，也说W就 是过原点的直线 l ，直线 l 是 的子空间(图6-2-1 )。这样， 中过原点的直线都是 的子空间。同 理， 中以过原点的平面π上的点为终点的所有向量作成 的子空间。这样，过原点的平面都是 两种 是向量空间 的一个子空间。
第四讲 Krylov 子空间方法
∑j Avj = hj+1,j vj+1 + hij vi
∑j wj = wj − hij vi
i=1
vj+1 = wj /hj+1,j
i=1
=
[v1,
v2,
.
.
.
,
vj+1]
h1j
h2j ...
hj+1,j
=
[v1,
.
.
.
,
vj+1,
vj+2,
.
.
.
,
vm+1]
hjh+0......11j,j
6: end for
∑j 7: wj = wj − hij vi
i=1
8:
hj+1,j = ∥wj ∥2
9: if hj+1,j = 0 then
10:
break
11: end if
12:
vj+1 = wj /hj+1,j
13: end for
做计算时一定要注意任何可 能存在的 “中断”.
10/106
0 0 0 ···
h1,m−1 h2,m−1 h3,m−1 h4,m−1
... hm,m−1
0
h1,m
h2,m h2,m h4,m
... hm,m
∈ R(m+1)×m
hm+1,m
这里 hij 是由 Arnoldi 过程所定义的.
wj = Avj
for i = 1, 2, . . . , j do
hij = (wj , vi)
= Vm
+
Hm+1,m
混合Krylov子空间算法及其应用
第 4 期
刘兴平等 :混合 Krylov 子空间算法及其应用
343
β1 χ1 χ m- 1
m- 1
m- 1
αβ
m
m
η1 γ1
δ2 η2 γ2
K=
ωω ω
.
δ η γ m- 1
m- 1
m- 1
δm ηm
众所周知 ,矩阵 H 和 K 中的αi ,χi ,δi ,γi ( i = 1 , …,
m) 分别是对角矩阵 ;对不同的区域情况 ,βi 和ηi 的
非零元素有不同的结构. 按自然排序的方式进行红
黑排序编号
,当横向的网格数是偶数时
,βi
和
η i
为
非零元素交错的两对角矩阵 ,即随着下标 i 的不同 , βi 和ηi 是相间出现上下三角阵的 2 条对角线矩阵 ,
对整体不是完整的 2 条对角线阵 ,最后 H 和 K 的积
2 数值试验
为了考查混合算法在实际问题计算中的能力 , 采用文[ 2 ]中的实际模型 Ⅱ(线性代数方程组的未知 变量个数是 20 ×53 ×3) 和模型 Ⅲ(线性代数方程组 的未知变量个数是 40 ×53 ×3) 对算法进行考察. 为 了考察混合算法与原有算法的数值效率比较 ,常规 算法采用自然排序下的 ILU (0) 预条件 GMRES (20) , 混合算法的选代算法部分也采用 ILU ( 0) 预条件 GMRES(20) . 在同等数值精度下 ,模型 Ⅲ的混合算法 和原有常规算法的计算时间变化曲线如图 1. 图 1 的横坐标是物理过程的时间 ,纵坐标是所用算法计 算模型 Ⅲ时不同物理时刻之前计算时间的累加 ; “○”点曲线是混合算法计算模型 Ⅲ时不同物理时刻 的计算时间累加曲线 “, 3 ”点曲线是原有常规算法 计算模型 Ⅲ时不同物理时刻的计算时间累加曲线. 从图中可以看出 ,在 0～20 物理时间段 ,由于矩阵性 质比较好 ,混合的预处理 GMRES 算法与自然序下的 常规预处理 GMRES 算法几乎没有多少差别 ,从打印 出来的数据看 ,在这个物理时间段里 ,混合的预处理