预处理子空间迭代法的一些基本概念

CG 算法的预处理技术：、为什么要对A 进行预处理：其收敛速度依赖于对称正定阵A 的特征值分布特征值如影响收敛性：特征值分布在较小的围，从而加速CG 的收敛性特征值和特征向量的定义是什么？（见笔记本以及收藏的网页）求解特征值和特征向量的法：Davidson 法：Davidson 法是用矩阵( D - θI)- 1( A - θI) 产生子空间，这里 D 是 A 的对角元所组成的对角矩阵。

θ是由 Rayleigh-Ritz 过程所得到的A 的近似特征值。

什么是子空间法： Krylov 子空间叠代法是用来求解形如Ax=b 的程，A 是一个n*n 的矩阵，当n 充分大时，直接计算变得非常困难，而Krylov 法则巧妙地将其变为Kxi+1=Kxi+b-Axi 的迭代形式来求解。

这里的K(来源于作者俄国人Nikolai Krylov 姓氏的首字母)是一个构造出来的接近于A 的矩阵，而迭代形式的算法的妙处在于，它将复杂问题化简为阶段性的易于计算的子步骤。

如取正定矩阵Mk 为：Span 是什么？:设 ,称它们的线性组合 为向量的生成子空间，也称为由成的子空间。

记为，也可以记为什么是Jacobi 迭代法：什么是G_S 迭代法：请见PPT 《迭代法求解线性程组》什么是SOR 迭代法：什么是收敛速度：称收敛速度。

度，简为迭代法的渐近收敛速)(ln )(:5定义B B R ρ-=什么是可约矩阵与不可约矩阵？：不可约矩阵（irreducible matrix ）和可约矩阵（reducible matrix ）两个相对的概念。

定义1：对于 n 阶阵 A 而言，如果存在一个排列阵 P 使得 P'AP 为一个分块上三角阵，我们就称矩阵 A 是可约的；否则称矩阵 A 是不可约的。

定义2：对于 n 阶阵 A=(aij) 而言，如果指标集 {1，2，...，n} 能够被划分成两个不相交的非空指标集 J 和 K ，使得对任意的 j ∈J 和任意的 k ∈K 都有 ajk=0, 则称矩阵 A 是可约的；否则称矩阵 A 是不可约的。

n 阶矩阵A 是不可约的当且仅当与矩阵A 对应的有向图是强连通的。

什么是正交？：在三维向量空间中， 两个向量的积如果是零， 那么就说这两个向量是正交的。

换句话说， 两个向量正交意味着它们是相互垂直的。

若向量α与β正交，则记为α⊥β。

什么是正交矩阵？：如果：AA'=E （E 为单位矩阵，A'表示“矩阵A 的转置矩阵”。

）或A ′A=E ，则n 阶实矩阵A 称为正交矩阵， 若A 为单位正交阵，则满足以下条件:1) AT 是正交矩阵2)（E 为单位矩阵）3) A 的各行是单位向量且两两正交4) A 的各列是单位向量且两两正交5) (Ax,Ay)=(x,y) x,y ∈R6) |A| = 1或-1倒着写的A 和E 都是什么意思啊？：反着的E:谓词逻辑 存在量词 ∃ x: P(x) 意味着有至少一个 x 使 P(x) 为真。

n ∈ N: n 是偶数。

倒着的A:任意的∧ 逻辑合取 述 A ∧ B 为真，如果 A 与 B 二者都为真；否则为假。

n < 4 ∧ n >2 ⇔ n = 3 当 n 是自然数的时候。

与命题逻辑 ∨ 逻辑析取 述 A ∨ B 为真，如果 A 或 B (或二者)为真；如果二者都为假，则述为假。

n ≥ 4 ∨ n ≤ 2 ⇔ n ≠ 3 当 n 是自然数的时候。

迭代法与直接法比较优劣是什么？：对称正定的定义是什么？：设M 是n 阶阵，如果对任非零向量z ，都有 z'Mz > 0，其中z' 表示z 的转置，就称M 正定矩阵。

判定定理1：对称阵A 为正定的充分必要条件是：A 的特征值全为正。

判定定理2：对称阵A 为正定的充分必要条件是：A 的各阶顺序主子式都为正。

迭代法求解稀疏矩阵时是否有填充元问题？：CG 法求解线性矩阵时有无误差问题？：有。

误差可能导致收敛变慢甚至无法求解。

什么是Krylov 子空间法？：设要求解线性代数程组Ax=b ，取00010(,)(,,...,)m m m K K A r Span r Ar A r -==，其中00r b Ax =-，且0x 为初始解，从0m x K +中寻找近似解m x ，使相应的残向量与另某个子空间m L 正交，即m m m r b Ax L =-⊥ 则称m K 为Krylov 子空间，且上述法称为Krylov 子空间法。

GMRES 法的缺点是什么？：因为它实际上求式AZ=r 的解等价在在 Krylov 子空间中极小化残余向量的||.||数。

但 GMRES 会有失去超线性收敛性、可能产生停滞、GMRES 每迭代一步都要进行 Arnoldi 过程中都要消耗大量的计算时间、随着子空间维数的增大，引起存储空间过多的需求，每次迭代正交化过程所需代价显著增长等缺点。

矩阵右上角有个H ，这是什么矩阵呢？（有个T 是转置，有个H 是什么）: 一般来讲A^T 表示转置，A^H 表示转置共轭，对实矩阵而言是一回事，对复矩阵而言转置共轭比单纯的转置更常用一些，比如酉变换、Hermite 型等。

什么是正交投影法和斜投影法？：从n 维向量空间中找出一个子空间h ，从其中寻找近似解，子空间h 常称为搜索空间。

如果dim m =h ，则为在h 中求出一个近似解，显然要有m 个闲置条件，通常采用m 个正交性条件，特别地，可以采用残向量r b Ax =-与m 个线性无关向量正交的条件，这m 个线性无关向量就定义了另外一个m 维子空间l ，通常称之为限制子空间或左子空间，同时称该限制条件为Petrov-Galerkin 条件。

当≠h l 时，称对应的投影法为斜交投影法，否则称为正交投影法。

什么是Hessenberg 矩阵？：假设一个N*N 矩阵A ， 在i>j+1时，它的a （i,j ）=0。

（A 的i,j 项=0），那么这个矩阵A 就叫做HESSENBERG MATRIX 。

常用数有哪些？：这里以Cn 空间为例，Rn 空间类似。

最常用的数就是p-数。

若，那么可以验证p-数确实满足数的定义。

其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski ）不等式。

当p 取1，2，∞的时候分别是以下几种最简单的情形：1-数：║x║1=│x1│+│x2│+…+│xn│2-数：║x║2=（│x1│2+│x2│2+…+│xn│2）1/2∞-数：║x║∞=max（│x1│，│x2│，…，│xn│）共轭梯度法的原理是什么？：请见PPT《共轭梯度法》自己理解的预条件技术？：对线性程组AX=b，对A进行一些变换，例如LAL-1，使LAL-1的特征值变得相对集中，提高投影算法（CG，PCG）的收敛性。

对A进行的变化就称为预条件技术。

什么是Petrov-Galerkin条件？：预条件技术有几种？：有五种（1）对角预处理法：若A是格对角占优的矩阵，则可以选择M=diag（a11，a22，…a nn）,可以通过初等矩阵变换，将A变换成M矩阵的形式。

（2）基于经典迭代的预处理法（矩阵分裂法）：Jacobi，GS，Sor（3）多项式预处理法：选择一个多项式s（x）预处理矩阵选择为M-1=s(A)，具体做法如下：将预处理矩阵取为一个低次的矩阵多项式M-1=s(A)，原程变为：s(A)Ax=s(A)b，然后用迭代法求解。

（见兰的论文）（4）无填充不完全分解预处理法：以系数矩阵的因子分解为基础得到的预处理，这是一种比较有效的预处理程，主要有不完全LU分解，不完全Cholesky分解以及相应的块不完全分解等。

（5）子结构、区域分裂、EBE预处理途径（见永杰论文）。

什么是左预条件？：如果将迭代法应用于M-1Ax=M-1b,则称之为左预条件技术什么是右预条件？：如果将迭代法应用于AM-1z=b，再通过Mx=z，求出解x，则称之为右预条件技术。

什么是cond（）？：Cond(A)称作矩阵A的条件数，为矩阵A的数与A的逆矩阵的数的乘积。

cond(A)=‖A‖·‖A-1‖。

从线性代数的分析可知，矩阵的条件数总是大于1.正交矩阵的条件数等于1，奇异矩阵的条件数为无穷大，而病态矩阵的条件数则为比较大的数据。

什么是线性无关？：向量v1,v2, ...,v n线性无关，当且仅当它们满足以下条件：如果a1,a2, ...,a n是K的元素，适合：a1v1+a2v2+ ... +a n v n= 0，那么对所有i= 1, 2, ...,n都有a i= 0。

什么是hermite矩阵即厄米特矩阵？：厄米特矩阵（Hermitian Conjugate Matrix，又译作“埃尔米特矩阵”或“厄米矩阵”），指的是自共轭矩阵。

矩阵中每一个第i 行第j 列的元素都与第j 行第i 列的元素的共轭相等。

对称矩阵是hermite矩阵的特例。

如果判断线性程组是病态？：一般当det（A）的绝对值很小时，程组Ax=b就可能是病态。

为什么预处理法备受关注？：对不同的矩阵情况，有不同的预处理案，没有一种通用的预处理案，于是出现了很多种预处理法。

预处理矩阵与迭代矩阵是什么关系？：M为预条件矩阵，G为迭代矩阵。

有G=M-1N。

什么是表征矩阵性态的条件数？：系数矩阵的最大特征值和最小特征值之比。

为什么PCG 算法强于CG 算法？：虽然共轭梯度法在理论上最多n 次迭代就可以达到精度解，但由于舍入误差的存在和矩阵A 的一些病态特性，使{p 1，p 2，。

，p k }A 正交性以及{r 1, r 2, …,r k }的正交性随着k 增加而变差。

故x n 一般不是精确解，而且降低了收敛的速度。

况对于大型和超大型的线性程组，即使n 次迭代收敛，也是实际计算中不能接受的。

于是出现了PCG ，它通过适当的预处理法引入预处理矩阵M ，使矩阵的特征值分布更为集中，降低矩阵条件数，改善矩阵病态特性，已达到提高收敛速度的目的。

矩阵谱半径定义？: 设A 是n ×n 矩阵,λi 是其特征值,i=1,2,…,n.称 ρ(A)=max{|λi|,i=1,2,……n}为A 的谱半径。

共轭梯度法的推导？：（1）采用泛函多项式的推导过程请见：网页《共轭梯度法》。

（2）用矩阵知识进行推导的过程请见：永杰的论文p34页。

什么是BEM （边界元法）？：边界元法（boundary element method ）是一种继有限元法之后发展起来的一种新数值法，与有限元法在连续体域划分单元的基本思想不同，边界元法是只在定义域的边界上划分单元，用满足控制程的函数去逼近边界条件。

所以边界元法与有限元相比，具有单元个数少，数据准备简单等优点。

但用边界元法解非线性问题时，遇到同非线性项相对应的区域积分，这种积分在奇异点附近有强烈的奇异性，使求解遇到困难。