预处理子空间迭代法的一些基本概念

CG 算法的预处理技术： 、 为什么要对 A 进行预处理：其收敛速度依赖于对称正定阵 A 的特征值分布 特征值如何影响收敛性：特征值分布在较小的范围内，从而加速 CG 的收敛性 特征值和特征向量的定义是什么？（见笔记本以及收藏的网页） 求解特征值和特征向量的方法：Davidson 方法：Davidson 方法是用矩阵( D - θ I)- 1( A - θ I) 产生子空间，这里 D 是 A 的对角元所组成的对角矩阵。θ 是由 Rayleigh-Ritz 过程所得到 的 A 的近似特征值。 什么是子空间法： Krylov 子空间叠代法是用来求解形如 Ax=b 的方程， A 是一个 n*n 的矩阵， 当 n 充分大时，直接计算变得非常困难，而 Krylov 方法则巧妙地将其变为 Kxi+1=Kxi+b-Axi 的迭代形式来求解。这里的 K(来源于作者俄国人 Nikolai Krylov 姓氏的首字母)是一个构造出 来的接近于 A 的矩阵，而迭代形式的算法的妙处在于，它将复杂问题化简为阶段性的易于 计算的子步骤。 如何取正定矩阵 Mk 为： Span 是什么？ : 设 ������1, … , ������������ ∈ ������ , 称它们的线性组合 ������ ������ =1 ������������ ������������ |������������ ∈ ������ , ������ = 1,2 … ������ 为向量 ������1, … , ������������ 的生成子空间，也称为由������1, … , ������������ 张成的子空间。记为L（������1, … , ������������ ），也可以记为 Span（������1, … , ������������ ） 什么是 Jacobi 迭代法： 什么是 G_S 迭代法：请见 PPT《迭代法求解线性方程组》 什么是 SOR 迭代法： 什么是收敛速度：
Km Km ( A, r 0 ) Span(r 0 , Ar 0 ,..., Am1r 0 ) ，其中
0 r 0 b Ax 0 ，且 x0 为初始解，从 x Km 中寻找近似解 x m ，使相应的残向量与另某个子
空间 则称
Lm 正交，即 r m b Axm Lm
K m 为 Krylov 子空间，且上述方法称为 Krylov 子空间方法。
PCG，它通过适当的预处理方法引入预处理矩阵 M，使矩阵的特征值分布更为集中，降低矩 阵条件数，改善矩阵病态特性，已达到提高收敛速度的目的。 矩阵谱半径定义？: 设 A 是 n×n 矩阵,λ i 是其特征值,i=1,2,„,n.称ρ (A)=max{|λ i|,i=1,2,„„ n}为 A 的谱半径。 共轭梯度法的推导？： （1）采用泛函多项式的推导过程请见：网页《共轭梯度法》 。 （2）用矩阵知识进行推导的过程请见：张永杰的论文 p34 页。 什么是 BEM（边界元方法）？：边界元法（boundary element method）是一种继有限元法 之后发展起来的一种新数值方法， 与有限元法在连续体域内划分单元的基本思想不同， 边界 元法是只在定义域的边界上划分单元， 用满足控制方程的函数去逼近边界条件。 所以边界元 法与有限元相比，具有单元个数少，数据准备简单等优点。但用边界元法解非线性问题时， 遇到同非线性项相对应的区域积分， 这种积分在奇异点附近有强烈的奇异性， 使求解遇到困 难。 什么是引理？： 引理 （lemma） 是数学中为了取得某个更好的结论而作为步骤被证明的命题， 其意义并不在于自身被证明， 而在于为达成最终目的作出贡献。 一个引理可用于证明多个结 论。数学中存在很多著名的引理，这些引理可能对很多问题的解决有帮助。例如欧几里得引 理，乌雷松引理，德恩引理，法图引理，高斯引理，中山引理，庞加莱引理，里斯引理和佐 恩引理等。引理和定理没有严格的区分。 什么是谱半径的相似不变性？： 什么是正则化？：正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一 组线性代数方程定义的， 而且这组方程组通常来源于有着很大的条件数的不适定反问题。 大 条件数意味着舍入误差或其它误差会严重地影响问题的结果。 什么是不适定问题？：在经典的数学物理中，人们只研究适定问题。适定问题是指满足下列 三个要求的问题： ①解是存在的； ②解是惟一的； ③解连续依赖于定解条件。 这三个要求中， 只要有一个不满足，则称之为不适定问题。特别，如果条件③不满足，那么就称为阿达马意 义下的不适定问题。一般地说不适定问题，常常是指阿达马意义下的不适定问题。 什么是残量？：r=b-AX，其中 r 为残量 什么是 Z-矩阵， L-矩阵， M-矩阵？： 如果一个 n*n 的矩阵 A= （aij） 满足i 称 A 为 Z-矩阵； 如果 A 是 Z-矩阵， 且 aii 称 A 为 M-矩阵。 ARG MIN 的含义是什么？：最通俗的理解：表示使目标函数取最小值时的变量值 ：=什么意思？：x：=y，表示 x 定义为 y 的一个名称。 什么是谱条件数？： 什么是主元？：主对角线上的元素，左上角到右下角。 不是方阵就是左上角到最下一行，将这一行数的左下角那些数化成零，不就是阶梯型了嘛。 可以很方便的讨论矩阵的解，和矩阵的其他性质。 什么是共轭？：设 A 为 n 阶实对称正定矩阵，如果有两个 n 维向量 S1 和 S2 满足 S1AS2=0 （1） 则称向量 S1 与对于矩阵 A 共轭。如果 A 为单位矩阵，则式(1)即成为 S1S2，这样两个向量的
什么是线性无关？：向量 v1, v2, ..., vn 线性无关，当且仅当它们满足以下条件：如果 a1, a2, ..., an 是 K 的元素，适合： a1v1 + a2v2 + ... + anvn = 0， 那么对所有 i = 1, 2, ..., n 都有 ai = 0。
什么是 hermite 矩阵即厄米特矩阵？：厄米特矩阵（Hermitian Conjugate Matrix， 又译作“埃尔米特矩阵”或“厄米矩阵”），指的是自共轭矩阵。矩阵中每一个第 i 行第 j 列的元素都与第 j 行第 i 列的元素的共轭相等。对称矩阵是 hermite因为它实际上求式 AZ=r 的解等价在在 Krylov 子空间中极小化 残余向量的||.||范数。但 GMRES 会有失去超线性收敛性、可能产生停滞、GMRES 每迭代 一步都要进行 Arnoldi 过程中都要消耗大量的计算时间、随着子空间维数的增大，引起存储 空间过多的需求，每次迭代正交化过程所需代价显著增长等缺点。 矩阵右上角有个 H，这是什么矩阵呢？（有个 T 是转置，有个 H 是什么）:一般来讲 A^T 表 示转置，A^H 表示转置共轭，对实矩阵而言是一回事，对复矩阵而言转置共轭比单纯的转置 更常用一些，比如酉变换、Hermite 型等。 什么是正交投影法和斜投影法？： 从 n 维向量空间中找出一个子空间 ， 从其中寻找近似解， 子空间 常称为搜索空间。如果 dim m ，则为在 中求出一个近似解，显然要有 m 个 闲置条件，通常采用 m 个正交性条件，特别地，可以采用残向量 r b Ax 与 m 个线性 无关向量正交的条件， 这 m 个线性无关向量就定义了另外一个 m 维子空间 ， 通常称之为限 制子空间或左子空间，同时称该限制条件为 Petrov-Galerkin 条件。当 时，称对应的投 影法为斜交投影法，否则称为正交投影法。 什么是 Hessenberg 矩阵？：假设一个 N*N 矩阵 A，在 i>j+1 时，它的 a（i,j）=0。 （A 的 i,j 项=0） ，那么这个矩阵 A 就叫做 HESSENBERG MATRIX。 常用范数有哪些？：这里以 Cn 空间为例，Rn 空间类似。 最常用的范数就是 p-范数。若，那么 可以验证 p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常 称为闵可夫斯基(Minkowski）不等式。 当 p 取 1，2，∞的时候分别是以下几种最简单的情形： 1-范数：║x║1=│x1│+│x2│+„+│xn│
倒着的 A:任意的 ∧逻辑合取陈述 A ∧ B 为真， 如果 A 与 B 二者都为真； 否则为假。 n < 4 ∧ n >2 ⇔ n = 3 当 n 是自然数的时候。 与命题逻辑∨逻辑析取陈述 A ∨ B 为真，如果 A 或 B (或二者)为真；如果二者都为假， 则陈述为假。 n ≥ 4 ∨ n ≤ 2 ⇔ n ≠ 3 当 n 是自然数的时候。 迭代法与直接法比较优劣是什么？： 对称正定的定义是什么？：设 M 是 n 阶方阵，如果对任何非零向量 z，都有 z'Mz> 0，其中 z' 表示 z 的转置，就称 M 正定矩阵。 判定定理 1：对称阵 A 为正定的充分必要条件是：A 的特征值全为正。 判定定理 2：对称阵 A 为正定的充分必要条件是：A 的各阶顺序主子式都为正。 迭代法求解稀疏矩阵时是否有填充元问题？： CG 法求解线性矩阵时有无误差问题？：有。误差可能导致收敛变慢甚至无法求解。 什 么 是 Krylov 子 空 间 法 ？ ： 设 要 求 解 线 性 代 数 方 程 组 Ax=b ， 取
如果判断线性方程组是病态？：一般当 det（A）的绝对值很小时，方程组 Ax=b 就可能是病 态。 为什么预处理方法备受关注？：对不同的矩阵情况，有不同的预处理方案，没有一种通用的 预处理方案，于是出现了很多种预处理方法。 预处理矩阵与迭代矩阵是什么关系？：M 为预条件矩阵，G 为迭代矩阵。有 G=M-1N。 什么是表征矩阵性态的条件数？：系数矩阵的最大特征值和最小特征值之比。 为什么 PCG 算法强于 CG 算法？： 虽然共轭梯度法在理论上最多 n 次迭代就可以达到精度解， 但由于舍入误差的存在和矩阵 A 的一些病态特性， 使{p1， p2， 。 。 。 ， pk}A 正交性以及{r1, r2, …,rk } 的正交性随着 k 增加而变差。故 xn 一般不是精确解，而且降低了收敛的速度。何况对于大 型和超大型的线性方程组，即使 n 次迭代收敛，也是实际计算中不能接受的。于是出现了