第四讲非对称特征值问题
合集下载
第七章 特征值问题的迭代解法
在幂迭代中, 我们取 x(m−1) 为近似特征向量. 显然, 如果我们在 Km (A, x(0) ) 中找出 “最佳” 的近似特征向 量, 则收敛速度就可能会大大加快. 下面我们讨论如何在 Km = Km (A, x(0) ) 中寻找 “最佳” 的近似特征向量. 设 A ∈ Rn×n , 并设 Km 和 ˜ x Lm 是 Rn 的两个 m 维子空间. 投影算法就是在寻找 A 的近似特征对 (λ, ˜), 满足下面的 Petrov-Galerkin 条 件 ˜ ∈ C and x find λ ˜ ∈ Km such that ˜x Ax ˜−λ ˜ ⊥ Lm . (7.1)
· 7-4 ·
7.2
Rayleigh-Ritz 算法
事实上, 我们可以在 Km (A, x(0) ) 中找出 m 个最佳近似特征向量及相应的最佳近似特征值. 这些近似 特征值和近似特征向量就是 Ritz 值 和 Ritz 向量. 定义 7.1 设 Km 是 Rn×n 的 一 个 m 维 子 空 间, 它 的 一 组 标 准 正 交 基 为 v0 , v1 , . . . , vm−1 , 并 令 Vm = T ˜ y ) 是 Tm 的一组特征对, 即 Tm y = λy ˜ 且 ∥y ∥2 = 1. 则我们成 [v0 , v1 , . . . , vm−1 ]. 记 Tm = Vm AVm , 设 (λ, ˜ 是 A 的一个 Ritz 值, x λ ˜ = Vm y 是 A 的一个 Ritz 向量. Rayleigh-Ritz 算法 就是用 Ritz 值和 Ritz 向量来近似 A 的特征值与特征向量. 算法 7.2 Rayleigh Ritz procedure
T Tm = Vm AVm
α1 β1 β ... 1 = .. .
第六章 非对称特征值问题的计算方法
第六章非对称特征值问题的计算方法这一章我们来介绍矩阵特征值和特征向量的计算方法。
大家知道，求一个矩阵的特征值问题实质上是求一个多项式的根的问题。
而数学上已经证明：5阶以上的多项式的根一般不能用有限次运算求得。
因此，矩阵特征值的计算方法本质上都是迭代的。
目前，已有不少非常成熟的数值方法用于计算矩阵的全部或部分特征值和特征向量。
而全面系统地介绍所有这些重要的数值方法，会远远超出我们这门课程的范围，因而这里我们仅介绍几类最常用的基本方法。
6·1 基本概念和性质设，一个复数称作是的一个特征值是指存在非零向量使得．复向量称作是关于特征值的特征向量．复数是Ａ的一个特征值的充分必要条件是，因而称多项式为Ａ的特征多项式．显然阶矩阵的特征多项式是一个首项系数为１的次多项式，而且有个特征值．记Ａ的特征值的全体为，通常称之为Ａ的谱集．假定有如下分解其中，，则称为的代数重数（简称重数）；而称数为的几何重数。
易知如果，则称是A的一个单特征值；否则，称是A的一个重特征值。
对于一个特征值，如果，则称其是A的一个半单特征值。
显然，单特征值必是半单特征值。
如果A的所有特征值都是半单的，则称A是非亏损的。
容易证明，A是非亏损的充分必要条件是A有个线性无关的特征向量（即A是可对角化矩阵）。
设．若存在非奇异阵使得则称Ａ与Ｂ是相似的，而上述变换称作是相似变换．若Ａ与Ｂ相似，则Ａ和Ｂ有相同的特征值，而且是Ａ的一特征向量的充分必要条件是是Ｂ的一个特征向量．这样，如果我们能够找到一个适当的变换矩阵，使Ｂ的特征值和特征向量易于求得，则我们就可立即得到Ａ的特征值和相应的特征向量．很多计算矩阵特征值和特征向量的方法正是基于这一基本思想而得到的．从理论上讲，利用相似变换可以将一个矩阵约化成的最简单形式是Jordan标准型，即有定理６·１·１（Jordan分解定理）设有个互不相同的特征值，其重数分别为，则必存在一个非奇异矩阵使得其中并且除了的排列次序可以改变外是唯一确定的。
矩阵的奇异值分解
非对称矩阵分解
非对称矩阵的特征值分解
对于非对称矩阵，其特征值可能是复数，因此不能直接进行实数域上的特征值分 解。但是，可以通过引入复数域上的特征向量和特征值，将非对称矩阵分解为复 数域上的特征向量矩阵和特征值矩阵的乘积。
非对称矩阵的奇异值分解
对于任意实非对称矩阵，都可以进行奇异值分解，即$A = USigma V^T$，其中 $U$和$V$是正交矩阵，$Sigma$是对角矩阵，对角线上的元素是$A$的奇异值。 非对称矩阵的奇异值分解在数据降维、图像处理等领域有广泛应用。
通信信道均衡策略
信道均衡原理
在通信系统中，信道均衡是一种用于补偿信道失真、提高通信质量的技术。奇异值分解可用于信道均衡中的信道 矩阵分解，从而实现对信道特性的准确估计和补偿。
基于奇异值分解的信道均衡算法
利用奇异值分解对信道矩阵进行分解，根据得到的奇异值和左右奇异向量设计均衡器，实现对信道失真的有效补 偿。
3
个性化推荐
结合用户历史行为数据和相似度计算结果，为用 户推荐与其兴趣相似的物品或服务。
05 奇异值分解在信号处理和 通信中应用
信号降噪与重构技术
基于奇异值分解的信号降噪
利用奇异值分解能够将信号分解为多个独立成分的特点，对含噪信号进行降噪处理，提高信号质量。
信号重构技术
通过保留奇异值分解得到的主要成分，对信号进行重构，实现信号的压缩和恢复。
特殊类型矩阵分解
正定矩阵的Cholesky分解
对于正定矩阵，可以进行Cholesky分解，即$A = LL^T$，其中$L$是下三角 矩阵。Cholesky分解在求解线性方程组、最优化问题等场景中具有重要作用。
稀疏矩阵的分解
对于稀疏矩阵，可以采用特定的分解方法，如LU分解、QR分解等，以便更有效 地进行存储和计算。这些分解方法在数值计算、科学计算等领域有广泛应用。
非对称特征值问题-基本概念
2.0003 0.8171 3.6516 , A25 0.0002 0.3336 3.7 263 0.7456 2.3333
2.0002 2.9999 2.2374 。 A26 0.0001 2.9996 2.23 66 2.2349 0.9998
我们称这种分块上三交阵为矩阵A的Schur分块上三角阵，
为了节省运算工作量，实用的方法是先将矩阵约化为与Schur分块上三角
阵相似的Hessenberg形。
（bij） Rnn的次对角线以下的元素bij =0 定义 若矩阵B
(i>j+1), 则称B为上Hessenberg矩阵，简称Hessenberg形，即
0.283205888 A3 0.157002612 0 0.287735078 A4 0.036401350 0
Pn2，则定理得证。
推论 对于任何对称矩阵A Rnn , 存在正交阵Q，使得B QT AQ为 对称三对角阵。
4.2
QR算法及其收敛性
QR算法可以用来求任意的非奇异矩阵的全部特征值，是目前计算这类问 题最有效的方法之一。它基于对任何实的非奇异矩阵都可以分解为正交阵Q和 上三角矩阵R的乘积。
设向量w Rn , w 2 1, 则称
H (w) I 2wwT
为（初等）镜面反射矩阵或Householder变换矩阵。
Houholder矩阵H=H（w）有如下性质：
(1) (2)
H是对称正交阵，即H H T H 1。
对任何x Rn , 记y Hx, 有 y 2 x 2
1 B
n 1
非对称广义特征值问题的并行同伦-行列式算法
非对称广义特征值问题的并行同伦-行列式算法非对称广义特征值问题是一个经典的数值线性代数问题，涉及到计算矩阵的广义特征值以及对应的特征向量。
在实际应用中，这个问题的规模往往很大，需要使用高效的并行算法来加速计算过程。
本文将介绍一种并行同伦-行列式算法来求解非对称广义特征值问题。
一、问题描述给定一个n阶矩阵A，广义特征值问题可以表示为Ax=λBx，其中B是一个非奇异的n阶对称正定矩阵，x是非零向量，λ是实数。
求解这个问题可以得到广义特征值λ和对应的特征向量x。
二、算法思想并行同伦-行列式算法是一种基于行列式计算的方法，通过计算矩阵行列式的变化来求解特征值问题。
算法的基本思路是通过同伦方法将原始的广义特征值问题转化为一系列的标准特征值问题（特征值问题中的B矩阵为单位阵）。
具体而言，通过引入一个可逆矩阵Q，将原始问题转化为：AQy=λy其中y=Qx，y是新的特征向量，Q是可逆矩阵。
对于新的特征值问题，可以使用标准的特征值求解算法来求解。
将得到的特征值记为μ，对应的特征向量为y，则原始特征值问题的解可以表示为x=Qy。
为了求解标准特征值问题，可以使用行列式计算的方法。
对于给定的矩阵C，可以通过计算其行列式来求解标准特征值。
并行同伦-行列式算法将利用这一性质来求解广义特征值问题。
三、算法流程并行同伦-行列式算法的基本流程如下：1.随机生成一个可逆矩阵Q；2.计算新的特征值问题AQy=μy，其中μ是一个待求解的特征值；3.将特征值问题转化为求解矩阵行列式的问题，即计算，AQ-μI，=0；4.采用并行行列式计算算法，对每个线程分配不同的行片段，使用LU分解方法计算行列式；5.对得到的特征值μ，使用标准特征值求解方法求解特征向量y；6.将得到的特征向量y转化为原始广义特征值问题的特征向量x，即x=Qy。
四、算法优势并行同伦-行列式算法相比于传统的解特征值问题的方法具有以下优势：1.并行计算：算法采用并行行列式计算算法，可以充分发挥多核计算机和分布式系统的计算能力，加速求解过程；2.可扩展性：算法可以适应不同规模的问题，只需要调整行片段的划分方式即可，具有较好的可扩展性；3.数值稳定性：算法使用LU分解方法计算行列式，避免了直接计算行列式的数值稳定性问题，能够在较大规模的问题上保持数值稳定性；4.适用范围广：算法适用于一般的非对称广义特征值问题，可以满足不同应用场景的需求。
4 非对称特征值问题
则称 λ 为 A 的特征值， x 为 A 对应于 λ 的（右）特征向量， y 为 A 对应于 λ 的左特征向 量。 关于特征值的几个说明： • 只有当 A 是方阵时，才能讨论特征值与特征向量； • 实矩阵的特征值与特征向量有可能是复的； • n 阶矩阵总是存在 n 个特征值（其中可能有相等的） ；
4.2 预备知识 • 特征值的代数重数与几何重数; • 相似变换不改变矩阵的特征值； 定义 4.3 设 A ∈ Rn×n 。若存在一个非奇异矩阵 X ∈ Cn×n ，使得 X −1 AX = Λ,
4.2
预备知识
4.2.1 特征值与特征向量
定义 4.1 设 A ∈ Rn×n ，称 p(λ) = det(A − λI ) 为 A 的特征多项式， p(λ) = 0 的根是 A 的特征 值。 定义 4.2 设 A ∈ Rn×n 。若存在 λ ∈ C 和非零向量 x, y ∈ Cn ，满足 Ax = λ x, y∗ A = λy∗ ,
4.2 预备知识
·4·
4.2.4 Schur 标准型
定理 4.5 设 A ∈ Cn×n ，则存在一个酉矩阵 U ∈ Cn×n 使得 λ1 b12 · · · b1n 0 λ b 2 2 n ∆ ∗ = R, U AU = . . . . . . . . . 0 · · · 0 λn 其中 λ1 , λ2 , . . . , λn 是 A 的特征值。 证明 我们对 n 使用归纳法证明。 当 n = 1 时，结论显然成立。 假设结论对所有阶数不超过 n − 1 的矩阵都成立。考虑 n 阶矩阵 A ∈ Cn×n 。设 λ 是 A 的一个特征值，其对应的特征向量为 x ∈ Cn ，且 ∥ x∥2 = 1。构造一个以 x 为第一列的酉矩 ˜ ]。于是 阵 X = [ x, X ˜ x∗ x∗ Ax x∗ AX ∗ ˜] = . X AX = ˜ ∗ A [ x, X ˜∗ ∗ ˜ AX ˜ X X Ax X ˜ ∗ Ax = X ˜ ∗ · λ x = λX ˜ ∗ x = 0，故 因为 x∗ Ax = x∗ · λ x = λ x∗ x = λ，且 X ˜ ˜ 12 λ x∗ A X λ A ∆ ∗ X AX = = . ∗ ˜ ˜ ˜ 0 X AX 0 A22 ˜ ∈ C(n−1)×(n−1) 使得 U ˜ ∗ A22 U ˜ =R ˜ ∈ C(n−1)×(n−1) 是一个上三角 根据归纳假设，存在酉矩阵 U 矩阵。令 1 0 U = X . ˜ 0 U 则有 1 U AU = 0 1 = 0 λ = 0 λ = 0
非对称博弈的表示和求解
两个局 中人 的结局 １ ；如果局 中人 ２选择了 “ 进入 ” ， 那么 博弈进 入博弈树右边 的一 支，开始博弈第二个阶
段的决策 ，局中人 １和局中人 ２将 同时选择一个 该产
５ 研究 开 发 Ｒ ｓａｃ ｄＤ ｖ ｌ ｍｅｔ Ｏ ｅｅｒｈａ ｅｅｏ ｎ ｎ ｐ
能够 以 自然 的表示形式来描述 复杂的博弈并将变量级
题 。给 出了该模型详细的求解算法，并使用一个实例来加 以说 明。
关键 词：博弈模型 ；多． ｇｎ 影响 图；非对称多． ｇ ｎ 影响图；策 略；效用 Ａ ｅｔ Ａ ｅｔ
Ｒｅ ｅ ｅ ａ ｏ ｎ ｌ ｔｏ ｆ ｙ ｍ ｅ ｒ ｃ Ｇａ ｅ ｐｒ ｓ ｎｔ ｔ ｎ ａ ｄ Ｓｏ ｕ ｎ ｏ Ａｓ ｍ ｉ ｉ ｔ ｉ ｍ ｓ
一
的一种新 的图形博弈模型一非对称多． ｇｎ Ａ ｅｔ影响图，
并给 出具体 的算法求解 。
些更为简洁有 效的博弈表示模型 。 ａ ｒ 于 ２ ０ ＰＬ ａ ０ ０ Ｍｕ
年 提 出了博弈 网，是一种更加结构化和更加压缩 的图
形 表示模 型 。Ｍ．ｅｒｓ等于 ２ ０ Ｋ ａｎ ０ １年首先提出 了用图 形 博弈模 型来描述含 多个 Ａｇｎｓ的静态 完全信 息博 ｅｔ 弈 。Ｋｏｌ ｌｒ和 Ｍｉ ｈ给 出的多． ｇ ｎ 影 响图是对 贝叶 ｅ ｌ ｃ Ａ ｅｔ 斯 网和 影响 图的扩展 ，它能够表 示最复杂的动态不完 全信息博弈 。但 多． ｇ ｎ Ａ ｅｔ影响图存在这样一个 问题 ： 当博弈是 非对称结构 的时候 ，博弈树 能 以很 自然 的方 式将非对称 性简洁的表 示出来 ，而多． ｅｔ 响图表 Ａｇｎ 影 示非对称 性却非常 的困难，一 个简 单的非对称博弈都 有可能导致表 示 的爆炸 。针对上述 问题 ，我们借鉴 了 单－ ｅ ｔ Ａｇ ｎ 决策 系统中对 非对称 性表示 的方法 ，将 非对
段的决策 ，局中人 １和局中人 ２将 同时选择一个 该产
５ 研究 开 发 Ｒ ｓａｃ ｄＤ ｖ ｌ ｍｅｔ Ｏ ｅｅｒｈａ ｅｅｏ ｎ ｎ ｐ
能够 以 自然 的表示形式来描述 复杂的博弈并将变量级
题 。给 出了该模型详细的求解算法，并使用一个实例来加 以说 明。
关键 词：博弈模型 ；多． ｇｎ 影响 图；非对称多． ｇ ｎ 影响图；策 略；效用 Ａ ｅｔ Ａ ｅｔ
Ｒｅ ｅ ｅ ａ ｏ ｎ ｌ ｔｏ ｆ ｙ ｍ ｅ ｒ ｃ Ｇａ ｅ ｐｒ ｓ ｎｔ ｔ ｎ ａ ｄ Ｓｏ ｕ ｎ ｏ Ａｓ ｍ ｉ ｉ ｔ ｉ ｍ ｓ
一
的一种新 的图形博弈模型一非对称多． ｇｎ Ａ ｅｔ影响图，
并给 出具体 的算法求解 。
些更为简洁有 效的博弈表示模型 。 ａ ｒ 于 ２ ０ ＰＬ ａ ０ ０ Ｍｕ
年 提 出了博弈 网，是一种更加结构化和更加压缩 的图
形 表示模 型 。Ｍ．ｅｒｓ等于 ２ ０ Ｋ ａｎ ０ １年首先提出 了用图 形 博弈模 型来描述含 多个 Ａｇｎｓ的静态 完全信 息博 ｅｔ 弈 。Ｋｏｌ ｌｒ和 Ｍｉ ｈ给 出的多． ｇ ｎ 影 响图是对 贝叶 ｅ ｌ ｃ Ａ ｅｔ 斯 网和 影响 图的扩展 ，它能够表 示最复杂的动态不完 全信息博弈 。但 多． ｇ ｎ Ａ ｅｔ影响图存在这样一个 问题 ： 当博弈是 非对称结构 的时候 ，博弈树 能 以很 自然 的方 式将非对称 性简洁的表 示出来 ，而多． ｅｔ 响图表 Ａｇｎ 影 示非对称 性却非常 的困难，一 个简 单的非对称博弈都 有可能导致表 示 的爆炸 。针对上述 问题 ，我们借鉴 了 单－ ｅ ｔ Ａｇ ｎ 决策 系统中对 非对称 性表示 的方法 ，将 非对
非对称特征值问题 6-3剖析
例 设A∈R4×4有特征值
i 15 j ( j 1,2,3,4),
比值r=|λ2/λ1|≈0.9. 做变换 B=A-12I (p=12),
则B的特征值为
1 2, 2 1, 3 0, 4 1.
应用幂法计算B的主特征值μ1的收敛速度的比值为
2 2 p 0.5 2 0.9.
1 1 p
我们将瑞利商应用到用幂法计算实对称矩阵A的主特征值的 加速上来.
定理 设A∈Rn×n为对称矩阵，特征值满足
1 2 n1 n ,
对应的特征向量vi满足(vi, vj)=δij (单位正交向量) ，应用幂法
公式计算A的主特征值1，则
R xk
Axk , xk xk , xk
1
2 1
2k
由此可见，R(xk) 更快的收敛于1.
证明
xk
Ak x0 max( Ak x0 )
,
yk 1
Axk
Ak x0 max( Ak
x0
)
,
得
R(xk )
( Axk , xk ) ( xk , xk )
( Ak1x0, Ak x0 ) ( Ak x0, Ak x0 )
n
a2 2k 1 jj
j 1
pI)1存在，则可以用反幂法求(A pI)1的
主特征根 1/(i p ) ，收敛将非常快。
2、对称矩阵的Rayleigh商加速
设A∈Rn×n为对称矩阵，称
R( x) ( Ax, x) . (x, x)
为向量x的瑞利商，其中(x, x)=xTx为内积. 由定理11知道，
实对称矩阵A的特征值1及n可用瑞利商的极限值表示. 下面
第三节 加速方法
1、原点平移法
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
改进: 与反迭代相结合, 能起到很好的加速效果 8/78
2 反迭代
用幂迭代求 A−1 的模最小特征值, 这就是反迭代
算法 2.1 反迭代算法 (Inverse Iteration)
1: Choose a scalar σ and an initial vector x(0) with ∥x(0)∥2 = 1 2: set k = 0
Numerical Methods for Solving Large Scale Eigenvalue Problems, 2018. （该课程的主页）
1 幂迭代
幂迭代 是计算特征值和特征向量的一种简单易用的算法. 虽然简单, 但它却建立了计算特征值和特征向量的算法的一个基本框架.
算法 1.1 幂迭代算法 (Power Iteration)
• 幂迭代只能用于计算 (模) 最大的特征值和其相应的特征向量. • 当 |λ2/λ1| 接近于 1 时, 收敛速度会非常慢. • 如果模最大的特征值是一对共轭复数, 则幂迭代可能会失效.
7/78
加速技巧: 位移策略
出发点: 加快幂迭代算法的收敛速度 ⇐⇒ 尽可能地减小 |λ2/λ1| 位移策略 (shift): 计算 A − σI 的特征值
% 内积
7: k = k + 1
8: end while
4/78
幂迭代的收敛性
假设 1: A ∈ Rn×n 可对角化, 即 A = V ΛV −1, 其中 Λ = diag(λ1, . . . , λn), V = [v1, . . . , vn] ∈ Cn×n, ∥vi∥2 = 1
假设 2: |λ1| > |λ2| ≥ |λ3| ≥ · · · ≥ |λn|.
† 理论上, 反迭代 + 位移策略, 可以计算矩阵的任意一个特征值
优点: • 若 σ 与某个特征值 λk 非常接近, 则反迭代算法的收敛速度非常快. • 只要选取合适的位移 σ, 就可以计算 A 的任意一个特征值.
我们称 σ 为位移 (shift), 满足
(1) λ1 − σ 是 A − σI 的模最大的特征值;
(2) max
2≤i≤n
λi − σ λ1 − σ
尽可能地小.
其中第一个条件保证最后所求得的特征值是我们所要的, 第二个条件用
于加快幂迭代的收敛速度.
缺点: (1) σ 很难选取; (2) 加速效果有限
本讲主要讨论如何计算 A 的全部特征值和/或特征向量.
主要介绍以下方法:
• 幂迭代方法 • 反迭代方法（位移策略，Rayleigh 商迭代） • 正交迭代方法 • QR 方法
2/78
关于稠密矩阵特征值计算的参考资料有：
• J. H. Wilkinson, The Algebraic Eigenvalue Problem, 1965 • B. N. ParlProblem, 2nd Eds., 1998 • G. W. Stewart, Matrix Algorithms, Vol II: Eigensystems, 2001 • G. H. Golub and C. F. Van Loan, Matrix Computations, 2013 • P. Arbenz, The course 252-0504-00 G,
5/78
于是我们可得
Ak x(0)
=
(V
ΛV −1)kV
α1 α...2
=
V Λk
α1 α...2
=
V
α1λk1
α2λk2 ...
αn
αn
1
=
α1λk1 V
α2 α1
αn
( λ2
λ1 (...
λn
1: Choose an initial guess x(0) with ∥x(0)∥2 = 1 2: set k = 0
3: while not convergence do
4:
y(k+1) = Ax(k)
5:
x(k+1) = y(k+1)/∥y(k+1)∥2
6:
µk+1 = (x(k+1), Ax(k+1))
α1 λ1
α1 λ1
k = 0, 1, 2, . . .
收敛到 e1 = [1, 0, . . . , 0]⊺. 所以向量 x(k) = Akx(0)/∥Akx(0)∥2 收敛到 ±v1, 即 λ1 的特征向量. 而 µk = (x(k))∗Ax(k) 则收敛到 v1∗Av1 = λ1.
† 幂迭代的收敛快慢取决于 |λ2/λ1| 的大小, |λ2/λ1| 越小, 收敛越快.
)k )k
.
α1 λ1
αnλkn
又 |λi/λ1| < 1, i = 2, 3, . . . , n, 所以
lim ( λi )k = 0, i = 2, 3, . . . , n. k→∞ λ1
6/78
故当 k 趋向于无穷大时, 向量
[ 1,
α2
( λ2 )k ,
...,
αn
( λn )k]⊺ ,
由于 V 的列向量组构成 Cn 的一组基, 因此 x(0) 可表示为 x(0) = α1v1 + α2v2 + · · · + αnvn = V [α1, α2, . . . , αn]⊺.
我们假定 α1 ̸= 0, 即 x(0) 不属于 span{v2, v3, . . . , vn} (由于 x(0) 是随机选取的, 从概率意义上讲, 这个假设通常是成立的).
第四讲 非对称特征值问题
1 幂迭代 2 反迭代 3 正交迭代 4 QR 迭代 5 带位移的隐式 QR 迭代 6 特征向量的计算 7 广义特征值问题 8 应用：多项式求根
非对称矩阵特征值/特征向量的计算
基本约定 1： A ∈ Rn×n 、 非对称 、 稠密 基本约定 2： |λ1| ≥ |λ2| ≥ · · · ≥ |λn| ≥ 0
3: while not convergence do
4:
y(k+1) = (A − σI)−1x(k)
5:
x(k+1) = y(k+1)/∥y(k+1)∥2
6:
µk+1 = (x(k+1), Ax(k+1))
7: σ = µk+1, k = k + 1
8: end while
显然: µk 收敛到距离 σ 最近的特征值, x(k) 收敛到对应的特征向量 9/78
2 反迭代
用幂迭代求 A−1 的模最小特征值, 这就是反迭代
算法 2.1 反迭代算法 (Inverse Iteration)
1: Choose a scalar σ and an initial vector x(0) with ∥x(0)∥2 = 1 2: set k = 0
Numerical Methods for Solving Large Scale Eigenvalue Problems, 2018. （该课程的主页）
1 幂迭代
幂迭代 是计算特征值和特征向量的一种简单易用的算法. 虽然简单, 但它却建立了计算特征值和特征向量的算法的一个基本框架.
算法 1.1 幂迭代算法 (Power Iteration)
• 幂迭代只能用于计算 (模) 最大的特征值和其相应的特征向量. • 当 |λ2/λ1| 接近于 1 时, 收敛速度会非常慢. • 如果模最大的特征值是一对共轭复数, 则幂迭代可能会失效.
7/78
加速技巧: 位移策略
出发点: 加快幂迭代算法的收敛速度 ⇐⇒ 尽可能地减小 |λ2/λ1| 位移策略 (shift): 计算 A − σI 的特征值
% 内积
7: k = k + 1
8: end while
4/78
幂迭代的收敛性
假设 1: A ∈ Rn×n 可对角化, 即 A = V ΛV −1, 其中 Λ = diag(λ1, . . . , λn), V = [v1, . . . , vn] ∈ Cn×n, ∥vi∥2 = 1
假设 2: |λ1| > |λ2| ≥ |λ3| ≥ · · · ≥ |λn|.
† 理论上, 反迭代 + 位移策略, 可以计算矩阵的任意一个特征值
优点: • 若 σ 与某个特征值 λk 非常接近, 则反迭代算法的收敛速度非常快. • 只要选取合适的位移 σ, 就可以计算 A 的任意一个特征值.
我们称 σ 为位移 (shift), 满足
(1) λ1 − σ 是 A − σI 的模最大的特征值;
(2) max
2≤i≤n
λi − σ λ1 − σ
尽可能地小.
其中第一个条件保证最后所求得的特征值是我们所要的, 第二个条件用
于加快幂迭代的收敛速度.
缺点: (1) σ 很难选取; (2) 加速效果有限
本讲主要讨论如何计算 A 的全部特征值和/或特征向量.
主要介绍以下方法:
• 幂迭代方法 • 反迭代方法（位移策略，Rayleigh 商迭代） • 正交迭代方法 • QR 方法
2/78
关于稠密矩阵特征值计算的参考资料有：
• J. H. Wilkinson, The Algebraic Eigenvalue Problem, 1965 • B. N. ParlProblem, 2nd Eds., 1998 • G. W. Stewart, Matrix Algorithms, Vol II: Eigensystems, 2001 • G. H. Golub and C. F. Van Loan, Matrix Computations, 2013 • P. Arbenz, The course 252-0504-00 G,
5/78
于是我们可得
Ak x(0)
=
(V
ΛV −1)kV
α1 α...2
=
V Λk
α1 α...2
=
V
α1λk1
α2λk2 ...
αn
αn
1
=
α1λk1 V
α2 α1
αn
( λ2
λ1 (...
λn
1: Choose an initial guess x(0) with ∥x(0)∥2 = 1 2: set k = 0
3: while not convergence do
4:
y(k+1) = Ax(k)
5:
x(k+1) = y(k+1)/∥y(k+1)∥2
6:
µk+1 = (x(k+1), Ax(k+1))
α1 λ1
α1 λ1
k = 0, 1, 2, . . .
收敛到 e1 = [1, 0, . . . , 0]⊺. 所以向量 x(k) = Akx(0)/∥Akx(0)∥2 收敛到 ±v1, 即 λ1 的特征向量. 而 µk = (x(k))∗Ax(k) 则收敛到 v1∗Av1 = λ1.
† 幂迭代的收敛快慢取决于 |λ2/λ1| 的大小, |λ2/λ1| 越小, 收敛越快.
)k )k
.
α1 λ1
αnλkn
又 |λi/λ1| < 1, i = 2, 3, . . . , n, 所以
lim ( λi )k = 0, i = 2, 3, . . . , n. k→∞ λ1
6/78
故当 k 趋向于无穷大时, 向量
[ 1,
α2
( λ2 )k ,
...,
αn
( λn )k]⊺ ,
由于 V 的列向量组构成 Cn 的一组基, 因此 x(0) 可表示为 x(0) = α1v1 + α2v2 + · · · + αnvn = V [α1, α2, . . . , αn]⊺.
我们假定 α1 ̸= 0, 即 x(0) 不属于 span{v2, v3, . . . , vn} (由于 x(0) 是随机选取的, 从概率意义上讲, 这个假设通常是成立的).
第四讲 非对称特征值问题
1 幂迭代 2 反迭代 3 正交迭代 4 QR 迭代 5 带位移的隐式 QR 迭代 6 特征向量的计算 7 广义特征值问题 8 应用：多项式求根
非对称矩阵特征值/特征向量的计算
基本约定 1： A ∈ Rn×n 、 非对称 、 稠密 基本约定 2： |λ1| ≥ |λ2| ≥ · · · ≥ |λn| ≥ 0
3: while not convergence do
4:
y(k+1) = (A − σI)−1x(k)
5:
x(k+1) = y(k+1)/∥y(k+1)∥2
6:
µk+1 = (x(k+1), Ax(k+1))
7: σ = µk+1, k = k + 1
8: end while
显然: µk 收敛到距离 σ 最近的特征值, x(k) 收敛到对应的特征向量 9/78