广义特征值与极大极小原理

第二十一讲 广义特征值与极小极大原理
一、 广义特征值问题
1、定义：设A 、B 为n 阶方阵，若存在数λ，使得方程Ax Bx =λ存在非零解，则称λ为A 相对于B 的广义特征值，x 为A 相对于B 的属于广义特征值λ的特征向量。

● 是标准特征值问题的推广，当B ＝I （单位矩阵）时，广义特征值问题退化为标准特征值问题。

● 特征向量是非零的 ● 广义特征值的求解
()A B x 0-λ= 或者 ()B
A x 0λ-=
→
特征方程 ()det A B 0-λ=
求得λ后代回原方程Ax Bx =λ可求出x
本课程进一步考虑A 、B 厄米且为正定矩阵的情况。

2、等价表述
（1） B 正定，1B -存在
→1
B A x x
-=λ，广义特征值问题化为了标准
特征值问题，但一般来说，1B A -一般不再是厄米矩阵。

（2） B 正定，存在Cholesky 分解，H B G G =，G 满秩 H A x G G x =λ 令H G x y = 则 ()
1
1
H
G A G
y y --=λ 也成为标准特征值问题。

(
)
1
1
H
G A G
--为厄米矩阵，广义特征值是实数，可以按大小顺序
排列12n λ≤λ≤≤λ ，一定存在一组正交归一的特征向量，即存在
12n y ,y ,y 满足
()
1
1
H
i i G A G
y y --=λ
H i
j ij 1i j y y 0
i j
=⎧=δ=⎨≠⎩
还原为()1
H i i x G y -= (i=1,2, ,n)，则 ()()
H H H
H i
j i
j i
j ij 1
i j y y x G G x x Bx 0
i j
=⎧===δ=⎨
≠⎩ （带权正交）
二、 瑞利商
A 、
B 为n 阶厄米矩阵，且B 正定，称()()H
H
x A x R x x 0x Bx
=≠为A
相对于B 的瑞利商。

12n x ,x ,x 线性无关，所以，n
x C
∀∈，存在12n a ,a ,a C ∈ ，使
得 n
i
i
i 1
x a x ==
∑
H
n
n n
n
2
H
H
i i i j j j i
j i
i 1j 1i ,j 1
i 1
x Bx a x B a x a a x Bx a ====⎛⎫⎛⎫
==
=
⎪ ⎪⎝⎭⎝⎭
∑∑∑
∑
n
n
n
2
H
H H i i j i
j j i
i j i i
i ,j 1
i ,j 1
i 1
x A x a a x A x a a x Bx a ====
=
λ=
λ∑
∑
∑
∴ ()n
2
i i i 1n
2
i
i 1
a R x a ==λ=
∑
∑
●()1x 0
min R x ≠=λ ()n x 0
max R x ≠=λ
证明：()()()()
()
H
H
H
H
kx A kx x A x R x x Bx
kx B kx =
=
k 为非零常数
可取1k x
=，
kx 1=
∴ ()H
H
x 1
x A x R x x B x
==
（闭区域）
当1x
x =或()i a 0i 2,3,,n == 时，()1R x =λ
i 1λ≥λ ()n
2
i i 11
1n
2
i
i 1
a R x a ==≥λ=λ∑
∑
∴
()1x 0
min R x ≠=λ
另一方面，i n λ≤λ ()n
2
i i 1n
n n
2
i
i 1
a R x a ==≤λ=λ∑
∑
∴ ()n x 0
max R x ≠=λ
[证毕] 当B ＝I 时，标准特征值问题 A x x =λ （H A A =）
12n
H
i j ij
x x λ≤λ≤≤λ⎧⎨=δ⎩
则 ()
H
1H
x 0x A x m in
x x
≠=λ
()
H
n H
x 0x Ax max
x x
≠=λ
进一步分析可得
()
12x 0
a 0
m in R x ≠==λ ()
n n 1x 0
a 0
m ax R x -≠==λ
()
12k k 1x 0
a a a 0
m in R x +≠=====λ ()
n n 1n k n k 1x 0
a a a 0
m ax R x ----≠=====λ
定理1.设{}r r 1s L span x ,x ,,x += ()r r 1s +λ≤λ≤≤λ ,则 ()r x 0x L
m in R x ≠∈=λ ()s x 0x L
m ax R x ≠∈=λ
这一结果不便于应用，希望对上述结果进行改造，改造成不依赖于i x 的一种表达方式。

1a 0=和n a 0=的情况均对应于
x 在（n-1）维的子空间内变动，
x 在L 中变动是在一个(s-r+1)维子空间中变化。

一般的，x 在n C 的(n-1)维子空间n 1V -中变动时，
()n 1
2x 0
x V m in R x -≠∈≤λ ()n 1
n 1x 0x V m ax R x --≠∈≥λ
即，对于不同的n 1V -，()R x 的最小值及最大值有可能不同，其中各个最小值中最大者为2λ，各个最大值中的最小者为n 1-λ
()n n 1n 12x 0V C x V m ax m in R x --≠∈∈⎡⎤
=λ⎢⎥⎢⎥⎣⎦
()n n 1n 1n 1x 0V C x V m in m ax R x ---≠∈∈⎡⎤
=λ⎢⎥⎢⎥⎣⎦
定理2. 设k V 是n C 的一个k 维子空间，则
()n
k k n k 1x 0V C x V m ax m in R x -+≠∈∈⎡⎤
=λ⎢⎥⎢⎥⎣⎦
()n k k k x 0V C x V m in m ax R x ≠∈∈⎡⎤
=λ⎢⎥⎢⎥⎣⎦
以上两式称为广义特征值的极小极大原理。

● B ＝I 时，标准特征值问题同样存在上述关系。

● 矩阵奇异值问题：()()2
H
A A A ⎡⎤σ=λ⎣⎦
（非零） ()()
H
H
2
H
2
x
A
A x
A x R x x x
x
=
=
n
k k
2
n k 1
x 0V C x V 2A x m ax m in x -+≠∈∈⎡⎤σ=⎢⎥⎢⎥⎣⎦
n k k
2
k x 0V C x V 2A x m in m ax
x ≠∈∈⎡⎤
σ=⎢⎥⎢⎥⎣⎦。