广义特征值与极大极小原理

第二十一讲 广义特征值与极小极大原理

一、 广义特征值问题

1、定义：设A 、B 为n 阶方阵，若存在数λ，使得方程Ax Bx =λ存在非零解，则称λ为A 相对于B 的广义特征值，x 为A 相对于B 的属于广义特征值λ的特征向量。

● 是标准特征值问题的推广，当B ＝I （单位矩阵）时，广义特征值问题退化为标准特征值问题。 ● 特征向量是非零的 ● 广义特征值的求解

()A B x 0-λ= 或者 ()B

A x 0λ-=

→

特征方程 ()det A B 0-λ=

求得λ后代回原方程Ax Bx =λ可求出x

本课程进一步考虑A 、B 厄米且为正定矩阵的情况。 2、等价表述

（1） B 正定，1B -存在

→1

B A x x

-=λ，广义特征值问题化为了标准

特征值问题，但一般来说，1B A -一般不再是厄米矩阵。 （2） B 正定，存在Cholesky 分解，H B G G =，G 满秩 H A x G G x =λ 令H G x y = 则 ()

1

1

H

G A G

y y --=λ 也成为标准特征值问题。

(

)

1

1

H

G A G

--为厄米矩阵，广义特征值是实数，可以按大小顺序

排列12n λ≤λ≤≤λ ，一定存在一组正交归一的特征向量，即存在

12n y ,y ,y 满足

()

1

1

H

i i G A G

y y --=λ

H i

j ij 1i j y y 0

i j

=?=δ=?≠?

还原为()1

H i i x G y -= (i=1,2, ,n)，则 ()()

H H H

H i

j i

j i

j ij 1

i j y y x G G x x Bx 0

i j

=?===δ=?

≠? （带权正交）

二、 瑞利商

A 、

B 为n 阶厄米矩阵，且B 正定，称()()H

H

x A x R x x 0x Bx

=≠为A

相对于B 的瑞利商。

12n x ,x ,x 线性无关，所以，n

x C

?∈，存在12n a ,a ,a C ∈ ，使

得 n

i

i

i 1

x a x ==

∑

H

n

n n

n

2

H

H

i i i j j j i

j i

i 1j 1i ,j 1

i 1

x Bx a x B a x a a x Bx a ====????

==

=

? ?????

∑∑∑

∑

n

n

n

2

H

H H i i j i

j j i

i j i i

i ,j 1

i ,j 1

i 1

x A x a a x A x a a x Bx a ====

=

λ=

λ∑

∑

∑

∴ ()n

2

i i i 1n

2

i

i 1

a R x a ==λ=

∑

∑

●()1x 0

min R x ≠=λ ()n x 0

max R x ≠=λ

证明：()()()()

()

H

H

H

H

kx A kx x A x R x x Bx

kx B kx =

=

k 为非零常数

可取1k x

=，

kx 1=

∴ ()H

H

x 1

x A x R x x B x

==

（闭区域）

当1x

x =或()i a 0i 2,3,,n == 时，()1R x =λ

i 1λ≥λ ()n

2

i i 11

1n

2

i

i 1

a R x a ==≥λ=λ∑

∑

∴

()1x 0

min R x ≠=λ

另一方面，i n λ≤λ ()n

2

i i 1n

n n

2

i

i 1

a R x a ==≤λ=λ∑

∑

∴ ()n x 0

max R x ≠=λ

[证毕] 当B ＝I 时，标准特征值问题 A x x =λ （H A A =）

12n

H

i j ij

x x λ≤λ≤≤λ??=δ?

则 ()

H

1H

x 0x A x m in

x x

≠=λ

()

H

n H

x 0x Ax max

x x

≠=λ

进一步分析可得

()

12x 0

a 0

m in R x ≠==λ ()

n n 1x 0

a 0

m ax R x -≠==λ

()

12k k 1x 0

a a a 0

m in R x +≠=====λ ()

n n 1n k n k 1x 0

a a a 0

m ax R x ----≠=====λ

定理1.设{}r r 1s L span x ,x ,,x += ()r r 1s +λ≤λ≤≤λ ,则 ()r x 0x L

m in R x ≠∈=λ ()s x 0x L

m ax R x ≠∈=λ

这一结果不便于应用，希望对上述结果进行改造，改造成不依赖于i x 的一种表达方式。

1a 0=和n a 0=的情况均对应于

x 在（n-1）维的子空间内变动，

x 在L 中变动是在一个(s-r+1)维子空间中变化。

一般的，x 在n C 的(n-1)维子空间n 1V -中变动时，

()n 1

2x 0

x V m in R x -≠∈≤λ ()n 1

n 1x 0x V m ax R x --≠∈≥λ

即，对于不同的n 1V -，()R x 的最小值及最大值有可能不同，其中各个最小值中最大者为2λ，各个最大值中的最小者为n 1-λ

()n n 1n 12x 0V C x V m ax m in R x --≠∈∈??

=λ??????

()n n 1n 1n 1x 0V C x V m in m ax R x ---≠∈∈??

=λ??????

定理2. 设k V 是n C 的一个k 维子空间，则

()n

k k n k 1x 0V C x V m ax m in R x -+≠∈∈??

=λ??????

()n k k k x 0V C x V m in m ax R x ≠∈∈??

=λ??????

以上两式称为广义特征值的极小极大原理。 ● B ＝I 时，标准特征值问题同样存在上述关系。

● 矩阵奇异值问题：()()2

H

A A A ??σ=λ??

（非零） ()()

H

H

2

H

2

x

A

A x

A x R x x x

x

=

=

n

k k

2

n k 1

x 0V C x V 2A x m ax m in x -+≠∈∈??σ=??????

n k k

2

k x 0V C x V 2A x m in m ax

x ≠∈∈??

σ=??????