矩阵论-第五章-广义逆及最小二乘

1< i ≤ r j < i,1 < i ≤ r
更一般的有 uiH a j = 0 将 u1 , u2,
(5.1-3)
, ur 扩充为 C m 的一个酉交基，设为
u1 , u2,
, ur , ur +1 ,
um
则显然有 一般的有 记
uiH ui = uiH ai = 0
niH a j = 0
i >1
广义逆或 moore-Penrose 逆。 1) AA+ A = A 2) A+ AA+ = A+ 3) ( AA+ ) H = AA+ 4) ( A+ A) H = A+ A (5.2-1) (5.2-2) (5.2-3) (5.2-4)
从定义中可以看到， 若 A 是可逆阵 （此时自然有 m = n ） ， 则 A−1 是 满足这四个方程的，这就是说 A+ 包括了 A−1 这个特例。(3)(4)两个方 程，说明了要求 AA+ 和 A+ A 都是 H 阵。在实空间中，自然就要求其成
λr > 0
(5.1-11)
H ( D −1 ) H VrH Δ r Δ rVr D −1
记
U r = Δ rVr D −1
则由上式可知 U r 是 r 阶酉交阵。 由(5.1-11)式有 令
U rH Δ rVr = D
⎛ Vr 0 ⎞ V2 = ⎜ ⎟ ⎝ 0 In−r ⎠
(5.1-12)
⎛U r 0 ⎞ U2 = ⎜ ⎟ ⎝ 0 I m −r ⎠
注意到
H Δr 使 H 阵，且正定，故有 Vr (r × r )
Vr = I r ，能使
⎛ λ1 ⎜ λ2 H H Vr Δ r Δ rVr = ⎜ ⎜ ⎜ ⎝
⎞ ⎟ ⎟ ⎟ ⎟ λr ⎠
= [diag ( λ1 , λ2 ,
λr )]2
(5.1-10)
= D2
其中有 显然有
λ1 ≥ λ2 ≥
则 使 其中 而
∃U (m × m),V (n × n),U HU = I m ,V HV = I ⎛ D 0⎞ ∈ R m×n U H AV = ⎜ ⎟ ⎝0 0⎠
D = diag ( λ1 , λ2 , , λr )
(5.1-8) (5.1-9)
λ1 ≥ λ2 ≥
≥ λr > 0
是 AH A 的非零特征值。
Ax = b, A ∈ C m×n ; x ∈ C n , b ∈ C n
有解时，是否有矩阵 G ，能将解表成 Gb 。在下一节中，再把解的含 义推广，使得任一方程组都有“解” ，然后在统一的观点下，将“解” 表出。 尽管近二三十年来，对广义逆的研究已经相当深入。出于应用上 的需要，有各种广义逆，但是我们这里只着重讨论最主要而常见的一 种 A+ ，至于其他一些广义逆，我们将出一些于本章习题中，有兴趣 的读者不妨对之作一点简单的研讨。 定义 (Penrose) A ∈ C m×n ,则满足下列四个方程的 A+ ， 称为 A 的
∃U (m × n),V (n × n),U HU = I m ,V HV = I n ，使 ⎛Δ 0⎞ U H AV = ⎜ r ⎟ (m × n) ⎝0 0⎠
其中 Δ r 为 r 阶非异下三角阵。 证明： A 的秩为 r ，故 A 有 r 个线性无关列，不妨设前 r 个列是 线性无关的，因为倘若非如此，则经过一系列的列交换，可以把它们 调到前 r 列，这无异于对 A 乘上某一排列阵，排列阵是酉交阵，而酉 交阵的积仍是酉交阵，故不是普遍性。 记 A 为 A = (a1 , a2,
使 证明：
A = HK
(5.1-7)
⎛ Δ 0⎞ ∃U ,V ,U H AV = ⎜ r ⎟ ⎝0 0⎠
r (Δ r ) = r
由此有
⎛ Δ 0⎞ A = U ⎜ r ⎟V H ⎝0 0⎠ ⎛ Δ 0 ⎞⎛ K ⎞ = (U1 ,U 2 ) ⎜ r ⎟ ⎜ ' ⎟ ⎝ 0 0 ⎠⎝ K ⎠
= U1Δ r K = HK
于是
BV = ( Δ r ,0 )
( r × n)
而 Δ r 是非异下三角镇。
⎛ R, R ' ⎞ ⎛ Δr 0 ⎞ ⎛B⎞ 故有 U AV = ⎜ V = V = ⎟ ⎜ ⎟ ⎜0 ⎟ ⎝ ⎠ ⎝0 0⎠ ⎝ 0, 0 ⎠
H
(证毕)
推论
(满秩分解) A ∈ C m×n ，秩为 r ，则有
H ∈ C m×n , K ∈ C r× x , r ( H ) = r ( K ) = r
(5.1-4)
i > j ,1 < i ≤ m
U = (u1 , u2 ,
ur , ur +1
um )
则 U 是酉交阵，且
⎛ u1H ⎞ ⎜ H ⎟ ⎜ u2 ⎟ ⎜ ⎟ ⎜ ⎟ H H ⎜ U A = ur ⎟ ( a1 , a2 , ⎜ H ⎟ ⎜ ur +1 ⎟ ⎜ ⎟ ⎜ ⎟ ⎜uH ⎟ ⎝ m ⎠
显然有
r(H ) = r(K ) = r
(证毕)
酉交分解定理，秩说明了 Δ r 是非异下三角镇，至于它的元，特 别是对角线上的元，除了知道是非零元以外，就谈不出其他性质了。 然而利用酉交分解，可以进一步作出有特征的分解，这就是奇值分解 (Singular Value Decomposition)。 定理 5.1.2 (奇值分解) A ∈ C m×n ， r ( A) = r
, ar , ar +1 ,
(5.1-2)
an )
, ar 标准正交化为 , ur
按 Gram-schmidt 正交化法，将 a1 , a2,
u1 , u2,
niH u j = δ ij ，1 ≤ i, j ≤ r
且 ui 是 a1 , a2,
niH u j = 0
, ai 的线性组合，注意到 u1 就是 a1 上的单位向量，故
⎛ u1H a1 , u1H a2 , u1H an ⎞ ⎜ ⎟ H H u a u a 0 ⎜ 2 2 2 n ⎟ an ) = ⎜ ⎟ H H u a u a 0 r r r n ⎜ ⎟ ⎜0 ⎟ 0 ⎝ ⎠
⎛R =⎜ ⎝0
R' ⎞ ⎟ 0 ⎠
( m × n)
(5.1-5)
其中 R 是 r 阶非异上三角镇， R ' 是 r × (n − r ) 型的阵。 记 则
B = ( R, R ' ) ⎛ RH ⎞ B =⎜ ⎜ R' H ⎟ ⎟ ⎝ ⎠
H
( r × n) (n × r )
(5.1-6)
按上述作法，注意此时 B H 是列满秩的，可知酉交阵 V (n × n) ，能使
H ⎛ Δr ⎞ V B =⎜ ⎟, ⎝0 ⎠ H H
(n × r )
H 其中 Δ r 是非异上三角镇。
= AA+
+
(4)同(3)可证。 故 A+ 存在。 唯一性：若 B + 也满足 Penrose 方程，则
B + = B + AB + = B + AA+ AB +
= B + ( AA+ ) H ( AB + ) H = B + A+ H AH B + H AH = B + A+ H ( AB + A) H
0⎞ 0⎟ ⎠
(证毕)
通常称 λi 为 A 的正奇值。这个定理说明了：在酉空间中，任一 矩阵都酉相抵于一个实矩阵，其左上角为 r 阶对角阵， r 为 A 的秩， 这个事实当然是引人注目的。 顺便提一下， 且其对角元式 A 的正奇值。 这些定理在欧式空间中也成立，读者仔细读过证明后，便会了解这句 话的根据。那时把 " H " 换成 "T " 就行了。
证明：按酉交分解定理，有 U1 (m × n) 使 即 故有
H
V1 (n × n) ，
⎛ Δ 0⎞ U1H AV1 = ⎜ r ⎟ ⎝0 0⎠ ⎛ Δ 0⎞ A = U1 ⎜ r ⎟V1H ⎝0 0⎠
H ⎛ Δr 0⎞ H ⎛ Δ r 0 ⎞ H A A = V1 ⎜ ⎟U1 U1 ⎜ ⎟V1 0 0 0 0 ⎝ ⎠ ⎝ ⎠ H ⎛ Δr Δ r 0⎞ H = V1 ⎜ ⎟V1 0⎠ ⎝0
+
⎛D 0⎞ H A =U ⎜ ⎟V 0 0 ⎝ ⎠
D = diag ( λ1 , λ2 ,
λr ), λi > 0, i = 1, 2, r
, 1
D −1 = diag (
1
λ1
,
1
λ2
λr
)
D + = D −1
⎛ D+ 0 ⎞ H n×n A =V ⎜ ⎟ U ∈C ⎝0 0 ⎠
H
H
(5.2-5)
第五章
广义逆及最小二乘解
在应用上见得最频繁的、大约莫过于线性方程组了。作一番调查或 整理一批实验数据，常常归结为一个线性方程组：
Ax = b
然而是否是相容方程呢？倘若不是， 又如何处理呢？最小二乘解是常 见的一种处理方法。其实它不过是最小二乘法的代数形式而已。 广义逆从 1935 年 Moore 提出以后，未得响应。据说： (S.L.Campbell ＆ C.D.Meyer.Jr Generalized Inverses of Linear Transformations 1979 P9)原因之一，可能是他给出的定义，有点晦 涩。其后，1955 年 Penrose 给出了现在大都采用的定义以后，对广 义逆的研究起了影响，三十年来，广义逆无论在理论还是应用上都有 了巨大发展，一直成为了线性代数中不可缺少的内容之一。 为了讨论的顺利进行，我们在第一节中先给出点准备，作出矩 阵的奇值分解。