线性变换与最小二乘法

线性变换

定义一个将向量空间V 映射到向量空间W 的映射L ，如果对所有的V ∈21,v v 及所有的标量βα，成立

)()()(2121v v v v L L L βαβα+=+

则称其为线性变换（linear transformation ）．容易得到以下性质：

i.

W v )(00=L ．

ii. 若是标量且n n V ααα,,,,,,,2121 ∈v v v ，则成立

)()()()(22112211n n n n L L L L v v v v v v αααααα+++=+++ ．

iii. 对所有V ∈v ，有)()(v v L L -=-．

每一个n m ⨯矩阵A ，都定义了一个从n R 到m R 的线性变换，其中对每一个n R x ∈都成立

x x A L A =)(

更重要的是，对每一个从n R 到m R 的线性变换，都存在一个n m ⨯矩阵A ，使得

x x A L =)(

定理1 若L 为一个从n R 到m R 的线性变换，则存在一个n m ⨯矩阵A ，对每一个

n R x ∈都成立

x x A L =)(

其中A 的第j 个列向量为)(j j L e a =n ,,j 21=． 证)()(21n ij ,,,A a a a a ==，对于n

R 中任意n n x x x e e e x +++= 2211，有 x a a a a a a e e e x A x x x ,,,x x x L x L x L x L n n n n n n =⎥⎥⎥⎥

⎦

⎤⎢⎢⎢⎢⎣⎡=+++=+++= 212122112211)()()()()(

对于一般的线性空间，有同样的性质．

定理2若][21n ,,,E v v v =和][21m w w w ,,,F =分别是向量空间V 和W 的有序基，则对每一线性变换L ：W V →，存在一个n m ⨯矩阵A ，使得对每一个V ∈v ，有

E F A L ][)]([v v =

其中A 的第j 个列向量F j j L )]([v a =，n ,,j 21=．A 称为L 相对于基E 和F 的表示矩阵

证对于每一个V ∈v ，n v v v v n x x x +++= 2211，x v =E ][

m w w w v m y y y L +++= 2211)(，y v =F L )]([

根据A 的构造有

m j j j j a a a L w w w v m +++= 2211)(，n ,,j 21=．

则

i m

i n j m i m i n j i i w w w v L v v ∑∑∑∑∑∑∑============1i n j n 1j 1111j ij ij j j j j j y )x a ()a (x )(x )x L L 1()(

所以

x y v A L F ==)]([

最小二乘法

最小二乘问题一般可化为一个超定的线性方程组，这种方程一般是不相容的．因此，给定一个n m ⨯的方程b x =A （n m >），一般我们不能期望找到一个向量n R x ∈，恰好能作为方程的解．但可以找到一个向量x ，使得A x “最接近b ”．

定义对于方程b x =A ，其中A 为n m ⨯矩阵（n m >），m R b ∈，对每一个n R x ∈可以定义一个残差

x b x A r -=)( 并用)(-x r x b =A 来描述b 与A x 的间距，目标是寻找使得)(x r 最小化的x

ˆ，即为方程b x =A 的最小二乘解．

若x ˆ为方程b x =A 的最小二乘解，x p ˆA =，则p 就是A 列空间中和b 最接近的向量，p 不仅存在，而且唯一．

定理1令S 是m

R 的一个子空间，对每一个m R b ∈，在S 中存在一个唯一的元素p 和b 最接近，即对任意p y ≠，有 p b y b ->-

并且p 与b 最接近的充要条件是⊥∈-S p b ．

证⊥⊕=S S m R ，m R 中每个元素b 可以唯一的表示为一个和

z p b +=

其中⊥∈∈S S z p 且．若y 为S 中任何其他元素，则S ∈-y p ，故z y p ⊥-)(，所以 2

222y p p b y p p b y b -+-=-+-=- 得到p b y b ->-．特别地，当S ∈b 时，0+=b b ，此时b p z ==,0．

当x ˆ是b x =A 的最小二乘解时，称p 为b 在R (A )上的投影．则)()()(T A N A R r =∈⊥x ，于是得到等价的命题

命题1x

ˆ是b x =A 的最小二乘解，当且仅当)ˆ()(T T x b x A A r A -==0 因此，为求解最小二乘解，我们需要求解方程

b x T T A A A =

此n n ⨯线性方程组称为正规方程组，一般可能有多个解，但由定理1知投影p 是一定的．

定理2若A 是秩为n 的n m ⨯矩阵，则正规方程组

b x T T A A A =

有唯一解

b x

A A A 1T )(ˆ-= 例1

可采用线性或者高次多项式函数拟合．例如采用n 次多项式的最优最小二乘法拟合系数为n c c c ,,10，则对应的方程组为

⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡m n n m m n n y y y c c c x x x x x x 211022

11111 求解对应的正规方程组即可得到最小二乘解．