现代数字信号处理及其应用论文——KL变换的应用

Karhunen-Loeve 变换的应用摘要：本文对Karhunen-Loeve 变换的原理进行了说明，重点分析了K-L 变换的性质，结合K-L 变换的性质，对K-L 变换的具体应用进行了展示。

利用K-L 变换在人脸识别、遥感图像特征提取、地震波噪声抑制、数字图像压缩、语音信号增强中的具体利用，深入总结了K-L 变换在模式识别、噪声抑制和数据压缩领域的重要性。

关键字： Karhunen-Loeve 变换 K-L 变换 K-L 展开1、 Karhunen-Loeve 变换定义1.1Karhunen-Loeve 变换的提出在模式识别和图像处理等现实问题中，需要解决的一个主要的问题就是降维，通常我们选择的特征彼此相关，而在识别这些特征时，数据量大且效率低下。

如果我们能减少特征的数量，即减少特征空间的维数，那么我们将以更少的存储和计算复杂度获得更好的准确性。

于是我们需要一种合理的综合性方法，使得原本相关的特征转化为彼此不相关，并在特征量的个数减少的同时，尽量不损失或者稍损失原特征中所包含的信息。

Karhunen-Loeve 变换也常称为主成分变换(PCA)或霍特林变换，就可以简化大维数的数据集合，而且它的协方差矩阵除对角线以外的元素都是零，消除了数据之间的相关性。

所以可以用于信息压缩、图像处理、模式识别等应用中。

Karhunen-Loeve 变换，是以矢量信号X 的协方差矩阵Ф的归一化正交特征矢量q 所构成的正交矩阵Q ，来对该矢量信号X 做正交变换Y=QX ，则称此变换为K-L 变换（K-LT 或KLT ），K-LT 是Karhuner-Loeve Transform 的简称，有的文献资料也写作KLT 。

可见，要实现KLT ，首先要从信号求出其协方差矩阵Ф，再由Ф求出正交矩阵Q 。

Ф的求法与自相关矩阵求法类似。

1.2Karhunen-Loeve 展开及其性质设零均值平稳随机过程u(n)构成的M 维随机向量为u(n),相应的相关矩阵为R ，则向量u(n)可以表示为R 的归一化特征向量M 21q ,q ,q 的线性组合，即iMi i q c n u ∑==1)(，此式称为u(n)的Karhunen-Loeve 展开式，展开式的系数i c 是由内积 )(c i n u q Hi =M ,1,2,i =定义的随机变量，且有{}0E =i c ，{}⎩⎨⎧≠==l i li c c i li ,0,E *λ。

K-L 展开式具有以下四个性质：(1)信号的最佳（压缩）表达：即均方误差最小，与每一维特征j u 对应的本证值i λ，反映了该维特征对表达原空间有效性的大小。

(2)新空间中的特征是互不相关的：[][]ij i j Ti i j Tj u u u xx E δλλ===T i i u c c E ，即变换后的特征向量[]TD 21c ,c ,c C =的二阶矩阵为：[]⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=Λ==d T U U λλλψ000000000000cc E 21t 其中[]D 21u ,u ,u U =为变换阵[]Tx xE =ψ。

（3）表示熵最小：用表示熵来考察用d 维坐标来表示D 维所完成的信息压缩的程度。

考虑展开系数的方差对j λ。

进行归一化。

D j Di ij,,2,1,~1j ==∑=λλλ，使∑==≤≤D j j 11~,1ˆ0λλ，定义熵为∑=-=Dj j j 1R ~log ~H λλ。

（4）总体熵最小：很多情况下，类样本均值中包含了重要的分类消息。

利用均值来代表各类样本设计分类器是最基本的设计方法，为考察用均值代表样本集所造成的不确定性，定义总体熵)]([log p x p E H -=。

1.3Karhunen-Loeve 变换的定义给定N 维随机变量：[]T Nx x x x=x 321 , n R x∈ 。

向量x包含了N 个随机变量，每个随机变量的数学期望表示为：TN i m m m E ) , ,, ()x (m 1x ==。

其中N x m ii ,1,2,i )E( ==。

利用向量x的数学期望，可以得到向量x 的协方差矩阵：))m -x )(m -x E((U Tx x=。

协方差矩阵U 的特征向量kφ对应着其第k 个特征值k λ，则有：)1,,0(U -==N k k k k φλφ。

U 是对称矩阵，所以其特征向量k φ是正交的，即满足：⎩⎨⎧=≠≠=)(,0)(,0T k T k l k l k L L φφφφ。

归一化可以得到单位正交矩阵),,,(110-=ΦN φφφ ，使其满足I T=ΦΦ，则N 个特征向量可以联合起来表示为：),,(111100--=ΦN N U φλφλφλ 。

由于Φ是正交矩阵，因此在上式的两边可以分别左乘TΦ，得到Λ=ΦΦU T ，其中),,(10-=ΛN diag λλ 。

给定一维随机向量X ，可以定义X 的K-L 变换为：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡Φ=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡n Tn x x x y y 2121y 。

即X Y T Φ=，K-L 变换就是将X 的所有分量投影在k φ得到频域映射k y 。

T Φ是K-L 变换矩阵，显然它随着随机向量x中每个成分的变化而改变。

变换后向量Y 的均值为xTT T m X E X E y EΦ=Φ=Φ==)()()(m y ，Y 的协方差矩阵为： ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=ΦΦ=Φ--Φ=Φ--Φ=Φ-ΦΦ-Φ=-Φ-Φ=----------1101111001101101101101100000000),,,(),,,(),,,()))(((()))((()))((()))((()))(((N N N T N T T N T N T T N T N T T T Txx T T x x T TxT T x T T Ty T x T T y y U U U U U m x m x E m x m x E m x m x E m x m x E m y m y E λλλφλφλφλφφφφφφφφφφφφφφφ Y 向量协方差矩阵是一个对角阵，说明Y 向量之间的相关性最小，而X 向量协方差矩阵非对角元素不为零，说明X 向量有较强的相关性。

由于1-)(TΦ=Φ，在K-L 变换两边分别乘以Φ可以得到X ，即X Y TΦΦ=Φ，这就是K-L 反变换。

1.4Karhunen-Loeve 变换的特点 Karhunen-Loeve 变换具有如下特点：（1）去相关特性：K-L 变换后，Y 向量的协方差矩阵是一个对角阵，因而其向量间的相关性最小。

（2）能量集中性：所谓能量集中性，是指对N 维矢量信号进行K-L 变换后，最大的方差集中在前M 个低次分量之中（M<N ）。

（3）最佳特性：K-L 变换是在均方误差测度下，失真最小的一种变换，其失真为被略去的各分量之和。

由于这一特性，K-L 变换被称为最佳变换。

许多其他变换都将K-L 变换作为性能上比较的参考标准。

（4）K-L 变换非常复杂度很高，无快速算法，且变换矩阵随不同的信号样值集合而不同。

这是K-L 变换的一个缺点，是K-L 变换实际应用中的一个很大障碍。

2、Karhunen-Loeve变换的应用－特征提取KL变换被广泛应用于模式识别和图像分析中，是对原波段图像进行波谱信息的线性投影变换，在尽可能不减少信息量的前提下，将原图像的高维多光谱空间的像元亮度值投影到新的低维空间，减少特征空间维数，达到数据压缩、提高信噪比、提取相关信息、降维处理和提取原图像特征信息的目的，并能有效地提取影像信息。

它可使原来多波段图像经变换后提供出一组不相关的图像变量，最前面的主分量具有较大的方差，包含了原始影像的主要信息，所以要集中表达信息，突出图像的某些细部特征，可采用主分量变换来完成。

从几何角度看，K-L变换可以看作是坐标轴的平移和旋转，即将原始坐标系的坐标轴平移、旋转成一组新的正交坐标轴，并按原始数据的方差来排列这些新坐标轴。

下面主要以人脸识别为例，具体说明K-L变换在特征提取中的作用。

2.1K-L变换应用于人脸识别人脸识别就是将已检测到的待识别人脸与数据库中的已知人脸进行比较匹配，得出相关信息，来鉴别该人是谁。

这一过程的核心是选择恰当的人脸表征方式与匹配策略，即选择合适的人脸模式的特征，根据所提取的特征进行匹配。

人脸图像所包含的模式特征十分丰富,它不仅包括一些能直观感觉到的特征，如肤色、发色等颜色特征，脸的轮廓等轮廓特征，用到的更多的是不能感觉，只能通过变换等处理之后才表现出来的特征，如特征脸、小波特征等变换域特征，均值、方差等模板特征。

基于PCA构建特征脸空间是对图像进行K-L变换，以去除样本间的相关性，然后根据特征值的大小选择特征向量。

这种方法首先将人脸图像映射为高维空间的向量，然后应用基于统计的离散K-L变换方法，构造一个各分量互不相关的特征空间，即特征脸空间，再将人脸图像在高维空间中的向量映射到特征脸空间，得到特征系数。

图2.1 人脸特征识别其具体过程如下：(1) 人脸检测，对图像进行预处理。

如图所示。

(2) 用K-L 变换（PCA ）进行降维。

总体散布矩阵为：T M T i i XX Mx x M1))((110i ∑∑-==--=μμ ，其中∑的归一化的本征向量是：M i Xv u i ii ,,2,1,1==λ。

因为矩阵∑的秩最多为M ，所以最多只有M 个本征值和本征向量。

每一个本征向量仍然是一个2N 维向量，即N N ⨯维图像，仍然具有类似于人脸的样子，因此被称作“本征脸”。

按照本征值从大到小排列，M λλλ≥≥≥ 21，并从前向后取对应的本征脸，即构成对原图像的最佳降维表示。

(3) 将待识别人脸投影到新的M 维人脸空间，即用一系列特征脸的线性加权和表示。

此时待识别人脸问题转换为投影系数向量，识别问题转换为分类问题。

最简单的分类是最小距离分类。

图2.2 K-L 变换人脸识别过程2.2K-L 变换应用于遥感图像信息提取美国Landsat 系列卫星提供的TM 图像具有较好的周期性（每16天一个周期），能够提供地面上某一确定地区不同时相的一系列图像，这可以满足对该地区进行动态变化监测的需要。

TM 图像具有较高的波段分辨率，共有7个波段，但是空间分辨率较低，第六波段120米，其它波段30米，在这样的分辨率下，地面上的较小规模的变化用目视的方法是难以检测出来的，所以需要采用一定的图像处理的方法，来突出这种变化信息，进而把这种变化信息提取出来。

我们在图像几何配准和辐射校正的基础上，基于多光谱图像的K-L 变换，分析了主分量差异法、差异主分量法、多波段K-L 变换以及非监督分类图像差异法等方法，以提取工程及人类活动对地表的破坏作用而导致的不同时相TM 图像上的变化信息。