特征值分解及奇异值分解在数字图像中的应用

特征值分解及奇异值分解在数字图像中的应用

摘要：目前，随着科学技术的高速发展，现实生活中有大量的信息用数字进行存储、处理和传送。而传输带宽、速度和存储器容量等往往有限制，因此数据压缩就显得十分必要。数据压缩技术已经是多媒体发展的关键和核心技术。图像文件的容量一般都比较大，所以它的存储、处理和传送会受到较大限制，图像压缩就显得极其重要。当前对图像压缩的算法有很多，特点各异，类似JPEG 等许多标准都已经得到了广泛的应用。本文在简单阐述了矩阵特征值的数值求解理论之后，介绍了几种常用的求解矩阵特征值的方法，并最终将特征值计算应用到图像压缩中。以及奇异值分解(Singular Value Decomposition ，SVD) 。奇异值分解是一种基于特征向量的矩阵变换方法，在信号处理、模式识别、数字水印技术等方面都得到了应用。由于图像具有矩阵结构，有文献提出将奇异值分解应用于图像压缩[2]，并取得了成功，被视为一种有效的图像压缩方法。本文在奇异值分解的基础上进行图像压缩。

关键词：特征值数值算法；奇异值分解；矩阵压缩；图像处理

引言

矩阵的特征值计算虽然有比较可靠的理论方法，但是，理论方法只适合于矩阵规模很小或者只是在理论证明中起作用，而实际问题的数据规模都比较大，不太可能采用常规的理论解法。计算机擅长处理大量的数值计算，所以通过适当的数值计算理论，写成程序，让计算机处理，是一种处理大规模矩阵的方法，而且是一种好的方法。常用的特征值数值方法包括幂法、反幂法、雅克比方法、QR 分解法等。其中，幂法适用于求解矩阵绝对值最大的特征值，反幂法适合求解矩阵的逆矩阵的特征值，雅克比方法适合求解对称矩阵的特征值，QR分解法主要使用于求中小型矩阵以及对称矩阵的全部特征值。矩阵乘以一个向量的结果仍是同维数的一个向量。因此，矩阵乘法对应了一个变换，把一个向量变成同维数的另一个向量，变换的效果当然与方阵的构造有密切关系。图像压缩处理就是通过矩阵理论减少表示数字图像时需要的数据量，从而达到有效压缩。数字图像的质量很大程度上取决于取样和量化的取样数和灰度级。取样和量化的结果是一个实际的矩阵。图像压缩是数据压缩技术在数字图像上的应用，它的目的是减少图像数据中的冗余信息从而用更加高效的格式存储和传输数据。图像数据之所以能被压缩，就是因为数据中存在着冗余。图像数据的冗余主要表现为：图像中相邻像素间的相关性引起的空冗余；图像序列中不同帧之间存在相关性引起的时间冗

余；不同彩色平面或频谱带的相关性引起的频谱冗余。图像矩阵A 的奇异值（Singular Value ）及其特征空间反映了图像中的不同成分和特征。奇异值分解是一种基于特征向量的矩阵变换方法，在信号处理、模式识别、数字水印技术等方面都得到了应用。本文中我们主要讨论矩阵特征值求解及奇异值分解在图像压缩上的应用。

特征值分解及奇异值分解在数字图像中的应用

一．特征值在图像处理中的应用

1．特征值求解的数值方法

我们首先介绍几种常用的求解特征值的数值方法。

（1） 幂法。幂法就是求矩阵的绝对值最大的特征值和相应特征向量的方法。

如果1λ是矩阵A 的特征值，并且其绝对值比A 的任何其他特征值的绝对值大，则称它为主特征值。相应于主特征值1λ的特征向量1V 称为主特征向量。如果特征向量V 中绝对值最大的分量为1，则称其是归一化的。设矩阵A 有一个主特征值λ，而且对应于λ有唯一的归一化特征向量V ，通过下面称为幂法的迭代过程可求出特征对λ，V 。从初始向量[]'

011111X =开始，用如下递归公式递归生成序列{}K X ，K K Y AX =，111K K K X Y C ++=，其中1K C +是K Y 绝对值最大的分量。序列{}K X 和{}K C 将分别收敛到V 和λ：lim K K X V →∞=，lim K K C λ→∞= 注：如果0X 是个特征向量且0X V ≠，则必须选择其他初始向量

（2）反幂法。反幂法可以用来计算矩阵绝对值最小的特征值及其对应的特征向量。

设A 是n 阶非奇异矩阵，有n 个线性无关的特征向量12,,n X X X ???，，它们对应于特征值12,,,n λλλ???，满足不等式121n n λλλλ-≥≥???≥≥，其中()1,2,,i i i A X X

i n λ==???。因为A 非奇异，所以0i λ≠ ，由i i i A X X λ=得1/i i i A X X λ-=。所以1A -的特征值是A 的特征值的倒数。计算A 的绝对值最小

的特征值n λ的问题就是计算1A -绝对值最大的特征值1/n λ的问题，于是可用幂法求出1A -的绝对值最大的特征值，即A 的绝对值最小的特征值。计算方法如下。

()()()000101max 1,max max max m n n m m m n n n V U V X V A U m U V X V U V λ--?=?????=→∞→→? ?????=??

当时，有 其中0V 为初始向量。

（3）雅克比方法。雅克比方法的基本思想是通过一系列的由平面旋转矩阵构成

的正交变换将实对称矩阵逐步化为对角阵，从而得到全部特征值及其相应的特征向量。

2．矩阵的特征值求解在图像压缩中的应用

利用矩阵分解以及矩阵特征值的求解方法，可以将其应用到很多方面，例如矩阵压缩、马尔科夫过程、天气预报等等，我们这里简单介绍其在图像压缩方面的应用。矩阵的压缩是指利用矩阵的分解之后，提取特征值较大的特征值，舍弃比较小的特征值。还是因为在矩阵理论中，特征值代表了信息量，所以保留比较大的特征值、舍弃比较小的特征值，可以达到矩阵压缩的目的。而图像压缩由于使用特征值分解压缩图片存在着不可靠性，所以采用一种新的矩阵分解方法来提取数字图像的特征信息，那就是矩阵的奇异值分解。奇异值分解非常有用，对于矩阵m n A ?，存在m n U ?，m n V ?，m n S ?，满足A U S V =??。U 和V 中分别是A 的奇异向量，而S 是A 的奇异值。'AA 的正交单位特征向量组成U ，特征值组成'S S ，'A A 的正交单位特征向量组成V ，特征值（与'AA 相同）组成'SS 。因此，奇异值分解和特征值问题紧密联系。

把获得的奇异值，取其中比较大的（类同特征值的提取压缩方法）奇异值，然后使用同样的方法，进行压缩，其本质其实还是使用类似矩阵分解，然后提取特征的方法，让比较小的奇异值舍去，以达到数字图像压缩的目的。使用普通相机拍摄的图像A (见图1)，大小为256×256。

图1使用普通相机拍摄的图像

由于大的奇异值对图像的贡献大，所以可以从r 个奇异值中选取k 个生成矩阵近似表示图像A ，即取：1k

k i i i i A u σν==∑用k A 近似表示图像A ，其中i σ是奇异值，

i u ，i ν分别是U ，V 的分量。存储图像A 需要m n ?个数值，存储图像k A 需

()1m n k ++?个数值，取1

m n k m n ?<

++就可以达到压缩图像的目的。以下是不同压缩比例的图像。提取500个奇异值后的压缩图像如图2；提取300个奇异值后的压缩图像如图3；提取100个奇异值后的压缩图像如图4，图像比较模糊，说明奇异值个数不可以取得过少。

图2提取500个奇异值后的压缩图像 图3提取300个奇异值后的压缩图像

图4提取100个奇异值后的压缩图像

二．奇异值在图像处理中的应用

1. 矩阵奇异值分解定义

设A 是秩为r 的m n ?复矩阵，T A A 的特征值为 1210r r n λλλλλ+≥≥???≥≥=???= 则称()1,2,,i i i n σλ==???为A 的奇异值。 易见，零矩阵的奇异值都是零，矩阵A 的奇异值的个数等于A 的列数，A 的非零奇异值的个数等于其秩。 矩阵的奇异值具有如下性质：

（1）A 为正规矩阵时，A 的奇异值是A 的特征值的模；

（2）A 为半正定的Hermite 矩阵时，A 的奇异值是A 的特征值；

（3）若存在酉矩阵， ,m m n n U C V C ??∈∈，矩阵n n B C ?∈，使UAV B =，则称∧和B 酉等价。酉等价的矩阵∧和B 有相同的奇异值。

2. 奇异值分解定理

设A 是秩为r(r>0)的m n ?复矩阵，则存在m 阶酉矩阵U 与n 阶酉矩阵V ，使得

000H U AV ∑??==?????

其中()12(,,,),1,2,,r i diag i r σσσσ∑=???=???为矩阵A 的全部非零奇异值。

3. 奇异值分解的图像性质

任意一个m n A C ?∈矩阵的奇异值()12,,,r δδδ???是唯一的，它刻画了矩阵数据的分布特征。直观上，可以这样理解矩阵的奇异值分解：将矩阵A 看成是一个线性

变换，它将m 维空间的点映射到n 维空间。 经过奇异值分解后，这种变换被分割成 3 个部分，分别为U 、?和V 。其中U 和V 都是标准正交矩阵。

若A 为数字图像，则 A 可视为二维时频信息，可将A 的奇异值分解公式写为：

11000r r H

H H i i i i i i A UDV U V A u v δ==???====????∑∑

其中，i u 和i v 分别是U 和V 的列矢量，i δ是A 的非零奇异值。故上式表示的

数字图像 可以看成是r 个秩为 1 的子图H i i U V 叠加的结果，而奇异值i δ为权系数。所以i A 也表示时频信息，对应的i u 和i v 可分别视为频率矢量和时间矢量，

因此数字图像 A 中的时频信息就被分解到一系列由i u 和i v 构成的视频平面

中。由矩阵范数理论， 奇异值能与向量2-范数和矩阵Frobenious-范数(F-范数)相联系。

()1222max /A AX

X λ== 1122

221r mn i F mn i A a λ=????== ???????

∑∑ 若以F-范数的平方表示图像的能量，则由矩阵奇异值分解的定义知： ()221000000r H

H H i F i A tr A A tr V

U U V δ=????????=== ???????????∑ 也就是说，数字图像A 经奇异值分解后，其纹理和几何信息都集中在U 、H V 之中，而?中的奇异值则代表图像的能量信息。

性质1：矩阵的奇异值代表图像的能量信息，因而具有稳定性。

性质2：矩阵的奇异值具有比例不变性。

性质3：矩阵的奇异值具有旋转不变性。

性质4：设m n A C ?∈，()rank A r s =≥。若()12,,s s diag δδδ?=???，1s H s i i i i A u v

δ==∑，

()()s s rank A rank s =?= 所以可得：{}

2221+2min +m n s s s r F F A A A B B C δδδ?+-=-∈=+??? 上式表明，在F-范数意义下，s A 是在空间m n s C ?（秩为s 的m n ?维矩阵构成的线

性空间）中A 的一个将秩最佳逼近。因此可根据需要保留s(s

4. 图像的奇异值分解压缩方法

4.1 奇异值分解压缩原理分析

用奇异值分解来压缩图像的基本思想是对图像矩阵进行奇异值分解，选取部分的奇异值和对应的左、右奇异向量来重构图像矩阵。根据奇异值分解的图像性质1和4可以知道，奇异值分解可以代表图像的能量信息，并且可以降低图像的维数。如果A 表示n 个m 维向量，可以通过奇异值分解将A 表示m+n 为个r 维向量。A 的秩远远小于m 和n ，则通过奇异值分解可以大大降低A 的维数。

对于一个n n ?像素的图像矩阵，H A U V =?，其中，()12diag ,,,r δδδ?=???。按奇异值从大到小取k 个奇异值和这些奇异值对应的左奇异向量及右奇异向量重构原图像矩阵A 。如果选择的k r ≥，这是无损的压缩；基于奇异值分解的图像压缩讨论的是k r <，即有损压缩的情况。这时，可以只用()21k n +个数值代替原来的n n ?个图像数据。这()21k n +个数据分别是矩阵A 的前k 个奇异值，n n ?左奇异向量矩阵U 的前k 列和n n ?右奇异向量矩阵V 的前k 列元素。 比

率：()

2

21n k n ρ=+称为图像的压缩比。 显然，被选择的奇异值的个数k 应该满足条件()221k n n +<，即()2/21k n n <+。故在传送图像的过程中，不需要传n n ?个数据，而只需要传()21k n +个有关奇异和奇异向量的数据即可。接收端，在接收到奇异值12,,,r δδδ???，以及左异向量12,,,k u u u ???和右奇异向量12,,,r v v v ???后，可以通过1k

H k i i i i A u v δ==∑重构出原图像矩阵。k A 与A 的误差为：

222212k k k r F A A δδδ++-=++???

某个奇异值对图像的贡献可以定义为()22/,1,2,,i i j j k εδδ==???∑，对一幅图像来说，较大的奇异值对图像信息的贡献量较大，较小的奇异值对图像的贡献较小。假如(),1,2,,i i k ε=???∑接近1，该图像的主要信息就包含在

(),1,2,,H k i i i A u v i k δ==???∑之中。通常图像的奇异值都具“大L 曲线”

，只有不多的一些比较大的奇异值，其它的奇异值相对较小，因此一般只需要比较小的k 就使(),1,2,,i i k ε=???∑接近1。在满足视觉要求的基础上，按奇异值的大小选择合适的奇异值个数k

数据量就小，压缩比就越大，而k 越接近r ，则k A 与A 就越相似。在一些应用场合中，如果是规定了压缩比，则可以由式()2/21n k n ρ=+求出k ，这时也同样可

以求出(),1,2,,i i k ε=???∑。

4.2 奇异值分解压缩应用过程

在对图像进行操作时，因为矩阵的维数一般较大，直接进行奇异值分解运算量大， 可以将图像分解为子块，对各子块进行奇异值分解并确定奇异值个数，将每个子块进行重构。这样操作除了因为对较小型的矩阵进行奇异值分解的计算量比较小外，另一方面是为了利用原始图像的非均匀的复杂性。如果图像的某一部分比较简单，那么只需要少量的奇异值，就可以达到满意的近似效果。

为了保证图像的质量就需要较多的奇异值。但是各个子块的奇异值数目， 大小各不相同， 因此可以考虑为每个子块自适应的选择适当的奇异值数目。一种简单的方法是定义奇异值贡献量的和(),1,2,,i i a i k ε>=???∑来选择k ，其中a 是一个接近1的数。对常见的256 ×256 。bmp 格式的图像（位图），划分为4×4个子块，每个子块大小为6×64。对每个子块根据()0.99,1,2,,i i k ε>=???∑来选择所需要的奇异值数目。增大a 的值来选择奇异值数目，可以推理得随着a 不断增大，视觉效果越来越好。随着a 不断增大， 需要的奇异值也增多， 压缩比会减小。

结论

第一，特征值的应用不仅仅在于图像处理上，在物理、材料、力学等方面都有各种应用。有人曾在书里这样说过“有振动的地方就有特征值和特征向量”，以后我们将进一步探讨矩阵理论及其相关应用。

第二，用奇异值分解进行图像压缩，肯定能取得成功，也具有较好的应用价值，但仍然可对子块的划分采取更加有效的方法来完成。例如对规模很大的矩阵，随机抽取矩阵的某些行列得到规模较小的矩阵，计算小矩阵的奇异值，重复若干次，用这些小矩阵的奇异值逼近原始矩阵的奇异。

另外，若已知图像矩阵的奇异值及其特征空间，一般认为较大的奇异值及其对应的奇异向量表示图像信号，而噪声反映在较小的奇异值及其对应的奇异向量上。依据一定的准则选择门限，低于该门限的奇异值置零(截断) ，然后通过这些奇异值和其对应的奇异向量重构图像进行去噪。若考虑图像的局部平稳性，也可以对图像分块奇异值分解去噪，这样能在一定程度上保护图像的边缘细节。

参考文献

[1] MATHEWS J H，FINK K D，著.周璐,陈渝,钱方,等译.数值方法(MATLAB 版)[M].第四版.北京:电子工业出版社,2005.

[2]林成森.数值分析[M].北京:科学出版社,2006.

[3]奚梅成,刘儒勋.数值分析方法[M].合肥:中国科学技术大学出版社,2003.

[4]张汗灵.Matlab在图像处理中的应用[M].北京:清华大学出版社,2008.

[5]张贤达.矩阵分析与应用[M].北京:清华大学出版社,2004.