质量评价报告

图像质量评价技术路线

1 研究现有图像质量评价方法，利用Livedatabase对其进行分类实验，得出其适用图像降质类型和评价的精确程度。

2 提出几种新的针对压缩重建图像和超分辨重建图像的质量评价算法。利用Livebase进行验证。

3 由于遥感影像相对于自然影像，有其特殊性，必须建立遥感影像主观评价库，将新算法应用于此图像库，验证其在评价遥感压缩影像上的有效性。

主观评价方法

主观评价主要是由人在感性认识上从主观感觉和统计结果的角度对图像质量做出相应的判定，主要的方法是目视判读。人类视觉系统被认为是最精密的光学成像系统，通过人眼接收物体的反射光在大脑中成像，然后由大脑根据储存的经验知识进行分析得到结论，这个过程所需时间很短。因此主观评价方法具有直观、简单的优点。

图像质量评价离不开视觉评价，主观评价方法可以从配准、影像的整体亮度、色彩、反差、清晰度、影像内纹理、地物边缘、是否有蒙雾或马赛克等现象出现等方面做出判定，直观地得到图像在空间分解力、清晰度等方面的差异。但是这种方法的主观性比较强，人的视觉对影像上的各种变化并不都很敏感，图像的视觉质量强烈地取决于观察者，具有主观性、不全面性。

客观评价方法

目视判读的优点是操作简单、效率高，可以有效剔除一些质量差的影像，避免无谓的工作，但是这种判定会因为观察人员的素质、经验、水平的不同以及外部环境的影响而产生较大的差异，因此需要有易于掌控和科学支持的定量评价方法。客观评价方法主要就是采用定量的评价指标对影像做定量分析，由此获取对图像质量好坏的判定。

按照对参考图像的需求，可将客观评价方法分为三类，分别为：无参考、部分参考和完全参考图像质量评价。分类介绍如下：

1 无参考图像质量评价方法

单幅图像的信噪比SNR

给定一幅图像，若需要估计它的信噪比，则可以在图像上找一个平坦区域，在平坦区域计算局部方差并平均作为噪声方差，在许多情况下图像中没有适合的平坦区域，则可以用如下算法来估计信噪比：计算图像的局部方差，图像边界附近的方差不考虑在内。用图像局部方差的最大值和最小值之比作为图像信噪比的估计。此方法只适用于SNR在20到60之内的图像。

信息熵E（entropy）

熵（Entropy）是用来表示任何一种能量在空间中的均匀分布程度。能量分布得越均匀，熵就越大。如果对于一个系统，当其能量完全均匀分布时，那么这个系统的熵就达到最大值。

在信息论中Shannon 引入信息熵，即事件发生的不确定程度。如果一个事件（例如收到一个信号）有n 种可能的结果（A 1，A 2，……A n ），且每个结果A i 出现的机率分布为P i （i=1，2，……n ），那么最终结局在出现之前的不确定程度H 为：

∑=-=n

i i i P P C H 1

ln

其中C 是常数，它与对数进制有关（如果现在二进制，则C = 1；如果现在e 进制，则C = 1/ln2）。

根据这个理论，可以得到影像的信息熵E 为：

)(0

2)(log i n

i i P P E ∑=-=

其中P(i)是某个像素值i 在影像中出现的概率，n 是灰度值范围（一般为0～225）。 影像的信息熵E 值越大，则影像中偏离影像直方图高峰灰度区的大小越大，所有灰度值出现的机率趋于相等，影像携带的信息量越大，信息越丰富。 Matlab 函数：function s=entropy(image)。

平均梯度G （gradient ）

平均梯度可敏感地反映出影像对微小细节反差的表达的能力，在影像中，某一个方向的灰度级变化率大，则它的梯度也就大。定义平均梯度的表达式为：

1

2

,,22111

()()2m

n

i j i j i j i j f f G x y m n ==??????=+ ? ? ? ?????

???∑∑

其中，m 、n 分别为影像的宽和高，f i ，j 为影像像素（i ，j ）的灰度值。

用平均梯度值来衡量影像的清晰度，能够反映出影像中微小细节反差和纹理变换特征，一般说来，该值越大，影像层次越多，影像就越显得清晰。可以予以评价融合结果影像的细节表达能力。

Matlab 函数：function varargout = gradient_average (f,varargin)。

标准差σ（Standard_d eviation ）

根据统计学中的知识，可以得到有关影像灰度的均值与标准差的定义，如下：

灰度平均值∑==n

i x i n 1

1μ

标准差∑=--=n i x i

n 1

2

)(11μσ 其中，n 表示影像中像素的总数，x i 为第i 个像素的灰度值。灰度平均值μ即是影像亮度的平均值，一个适中的亮度均值可以反映出影像的效果比较理想；标准差σ是影像灰度值相对于均值的分散度的测定，值越大则影像的灰度范围越是趋于分散，图像的反差大，得到

的影像的信息量也越大；反之，则反差小，对比度不大，色调单一均匀，信息量小。融合影像的分辨率与替代影像的标准差相关，一般来说，替代影像的标准差越大，影像的分辨率越高。

Matlab 函数：function sd = standard_deviation(img)。

空间频率SF （spacial_frequency ）

空间频率反映了一幅影像空间的总体活跃程度，它包括空间行频率RF 以及空间列频率CF ，其表达式为：

∑∑==--

?=

m i n

j j i j

i f f n m RF 1221

,,)(1

∑∑==--

?=

m i n

j j

i j

i f

f

n m CF 21

2,1,)(1

综合两者得到整体空间频率值：

22CF RF SF +=

其中，m 、n 分别为影像的宽和高，f i ，j 为影像像素（i ，j ）的灰度值。 Matlab 函数：function sf = spacial_frequency(img)。

无参考压缩质量评价NRQA （No Reference Quality Assessment ）

无参考压缩图像质量评价主要针对JPEG2000压缩图像，利用自然图像和压缩重建图像的小波域统计特性对比，反映了一幅影像的高频损失程度，从而表明其压缩重建质量，其表达式为：

,()1exp ss i i i i i p u q K T ??-??=-- ? ? ????

? 12'

1

'32'453'46()2()2q q q q q q q q q q +??

????????

????=????+???????

???????

'T Q q w =

其中，Ki ，Ti 是通过训练样本的曲线拟合得到的，ui 是训练样本均值，pss 是联合概率分布，w 值是训练样本时，使质量指标误差最小得到的。 Matlab 函数：function NRQA = jp2knr_quality(img)。

2 完全参考图像质量评价方法

把所有方法都应用于LIVE database ，测出其与主观一致度。

峰值信噪比PSNR

如果认为标准参考影像是信息，且处理结果影像与标准参考影像的差异是噪声，那么定义结果影像峰值信噪比（Peak Signal Noise Ration ）表达式为：

RMSE

F j i F j i PSNR 2

)

,min(),max(lg

10-=

其中，m 、n 分别为影像的宽和高，R i ，j 、F i ，j 分别为标准影像和结果影像在对应像素（i ，j ）的灰度值，max 、min 分别表示取最大值和取最小值。

Matlab 函数：function PSNR = Peak_snr(img1,img2).

结论：PSNR 基本可以评价压缩、模糊和加噪这几种降质类型的图像，但对加噪图像评价最为精确。

通用质量评价指数UIQI （Universal Image Quality Index ）

22224 ()[()()]

xy x y x y

Q x y σσσ=

++

其中，,x y 分别为参考图像和重建图像的均值，2

x σ，2y σ分别为其方差，xy σ为两幅图像的

协方差。

若两幅图像完全相同，则UIQI 值为1， 重建图像越接近原始影像，UIQI 值越接近1，重建效果越好。

Matlab 函数：function UIQI = UnImgQuaIndex (img1,img2)。

结论：UIQI 并不能很好的评价实验中的几种降质类型图像。

交叉熵cross_entropy

对于两个随机变量x ，y ，它们在各自的采样空间中的概率分别为p x 、p y ，则定义两者的交叉熵（Cross Entropy ）的表达式为：

p p p CE y

x

y

x x 2

,log ∑= 交叉熵可以用来测定两幅影像灰度分布的信息差异，如果原始影像与处理后影像的灰度分布概率分别为：},,{n 10p p p p ??=，},,{n 10q q q q ??=（影像灰度范围0～n ），则可定义两者的交叉熵的表达式为：

∑==n

i i

i

i q p p CE 0

2

log Matlab 函数：function ce = cross_entropy(img1,img2)。

结论：交叉熵只能用于评价JPEG 压缩重建图像，且并不精确。 全图最大局域误差LME ，Local Maximum Error

全图最大局域误差评价处理后图像与原始影像每一固定大小区域之间的最大误差，误差越大，处理后图像质量越差。

, LME MAX{(,)}

,,(,)|(,)(,)|.

m s n t

s t

i s j t

e i j M m N n e i j

f i j

g i j ++===≤≤-≤≤-=-∑∑其中，1

s 1t

Matlab 函数：function LME = local_maximum_error(x,y);

结论：LME 可以较好的评价实验中的几种降质类型的图像，其中，对加噪图像评价最为精确。

光谱扭曲度spectrum_distortion_d egree

单波段影像的光谱扭曲度的表达式为：

∑∑==-?=m i n j j i j i x x n m D 11

,,

,||1 其中，m 、n 为影像宽和高，x i ，j 、x 'i ，j 分别为原始影像和结果影像上对应像素（i ，j ）

的灰度值。

光谱扭曲度可以用于反映结果影像与原始影像在光谱信息上的差异的大小，也常被称为偏差，其值越小，则表明两者差异越小，重建效果也就越好。

Matlab 函数：function sdd = spectrum_distortion_degree(img1,img2)。

结论：SDD 基本可以用来评价实验所包括的几种降质类型的图像，其中，对加噪图像的评价最为精确。

偏差指数Difference_Index

偏差指数（Difference Index ）用来比较结果影像和原始影像偏离的程度，定义结果影像的偏差指数的表达式为：

∑∑==-?=m i n j j i j i j i x x x n m DI 11

,,,,||1

其中，m 、n 为影像宽和高，x i ，j 、x 'i ，j 分别为原始影像和结果影像上对应像素（i ，j ）的灰度值。

偏差指数的大小反映了结果影像对原始影像的保持程度，偏差指数越大，则融合结果影像的失真越大，重建效果越差。

Matlab 函数：function di = difference_index(img1,img2)。

结论：DI 只能用于评价加噪图像，且并不精确。

相关系数correlation_coefficient

相关系数能够反映两幅影像的光谱特征的相似程度，定义结果影像F 与原始影像A i 的相关系数的表达式为：

∑∑∑∑====-'-'

-'-'

=

m

i n

j j i j

i m i n

j j i j

i x x x x x x x x 11

2

,2,11

,,)()()

)((ρ

其中，m 、n 为影像宽和高，x i ，j 、x 'i ，j 分别为原始影像和重建影像上对应像素（i ，j ）的灰度值，x 、x '分别为原始影像和结果影像像素灰度均值。

重建影像与原始影像的相关系数越大，重建影像质量越好。 Matlab 函数：function cc = correlation_coefficient(img1,img2)。

主客观评价曲线拟合结果

结论：CC 基本可以用来评价除高斯模糊外的几种降质类型的图像，但是都不能做到精确。

高频分量相关系数HF

高频分量相关系数是重建影像与原始影像的高频分量的相关程度，计算该系数可以用于评价重建影像的空间分辨率大小，因此，这种评价方法可用于经超分辨率处理后的影像质量评价。为了提取高频分量，现将重建图像F 进行一层小波分解，得到低频、水平方向高频、垂直方向高频、对角方向高频四个分量，原始影像A i 也依次处理，然后对水平、垂直和对角三个方向的高频分量做相关计算，得到高频分量相关系数表达式为：

3

),(),(),(i d d i v v i h h FA A F CR A F CR A F CR HF i

++=

其中，CR 表示求取两幅影像的相关量，定义为：

2

,,11

2

,,,11

11

,11

()2

(,)1-,

()20,m n

i j i j

m n

m n

i j m n

i j

i j i j

i j i j i j i j CR F A x x x x x x ========?

?????-??=-≤???????

????

?

'∑∑'

∑∑∑∑∑∑其它

影像的清晰程度取决于高频分量，因此对高频分量做相关运算，可以利用相关结果评估

融合结果的效果。

Matlab 函数：function HF = high_frequency(img1,img2)。

结论：HF 可以较好的评价除快速退化外的几种降质类型的图像，但是并不精确。

结构相似度 SSIM ，Structure Similarity

结构相似度从处理后图像与原始影像的结构，亮度和对比度之间的相似性出发，评价一幅重建影像的质量优劣。两幅相同图像，相似度为1，重建图像质量越差，相似度越接近0.

12222212(2)(2)

SSIM ()()

x y xy x y x y C C C C μμσμμσσ++=

++++

其中，x y μμ，为两幅图像的均值，代表图像的亮度分量；x y σσ，为两幅图像的方差，

代表图像的对比度分量；

xy +C

x y C

σσσ+代表两幅图像的结构分量。

Matlab 函数：function [mssim, ssim_map] = ssim_index(img1, img2, K, window,

L)。

结论：SSIM 可以较好的评价实验中几种降质类型的图像，其中，对加噪图像的评价最为精确。

边缘信息保持指数EPI ，Edge Preserve Index

边缘信息在滤波处理前后的变化是评价滤波要指标，保持图像的边缘信息，使经过去噪图像边缘不模糊，边缘点不位移，对于后续几何校正和边缘提取乃至分类都有重要的边缘保持指数是一种客观的统计特征指标，计算公式如下：

(i,j)(1,1)(i,j)(1,)(i,j)(1,1)M

N

(i,j)

(,1)(i,j)(,)(i,j)(,1)i 1j 1

(i,j)(1,1)(i,j)(1,)(i,j)(1,1)(i,j)(1,(||||||

||||||

||||||)EPI (|i j i j i j i j i j i j i j i j i j i j p p p p p p p

p p p p p p p p p p p q q ----+-+==+-+++---+-+-+-+-+-+-+-+-=

-∑∑1)(i,j)(1,)(i,j)(1,1)M

N

(i,j)

(,1)(i,j)(,)(i,j)(,1)i 1j 1

(i,j)(1,1)(i,j)(1,)(i,j)(1,1)|||||||||||

||||||)

i j i j i j i j i j i j i j i j q q q q q

q q q q q q q q q q q --+-+==+-++++-+-+-+-+-+-+-+-∑∑

式中：EPI 为边缘保持指数，M 、N 为图像，p( i,j)、q(i,j)分别为处理后的图像和原图在(i,j)

处的灰度值。若处理后图像若比原图模糊，则EPI 小于1，若锐化，则EPI 大于1，若EPI 值接近1，说明处理后图像与原图接近，效果最好。

Matlab 函数：function epi = edge_preserve_index(x,y);

结论：EPI 可以用来评价实验中几种降质类型的图像，其中，对高斯模糊图像的评价最为精确。

通过对上述已有算法的实验分析和结论，可以看出：目前并没有较好的针对压缩影像的质量评价算法，对此，我们提出了基于图像结构特征提取的几种图像质量评价方法，简述如下：

3 部分参考图像质量评价方法 流程图：

图1部分参考图像质量评价流程图

在此思路的基础上，根据特征提取的方式和差值向量的权重赋予方法不同，提出了以下三种质量评价算法：

视觉权重奇异值算法BWSVD

利用奇异值分解对图像进行特征提取，如下式所示：

T

T

org org org org dis dis dis dis

I U S V I U S V =??=??

其中，org I 为参考图像矩阵，org S 为参考图像的奇异值向量，org U ，org V 分别为其左右奇异值向量矩阵；dis I 为压缩重建图像矩阵，dis S 为压缩重建图像的奇异值向量，dis U ，dis V 分别为其左右奇异值向量矩阵。

s org dis D S S =-

{}s i D d = ， 1,2,...,i k

=

其中，s D 表示参考图像和压缩重建图像的奇异值差值向量，i d 表示s D 中的元素，i 表示奇异值向量的第i 个元素。

为了更好地表征图像，本文提出均值偏差的概念，用以表述剥除奇异值信息之外的图像残余信息，定义均值偏差率为：

||

org dis org I I u I u u D u ΛΛΛ

-=

其中，org I u Λ

，dis I u Λ分别表示org I Λ，dis I Λ的均值。

分析矩阵的奇异值向量可知，向量的前几个元素值即较大奇异值包含较多的图像结构信息，因而我们提出奇异值权重向量的概念，其定义即计算公式如下：

1

1

512||W _SVD k

i i

i u

k

i

i w d D

s

==???? ???=

+∑∑

同时考虑人眼视觉对纹理的敏感度，提出如下公式：

{}hw 0123=，，，

hw W_SVD

hw 0B _SVD hw 0

ref dis

μμ?≠?=?

-=?，，

其中，hw 为不同平坦区域的不同视觉权重。 最后，得出压缩图像评价测度：

1

BWSVD B_SVD /n

j j n ==∑

其中，

ref μ，dis μ分别表示参考图像和压缩重建图像对应块的均值，n 为图像分块数，

B_SVD j 为第j 个图像块的B_SVD 值。

Matlab 函数：function BWSVD = block_weighted_svd(x,y);

结论：BWSVD 可以较精确的评价JPEG2000压缩重建图像质量。

Contourlet 域奇异值算法CWSVD

利用Contourlet 分解对图像方向性结构的提取功能，将图像进行Contourlet 变换，再运用奇异值分解算法，可以更好的提取图像主要结构特征。

对参考图像和压缩重建图像分别做4方向和8方向的2层Contourlet 变换，将每个子带分成88?的块，求取每块图像的评价测度W_SVD 。

则每个子带的评价测度为：

n

1

1SW _SVD W_SVD j j n ==∑

其中，SW _SVD 为单个子带评价测度，n 为子带分块数，B_SVD j 为第j 个图像块的

B_SVD 值。

对每个子带的测度值进行CSF 加权，公式如下：

1.1[-(0.114f)]

CSF(f) = 2.6(0.0192+0.114f)e

得出最终图像质量评价测度WCSVD ：

1

1

CSF SW _SVD

CWSVD CSF

m

i

i

i m

i

i ==?=

∑∑

其中，m 为Contourlet 分解子带数。

Matlab 函数：function CWSVD = contourlet_weighted_svd(x,y);

结论：CWSVD 可以较精确的评价除加噪外的几种降质类型的图像质量。

选取几种评价算法，将其运用于遥感影像压缩库，得出如下数据：

（a）(b)

(c) (d)

(e)(f)

图2 （a）、（b）、（c）、（d）分别为PSNR、LME、UIQI、MSSIM、BWSVD及CWSVD

与主观评价指标的曲线拟合图

结论：由以上图表可知，针对压缩重建遥感影像，我们提出的两种算法，特别是CWSVD要远优于传统算法PSNR、LME、UIQI及MSSIM。

超分辨图像质量评价

基于寄生波纹抑制和高频能量分布的超分辨重建图像质量评价指标：

基于目前并没有一个较好的超分辨重建影像评价客观指标，为了评价其质量，我们首先需要分析超分辨影像的特点：

1 首先，实际应用中，我们很少能得到与重建后影像相对应的高分辨率影像。这使得较成熟的完全参考质量评价方法不适用于评价超分辨重建影像。

2 其次，超分辨重建过程主要是对图像的高频部分的处理，我们认为，图像低频部分并不会受到较大影响，这就给了我们一定的参考标准，即低频不变性。

3 最后，超分辨重建影像不可避免会在边缘，细节等处存在寄生波纹现象，这是影响超分辨影像质量的一个重要方面。

基于以上特点，超分辨重建后的图像增加的高频信息可分为两个部分：1，虚假信息，2，真实信息。

如何定义虚假信息呢？在这里，我们认为：振铃效应是一种边缘，细节的复制和重现，属于虚假高频信息，所以，在评价超分辨率的空间分辨率提高程度时，应屏蔽掉振铃效应的影响，得出的才是真实高频信息的提升。

给出了虚假信息的定义后，我们提出了评价超分辨影像过程中需要考虑的两个方面：

1，如何定量计算虚假信息量或其对重建图像的影响。

2，在屏蔽了虚假信息后，如何定量计算超分辨过程所增加的真实信息量。

超分辨重建图像获得的高频信息体现在能量上，表现为图像小波域高频信息的能量增大，破坏了原始低频图像的能量分布，使得图像能量分布进行了一定的调整。由于重建图像不可避免存在噪声的放大，我们将对角线分量视为噪声，而只考虑水平和垂直分量的能量分布情况。

基于以上分析，我们提出了一种基于高频能量分布的超分辨重建图像质量评价算法，步骤如下：

1 对超分辨重建图像进行简单的寄生波纹抑制。

2 对低频图像，插值图像和四幅超分辨图像分别作一层小波分解。

3 定义图像能量分布如下：求每个子带小波系数平方和，并除以全部小波系数平方和，即为该子带的能量在图像中所占比例。

4 分别求出低频图像，插值图像和四幅超分辨重建图像的低频分量，水平分量和垂直分量的能量分布。

5 计算低频图像与超分辨重建图像的水平分量和垂直分量之和的比值。

结论：此算法可以很好的评价超分辨重建图像的高频信息增加程度，从而判断重建效果。基于寄生波纹抑制和信息熵的超分辨重建图像质量评价指标：

1，将原始低频影像进行插值计算，使其与超分辨重建影像具有相同大小。

2，对插值影像进行边缘提取，将结果影像分为4*4的小块，并标注像素值全为0的小块。3，将插值影像和重建影像同样分为4*4的小块，分别求取各个图像块的均值和标准差。4，用重建图像各个图像块的均值和标准差减去对应块插值影像对应块的均值和标准差，求出其变化量。

5，用标记块的均值变化量之和除以所有块的均值变化量之和，得到由寄生波纹引起的均值变化量所占比例。

6，用标记块的标准差变化量之和除以所有块的标准差变化量之和，得到由寄生波纹引起的标准差变化量所占比例。

7，将5，6中比例值相加，得到由寄生波纹所引起的均值偏差和标准差偏差比例之和，记为R_ring。此值越大，表示寄生波纹越严重。

8，利用标记块取代重建图像中的对应块，去除其寄生波纹，得到一个新的重建图像。

9，求取新重建图像的熵值，减去原始低频影像的熵值，即为真实信息量的熵增加值。记为R_entropy。此值越大，表示真实信息量的增加越多。

图像质量评价Matlab界面

当前研究重点

1 分析图像的频谱特性，研究不同降质方式对图像频谱等特征的影响规律，进行单幅图像质量评价。

2 在此基础上，建立遥感影像库，分析遥感影像与自然场景影像的本质不同，进行遥感影像的单幅质量评价。