图像质量评估：从误差的能见性到结构相似性

图像质量评估：从误差的可见性到结构相似性

Zhou Wang, Member, IEEE, Alan Conrad Bovik, Fellow, IEEE, Hamid Rahim Sheikh, Student Member, IEEE, and Eero P. Simoncelli, Senior Member, IEEE

摘要

我们评估视觉图像质量的传统方法是去量化可见的误差，这个误差评估是在失真图像和采用了人类视觉系统特性的参考图像之间进行的。在我们的假设中，人类视觉视觉系统非常容易从一个场景中提取结构信息，因此我们引入了一种替代互补架构，用来对结构信息的退化进行质量评估。作为此概念的一个实例，我们引入结构相似度指数（Structural Similarity Index），然后用一组直观的例子证明它，同时把SSI与主观评级和图像数据库先进客观算法作了比较，该数据库是基于JPEG和JPEG2000压缩技术的。

索引词—误差灵敏度，人类视觉系统（HVS），图像编码，图像质量评估，JPEG，JPEG2000，视觉质量，结构信息，结构相似度（SSIM）。

1、介绍

数字图像在采集、处理、压缩、存储、传输和再现过程中会产生各种各样的失真，其中任何一个都可能导致视觉质量的退化。为了使图像最终能够被人类看懂，唯一正确的视觉图像质量量化方法就是主观评估。然而在实践中，主观评估通常不太方便，不但耗时，而且昂贵。我们对客观图像质量评估进行研究的目的，是想开发一种能自动预测图像质量的量化指标。

客观图像质量指标可以在图像处理应用中扮演各种角色。首先，它可以用于动态监测和评估图像质量。例如，一个网络数字视频服务器可以检测传输视频的质量，来控制和分配媒体流资源。其次，它可以用来优化图像处理系统参数和算法。例如，在视觉传输系统中，质量指标可以在预滤波器的优化设计，编码器中的比特分配算法，误差隐藏解码器中的后滤波算法几个方面提供帮助。第三，客观图像质量指标可用于基准图像处理系统和算法中。

我们可以用原始图像与失真图像做比较，然后用比较之后图像的可用性来对客观图像质量指标来进行分类。现有的大多数方法都可以称为全参考评估方法，这意味我们把

一个完整的参考图像认为是已知的。然而在许多实际应用中，参考图像是不可用的，我们迫切需要一个不需参考或“盲目”的质量评估方法。在一部分方法中，参考图像仅是部分可用的，以提取特征作为边缘信息，来协助评估失真的图像的质量。这种方法被称为部分参考评估方法，本文重点研究的是全参考图像质量评估。

最简单和最广泛使用的全参考质量指标是均方误差（MSE），均方误差可以通过对图像失真程度的不同和参考图像的像素取均方来得到，还随着峰值信噪比（PSNR）的相关量而改变的。它们计算很简单，有明确的物理意义，并且可以在数学上进行优化，但是不能很好和视觉视觉质量相匹配。在过去的三年中，人们在利用人类视觉系统（HVS）的特性改进质量评估算法方面花了很大的经历。人们提出的大多数视觉质量评估模型都遵循校正MSE算法，这样可以将误差的能见度作为判定标准。第二部分总结了这种误差灵敏度的类型，并讨论了其难点和局限性。在第三节中，我们描述了一个新的质量评估范式，该范式是基于人类视觉系统高度适合提取结构信息这一假设的。作为一个实例，我们定义了一种测量结构相似度（SSIM）方法，该方法通过比较局部像素的强度来进行测量，并且像素已经在亮度和对比度进行了标准化。在第四节中，我们比较不同质量评估模型的试验结果和一组主观评级由344个图像构成的数据库，该数据库是基于JPEG和JPEG2000图像压缩的。

Ⅱ、基于误差灵敏度的图像质量评估算法

一个图像信号可以看作是未失真的基准信号和误差信号之和。我们大量采用的假设是，视觉质量的损耗与误差信号的可见性是直接相关的。均方误差（MSE）是实现这个概念的最简单方法，MSE能够客观量化信号强度的差值。但是两个具有相同MSE的失真图像也可能有不同类型的误差，其中一些比另一些的误差明显的多。在文献中有一种最贴合视觉性的图像质量评估方法，该方法尝试根据误差信号的可见度来衡量误差信号的不同方面，并且通过人类的心理测量或者动物生理学来确定。这种方法是Mannos和Sakrison首创，并且已经被其他研究人员发展。

A.总体架构

图1说明了一个通用的图像质量评估框架，该框架是基于误差灵敏度的。大多数视觉质量评估模型可以用一个类似的图来描述，虽然它们的细节不同。

●预处理：这个阶段通常执行各种基本的操作，将图片消除已知的失真。首先，失真

信号和基准信号应该正确的压缩和匹配。第二，信号可能被转化为成色彩空间，这样对视觉更为适合。第三，质量评估指数可能需要改变数字像素的值，将数字像素的值通过非线性变换变成可以在显示器上的显示的亮度值。第四，我们可以使用一个滤波器，该滤波器能够模拟眼视光学的差分函数。最后，我们可以通过非线性点运算来模拟眼睛的光适应，来修改基准图像和失真图像。

●CSF滤波：对比敏感度函数（CSF）描述了在不同的空间频率和时间频率上，人眼

在视觉激励中的敏感性。有些图像质量指数包含了一个部分，该部分根据这个函数定义信号的权重（通常使用接近的CSF的频率响应的线性滤波器）。许多最近提出的指数都选择CSF作为信道分解后判定灵敏度基准的标准化因子。

●信道分解：图像信号通常被分离到次频带，在次频带中可以有选择性的识别时间频

率，空间频率和空间方向。其他质量评估算法，实现复杂信道分解，他们认为信道分解和视觉皮层的神经反应密切相关，许多指数使用简单的变换，如离散余弦变换（DCT），可分离小波变换，时间频率的信道分解也被用来进行视频质量评估。

●误差标准化：在每个信道中，基准信号和失真信号之间的误差，根据一定的掩蔽模

型进行计算和标准化。考虑到这样的事实，在临近的空间位置，时间位置，空间频率和空间方向上，一个图像分量的存在会降低另一个图像分量的可见性。标准化机