信息隐藏技术(中文版)

一个基于“刚刚-明显-失真”测量的视觉感知调整子带图像编码器的概要文件

摘要：为了表示一幅具有最低可能比特率的高感知质量图像，一种有效的图像压缩算法不仅要消除统计相关性的冗余,还从消除图像信信息里无关紧要的感知成分，在这篇文章里，将要提出一个视觉感知调整部分波段图像编码器的方案，其中一个公正、明显显示失真（JND）或微创明显的失真（MND）配置文件是采用量化感知冗余。该JND配置文件提供了每个被编码信号的失真可见性阈值，低于该阈值重建误差被渲染不易察觉。在由于背景亮度和纹理屏蔽效应而集成阈值敏感度的感知模型基础上，JND文件从分析图像信号的局部属性来估计。根据人体对空间频率的视觉感知敏感度，全频带JND/ MND信息被分解不同的频率子带的JNDMND成分。有了这些部分的配置文件，无关紧要的感知信号在每个子波段都可以被筛选出来，并正确编码我们有用的信息以满足可见度阈值。新的量化保真措施，被称作峰值信号-感知噪声比（PSPNR），拟通过采取评估图像的质量包括考虑明显变形的部分在内。仿真结果表明，这种近乎透明的图像编码可在不到0.4像素内实现。相比于ISO-JPEG标准，所提出的算法可以消除原始图像更多的感性冗余，并且重构图像的视觉质量以低比特率更能被我们所接受。

1. 介绍

我们通常认为当前图像编码技术的表现是不足够接近基本比特率。为了支撑未来要求低限制使图像维持高质量接收，为了支持未来低比特率高图像质量的设备，更高效的算法被人们所期待。在众多达到这个最优性的方法中，感知编码将压缩算法和人类感知机制相连接被认为是最有前途的解决方案，并在最近成为一个重要的研究领域。

这是众所周知的，图像信号的统计是比较非平稳的，重建图像的保真度被人眼所要求的不同是从像素到像素的。通常来说，感知编码的重要任务是有效地使编码算法适应人体人眼的敏感度。各种方法已经被提出将人类视觉系统的某些确定的心理视觉特性（HVS）合并到图像编码算法中。已经作出一些努力来开发HVS的灵敏度到空间频率为适应量化步长频域。其他的努力试图有效地利用空间掩蔽效应来在空间域隐藏失真。然而，由于缺乏一个有效的定量测量评估图像质量和HVS非线性的措施，无图像编码方案尚未充分整合这些心理视觉效果提供一个简单而有效的方法用于消除静止图像的视觉冗余。在最近的图像编码技术评论中，贾扬，提出了感知编码

的一个重要概念，即“刚刚明显失真（JND）”。理想的JND提供

各种被编码信号能见度的阈值水平，低于则重建错误难以察觉。静

止图像的JND的配置文件是本地的信号属性的函数，如背景强度、

亮度的改变活动和主导的空间频率。这些属性映射到JND的配置文

件需要一个来自广泛主观实验有效的感知模型。一旦得到的图像的JND配置文件，可感知失真的能量可以被测量，每个感知意义信号

可以被评估。因此，一种有效的知觉模型可以从输入图像产生真实

的JND曲线将成为图像感知无损编码的前提。基于JND概念的方法

已经在宽带音频透明编码中非常成功。设想如果由于紧比特率预算

而使透明编码没有获得，最低限度明显失真（MND）而不是JND将被

要求，如此一来失真出现在重建图像将被最低限度感知，出现在图

像上将均匀分布。如果比特率降低，重建图像的感知质量将相应的

降低。

子带编码是一种很有前途的方法来实现高质量的数字图像压缩，子带编码的基本思路是将空间的图像信号分解成窄的频率子带，每

个子带被降低并分别编码。近期子带编码的兴趣是通过将HVS模型

合并到图像编码算法的可行性来驱动的。子带编码方案为图像压缩

使用JND信息的概念在[21]提出，其中每个子带基本敏感度第一次

从在midgrey背景下测量明显的噪声的能量的经验中得到。每个子

频带的基本灵敏度通过本地调整亮度和纹理能量来获得感知阈值用

于设定DPCM量化器的步长。

尽管总的信号能量非常高比例的包含在最低频率子带，截断带

或高频带待编码信号将导致由于混叠效应的感知失真。另一方面，

除非显著信号进行过谨慎编码，高频带信号overcoding代价是付费

获得的高感知质量图像。因此，待解决的问题是优化的子带编码方

案是如何定位在每一个频率子波段感知重要的信号，并如何将这些

信号具有最低可能的比特率进行编码而不超出误差可视性阈值。

在本文中，一个简单而有效的感知模型被提出来估计灰度级图

像的JNDMND信息。子带编码算法被设计用于去除作为量化JND/MND

信息的感性冗余。在第11节，重要心理视觉特性HVS进行评估，在

静止图像感性固有的冗余进行了研究。在DI部分，所推荐包含两个

基本的知觉作用的模型被详细的描述。为了验证所提出的感知模型

在获得JND信息中的有效性，进行了一个主观测试用于比较JND污

染的图像感知质量与原始图像，在第四节中，提议的子带编码方案

进行说明。考虑到事实上，传统的PSNR不能充分体现再建图像真实

的感知质量，新的保真度评估，以衡量能源残留在能量重建图像感

知失真中被在第V节中定义。仿真结果从PSNRP、SPNR和所要求的

比特率几个方面介绍。为了进行比较，从应用ISO-PEG编码器到相

同的测试图像中获得的编码结果也被呈现出来，一个中介总结在本

文第六节给出。

2.感知冗余

静止图像固有的的感知冗余是基于HVS灵敏度在变化的对照物、亮度在空间域的变化的刺激下不一致性。运用心理物理学到图像编

码中，编码损坏能见度阈值是量化感知冗余最重要措施。它已被定

义为刺激的量级，在那它可见或不可见。一个特定的刺激能见度取

决于许多因素，仅考虑非彩色图像在空间域中，有主要两方面因素

影响每个像素的可见性阈值的错误，一个是像素后面的平均背景亮

度进行测试，另一种是在空间不均匀的背景亮度。

在实验研究的第一个因素的作用时，研究发现，人的视觉感知

对对照物的亮度比固定亮度值更为敏感。如图中箭头韦伯定律，如

果测试刺激的亮度与周围环境亮度是明显的，恰可察觉的亮度的比

率不同于刺激亮度，称为韦伯分数，是常量。事实上，由于周围照

明环境包围显示的存在，在非常暗的的区域的噪声发生趋向于更不

可见高于更高的亮度区域。因此，修改已提出的，当背景亮度低时，韦伯分数随着背景亮度减小而增大。另一方面，如果背景的亮度高，则当背景亮度增加时韦伯分数保持不变。这个修改已经应用到感知

调谐图象编码器，其中高能见度的阈值假设在任一非常暗或亮的区域，并且低阈值在围绕127中等灰度级的区域。

第二个因素反映的事实是，由空间背景亮度不均匀性造成刺激

的能见度减少，这一事实被称为空间掩蔽。已经作出了一些努力利

用某些形式的空间掩蔽以提高编码效率。然而，掩蔽效应是很复杂

的过程，没有一个单一的理论已经能够证明各种形式的掩蔽是正当的。许多对这种效果的调查已被进行，以确定对于一个在位置接近

的亮度边缘的小光点或线的刺激亮度差阈值。空间掩蔽已被广泛使用，以优化差分脉冲编码调制（DPCM）编码器，其中可变步长的量

化器被设计以这样一种方式，该量化错误可以由亮度转换被屏蔽。

在许多方法中，亮度差的可视性阈值被定义为亮度边缘的幅度的函数，其中，扰动是变化的，直到它变成刚刚明显。如图1所示，实

验结果之一是将亮度差阈值和亮度边缘高度相联系。这些结果还表明，可视性阈值不仅取决于边缘的高度，还取决于背景亮度。在[12]中，空间活动的遮蔽函数的计算是在每个像素水平的加权和，

邻近的像素其中垂直亮度斜坡的重量减少作为相邻像素的距离和中

心像素点像素的增加。噪声可见性函数被定义来测量测试刺激的主观大小当屏蔽函数超过给定阈值。实验结果表明，高值屏蔽函数一般导致能见度函数的值低，反之亦然。这些结果也证实了噪声可视性的降低发生在空间细节附近，较少的像素具有在大多数图像的高空间细节。 Musmann和埃德曼的方法，可以作为上述掩蔽模型的简化版本，这使量化误差小于可视性阈值。在这种方法中，可视性阈值和定义在每个像素处的遮蔽函数关联作为四个相邻像素的最大预测误差。

除了对在空间域中的灵敏度阈值的调查，许多心理视觉研究表明失真的感知依赖于它的频度分布。不同空间频率的对比敏感度已被测定，并作为调制传递函数的模型。从图2中MTF的响应曲线得出，它表明HVS通常具有类似通带特性。失真的灵敏度在更高空间域频率比在较低的空间域频率为低。在第IV节，MTF的特性被用来推导能量的加权函数用于将JND的信号分解成不同频带的分量。

3.所提议的感知模型

本文的工作是把HVS的特性与JND曲线的估计合并用于测量图

像中固有的感知冗余。由于为此目没有建立统一的HVS模型，仅知

道HVS的特性，如在上一节中提到的，被用于于发展一个估计的感

知模型，从空间域的数据得出，JND的值与图像的每个像素相关联。在现实生活中的图像，JND的可见性阈值可能是上面提到的两个因

素的一个非常复杂的函数。然而，为了简单起见，该模型通过简化

的两个因素间的相关性得到，并假定JND值由这两个因素的主导作

用而决定。用于估计全带JND信息的感知模型可以由以下式子描述：

其中bg（X，Y）和mg（Z，Y）指的是平均背景亮度和（Z，Y）周围的像素背景亮度差的最大加权平均。H和W分别表示图像的高度和宽度。空间掩蔽效应由函数f1(x,y)建模，它的线性特性是在类似于[12]和[15]的测试中得到的，并且图1所示的关系接近。如图1所示，可见性阈值和亮度差关系曲线的近似斜率当背景亮度增大时趋于增大。参数a（X，Y）和P（X， Y）是背景亮度依附函数与确定斜率曲线以及可见度阈值轴的交点，背景亮度的可见度阈值由函数F2 （x，y）给出，在其中噪声灵敏度和背景亮度之间的关系由主观测试验证。在该实验中，小正方形区域32×32像素，是位于在恒定灰度级的平面的中心。对于平面中每一个可能的灰度级，固定振幅的噪声是从在正方形区域像素中随意的加上或者减去。通过改变噪声的振幅，当受噪声污染区域刚刚明显时每个灰度级的可见性阈值就为之确定。

与在[21]得到的测试结果相似，并示于图（3），其中对应于

低背景亮度的关系（127以下）由另一根方程建模部分（超过127）是由一个线性函数来近似。两个上述实验是在一个暗室进行，由

19-in SPARC-workstation 显示器显示，在距离约6倍图像高度获取。f2 （X，Y）、T0和γ分别表示当背景灰度级为0下的可视性阈，直线的斜率该模型在较高的背景亮度的功能。由于空间掩蔽

效应，β（x，y）中的λ影响能见度阈值的平均振幅 ,这些可以在

实验中找到，这三个变量的值由观看距离的增加而增加。因此

JND/MND 可以被建模为一个单调递增函数观看距离。对于在上述所

采取的观看距离进行了实验，T0,γ和λ的结果分别为17，3/128，和1/2 。在该情况下的比特率预算紧张的，编码失真有望被均匀地

分布在重构的图像上，以使得在不同的障碍位置具有相同的可见

度并且图像质量不会因为任何明显的空间局部失真而突然降低。因

为有不同等级的MND失真，因此需要优化编码效率在不同的比特率

预算。在本文中，MND 从upraising JND乘以所有由一个常数比例

因子的JND每一个元素作为失真指标。因此，MND与失真指标， d，可以表示为

MND d,fb x,y=JND fb(x,y)?d其中0≤x

当d的值从1.0到4.0.

(x,y)的mg(x,y)由在像素点4个方向的加权平均亮度值经计算确定，如图（4）所示，四个方向，G k i,j,其中k=1, (4)

i,j=1,...,5 ，这些进行计算，其中的加权系数会随着远离中心像素点的距离增加而增加。

mg(x,y)=max k=1,2,3,4grad k(x,y) (7)

grad k(x,y)=1

16

p x?3+i,y?3+j?G k(i,j) 5

j=1

5

i=1

其中 0≤x

其中p(s,1-r)表示（x,y)点的像素。平均背景亮度bg(x,y)由B （i,j),i,j=1,...,5通过加权计算获得。如图（5）所示。

bg x,y=1

32

p x?3+i,y?3+j?B i,j

5

j=1

5

i=1

(9)

为了证明所提出的感知模型的有效性，进行了一个比较原始图像的JND噪音污染的主观测试（图6）。如果JND曲线

从所提出的感知模型得到的是准确的，其相应JND污染的感知质量理论上应该和低污染的PSNR原始图像是一样好的。图（7）显示测试被随机的JND值污染的图像的估计JND曲线。每个像素中减去

被污染的图像 c(x,y),由此可以得到如

c x,y=p x,y+ran

d x,y?JND fb x,y

rand(x,y)=1 or -1 其中 0≤x

如在图(7)中所示的图像由暗室的显示器显示，我们很难辨别在约6倍图像高度的距离来观看原来和被污染的图像之间的差异，该

被污染的图像信噪比为33.1分贝。这种方法不仅可以用于量化在指定允许的观看距离的图像在一个透明的编码中的不可察觉的量化失真，而且可以缩小感知模型以获得JND轮廓在给定的观看距离上的更精确的估计。受污染的MND测试图像（d=3.0）如图（8）所示。

4、编码方案

所提出的编码装置的功能框图如图(9)所示，其中整个系统被分成分为三个部分。第一部分是该滤波器的子带分解。第二部分包括用于估计的该JND/MND信息所提出的感知模型输入图像的一种机制，用于分解所述全带JND/MND分布到组件JND/MND 不同的频率子带上。第三部分是编码器，编码通过由JND/MND相应确定适当编码参数的重要感知子信号

A.子带编码

子带图像的编码是在低比特率实现高质量的图像压缩的有效方法。它具有避免块状类型伪像以上基于离散余弦变换（DCT）的编码

方案的优点。子带编码是一种类型的分层编码方案，该方案通过将

源图像分割成子图像具有不同分辨率的层提供不同的编码系统之间

的兼容性。达到接近完美的重构，图像信号通常是由2维正交镜像

滤波器组，其允许输入信号，信号的无混叠重建完成的分析和合成。在所提出的子带编码器的仿真，一个16抽头的QMF被用于分解所述

输入图像分成16个相等的子带（图1O），其中所述滤波由循环卷

积进行压制靠近图像的边缘之间的误差.

在许多子带编码方式，压缩是通过在一个预定义的准则分配比

特的正确数目，以每个子带实现。在本文中，子带编码是通过分配

比特来感知重要信号，使得编码误差内JND或MND信息局限于优化。为了使听觉重要信号可以被有效地定位和编码时，每个信号的感知

意义，必须进行评估.

B. 在JND/MND轮廓的分解

为了评价中的子带的每个信号的感知意义，对应于各个子带的JND/ MND信息必须找到。在空间频率域中，HVS充当伪带通系统。

高空间频率的失真，需要较高的能量比的中间空间失真可见。根据

人类视觉系统对空间频率灵敏度，加权函数来分配的全频带JND/ MND能量到不同的子带，从计算每个子带的平均MTF值而得。为16

个相等的子带分解，在全频带JND（或MND）能量分布和组分JND

（或MND）能量由下式给出的关系:

其中JNDq（M，N）表示JND的（M，N）的第q个子带的大小。

wq表示为第q个子带的重量和被定义为归一化空间频率的不敏感性，

其中SK，表示在信号的能量，HVS的他平均灵敏度在第k子频带的

空间频率的术语。由于

可以从（11）和（12）可以理解，每个子带的失真的可视性阈值成

反比，对应的相对灵敏度

空间frequencies.The平均灵敏度SK，由下式计算

其中

以及e（U，V）表示的MTF为0 FU

其中

是空间频率在每度周期。空间频率的计算是基于约6倍的图像高度和4的长宽比的视距：3。假设，在此观看距离，在水平方向上64个像素对着大约1度的视野。常数A，B，C，和SZO是塑造MTF 曲线参数。业已发现，该MTF曲线由=2.6，B =0.0192，C =1.1，和Ro=8.772建模是有用的图象压缩的典型应用。如表中列出我都是从为512×512的图像的16相等的子带这个MTF曲线得到的JND能源的权重。

C.最低带的编码

最低频带信息中所包含的是整个图像的占主导地位的一部分。重建的最低频带的质量从而基本上影响了重建图像的整体质量。由于该频段的像素到像素的相关性还是非常高的，一个二维DCT算法来此频段进行编码。基于DCT的编码算法已被广泛认为是在像素之间的能量压缩和去相关方面近乎最佳的方法。然而，从在变换域中的信号有效地除去所述感知冗余，每个感知意义的变换系数需要被评估，并且显著系数必须用适当的步长进行量化。

在本文中，最低的频带首先被分成的尺寸8×8个不重叠的块，对每一个在[37]中所施加的2-D DCT变换使用。以定位在一个块中的感知显著变换系数中，首先假设具有幅值小于0.5和高序数的AC系数绝对值小于1.0的低序数的AC系数被视为无意义的.第二，如符合Parseval定理，从量化所有的AC系数所造成的总编码能量是该块的频带JND/ MND信息。这表示没有误差公差允许在编码直流系数.假设，即块的失真能量不含低幅度的AC系数的部分被均匀地由AC 系数分配具有较大.所以，局部阈值，r（下F，G），用于评估大幅度系数的块的感知意义（F，G）可以由下面的公式得到的

其中{F F，G（U，V）}表示DCT变换块（F，G）的系数。其幅度小于系数

局部阈值也将被认为是听觉不重要并弃之。另一方面，随着系数

幅度比本地的阈值被认为是听觉显著，并是编码由一个均匀量化

与步长设置为本地的阈值。均匀量化器的最小步长设定为1.0，以避免在低JNDMND能量的情况下。由于相邻块的平均亮度之间的相关性是高的，最低的频带的DC系数被DPCM编码的可变长度码。对2-D预测的像素结构是一样的，在ISO-JPEG[38]中提出。听觉重要的AC系数的位置位于通过Z字形扫描。任何两个非零量化系数和AC系数的量化指数之间的游程长度是可变长度编码，以达到最佳的压缩。

D.高频带的编码

在高频子带中，只有信号的幅度比相应的JNDMND值较大的被认为是感知显著和编码。编码这些感知显著信号，每个子带的第一划分成互不重叠的4×4子块。这取决于在子块显著信号的数量，所有的子块被分为重要和不重要的类型。包含少于两个显著点的子块被视为不重要。这是基于以下观察：少数孤立点没有影响的感知质量。因此显著信号位于通过执行扫描的两层。第一层扫描的是，子块逐子块的基础上执行定位重要子块.仅仅信号中的重要子块被扫描编码的第二层和PCM。这两个层中的子带的扫描计划由带位置＃2确定的，＃3的水平扫描，与那些在子带＃4，＃8，＃12在垂直方向进行扫描。剩余的高频子带中的信号被Z字形扫描。在子块的感知显著信号被量化和被设置为最小的选定JNDMND值，但不低于1.0，以避免克服相同的步长。在每个子带重要的子块的位置被游程长度编码，其中重要的子数据块的运行是可变长编码。显著点中的每个子块的运行，对显著信号量化索引，并且每个重要子块的量化器步长都是可变长度的霍夫曼码进行编码。

5模拟结果与讨论

为了评估重建图像的感知质量以及（本文）提出的编码算法，一个有效的保真度标准是必需的。峰值信噪比

是一种用以测量图像质量的常用方法。然而，它无法准确地反映重建图像的真实感官质量，尤其是在比特率较低的情况下。因此，我们需要一种与对图像质量的主观评估相一致的定量的保真度量度。在本文中，我们定义了一种可计算的保真度量度，以便用可感知畸

变能来评估被压缩图像的质量。在这一量度中，可感知畸变是指畸

变中可观察到的，或超过由JND曲线所给出的阈值的部分（比例）。这种称为“峰值信号-可感知噪声比（PSPNR）”的新的保真度标准

定义如下：

式中表示在(x, y)处重建的像素。PSPNR与JND曲线呈明显

相关，因此是观察距离的函数。所以，对于峰值信号比(PSNR)为定

值的重建图像，JND曲线的平均值随着观察距离的增大而增大。与

之相关的PSPNR亦是如此。

依照本文所提出的算法，我们用相应的JND/MND曲线对从简单到复

杂的多种灰阶图像进行了编码。编码结果表明，当在6倍图像高度

的距离上观察时，透明质量可在比特率0.1-0.5 bpp的范围内达到。平均来说，对于通常的图像，比特率低于0.4 bpp时可以得到很高

的感知质量或接近透明质量。图11展示了用相应的JND曲线编码的“Lenna”与“Pepper”的重建图像。当在距显示器的一段特定距离

上观察时，重建图像与原图已经很难区分。如表II所示，对这些图

像的接近透明编码可在比特率小于0.4 bpp时实现，而PSNR与PSPNR的差量化了可感知畸变被本文所提出算法消除的量。

我们对以不同比特率重建的图像与用ISO-JPEG标准编码的图像进行

了比较。本文提出的算法所要求的比特率可以通过变换MND曲线的

畸变指数的方法进行控制，而JPEG算法所要求的比特率可通过变换

量化表比例系数的方法控制。比如，d = 3.6，1.6和 1.25的MND

曲线被用于以0.15，0.23与0.33的比特率压缩图像“Pepper”。

以低比特率重建的图像如图12、13所示。我们注意到，用该算法编

码的重建图像的感知质量比用JPEG算法压缩的图像更好。MND曲线

畸变指数的降低提高了被压缩图像的保真度。消除更多的可感知畸

变需要更高的比特率，因此PSPNR与PSNR的值将会更高。该算法与JPEG算法的“PSPNR/PSNR对所需比特率”图像如图14、15所示。

图像表明，该算法的表现优于ISO-JPEG标准。被该算法消除的感知

冗余(PSPNR-PSNR)的量大于被JPEG算法消除的量。当比特率较高时，被JPEG算法消除的感知冗余相当有限。编码“Pepper”的例子尤为

清晰地反映了这一情况。

尽管在依照本算法用JND曲线编码测试图像时可以以低比特率实现

较高的感知质量，被压缩图像的峰值信噪比与JND污染的图像的峰

值信噪比间仍有差别。这表明，重建图像中仍然存在一定量的感知

冗余，且信号的某些部分被过度编码。因此，如果JND曲线能得到

更有效的利用，透明编码所需的比特率还可以进一步地降低。这一

点可以通过优化JND能量在具有不同感知重要性的信号上的分配来

实现。另一方面，一些过度编码可能是因在编码高频带上的重要信

号时使用最小步长而导致的。要减小这种过度编码，可以使用统计

方法取得较大的步长，而非所选JND中的最小值。对于最低频带(lowest-band)信号的DCT编码，我们目前正在研究一种更复杂的方法，用以向变换系数分配块JND能量并决定合适的量化器步长。

6. 结论

本文的目的是通过利用人类视觉系统的精神性视觉特性来优化部分

波段的编码方式，从而使被压缩图像能在低比特率下保持高感知质量。为实现最优化的目标，即令编码损伤在某一特定距离处观察时

不可见或不易注意，我们在两个方面使用JND/MND曲线方法。第一，鉴于对感知冗余的量化必须依赖JND/MND曲线，我们为得到准确的JND/MND曲线而建立了有效的HVS模型。第二，我们为消除感知冗

余而设计了一个部分波段编码算法。由于目前尚没有适于此用途的

统一的HVS模型，本文提出的感知模型中只嵌入了HVS中较为为人

熟知的精神性知觉特性。尽管该模型在某种程度上仍十分简单且并

非最优，我们发现用它来量化感知冗余是可行的。而且，对于大多

数实际图像而言，该模型能够有效地提高编码效率。对JND曲线的

估算是在空间域上通过分析图像信号的局部属性来进行的。然而，

该编码算法的主要部分则是基于在频域上的分析。为滤掉在感知上

不重要的信号，JND/MND曲线被HVS的MTF分解为分量曲线。在本

文中，我们提出了一种新的保真度标准用以评估被压缩图像的质量。在此量度中，只有超过JND曲线的编码错误才会被考虑。模拟结果

表明，与ISO-JPEG标准相比，该算法能有效地消除更多的感知冗余，并在更低的比特率下达到更高的感知质量。对于常规的实际图像，

透明或接近透明质量可在比特率低于0.4 bpp时达到。