基于多尺度深度特征的视觉显著性

基于多尺度深度特征的视觉显著性

视觉显著性在认知和计算科学是一个基本的问题，包括计算机视觉。在本文中，我们发现一个高质量的视觉显著性模型可以使用深度卷积神经网络抽取多尺度特征来学习，这些在视觉识别工作中已经有很多成功的例子。为了学习显著性模型，我们提出一种为了在三个不同的尺度提取的特征可以和CNN的顶层充分连接的神经网络架构。接着我们提出了一个细化方法来加强显著性结果的空间一致性。最后，融合多个显著图计算为图像分割的不同水平可以更好的促进性能，收益率显著图比从单一分割产生的图像要好。为了促进视觉显著模型的进一步研究和评价，我们也建立一个新的拥有4447张挑战性图片的大型数据库及其注释。实验结果表明,我们提出的方法在所有公共基准能够实现最先进的性能,在MSRA-B数据集和我们的新数据集(HKU-IS)改善F-Measure的效果分别为5.0%和13.2%,降低了这两个数据集平均绝对误差分别为5.7%和35.1%。

1.介绍

总结，这篇文章有以下贡献：

一个新的视觉显著模型被提出用于从一个拥有多个完全连接层的深度神经网络的嵌套的窗口将多尺度CNN特征提取。用于显著性估计的深度神经网络是可以用一组标记的显著图区域来训练的。

一个完整的显著性框架是由进一步整合我们的用空间一致性模型和多级图像分割基于CNN的显著性模型开发而成的。

HKU-IS是用来显著性模型研究和评估而创建的一个新的具有挑战的数据集。这个数据集是对外公开的。我们提出的显著性模型已经成功地验证了这个新数据集和所有现有的数据集。

2.相关工作

视觉显著计算可以分为自底向上和自顶向下的方法或两者的混合。自底向上的模型主要是基于c enter-surround方案,通过低级视觉属性的线性或非线性结合来计算主显著图,如颜色、强度、结构和方向。自上而下的方法通常需要高层知识的整合,如在计算过程中目标和人脸识别检测。最近，设计区别特征和显著先验的工作已经取得了很大成效。大多数方法基本上都遵循区域对比框架,旨在设计更好的描述图像区域与其周边地区的特殊性的特性。在【26】中，三个新奇特征与条件随机场（

）结合。在【33】中提出了一个基于低秩矩阵恢复的模型用于整合底层视觉特征与高层次先验。

显著先验和中心先验与边界先验一样被广泛应用于启发结合低级线索的和改善显著估计。这些显著先验直接结合其他显著的线索权重或者用于特征学习算法。虽然这些经验对于很多图像来说可以改变显著结果，但当显著目标偏离中心或明显在图像边界重叠就会失败。我们应该注意到目标位置线索和基于背景的背景模型在我们的框架中并没有被忽视，而是一直通过CNN的多尺度特征提取和神经网络训练含蓄地纳入进我们的模型。

最近，CNNs在视觉识别工作中取得了很多成就，包括图像分类、目标检测和场景解析。Dona hue等在【11】中指出从ImageNet数据集训练的Krizhevsky的CNN提取的特征可以转化成一般的任务。Razavian等在【30】中拓展他们的结果并得出深度学习和CNNs对于所有的视觉识别任务可以成为一个强有力的候选的结论。然而，CNN特征并没有探索视觉显著性研究主要是因为在【11,30】

考虑到使用相同的框架并不能解决显著问题。这是与周边区域之间的差别,而不是包含在一个图像里应该学会显著预测的内容。本文提出了一个简单但非常有效的神经网络结构使深度CNN特性适用于显著建模和显著目标检测。

2.显著推理和深度特征

如图1所示，我们的基于视觉显著的深度特征的体系结构在三个深度CNNs上包含一个输出层和两个完全连接隐含层。我们的显著模型需要一个输入图像分解为一组不重叠的区域，每一个都有内部统一的显著值。三个深度CNNs负责对尺度特征提取。对于每个图像区域，他们从三个嵌套和越来越大的矩形窗口执行自动特征提取，分别考虑的边界框的区域，其直接相邻的边界框区域和整个图像。从三个CNNs抽取特征被送入两个完全连接层，每一层包括300个神经元。第二个完全连接层的结果被送入执行产生一个分布在二进制显著标签的双向回归的输出层。当一个输入图片产生一个显著图，我们运行显著模型反复训练这张图片的所有区域使这些区域产生一个显著分数。显著分数进一步转移到该区域的所有像素。

2.1多尺度特征抽取

我们为CNN特征提取定义矩形区域

显著计算有二个重要线索，一是一个相对于图像其余部分的区域的唯一性（独特性）的程度

二是一个图像区域在整个图像的位置。

为了满足这些要求，

2.2神经网络训练