结合域变换和轮廓检测的显著性目标检测
第30卷第8期计算机辅助设计与图形学学报Vol.30No.8 2018年8月Journal of Computer-Aided Design & Computer Graphics Aug. 2018结合域变换和轮廓检测的显著性目标检测
李宗民1), 周晨晨1), 宫延河1), 刘玉杰1), 李华2)
1) (中国石油大学(华东)计算机与通信工程学院青岛 266580)
2) (中国科学院计算技术研究所智能信息处理重点实验室北京 100190)
(lizongmin@https://www.360docs.net/doc/0a11210423.html,)
摘要: 针对多层显著性图融合过程中产生的显著目标边缘模糊、亮暗不均匀等问题, 提出一种基于域变换和轮廓检测的显著性检测方法. 首先选取判别式区域特征融合方法中的3层显著性图融合得到初始显著性图; 然后利用卷积神经网络计算图像显著目标外部轮廓; 最后使用域变换将第1步得到的初始显著性图和第2步得到的显著目标轮廓图融合. 利用显著目标轮廓图来约束初始显著性图, 对多层显著性图融合产生的显著目标边缘模糊区域进行滤除, 并将初始显著性图中检测缺失的区域补充完整, 得到最终的显著性检测结果. 在3个公开数据集上进行实验的结果表明, 该方法可以得到边缘清晰、亮暗均匀的显著性图, 且准确率和召回率、F-measure, ROC以及AUC等指标均优于其他8种传统显著性检测方法.
关键词: 显著性目标; 卷积神经网络; 轮廓检测; 域变换融合
中图法分类号:TP391.41 DOI: 10.3724/SP.J.1089.2018.16778
Saliency Object Detection Based on Domain Transform and Contour Detection
Li Zongmin1), Zhou Chenchen1), Gong Yanhe1), Liu Yujie1), and Li Hua2)
1)(College of Computer & Communication Engineering , China University of Petroleum, Qingtao 266580)
2) (Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190)
Abstract: In order to solve the problem of edge blur and brightness non-uniformity of salient object in the process of multi-level saliency maps integration, this paper proposes a saliency detection method based on domain transform and contour detection. Firstly, we obtain initial saliency map by integrate three saliency maps using DRFI method. Then, the salient object contour of image are computed by convolutional neural network. Finally, we use domain transform to blend the initial saliency map and the salient object contour.
Under the constraints of the salient object contour, we can filter out the errors in the initial saliency map and compensate the missed region. The experimental results on three public datasets demonstrates that our method can produce a pixel-wised clearly saliency map with brightness uniformity and outperform other eight state-of-the-art saliency detection methods in terms of precision-recall curves, F-measure, ROC and AUC.
Key words: salient object; convolutional neural network; contour detection; domain transform fuse
人类视觉系统可以快速定位图像中的显著区域, 显著性检测就是通过模拟人类大脑的视觉
收稿日期: 2017-07-10; 修回日期: 2017-09-12. 基金项目: 国家自然科学基金(61379106, 61379082, 61227802); 山东省自然科学基金(ZR2013FM036, ZR2015FM011). 李宗民(1965—), 男, 博士, 教授, 博士生导师, CCF会员, 主要研究方向为计算机图形学与图像处理、模式识别; 周晨晨(1992—), 女, 硕士研究生, 主要研究方向为计算机图形学与图像处理; 宫延河(1989—), 男, 硕士研究生, 主要研究方向为计算机图形学与图像处理; 刘玉杰(1971—), 男, 博士, 副教授, CCF会员, 主要研究方向为计算机图形图像处理、多媒体数据分析、多媒体数据库; 李华(1956—), 男, 博士, 教授, 博士生导师, CCF会员, 主要研究方向为计算机图形图像处理.
万方数据
结合域变换和轮廓检测的显著性目标检测
第30卷第8期计算机辅助设计与图形学学报Vol.30No.8 2018年8月Journal of Computer-Aided Design & Computer Graphics Aug. 2018结合域变换和轮廓检测的显著性目标检测 李宗民1), 周晨晨1), 宫延河1), 刘玉杰1), 李华2) 1) (中国石油大学(华东)计算机与通信工程学院青岛 266580) 2) (中国科学院计算技术研究所智能信息处理重点实验室北京 100190) (lizongmin@https://www.360docs.net/doc/0a11210423.html,) 摘要: 针对多层显著性图融合过程中产生的显著目标边缘模糊、亮暗不均匀等问题, 提出一种基于域变换和轮廓检测的显著性检测方法. 首先选取判别式区域特征融合方法中的3层显著性图融合得到初始显著性图; 然后利用卷积神经网络计算图像显著目标外部轮廓; 最后使用域变换将第1步得到的初始显著性图和第2步得到的显著目标轮廓图融合. 利用显著目标轮廓图来约束初始显著性图, 对多层显著性图融合产生的显著目标边缘模糊区域进行滤除, 并将初始显著性图中检测缺失的区域补充完整, 得到最终的显著性检测结果. 在3个公开数据集上进行实验的结果表明, 该方法可以得到边缘清晰、亮暗均匀的显著性图, 且准确率和召回率、F-measure, ROC以及AUC等指标均优于其他8种传统显著性检测方法. 关键词: 显著性目标; 卷积神经网络; 轮廓检测; 域变换融合 中图法分类号:TP391.41 DOI: 10.3724/SP.J.1089.2018.16778 Saliency Object Detection Based on Domain Transform and Contour Detection Li Zongmin1), Zhou Chenchen1), Gong Yanhe1), Liu Yujie1), and Li Hua2) 1)(College of Computer & Communication Engineering , China University of Petroleum, Qingtao 266580) 2) (Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190) Abstract: In order to solve the problem of edge blur and brightness non-uniformity of salient object in the process of multi-level saliency maps integration, this paper proposes a saliency detection method based on domain transform and contour detection. Firstly, we obtain initial saliency map by integrate three saliency maps using DRFI method. Then, the salient object contour of image are computed by convolutional neural network. Finally, we use domain transform to blend the initial saliency map and the salient object contour. Under the constraints of the salient object contour, we can filter out the errors in the initial saliency map and compensate the missed region. The experimental results on three public datasets demonstrates that our method can produce a pixel-wised clearly saliency map with brightness uniformity and outperform other eight state-of-the-art saliency detection methods in terms of precision-recall curves, F-measure, ROC and AUC. Key words: salient object; convolutional neural network; contour detection; domain transform fuse 人类视觉系统可以快速定位图像中的显著区域, 显著性检测就是通过模拟人类大脑的视觉 收稿日期: 2017-07-10; 修回日期: 2017-09-12. 基金项目: 国家自然科学基金(61379106, 61379082, 61227802); 山东省自然科学基金(ZR2013FM036, ZR2015FM011). 李宗民(1965—), 男, 博士, 教授, 博士生导师, CCF会员, 主要研究方向为计算机图形学与图像处理、模式识别; 周晨晨(1992—), 女, 硕士研究生, 主要研究方向为计算机图形学与图像处理; 宫延河(1989—), 男, 硕士研究生, 主要研究方向为计算机图形学与图像处理; 刘玉杰(1971—), 男, 博士, 副教授, CCF会员, 主要研究方向为计算机图形图像处理、多媒体数据分析、多媒体数据库; 李华(1956—), 男, 博士, 教授, 博士生导师, CCF会员, 主要研究方向为计算机图形图像处理. 万方数据
图像显著性目标检测算法研究
图像显著性目标检测算法研究 随着移动电子设备的不断升级与应用,使用图像来记录或表达信息已成为一种常态。我们要想快速地在海量图像中提取出有价值的信息,那么需要模拟人类视觉系统在机器视觉系统进行计算机视觉热点问题的研究。 图像显著性目标检测对图像中最引人注意且最能表征图像内容的部分进行检测。在图像显著性目标检测任务中,传统的方法一般利用纹理、颜色等低层级视觉信息自下向上地进行数据驱动式检测。 对于含有单一目标或高对比度的自然场景图像,可以从多个角度去挖掘其显著性信息,如先验知识、误差重构等。然而,对于那些具有挑战性的自然场景图像,如复杂的背景、低对比度等,传统的方法通常会检测失败。 基于深度卷积神经网络的算法利用高层级语义信息结合上下文充分挖掘潜在的细节,相较于传统的方法已取得了更优越的显著性检测性能。本文对于图像显著性检测任务存在的主要问题提出了相应的解决方法。 本文的主要贡献如下:为充分挖掘图像多种显著性信息,并使其能够达到优势互补效果,本文提出了一种有效的模型,即融合先验信息和重构信息的显著性目标检测模型。重构过程包括密度重构策略与稀疏重构策略。 密度重构其优势在于能够更准确地定位存在于图像边缘的显著性物体。而稀疏重构更具鲁棒性,能够更有效地抑制复杂背景。 先验过程包含背景先验策略与中心先验策略,通过先验信息可更均匀地突出图像中的显著性目标。最后,把重构过程与先验过程生成的显著特征做非线性融合操作。 实验结果充分说明了该模型的高效性能与优越性能。针对图像中存在多个显
著性目标或者检测到的显著性目标存在边界模糊问题,本文提出了一种基于多层级连续特征细化的深度显著性目标检测模型。 该模型包括三个阶段:多层级连续特征提取、分层边界细化和显著性特征融合。首先,在多个层级上连续提取和编码高级语义特征,该过程充分挖掘了全局空间信息和不同层级的细节信息。 然后,通过反卷积操作对多层级特征做边界细化处理。分层边界细化后,把不同层级的显著特征做融合操作得到结果显著图。 在具有挑战性的多个基准数据集上使用综合评价指标进行性能测试,实验结果表明该方法具有优越的显著性检测性能。对于低对比度或者小目标等问题,本文提出一种新颖模型,即通道层级特征响应模型。 该模型包含三个部分:通道式粗特征提取,层级通道特征细化和层级特征图融合。该方法基于挤压激励残差网络,依据卷积特征通道之间的相关性进行建模。 首先,输入图像通过通道式粗特征提取过程生成空间信息丢失较多的粗糙特征图。然后,从高层级到低层级逐步细化通道特征,充分挖掘潜在的通道相关性细节信息。 接着,对多层级特征做融合操作得到结果显著图。在含有复杂场景的多个基准数据集上与其它先进算法进行比较,实验结果证明该算法具有较高的计算效率和卓越的显著性检测性能。
基于全局对比度的显著性区域检测
基于全局对比度的显著性区域检测 Ming-Ming Cheng1Guo-Xin Zhang1 Niloy J. Mitra2 Xiaolei Huang3Shi-Min Hu1 1TNList, Tsinghua University 2 KAUST 3 Lehigh University 摘要 视觉显著性的可靠估计能够实现即便没有先验知识也可以对图像适当的处理，因此在许多计算机视觉任务中留有一个重要的步骤，这些任务包括图像分割、目标识别和自适应压缩。我们提出一种基于区域对比度的视觉显著性区域检测算法，同时能够对全局对比度差异和空间一致性做出评估。该算法简易、高效并且产出满分辨率的显著图。当采用最大的公开数据集进行评估时，我们的算法比已存的显著性检测方法更优越，具有更高的分辨率和更好的召回率。我们还演示了显著图是如何可以被用来创建用于后续图像处理的高质量分割面具。 1 引言 人们经常毫不费力地判断图像区域的重要性，并且把注意力集中在重要的部分。由于通过显著性区域可以优化分配图像分析和综合计算机资源，所以计算机检测图像的显著性区域存在着重要意义。提取显著图被广泛用在许多计算机视觉应用中，包括对兴趣目标物体图像分割[13, 18]、目标识别[25]、图像的自适应压缩[6]、内容感知图像缩放[28, 33,30, 9]和图像检索[4]等。 显著性源于视觉的独特性、不可预测性、稀缺性以及奇异性，而且它经常被归因于图像属性的变化，比如颜色、梯度、边缘和边界等。视觉显著性是通过包括认知心理学[26, 29]、神经生物学[8, 22]和计算机视觉[17, 2]在内的多学科研究出来的，与我们感知和处理视觉刺激密切相关。人类注意力理论假设人类视力系统仅仅详细处理了部分图像，同时保持其他的图像基本未处理。由Treisman和Gelade [27]，Koch和Ullman [19]进行的早期工作，以及随后由Itti，Wolfe等人 提出的注意力理论提议将视觉注意力分为两个阶段：快速的、下意识的、自底向 上的、数据驱动显著性提取；慢速的、任务依赖的、自顶向下的、目标驱动显著
显著性目标检测中的视觉特征及融合
第34卷第8期2017年8月 计算机应用与软件 Computer Applications and Software VoL34 No.8 Aug.2017 显著性目标检测中的视觉特征及融合 袁小艳u王安志1潘刚2王明辉1 \四川大学计算机学院四川成都610064) 2 (四川文理学院智能制造学院四川达州635000) 摘要显著性目标检测，在包括图像/视频分割、目标识别等在内的许多计算机视觉问题中是极为重要的一 步，有着十分广泛的应用前景。从显著性检测模型过去近10年的发展历程可以清楚看到，多数检测方法是采用 视觉特征来检测的，视觉特征决定了显著性检测模型的性能和效果。各类显著性检测模型的根本差异之一就是 所选用的视觉特征不同。首次较为全面地回顾和总结常用的颜色、纹理、背景等视觉特征，对它们进行了分类、比较和分析。先从各种颜色特征中挑选较好的特征进行融合，然后将颜色特征与其他特征进行比较，并从中选择较 优的特征进行融合。在具有挑战性的公开数据集ESSCD、DUT-0M0N上进行了实验，从P R曲线、F-M easure方法、M A E绝对误差三个方面进行了定量比较，检测出的综合效果优于其他算法。通过对不同视觉特征的比较和 融合，表明颜色、纹理、边框连接性、Objectness这四种特征在显著性目标检测中是非常有效的。 关键词显著性检测视觉特征特征融合显著图 中图分类号TP301.6 文献标识码 A DOI：10. 3969/j. issn. 1000-386x. 2017.08. 038 VISUAL FEATURE AND FUSION OF SALIENCY OBJECT DETECTION Yuan Xiaoyan1,2Wang Anzhi1Pan Gang2Wang Minghui1 1 (College o f Computer Science，Sichuan University，Chengdu 610064，Sichuan，China) 2 {School o f Intelligent M anufacturing, Sichuan University o f A rts and Science, Dazhou 635000, Sichuan, China) Abstract The saliency object detection is a very important step in many computer vision problems, including video image segmentation, target recognition, and has a very broad application prospect. Over the past 10 years of development of the apparent test model, it can be clearly seen that most of the detection methods are detected by using visual features, and the visual characteristics determine the performance and effectiveness of the significance test model. One of the fundamental differences between the various saliency detection models is the chosen of visual features. We reviewed and summarized the common visual features for the first time, such as color, texture and background. We classified them, compared and analyzed them. Firstly, we selected the better features from all kinds of color features to fuse, and then compared the color features with other characteristics, and chosen the best features to fuse. On the challenging open datasets ESSCD and DUT-OMON, the quantitative comparison was made from three aspects：PR curve, F-measure method and MAE mean error, and the comprehensive effect was better than other algorithms. By comparing and merging different visual features, it is shown that the four characteristics of color, texture, border connectivity and Objectness are very effective in the saliency object detection. Keywords Saliency detection Visual feature Feature fusion Saliency map 收稿日期:2017-01-10。国家重点研究与发展计划项目（2016丫?80700802,2016丫?80800600);国家海洋局海洋遥感工程技术 研究中心创新青年项目（2015001)。袁小艳，讲师，主研领域:计算机视觉，机器学习，个性化服务。王安志，讲师。潘刚，讲师。王 明辉，教授。
图像处理文献综述
文献综述 近年来，随着计算机视觉技术的日益发展，图像处理作为该领域的关键方向受到越来越多研究人员的关注与思考。在现在的日常生活中，由于通信设备低廉的价格和便捷的操作，人们越来越喜欢用图像和视频来进行交流和分享，消费性的电子产品在消费者中已经非常普遍，例如移动手机和数码相机等等。在这个纷繁多变的世界，每天都有数以万计的图像产生，同时信息冗余问题也随之而来。尽管在一定的程度上，内存技术的增加和网络带宽的提高解决了图像的压缩和传输问题，但是智能的图像检索和有效的数据存储，以及图像内容的提取依然没有能很好的解决。 视觉注意机制可以被看做是人类对视觉信息的一个筛选过程，也就是说只有一小部分重要的信息能够被大脑进行处理。人类在观察一个场景时，他们往往会将他们的注意力集中在他们感兴趣的区域，例如拥有鲜艳的颜色，光滑的亮度，特殊的形状以及有趣的方位的区域。传统的图像处理方法是将整幅图像统一的处理，均匀的分配计算机资源；然而许多的视觉任务仅仅只关系图像中的一个或几个区域，统一的处理整幅图像很明显会浪费过多的计算机资源，减少处理的效率 [1,2]。因此，在计算机视觉领域，建立具有人类视觉系统独特数据筛选能力的数学模型显得至关重要。受高效的视觉信息处理机制的启发，计算机视觉领域的显著性检测应运而生。图像显著性检测是通过建立一定的数学模型，让计算机来模拟人类的视觉系统，使得计算机能够准确高效的定位到感兴趣的区域。 一般来说，一个信号的显著性可以表示为其和周围环境的差异性。正是因为这个信号和周围的其他信号的迥异性，使得视觉系统不需要对环境中的所有感兴趣的区域进行逐个的扫描，显著的目标会自动从环境中凸显出来。另外，一些心理学研究表明人类的视觉机制不仅仅是由低级的视觉信号来驱动的，基于记忆、经验等的先验知识同样能够决定场景中的不同信号的显著性，而这些先验知识往往是和一些高层次的事件以及视觉任务联系在一起的。基于当前场景的视觉显著性机制是低级的，慢速的。而基于先验知识的显著性机制通常是和高层次的任务关联在一起的，其效率通常低于由视觉信号驱动的显著性机制。人眼视觉系统通过显著性原理来处理复杂的视觉感知是不争的事实，这种显著性的处理机制使得复杂背景下的目标检测、识别有了很大程度的提升。 在模式识别、计算机视觉等领域，越来越多的计算机工作者致力于开发显著性计算模型，用以简单的表达图像的主要信息。这些显著性模型的检测结果是一个显著性灰度图，其每个像素点的灰度值表示了该像素的显著性，灰度值越大，表明该像素越显著。从信息处理的方式看，显著性模型大致可以分为两类：自顶向下（任务驱动）和自底向上（数据驱动）的方法。 自顶向下的显著性检测方法之所以是任务驱动，这是因为该类模型通常是和某一特定的任务相关。在同样的场景或模式下，检测到的结果因任务的不同而不同是自顶向下模型最突出的特点。例如在目标检测中，检测者需要首先告诉需要检测的目标是什么，检测到的显著性图则表示目标可能出现的位置。自顶向下的显著性检测方法的依据是：如果研究者事先知道需要检测目标的颜色、形状或者方向等特征，那么该检测算法自然会高效的检测到需要检测的目标。因此，自顶向下的算法通常需要人工标记，或是从大量的包含某种特定目标的图像中学习该类目标的特征信息，这些学习方法一般是监督的；然后求测试图像对于训练学习得到的信息的响应，从而得到测试图像的显著性图。现存的一些自顶向下的算法在某些特定的目标上取得了一定的效果，不过这些算法往往只对某些特定的目标有效，对于复杂多变的自然图像，该类算法存在很大的缺陷。自顶向下的模型是慢速的、任务驱动的，有意识的，以及封闭回路的。由于自顶向下模型的特点，其应用受到了很大的限制。
显著性区域检测matlab_code_20170412
1.Main_program %====test1 clear close all clc %img_in,输入的待处理的图像 %n，图像分块的patch的大小 %img_rgb:缩放后的rgb图 %img_lab：rgb2lab后的图 %h，w，图像高宽 %mex_store,存储矩阵 img=imread('test1.jpg'); % img=imread('E:\例程\matlab\显著性分割\假设已知均值\test picture\0010.tif'); max_side=120; yu_value=0.8; img_lab = pre_rgb2lab(img,max_side); [ img_scale_1,img_scale_2,img_scale_3,img_scale_4 ] = get4Scale( img_lab ); [ DistanceValue_scale_1_t1,DistanceValue_scale_1_exp,DistanceValue_scale_1_t1_rang,DistanceValue_scale_1_exp_rang] = distanceValueMap_search_onescale_2( img_scale_1,max_side ); [ DistanceValue_scale_2_t1,DistanceValue_scale_2_exp,DistanceValue_scale_2_t1_rang,DistanceValue_scale_2_exp_rang] = distanceValueMap_search_onescale_2( img_scale_2,max_side ); [ DistanceValue_scale_3_t1,DistanceValue_scale_3_exp,DistanceValue_scale_3_t1_rang,DistanceValue_scale_3_exp_rang] = distanceValueMap_search_onescale_2( img_scale_3,max_side ); [ DistanceValue_scale_4_t1,DistanceValue_scale_4_exp,DistanceValue_scale_4_t1_rang,DistanceValue_scale_4_exp_rang] = distanceValueMap_search_onescale_2( img_scale_4,max_side ); value_C_1=Center_weight( DistanceValue_scale_1_exp_rang,yu_value ); value_C_2=Center_weight( DistanceValue_scale_2_exp_rang,yu_value ); value_C_3=Center_weight( DistanceValue_scale_3_exp_rang,yu_value ); value_C_4=Center_weight( DistanceValue_scale_4_exp_rang,yu_value ); [h,w]=size(value_C_1); value_C_1_resize=value_C_1; value_C_2_resize=imresize(value_C_2,[h,w]); value_C_3_resize=imresize(value_C_3,[h,w]); value_C_4_resize=imresize(value_C_4,[h,w]); value_C_sum=(value_C_1_resize+value_C_2_resize+value_C_3_resize+value_C_4_resize)/4; figure, imshow(value_C_sum); figure, imshow(value_C_1_resize); figure, imshow(value_C_2_resize); figure, imshow(value_C_3_resize); figure, imshow(value_C_4_resize); 8888888888888888888888888888888888888888888888888888888888888888888888888888
基于空间分布和纹理特征的图像显著性检测
B技术交流 Technology Discussion 数据通信2019.1 基于空间分布和纹理特征的图像显著性检测 丁华王晓东徐梦洁(宁波大学信息科学与工程学院浙江宁波315211) 摘要:针对基于空间分布的显著图无法突出纹理细节的问题，论文结合图像的空间分布特征和纹理特征，提 出了一种全分辨率显著性检测方法。该方法根据图像尺寸按比例从图像四周提取像素，组成一个边缘背景图像, 然后分别对原始图像和边缘背景图像进行分析和处理，得到原始图像块和背景图像块的颜色空间特征，并且结合 图像的纹理特征信息，获得了整幅图像的全分辨率显著性。此外，通过简单的阈值分割方法得到图像中的显著性 目标。实验结果表明，与经典显著性检测算法相比，论文算法性能明显优于其他算法性能。 关键词:空间分布;纹理;显著性检测;边缘背景图像;全分辨率 中图法分类号:腳1 文献标志码:A 1引言 显著性检测技术主要用于解决计算机视觉系统中 的问题，即如何快速准确地识别复杂场景中的有效信 息。当前显著性检测技术主要分为自顶向下和自底向 上两个方向，自顶向下的显著性检测方法主要通过任 务驱动，自底向上的显著性检测方法主要通过底层特 征数据驱动。近几年来，显著性检测已经在图像分 割['图像压缩'图像智能检索['图像匹配[4]、图像 目标跟踪[5]以及机器视觉[6]等领域得到了深人的酿。 对比度是目标级显著性模型中最常用的表示手 段，根据对比的范围显著性检测算法[7]可以大致被分 为局部对比雌法和领对比度算法。 局部对比度算法[8]通过对比图像处理单元和它局 部邻域的所有处理单元计算显著度。M等人[9]在 Koch和Ullman[1°]提出的生物启发模型基础上进一步 提出中心-周边差概念,通过计算多个尺度上中心区 域和周边区域在底层特征的差异，来提取多幅显著图 并融合得到最终的显著图。M a和Zhang[11]提出了基 于局部对比度的另一种算法，这种算法在提取出显著 性图像后，采用了模糊增长模型来扩展它们。Harel等人[12]在归一f t M等人的特征图的同时去突出显著性 区域,并将该显著性区域与其他显著图像融合。L iu等 人[13]提出了多尺度对比度算法,这种对比度线性融合 了高斯图像金字塔的对比度显著图。〇〇&_等人[14]利用多方面因素(如局部底层线索、全局线索、表 层特征和视觉组织规则)建模，以此突出目标区域。从 以上研究可以看出，大部分局部对比度算法存在的缺 陷是:能够将图像边缘区域以很高的显著度提取出来, 而显著性目标的内部区域却不能被均匀地突显出来。 全局对比度的显著性检测算法?通过对比图像 处理单元和整幅图像的所有处理单元计算显著度。Zhai和Shah[16]提出了像素级显著性(对比像素之间的 差异)。Achanta等人[17]提出了频率调谐显著性区域 麵算法，该算法利用图像的颜色和亮度特征，通过计 算某个像素和整幅图像平均色色差得到显著值，但该 方法利用的是整幅图像平均色色差，从本质上弱化了 显著性区域的显著度。文献[18]利用底层特征信息 (如颜色、亮度和边缘)来计算图像区域和它周围区域 的对比度，但敵法没有考虑图像的纹理特征信息?，对于纹理比较丰富的图像而言，该方法提取的显著图 无法突显这些纹理细节。 36本文受国家科技支撑计划基金项目丨NO.2012BAH67F01丨，国家自然科学基金项目丨NO.U1301257 浙江省自然科学基金项目(No. LY17F010005)资助。
【CN110084782A】基于图像显著性检测的全参考图像质量评价方法【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910239746.0 (22)申请日 2019.03.27 (71)申请人 西安电子科技大学 地址 710071 陕西省西安市雁塔区太白南 路2号 (72)发明人 陈晨 (74)专利代理机构 西安中科汇知识产权代理有 限公司 61254 代理人 刘玲玲 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/90(2017.01) (54)发明名称 基于图像显著性检测的全参考图像质量评 价方法 (57)摘要 本发明公开了一种基于图像显著性检测的 全参考图像质量评价方法，其包括以下步骤：空 间转换(提取失真图像和其对应的原始图像，将 图像从RGB颜色空间转换到Lab颜色空间)，图像 分割(将Lab颜色空间下的彩色图像分割成区 域)，RCC显著性检测，超像素分割(对RGB颜色空 间下的失真图像和其对应的原始图像进行超像 素分割)，AMC显著性检测，VSI计算。本发明的有 益之处在于：(1)我们通过显著性检测得到图像 的显著性区域，应用提取出的显著性图像进行图 像质量评价，绕开了人眼视觉系统建模难的问 题，所以本发明提供的评价方法思路简单，较好 的符合人眼视觉系统特性，与主观评价具有较好 的一致性；(2)具有较强的鲁棒性及较好的预测 性能。权利要求书3页 说明书9页 附图4页CN 110084782 A 2019.08.02 C N 110084782 A
1.一种基于图像显著性检测的全参考图像质量评价方法，其特征在于，包括以下步骤：Step1：空间转换 提取失真图像和其对应的原始图像，并将失真图像和其对应的原始图像从RGB颜色空间转换到Lab颜色空间； Step2：图像分割 将Lab颜色空间下的彩色图像分割成区域； Step3：RCC显著性检测 (1)计算区域的颜色对比度 对于分割成区域的图像，计算每个区域的颜色距离， 计算公式如下： 其中，D r (r 1,r 2)是两个区域r 1和r 2的颜色距离度量，f(c k ,i )是第i个颜色c k ,i 在第k个区域r k 的所有n k 种颜色中出现的概率，其中k＝1或2，n k 是图像中所含的颜色总数； (2)计算区域的亮度对比度 对于分割成区域的图像，计算每个区域的亮度度量， 计算公式如下： 其中，N k 和N i 分别为区域k和i中的像素个数，I k ,n 和I i ,m 为区域k和i中第n个和第m个像素的亮度值； (3)结合空间权值计算显著值 显著值的计算公式如下： 其中，D s (r k ,r i )是区域r k 和r i 的欧式空间距离，D a (r k ,r i )＝D 1(r k ,r i )+D r (r k ,r i )，ω(r i )作为权值是区域r i 中的像素个数，σs 是控制空间权值强度； Step4：超像素分割 对RGB颜色空间下的失真图像和其对应的原始图像进行超像素分割； Step5：AMC显著性检测 根据超像素分割后的图像中马尔可夫链的被吸收时间遍历马尔科夫链的击中时间，同时考虑显著目标和背景的外观差异及空间的分布，从转移节点到吸收节点的被吸收时间依赖它们之间的路径权重及空间距离，建立一种图模型，将显著性检测作为半监督分类的一种方式，根据部分吸收随机游走的吸收概率进行马尔可夫链的显著性检测，得到显著图； Step6：VSI计算 将以上步骤计算出的失真图像和其对应的原始图像的RCC显著图VS3、VS1以及失真图像和其对应的原始图像的AMC显著图VS4、VS2共计四个显著图作为输入，计算得出失真图像的图像质量。 2.根据权利要求1所述的基于图像显著性检测的全参考图像质量评价方法，其特征在于，在Step2中，将Lab颜色空间下的彩色图像分割成区域的方法具体如下： 权 利 要 求 书1/3页2CN 110084782 A
基于视觉显著性的红外与可见光图像融合
第38卷第4期 2016年8月 光学仪器 OPTICAL INSTRUMENTS Vol. 38，No. 4 August,2016 文章编号：1005-5630(2016)04-0303-05 基于视觉显著性的红外与可见光图像融合 华玮平S赵巨岭S李梦S高秀敏〃 (1.杭州电子科技大学电子信息学院，浙江杭州310018; 2.上海理工大学光电信息与计算机工程学院，上海200093) 摘要：多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光和红外图 像，提出了一种结合红外图像视觉显著性提取的双波段图像融合方法，一方面旨在凸显红外图 像的目标信息，另一方面又尽可能的保留了可见光图像的丰富细节信息。首先，在局部窗口内 实现红外图像的显著性图提取，并通过窗口尺寸的变化形成多尺度的显著性图，并对这些显著 性图进行最大值的优选叠加，以获取能反映整幅红外图像各个尺寸目标的显著性图；其次，通过 结合显著性图与红外图实现显著性图的加权增强；最后，利用增强的红外显著性图进行双波段 图像的融合。通过两组对比实验，数据表明该方法给出的融合图像视觉效果好，运算速度快，客 观评价值优于对比的7种融合方法。 关键词：图像融合；红外图像增强；视觉显著性 中图分类号：TN 911. 73 文献标志码：A doi:10. 3969/j. issa 1005-5630. 2016. 04. 005 Dual-band image fusion for infrared and visible images based on image visual saliency HUA Weiping1, ZHAO Jufeng1, LI Meng1, GAO Xiumin1,2 (1. Electronics and Information College, Hangzhou Dianzi University, Hangzhou 310018, China； 2. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093，China) Abstract： Dual-band image fusion is able to well synthesize the feature information from the different bands. To fuse visible and infrared images, in this paper, an infrared image visual saliency detection-based approach was proposed. This method aimed to highlight the target information from infrared image, meanwhile preserve abundant detail information from visible one as much as possible. Firstly, visual saliency map was extracted within a local window, and multiple window-based saliency maps could be obtained by changing the size of local window. And the final saliency map was generated by selecting maximum value, and this map could mirror all target information in the infrared image. Secondly，the saliency map was enhanced by combining infrared image and the previous saliency map. Finally, the enhanced saliency map was used for dual-band image fusion. Comparing with other seven methods, the 收稿日期：2015-10-13 基金项目：国家自然科学基金项目（61405052，61378035) 作者简介：华玮平(1994 )，男，本科生，主要从事光学成像等方面的研究。E-m ail:564810049@qq.c〇m 通信作者：赵巨峰(1985 )，男，讲师，主要从事光学成像、图像处理等方面的研究。E-m ail:daba〇zjf@https://www.360docs.net/doc/0a11210423.html,.C n
视觉显著性检测方法及其应用研究
视觉显著性检测方法及其应用研究 随着科学技术和多媒体技术的发展,人们在日常生活中产生的多媒体数据,尤其是图像数据呈指数级增长。海量的图像数据除了使人们的日常生活变得丰富多彩和便利之外,也给计算机视觉处理技术提出了新的挑战。 大部分图像中只包含了少量重要的信息,人眼视觉系统则具有从大量数据中找出少量重要信息并进行进一步分析和处理的能力。计算机视觉是指使用计算机模拟人眼视觉系统的机理,并使其可以像人类一样视察与理解事物,其中的一个关键问题为显著性检测。 本文针对目前已有显著性检测方法存在的问题,将重点从模拟人眼视觉注意机制以及针对图像像素和区域的鲁棒特征提取方法进行专门的研究。同时,本文还将显著性检测思想和方法引入到场景文本检测的研究中,既能提高场景文本检测的性能,又能拓展基于显著性检测的应用范畴。 针对人眼视觉注意机制的模拟,本文提出了一种基于超像素聚类的显著性检测方法。该方法分析了人眼视觉注意机制中由粗到细的过程,并采用计算机图像处理技术来模拟该过程。 具体而言,本文首先将原始图像分割为多个超像素,然后采用基于图的合并聚类算法将超像素进行聚类,直到只有两个类别为止,由此得到一系列具有连续类别(区域)个数的中间图像。其中在包含类别数越少的中间图像中的区域被给予更大的权重,并采用边界连通性度量来计算区域的显著性值,得到初始显著性图。 最终基于稀疏编码的重构误差和目标偏见先验知识对初始显著性图进一步细化得到最终的显著性图。针对鲁棒特征提取,本文提出了一种基于区域和像素级融合的显著性检测方法。
对于区域级显著性估计,本文提出了一种自适应区域生成技术用于区域提取。对于像素级显著性预测,本文设计了一种新的卷积神经网络(CNN)模型,该模型考虑了不同层中的特征图之间的关系,并进行多尺度特征学习。 最后,提出了一种基于CNN的显著性融合方法来充分挖掘不同显著性图(即 区域级和像素级)之间的互补信息。为了提高性能和效率,本文还提出了另一种基于深层监督循环卷积神经网络的显著性检测方法。 该网络模型在原有的卷积层中引入循环连接,从而能为每个像素学习到更丰富的上下文信息,同时还在不同层中分别引入监督信息,从而能为每个像素学习 到更具区分能力的局部和全局特征,最后将它们进行融合,使得模型能够进行多 尺度特征学习。针对基于文本显著性的场景文本检测方法的研究,本文提出了一种仅对文本区域有效的显著性检测CNN模型,该模型在不同层使用了不同的监督信息,并将多层信息进行融合来进行多尺度特征学习。 同时为了提高文本检测的性能,本文还提出了一种文本显著性细化CNN模型和文本显著性区域分类CNN模型。细化CNN模型对浅层的特征图与深层的特征图进行整合,以便提高文本分割的精度。 分类CNN模型使用全卷积神经网络,因此可以使用任意大小的图像作为模型的输入。为此,本文还提出了一种新的图像构造策略,以便构造更具区分能力的图像区域用于分类并提高分类精度。
基于多尺度深度特征的视觉显著性
基于多尺度深度特征的视觉显著性 视觉显著性在认知和计算科学是一个基本的问题，包括计算机视觉。在本文中，我们发现一个高质量的视觉显著性模型可以使用深度卷积神经网络抽取多尺度特征来学习，这些在视觉识别工作中已经有很多成功的例子。为了学习显著性模型，我们提出一种为了在三个不同的尺度提取的特征可以和CNN的顶层充分连接的神经网络架构。接着我们提出了一个细化方法来加强显著性结果的空间一致性。最后，融合多个显著图计算为图像分割的不同水平可以更好的促进性能，收益率显著图比从单一分割产生的图像要好。为了促进视觉显著模型的进一步研究和评价，我们也建立一个新的拥有4447张挑战性图片的大型数据库及其注释。实验结果表明,我们提出的方法在所有公共基准能够实现最先进的性能,在MSRA-B数据集和我们的新数据集(HKU-IS)改善F-Measure的效果分别为5.0%和13.2%,降低了这两个数据集平均绝对误差分别为5.7%和35.1%。 1.介绍 总结，这篇文章有以下贡献： 一个新的视觉显著模型被提出用于从一个拥有多个完全连接层的深度神经网络的嵌套的窗口将多尺度CNN特征提取。用于显著性估计的深度神经网络是可以用一组标记的显著图区域来训练的。 一个完整的显著性框架是由进一步整合我们的用空间一致性模型和多级图像分割基于CNN的显著性模型开发而成的。 HKU-IS是用来显著性模型研究和评估而创建的一个新的具有挑战的数据集。这个数据集是对外公开的。我们提出的显著性模型已经成功地验证了这个新数据集和所有现有的数据集。 2.相关工作 视觉显著计算可以分为自底向上和自顶向下的方法或两者的混合。自底向上的模型主要是基于c enter-surround方案,通过低级视觉属性的线性或非线性结合来计算主显著图,如颜色、强度、结构和方向。自上而下的方法通常需要高层知识的整合,如在计算过程中目标和人脸识别检测。最近，设计区别特征和显著先验的工作已经取得了很大成效。大多数方法基本上都遵循区域对比框架,旨在设计更好的描述图像区域与其周边地区的特殊性的特性。在【26】中，三个新奇特征与条件随机场（条件随机场（conditional random field，简称 CRF），是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。条件随机场为无向性之图模型，图中的顶点代表随机变量，顶点间的连线代表随机变量间的相依关系，在条件随机场当中，随机变量 Y 的分布为条件机率，给定的观察值则为随机变量 X。原则上，条件随机场的图模型布局是可以任意给定的，一般常用的布局是链结式的架构，链结式架构不论在训练（training）、推论（inference）、或是解码（decoding）上，都存在有效率的算法可供演算。）结合。在【33】中提出了一个基于低秩矩阵恢复的模型用于整合底层视觉特征与高层次先验。 显著先验和中心先验与边界先验一样被广泛应用于启发结合低级线索的和改善显著估计。这些显著先验直接结合其他显著的线索权重或者用于特征学习算法。虽然这些经验对于很多图像来说可以改变显著结果，但当显著目标偏离中心或明显在图像边界重叠就会失败。我们应该注意到目标位置线索和基于背景的背景模型在我们的框架中并没有被忽视，而是一直通过CNN的多尺度特征提取和神经网络训练含蓄地纳入进我们的模型。 最近，CNNs在视觉识别工作中取得了很多成就，包括图像分类、目标检测和场景解析。Dona hue等在【11】中指出从ImageNet数据集训练的Krizhevsky的CNN提取的特征可以转化成一般的任务。Razavian等在【30】中拓展他们的结果并得出深度学习和CNNs对于所有的视觉识别任务可以成为一个强有力的候选的结论。然而，CNN特征并没有探索视觉显著性研究主要是因为在【11,30】