图像序列的显著性目标区域检测方法

合集下载

显著性检测技术在图像处理中的应用与优化

显著性检测技术在图像处理中的应用与优化

显著性检测技术在图像处理中的应用与优化摘要:随着数字图像的广泛应用,人们对于图像处理技术的需求也越来越高。

显著性检测技术作为一种重要的图像处理技术,可以识别和提取出图像中最具显著性的目标或区域。

本文将介绍显著性检测技术的原理与方法,并探讨其在图像处理中的应用和优化。

一、引言随着数字图像的普及,图像处理技术成为了计算机视觉领域的重要研究方向之一。

显著性检测技术是图像处理中的重要组成部分,它可以帮助我们识别和提取出图像中最具显著性的目标或区域,为后续的图像处理任务提供重要信息。

二、显著性检测技术的原理与方法1.背景与定义显著性检测指的是在一幅图像中寻找与周围环境显著不同的目标或区域。

这些目标或区域通常具有较高的对比度、颜色鲜艳和纹理丰富等特点。

显著性检测的目标是在图像中准确地找出这些显著目标或区域。

2.常见方法(1)基于全局对比度的方法:通过计算目标区域与背景区域之间的对比度来判断显著性。

(2)基于频域分析的方法:将图像转换到频域,利用频域特征提取显著性信息。

(3)基于目标和背景模型的方法:建立目标和背景模型,通过比较像素与模型之间的差异来确定显著性。

三、显著性检测技术在图像处理中的应用1.图像分割显著性检测技术能够帮助将图像分割成具有显著特征的目标区域和背景区域,为图像分析和理解提供基础。

2.目标检测与识别显著性检测技术可以帮助定位和识别图像中的目标物体,提高目标检测和识别的准确性和效率。

3.图像增强与修复通过识别出图像中的显著目标或区域,可以针对性地进行图像增强和修复,提高图像的质量和清晰度。

4.视觉注意模型构建显著性检测技术可以帮助构建视觉注意模型,即模拟人类的视觉注意机制,将注意力集中于图像的显著目标或区域。

四、显著性检测技术的优化1.算法优化针对目前显著性检测中存在的问题,如对噪声和复杂背景的敏感性,算法可以进行优化和改进,提高显著性检测的准确性和稳定性。

2.多模态融合借鉴多种数据源(如图像、视频、语音等)进行融合,可以进一步提高显著性检测的性能和鲁棒性。

视觉显著性检测算法及应用

视觉显著性检测算法及应用

• 91•1.概述显著性检测是计算机视觉领域的一个受关注领域。

其主要工作是通过建立视觉注意模型来模拟人的视觉系统。

在过去几十年中,视觉显著性和相关的认知神经学得到了广泛的研究。

人的视觉注意机制可以抑制不重要的信息,将有限的认知资源集中在场景中的重要刺激上。

在计算机视觉领域,显著性的研究是提出一种模拟人视觉注意机制的模型。

2.显著性检测算法的进展早期的视觉显著性算法从输入图像中提取如颜色、亮度、方向、运动等多方面的基本特征,通过数学计算形成各个特征的关注图,然后对数据进行归一化操作并融合特性信息得到视觉显著图。

现有的显著性检测的方法更加充分利用了各种图像信息:有利用背景先验的分层信息融合的、结合前后背景信息的、中心矩阵的、考虑多角度信息、融合多模型的、基于稀疏矩阵、基于背景检测的各种显著性检测算法。

近年来,随着人工智能技术的快速发展,在图像显著性检测领域引进了基于深度学习技术的卷积型神经网络CNN。

与基于对比度线索的传统方法不同,基于CNN的方法不在依赖人工方法设定特征,而是通过CNN自动计算特征值,减少了对中心偏置知识的依赖性,因此很多研究者采用了这种方法。

基于CNN的模型通常包括数十万个可训练的参数。

神经元具备可变接受字段大小特性,并拥有提供全局信息的能力。

3.视觉显著性检测算法的应用3.1 在目标跟踪领域的应用可以将视觉将显著性算法应用到移动目标跟踪。

结合视觉注意机制建立运动目标跟踪框架,使用时空显著算法,在测试视频序列上生成视觉图,在视觉图中找到对应重要区域,最终建立跟踪模型模型,实现移动目标跟踪。

对于复杂环境下的运动目标跟踪问题,可以将粒子滤波跟踪算法和视觉显著性特征算法相结合,利用显著性检测算法对待检测图片进行处理,对目标状态进行预测时采用二阶自回归模型,然后强化中心区域,同时弱化四周区域,生成最终显著图。

然后在视觉显著图中提取像素值较大的作为目标区域,同时自适应融合颜色特征,最终可以实现运动目标的跟踪。

显著性目标检测技术在视觉检索中的应用

显著性目标检测技术在视觉检索中的应用

显著性目标检测技术在视觉检索中的应用近年来,随着视觉技术的发展,显著性目标检测技术得到了广泛应用。

显著性目标检测技术指的是通过计算图像中每个像素的显著性值,来确定哪些区域是图像中的重点目标。

这项技术对于图像处理和视觉检索非常有用,因为它可以加快图像搜索和分类的速度,从而提高视觉检索的准确性和效率。

一、显著性目标检测技术的原理显著性目标检测技术的原理是通过计算每个像素的“显著性值”来确定哪些区域是该图像的重点目标。

这个“显著性值”可以理解为该像素对于整张图片的视觉重要性。

计算显著性值的方法有很多种,最常用的方法是运用计算机视觉和机器学习算法。

例如,利用神经网络来训练一个模型,将模型应用于图像中,就可以计算出每个像素的显著性值。

这个模型可以根据需要进行修改和调整,以适应不同的应用场景。

二、显著性目标检测技术的应用显著性目标检测技术可以在很多领域中应用,如图像搜索、图像重排、图像分类和视频分析等。

其主要优势在于,它可以帮助用户快速获得需要的信息。

下面我们来看一些具体的应用:1. 图像搜索:当我们需要找到一张图片中的特定物品时,显著性目标检测技术可以帮助我们快速地定位到该物品。

例如,当我们需要找到一张包含汽车的图片时,显著性目标检测技术可以帮助我们快速地找到汽车的位置,然后进一步筛选与该关键词有关的图片,以提高搜索的效率。

2. 图像重排:对于一个图库中的图片进行重排时,显著性目标检测技术可以帮助我们将重要的图片排在更靠前的位置。

这有助于提高用户检索相关图片的速度。

3. 图像分类:显著性目标检测技术可以帮助计算机快速、准确地对一张图片进行分类。

例如,在图书馆分类系统中,利用显著性目标检测技术对不同的图书进行分类,可以提高分类的准确性和效率。

4. 视频分析:对于大量视频的分析,显著性目标检测技术可以用于快速识别视频中的重要信息。

例如,在监控视频分析中,计算机可以利用显著性目标检测技术来快速地找到特定的人或车辆,从而帮助警方迅速解决问题。

显著性特征区域提取

显著性特征区域提取

显著性特征区域提取在⼈类感觉器官获取的信息中,约有75%是视觉信息。

在视觉上,⼈们总是能迅速把⽬光集中到⾃⼰感兴趣的⽅⾯,根据视觉空间的各种突变信息如运动、闪烁、锐变边缘,以及物体的基本信息,采⽤选择注意策略和主动感知能⼒解决计算复杂性问题,在视觉处理的各个阶段能够⾃动提取感兴趣的内容,将⼤量的⽆关信息进⾏压缩或是丢弃。

这种能⼒是⼈类在漫长的进化过程中适应⾃然逐渐形成的。

显著区域是图像中最能引起⽤户兴趣,最能表现图像内容的区域。

虽然⽤户的感兴趣区域是⾮常主观的,并且由于⽤户任务和知识背景的不同,对于同⼀幅图像,不同的⽤户可能会选择不同的区域作为感兴趣区域。

但是,由于⼈类视觉系统和注意机制的共性,⼜使图像中有些区域总能显著地吸引⼈的注意,这些区域往往含有丰富的信息。

因此可以根据⼈类视觉系统的特点,利⽤⼈类认知过程中的⼀般规律,通过图像的某些底层特征近似地判断图像中的显著区域。

这样提取的显著区域⽐较符合⼈的主观评价,是视觉上重要的区域。

根据显著区域的提取⽅法不同,现有的图像显著区域的提取⽅法主要分为基于变换的⽅法和基于视觉特征的⽅法两⼤类。

它们有的在不同尺度上计算图像区域的显著度,有的在单⼀尺度上进⾏计算。

但所有的⽅法都是通过计算图像区域与其周围区域在底层特征上的差别来决定显著度的。

通常,先获取不同特征的显著图,然后将各个特征显著图进⾏组合得到最后的图像显著图。

基于变换的⽅法把图像中灰度变化较⼤的区域作为图像的重要部分。

这种⽅法使⽤拐点检测器、⼩波变换等⽅法找出图像中灰度梯度较⼤的部分作为显著区域。

⽽视觉理论的研究表明,⼈眼感受野的神经节细胞对信号对⽐度的敏感程度要⼤于对信号强度的敏感程度,因此基于变换的⽅法也是与视觉理论相⼀致的。

但是,这种⽅法获取的是图像中的显著点,不能实现对图像中显著对象(区域)的提取。

视频显著性检测与目标提取算法研究

视频显著性检测与目标提取算法研究

视频显著性检测与目标提取算法研究摘要:视频显著性检测与目标提取是计算机视觉领域中的重要研究方向,它对于视频内容分析、视频搜索和目标跟踪等应用具有重要意义。

本文将对视频显著性检测与目标提取的算法进行系统研究和分析,以期对该领域的发展与应用能有更为深入的理解。

1. 引言随着数字化技术的快速发展,视频数据已经成为互联网中占据重要地位的内容之一。

然而,视频中的显著性信息与目标提取却对于计算机视觉系统来说是一项具有挑战性的任务。

因此,研究如何从视频中自动地检测显著性区域和提取目标成为了一个热门的研究方向。

2. 视频显著性检测算法研究视频显著性检测的目标是从视频帧序列中提取出显著性区域,即吸引人眼注意力的区域。

近年来,基于计算机视觉的算法被广泛地研究和应用于视频显著性检测。

其中,基于运动信息、颜色信息和纹理信息的方法是比较常见的。

2.1 基于运动信息的方法运动是视频中最基本的特征之一,因此,基于运动信息的方法在视频显著性检测中被广泛研究。

这类方法通常采用光流估计技术来获取视频中的运动信息,并利用光流的强度、方向或时空变化来评估区域的显著性。

例如,基于时空光流密集剖面的方法能够捕捉到视频中的显著性动态变化,实现对显著性的快速检测。

2.2 基于颜色信息的方法颜色是影响人眼注意力的一个重要因素。

基于颜色信息的方法利用颜色的对比度、稳定性和颜色分布来测量区域的显著性。

常见的方法包括基于颜色对比度的算法、基于概率统计的方法和基于颜色空间变换的方法。

其中,基于颜色对比度的方法通过计算区域的颜色差异来评估其显著性,具有较好的效果。

2.3 基于纹理信息的方法纹理是视频中描述物体表面细节的一个重要特征。

基于纹理信息的方法通过计算区域的纹理差异来评估其显著性。

这类方法通常利用纹理的梯度、方向或纹理分布来测量区域的显著性,以实现显著性的检测和目标提取。

3. 视频目标提取算法研究视频目标提取是视频显著性检测领域的重要任务之一。

其目标是从视频序列中分割出感兴趣的目标,进一步实现目标的跟踪、识别和分析。

显著性目标检测开题报告

显著性目标检测开题报告

显著性目标检测开题报告1.以传统方法进行显著性目标检测自1998年ltti L等人发表[1]之后,显著性目标检测研究开始受到广泛关注。

显著性目标检测旨在从输入图像上识别出最引人注目的对象,换而言之也可以说,这些研究希望能够识别出图像的主体。

从1998年发展至今,以2014年为界,显著性目标检测大约可以划分为传统方法与深度学习方法两个时代。

受[1]中对人眼机制的探讨以及提出的显著性物体特征(颜色鲜明,对比强烈,方向差异)启发,过去二十年中,大量显著性物体检测方法被提出,显著性目标检测被广泛定义为从图像中捕捉稀有、独一无二元素的问题。

它们中的大部分首先从图像中分辨出显著子集(计算显著性图),然后将这些显著子集合并以分割出完整的显著对象。

总的来说,传统的显著性物体检测方法可依据使用视觉子集的种类或使用特征分为不同的两类:①使用基于块(block-based)的视觉子集或基于区域(region-based)的视觉子集②只使用图像本身提供的内部线索(intrinsic cues)或引入用户注释等外部线索(extrinsic cues)。

基于以上两种分类,传统显著性物体检测方法可被划分为以下三种:(1)使用图像内部线索的基于块的检测模型:在显著性物体检测的早期工作中,元素的唯一性通常被等同于像素级的中心环绕对比度,如[2]。

在[3]中,广义主成分分析(GPCA)使用线性子空间方法取代实际分割图像,并通过测量特征对比值与区域几何属性来选择显著区域。

[4]则采用频率调整方法来计算全分辨率显著图,其中元素x的显著值被计算为中心元素值与高斯模糊输入图像上x的元素值之差的平方。

(2)使用图像内部线索的基于区域的检测模型:这种类型的显著性模型从以不同方法(如Mean-Shift、Turbopixels、SLIC等)产生的图像区域中得到图像内部线索,用于显著图像的生成。

如[5]中介绍了一种通过测量目标区域相对于所有其他图像区域的全局对比度的基于区域的显著性算法,它将图像分为多个区域,每个区域的显著度等于它与其余所有区域的对比值与权重值的乘积之和。

Matlab中的图像特征描述和显著性分析方法

Matlab中的图像特征描述和显著性分析方法

Matlab中的图像特征描述和显著性分析方法近年来,随着计算机视觉和图像处理的迅速发展,图像特征描述和显著性分析已经成为研究的热点之一。

在图像处理的领域中,特征描述和显著性分析技术被广泛应用于图像检索、目标跟踪、图像拼接等应用中。

而Matlab作为一个功能强大的数学软件,提供了丰富的图像处理工具箱以及算法库,使得图像特征描述和显著性分析方法的实现和应用变得更加简单高效。

一、图像特征描述方法图像特征描述是指通过提取图像中的特定信息,将原始图像转化为一组具有独特性质的向量或者描述符。

常见的图像特征描述方法包括颜色特征描述、纹理特征描述和形状特征描述等。

1. 颜色特征描述:颜色是图像中最重要的特征之一,它可以通过颜色直方图、颜色矩、颜色共生矩阵等方式进行描述。

在Matlab中,可以利用imhist函数计算颜色直方图,或者使用color moments函数计算颜色矩。

2. 纹理特征描述:纹理是指图像中的细节和结构,描述图像纹理特征的方法有灰度共生矩阵、Gabor滤波器等。

在Matlab中,可以使用graycomatrix函数计算灰度共生矩阵,或者利用gabor函数进行Gabor滤波器变换。

3. 形状特征描述:形状是指物体的外部轮廓和结构,常用的形状特征描述方法有边缘直方图、轮廓矩和Hu不变矩等。

在Matlab中,可以利用edge函数计算边缘,或者使用regionprops函数计算轮廓矩和Hu不变矩。

二、显著性分析方法显著性分析是指在图像中找出与周围环境明显不同的对象或者区域,用于引起观察者的注意。

显著性分析方法可以分为基于全局信息和基于局部信息两类。

1. 基于全局信息的显著性分析方法:这类方法主要是从整幅图像的角度出发,通过计算图像的对比度、颜色分布以及结构特征等来确定图像中显著的区域。

在Matlab中,可以使用imcontrast函数进行图像的对比度增强,或者通过计算颜色直方图和纹理特征来实现。

2. 基于局部信息的显著性分析方法:这类方法主要是从局部区域的角度出发,通过计算图像的边缘、纹理、颜色等局部特征来确定显著的区域。

histogram-based contrast显著值检测算法

histogram-based contrast显著值检测算法

histogram-based contrast显著值检测算法
直方图基于对比度检测算法(histogram-based contrast-detection algorithm)是一种用于检测图像中显著值的方法。

该算法基于图像的直方图分布来计算图像的对比度,并根据对比度的值来确定图像的显著值。

该算法的步骤如下:1. 将图像划分为若干个重叠的区域或块。

2. 对每个区域或块进行直方图均衡化,以增强图像中的对比度。

3. 计算每个区域或块的对比度值,可以使用像素值的标准差来表示对比度。

4. 根据对比度值设置一个阈值,超过阈值的区域或块被认为是显著的区域。

5. 根据显著区域的位置和大小来生成显著图像。

直方图基于对比度检测算法通过增强图像中的对比度,突出了图像中的显著细节和区域。

它可以应用于图像分割、目标检测和显著性区域提取等计算机视觉任务中。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第5 期
柯洪昌,等:图像序列的显著性目标区域检测方法
769
periment.Experimental results show that the average similarity of focus of attention is 0畅87.The proposed method can more efficiently and accurately locate the region where the searched target may be present and can improve the efficiency of target searching. Key words: visual saliency;top-down;target area detection;saliency map
G( x,y)
= 1 e2 -( x22σ+21y2) 2πσ1
- 2
1 πσ22

-(
x22σ+22y2)
பைடு நூலகம்
.(2)
当 σ1 <σ2 时,G(x,y)称为二维 ON 型 DoG 算 子;当 σ1 >σ2 时,G(x,y)称为二维 OFF 型 DoG 算 子。 σ1 的作用是控制 Center( 中央凹) 的敏感区, 而 σ2 的作用是控制 Surround(外围)的敏感区。
本文在前人工作的基础上,设计并实现了一 个融入运动特征的视觉显著性模型,基于这个模 型,提出一种基于多尺度差分的运动特征提取方 法,在指导全局显著图的生成时,基于多通道参数 估计方法计算各通道在整合时的权重,从而能准 确定位目标在图像上的位置。
本文首先提取当前帧图像的亮度、颜色和方 向信息,通过高斯金字塔和小波分解滤波,然后归 一化处理计算得到多尺度特征,生成各个通道的 显著图;在得到运动显著图时,要对当前帧和前一 帧图像分别滤波提取动态特征,然后对两帧图像 的特征图进行多尺度的差分,再融合为运动显著 图;最终通过多通道加权方法生成全局显著图,采 用 WTA 机制来最终得到感兴趣区域,即注意焦 点。 融入运动特征的视觉显著性模型如图 1 所 示。
3.1 静态特征提取 静态显著性特征的提取是在 Itti 视觉注意模
型基础上进行的。 本文在方向特征提取上进行了 改进,使融合后的静态显著图更有利于和动态显 著图融合。 对输入图像用 9 层高斯金字塔进行滤 波,提取亮度、颜色、方向特征,由于视觉神经元一 般对于视觉场景中一小段范围最敏感,而对于它 的周围有局部的抑制作用,因此这里对于亮度和 颜色,采用中央-外围( Center-Surround) 算子进行 差分,它是基于 DoG(Diffrence of Gaussions)方式:
收稿日期:2015-07-12;修订日期:2015-09-20 基金项目: 国家高技术研究发展计划(863 计划) 资助项目( No.2012AA040104);吉林省科技厅资助项 目 ( No.
20120332) ;吉林省发改委资助项目( No.2013C048) ;吉林省科技厅国际合作资助项目( No.20140105) ;吉 林省教育厅资助项目( No.20130434,No.20140032)
Iσ( x,y)

1 4
Iσ-1 (2x,2y)
+1 8
[Iσ-1 (2x

γ,2y) +Iσ-1 (2x,2y +γ)] + , (6)
1 16

σ-1

2x
+γ,2y
+γ)
式中,σ代表金字塔的尺度,γ的值取 1, -1。
式(7) 为



的范围,满足

≤2

≤w
σ-1 k
,0
≤2y≤hσ k -1 。
摘要:针对传统视觉显著性模型在自顶向下的任务指导和动态信息处理方面的不足,设计并实现了融入运动特征的视觉 显著性模型。 利用该模型提取了图像的静态特征和动态特征,静态特征的提取在图像的亮度、颜色和方向通道进行,运 动特征的提取采用基于多尺度差分的特征提取方法实现,然后各通道分别通过滤波、差分得到显著图,在生成全局显著 图时,提出多通道参数估计方法,计算图像感兴趣区域与眼动感兴趣区域的相似度,从而可在图像上准确定位目标位置。 针对 20 组视频图像序列(每组 50 帧)进行了实验,结果表明:本文算法提取注意焦点即目标区域的平均相似度为 0畅87, 使用本文算法能够根据不同任务情境,选择各特征通道的权重参数,从而可有效提高目标搜索的效率。 关 键 词:视觉显著性;自顶向下;目标区域检测;显著图 中图分类号:TP391.4 文献标识码:A doi:10.3788 /CO.20150805.0768
图 1 融入运动特征的视觉显著性模型 Fig.1 Visual saliency model fused with motion features
本文生成全局显著图,将亮度显著图、颜色显
著图、方向显著图和运动显著图进行多尺度融合。
全局显著图 S 的计算公式如下,




S =αI +βC +γO +λM,
O( c,s,θ) =|O(c,θ) 磓 O( s,θ) |, (5)
式中,c 代表 Center 的某一尺度,c∈{2,3,4},即 9 层中的第 2,3,4 层,θ∈{0,π/4,π/2,3π/4},代 表 4 个方向。 3.2 基于多尺度差分的运动特征提取
运动特征的提取并没有采用传统的帧差法来 处理,本文提出一种基于多尺度差分的运动特征 提取方法,方法原理为:对相邻两帧图像进行不同 尺度的滤波,可得到图像 Iσ,其中 σ∈{0,1,2,3, 4},代表 5 个尺度,设当前帧图像为 It(x,y),前一 帧图像为 It -1 (x,y),图像 It( x,y) 金字塔中的每一 层图像可 以 通 过 上 一 层 的 图 像 通 过 差 分 迭 代 生 成,同理我们可以得到其他层图像金字塔。 如式 (6 ) 所示。
第 8 卷 第 5 期 2015 年 10 月
中国光学
Chinese Optics
Vol.8 No.5 Oct.2015
文章编号 2095-1531(2015)05-0768-07
图像序列的显著性目标区域检测方法
柯洪昌倡 ,孙宏彬
(长春工程学院 计算机技术与工程学院,吉林 长春 130012)
当前有些学者将协同感知理论[12] 、多尺度分 析和编组、多尺度熵理论应用到视觉注意的整合 阶段[13-14] ,并取得了较好的效果。 但是这些模型 仅是基于空间注意,并且在处理动态信息时略显 不足。 并且大部分模型往往都存在计算复杂性过 高的问题。 一些关于心理学及神经科学的研究成 果表明,在视觉通路中,对于亮度、颜色和方向等 特征的提取通常并不需要同等对待,往往都会随 着自顶向下给出任务的不同而不同,这种特征权 重随任务而改变的视觉信息处理机制使得人们能 够快速有效地定位目标[15-16] 。 因此,需要根据任 务情境的不同计算相应通道的特征权重值,来指 导全局显著图的生成,进而准确地定位目标。
对于输入图像 I 的亮度特征 I( c,s),可以用 尺度差分得到:
I(c,s) =|I(c) 磓 I(s) |,
(3)
式中,c 代表 Center 的某一尺度,c∈{2,3,4},即 9 层中的第 2,3,4 层;其中 s 代表 Surround 的某一 尺度,s∈{3,4},即 9 层中的第 3,4 层, 代表两个 特征图的每个像素作差分。
因此
Iσ
的宽度
wσ k
和高度

σ k
满足:
wσ k

wσ-1 k 2
+1


σ k

Technology,Changchun 130012,China) 倡Corresponding author, E-mail:kehongchang1981@163.com
Abstract: For the lack of top-down task guidance and dynamic information processing of traditional visual sali- ency model, a visual saliency model fused with the motion features is designed and implemented.The static features and motion features are extracted based on the proposed model.The static features are extracted from the intensity, color and orientation channel of the current frame image.The motion features are extracted based on the multi-scales difference method.The saliency maps of four channels can be obtained by filtering and difference.Based on the proposed model a method of parameter estimation for multi channel is proposed to calculate the similarity between the region of interesting of current image and the region of interesting of eyes movement, then guide to generate the global saliency map, which can provide a calculation mechanism for ac- curate location on images.20 groups of video image sequences(50 images per group) are selected for the ex-
相关文档
最新文档