视觉显著性算法概述.
Boosting 自下而上和自上而下的视觉特征的显著性估计
二、学习一个视觉显著性的模型
另一个重要特点是在前中心的基础上发现的：大多数的录 制品在中心附近发生的图像（即中心偏置[39]）。与基线 的方法进行公平比较的分类（AWS和GBVS模型），我们 在这里单独对待中心功能。根据公式2，我们把每个模型 的显著性图与p（s|x）相乘，p（s|x）是每个像素打牌中 心的距离。 最终，所有的特点都变成34（30自底向上+4自上而下） 向量（不含中心），被送入分类器（在下一节中解释）。
www.themegallerLeabharlann
二、学习一个视觉显著性的模型
与手动设计显著性措施相比，我们按照训练分类的一种学 习方式，直接从人眼跟踪数据。其基本思路是的加权组合 的功能，其中权重学会从一个大的库对自然图像的眼球运 动，可以增强显著性检测比未经调整组合特征映射。学习 方法也有容易适用于通过提高要素权重目标对象的可视化 搜索的好处。 在下面，我们提出了一个朴素贝叶斯公式的显著性估计。 让我们是一个二元变量表示的显著位置的图像像素X =（X ，Y）与特征向量f，其中“s等于1”表示这个像素是突出 的（也就是说，它可以吸引人类的眼睛）和零。像素x的 概率是显著的可写为：
Boosting Bottom-up and Topdown Visual Features for Saliency Estimation
Boosting 自下而上和自上而下的视觉特征的显
著性估计
LOGO
主要内容
1 2 摘要 一、简介
3
4
二、学习一个视觉显著性的模型
三、实验程序
本节对分类和功能提出一个全面的评估。 在这里，我们不仅评估了我们的模型，也比较几款模型以 供日后参考。我们能够运行27个显著性模型。此外，我们 还实施了其他两个简单但功能强大的模型：Gaussian Blob和人类中间观察者模型。Gaussian Blob的是一个简 单的2D高斯形状的绘制图像的中心，它是预期预测人的 目光，以及如果这样的凝视强烈图像中心的周围聚集。对 于一个给定的刺激，当他们观看刺激时，中间观察员的模 型输出一个通过整合比其他物体测试的地图。模型地图可 以根据记录眼球运动来调整原始图像的大小。
视觉显著性检测算法及应用
• 91•1.概述显著性检测是计算机视觉领域的一个受关注领域。
其主要工作是通过建立视觉注意模型来模拟人的视觉系统。
在过去几十年中，视觉显著性和相关的认知神经学得到了广泛的研究。
人的视觉注意机制可以抑制不重要的信息，将有限的认知资源集中在场景中的重要刺激上。
在计算机视觉领域，显著性的研究是提出一种模拟人视觉注意机制的模型。
2.显著性检测算法的进展早期的视觉显著性算法从输入图像中提取如颜色、亮度、方向、运动等多方面的基本特征，通过数学计算形成各个特征的关注图，然后对数据进行归一化操作并融合特性信息得到视觉显著图。
现有的显著性检测的方法更加充分利用了各种图像信息：有利用背景先验的分层信息融合的、结合前后背景信息的、中心矩阵的、考虑多角度信息、融合多模型的、基于稀疏矩阵、基于背景检测的各种显著性检测算法。
近年来，随着人工智能技术的快速发展，在图像显著性检测领域引进了基于深度学习技术的卷积型神经网络CNN。
与基于对比度线索的传统方法不同，基于CNN的方法不在依赖人工方法设定特征，而是通过CNN自动计算特征值，减少了对中心偏置知识的依赖性，因此很多研究者采用了这种方法。
基于CNN的模型通常包括数十万个可训练的参数。
神经元具备可变接受字段大小特性，并拥有提供全局信息的能力。
3.视觉显著性检测算法的应用3.1 在目标跟踪领域的应用可以将视觉将显著性算法应用到移动目标跟踪。
结合视觉注意机制建立运动目标跟踪框架，使用时空显著算法，在测试视频序列上生成视觉图，在视觉图中找到对应重要区域，最终建立跟踪模型模型，实现移动目标跟踪。
对于复杂环境下的运动目标跟踪问题，可以将粒子滤波跟踪算法和视觉显著性特征算法相结合，利用显著性检测算法对待检测图片进行处理，对目标状态进行预测时采用二阶自回归模型，然后强化中心区域，同时弱化四周区域，生成最终显著图。
然后在视觉显著图中提取像素值较大的作为目标区域，同时自适应融合颜色特征，最终可以实现运动目标的跟踪。
视觉显著性检测：一种融合长期和短期特征的信息论算法
摘
郭 雷
韩 军伟
胡新 韬
程
堞
（ 西北工业 大学 自动化 学院 西安
７ １ ０ １ ２ ９ １
要： 针对传统视觉显著性检测算法单纯使用 当前观测图像 的信息或是先验知识的不足 ， 该文引入了长 期特征和
短期 特 征 的概 念 ，分 别 代表 先验 知识 和 当前 观 测 图 像 的 信 息 ，并 提 出 了一 种 基 于 信 息 论 的算 法 将 它 们 融 合 。 首先 ， 分别 根 据 人 眼 跟 踪 数 据 和 当 前观 测 图像 的 内容 来 训 练 长 期和 短期 稀 疏 词 典 并 对 图 像进 行 稀 疏 编 码 ， 将 得 到 的稀 疏 编
第３ ５卷 第 ７期 ２ ０ １ ３年 ７月
电
子
与
信
息
学
报
Ｖｏ１ ． ３ ５ＮＯ． ７ Ｊｕ １ ．２ ０１ ３
Ｊ ｏｕ ｒ ｎ ａ ｌ ｏ ｆ Ｅｌ ｅ ｃ ｔ ｒ ｏ ｎｉ ｃ ｓ＆ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ
视觉显著性检测 ：一种融合 长期和短期特征的信息论算法
码作 为长期和短期特征 。 其次 ， 针对现有算法只能在整幅图像 上或 是在一个 固定大小的局部邻域 内进行统计的缺 陷，
该文 提 出一 种 基 于 信 息 熵 的特 征概 率 分 布 估 计 方 法 ， 该 方 法 可 以根 据 当 前 观测 图像 的具 体 情 况 自适应 地 选 择 一 个 最 佳 的 区域 大 小 来 计 算 长 期 和 短 期特 征 出现 的概 率 。 最 后 ，利用 香农 自信 息 来 输 出 图 像 的 显著 性 检 测 结 果 。同 ８种 流 行算 法 在 公开 的人 眼 跟 踪 测 试库 上进 行 的主 观 和 定 量 的 实验 对 比证 明 了该 文 算 法 的 有 效性 。 关键 词 ：模 式 识 别 ；视 觉 显 著性 检 测 ；长 期 特 征 ； 短 期特 征 ；信 息熵 ；香 农 自信 息
视觉显著性检测
图4 Itti模型
图5视觉显著性检测计算模型对于一幅输入的图像，该模型提取初级视觉特征：颜色（RGBY）、亮度和方位、 在多种尺度下使用中央周边(Center-surround)操作产生体现显著性度量的特征图，将这些特征图合并得到最终 的显著图(Saliency map)后,利用生物学中赢者取全(Winner-take-all)的竞争机制得到图像中最显著的空间位 置,用来向导注意位置的选取，最后采用返回抑制 (Inhibition of return)的方法来完成注意焦点的转移。视 觉显著性计算模型大致上可分为两个阶段：特征提取与特征融合。在特征融合阶段，可能存在自底向上的底层特 征驱动的融合方式，和自顶向下的基于先验信息与任务的融合方式。因此，视觉显著性检测模型框架大致表述为 如图 5所示。
算法
LC算法 HC算法
AC算法 FT算法
LC算法的基本思想是：计算某个像素在整个图像上的全局对比度，即该像素与图像中其他所有像素在颜色上 的距离之和作为该像素的显著值 。
图像中某个像素的显著值计算如下： 其中的取值范围为 [0,255]，即为灰度值。将上式进行展开得： 其中N表示图像中像素的数量。 给定一张图像，每个像素的颜色值已知。假定，则上式可进一步重构： 其中，表示图像中第n个像素的频数，以直方图的形式表示。 LC算法的代码实现： 1、直接调用OpenCV接口，实现图像中像素的直方图统计，即统计[0,255]中每个灰度值的数量。 2、计算像素与其他所有像素在灰度值上的距离。 3、将灰度值图像中的像素值更新为对比度值（即距离度量）。
基于视觉显著性的图像融合研究
基于视觉显著性的图像融合研究随着计算机技术的不断发展，图像处理技术已经成为了一个不可忽视的领域。
其中，图像融合技术在许多领域都得到了广泛的应用，如监控、遥感以及医学图像等领域。
其中，基于视觉显著性的图像融合是当前研究的热点之一。
一、视觉显著性的概念和特征视觉显著性是指场景中与众不同的、引人注目的部分。
在人的视觉系统中，视觉显著性是通过底层特征和高层特征进行计算的。
底层特征指的是色度、亮度等基本的图像特征。
高层特征则是指图像的纹理、形状等高级特征。
而视觉显著性的计算则是通过这些特征综合得出的。
二、基于视觉显著性的图像融合技术基于视觉显著性的图像融合技术通过计算图像各部分的视觉显著性，从而实现对不同输入图像的融合。
这种算法的核心是图像区域的加权，以保持图像的平滑过渡。
该技术的应用非常广泛，如监控、遥感以及医学图像等领域。
三、基于“视觉热力图”的图像融合技术在视觉显著性的基础上，又出现了基于“视觉热力图”的图像融合技术。
这种技术可以给出一个与输入图像大小相同的视觉显著性热力图，这个热力图可以精确地区分图像中的显著部分和不显著部分。
该技术因其高效和精度而备受关注。
四、基于机器学习的图像融合技术除了视觉显著性之外，机器学习技术也被应用于图像融合领域。
机器学习技术可以自主学习图像特征，根据特征将各个图像区域分为显著和不显著。
这种技术的优点是可以应用于各种场景和各种类型的图像，与传统技术相比，融合效果更加自然、准确。
五、基于深度学习的图像融合技术深度学习技术在图像融合领域也得到了广泛的应用。
深度学习技术可以学习输入图像的特征，并以不断迭代的方式自主学习图像融合的过程。
深度学习技术可以在不看先前的图像融合结果的情况下自主进行图像融合，从而大大提高了融合效果和自主性。
六、结语基于视觉显著性的图像融合技术是目前图像处理领域中的热点之一。
不同于传统的图像融合技术，视觉显著性技术可以有效的保留图像的细节和显著部分，从而使得融合效果更加自然、准确。
视觉显著性物体检测
– 34维的区域特征
– Random Forest regression
3.1 研究现状总结
• 理想很美好
– 对于任意输入图片，能够快速准确的找到显著性物体区域
• 现实很残酷
– 问题本身的严格定义比较困难 – 对于很多复杂的输入图片，标注者都很难给出一个自己满意的显
2.3 代表性工作：快速发展
• Global contrast based salient region detection, CVPR 2011, PAMI 2014
– 在MSRA系列数据集上Precision 90+%, Recall 90+%
2.4 代表性工作：初步总结
• 各种Hypothesis及Feature的大爆发
著性图
3.1 研究现状总结
• 理想很美好 • 现实很残酷 • 怎么看待理想与现实之间的巨大差距？
3.2 关于应用
• 怎样让显著性物体检测算法在应用中鲁棒的运行？
SalientShape: Group Saliency in Image Collections, The Visual Computer 2014. Cheng et. al.
3.3 未来发展
• 单张图像 多张图像
– 和co-segmentation，multi-instance learning等结合
• 单张图像 视频
– 时空关系，动态特征
• 细分的应用需求
– 针对特定类型的应用
• 系统的应用机器学习的方法 •…
3.2 关于应用
• 示例：从网络图像中学到的颜色模型可视化
3.2 关于应用
[ACM TOG 09, Chen et. al.] Cheng et. al.]
视觉显著性检测方法及其在轨道交通中的工程应用研究
视觉显著性检测方法及其在轨道交通中的工程应用研究视觉显著性检测是计算机视觉领域的一个重要研究方向，主要用于模拟人眼视觉系统，对图像或视频中的显著性目标进行检测和定位。
视觉显著性检测方法可以应用于多个领域，其中之一就是轨道交通工程。
本文将探讨视觉显著性检测方法及其在轨道交通中的工程应用研究。
首先，我们来了解一下视觉显著性检测方法。
视觉显著性检测主要分为两个步骤：低层特征提取和显著性分析。
低层特征提取是指从原始图像中提取一些与显著性目标相关的特征信息，例如颜色、纹理、对比度等。
显著性分析是指基于低层特征对图像中的显著性目标进行定位和评估。
常用的视觉显著性检测方法包括频域方法、时域方法、时频域方法和深度学习方法等。
1.交通行为分析：通过对交通图像进行视觉显著性检测，可以提取交通参与者的行为特征，例如车辆的行驶轨迹、行驶速度、车距等。
基于这些行为特征，可以对交通状况进行分析，从而指导交通控制和规划。
2.目标检测与跟踪：在轨道交通监控系统中，往往需要对车辆、行人等目标进行检测和跟踪。
视觉显著性检测可以帮助识别并跟踪显著目标，从而提高监控系统的准确性和效率。
3.交通事件检测与预警：视觉显著性检测可以帮助监测交通中的异常事件，例如车辆违规、事故发生等。
通过及时检测并预警这些异常事件，可以提高道路交通的安全性和效率。
4.基于显著性的图像增强：视觉显著性检测可以帮助提高轨道交通监控图像的质量和清晰度。
通过对图像中的显著目标进行增强处理，可以使监控图像更加鲜明和清晰，提高交通监控系统的可用性和可靠性。
综上所述，视觉显著性检测是轨道交通工程中的一项重要研究内容，可以应用于交通行为分析、目标检测与跟踪、交通事件检测与预警以及图像增强等方面。
未来，随着计算机视觉技术的进一步发展和研究，视觉显著性检测方法在轨道交通领域的应用前景将更加广阔。
视觉显著性算法概述
• 其中 为使用者设定的延迟因子。
PQFT模型
• 四元组图像可以表示为下列形式
q(t ) M (t ) RG(t )1 BY (t )2 I (t )3
其中 i , i 1,2,3，满足 i2 1 ，2 3 , 1 3 , 3 12 1 2 , q(t ) 可以写成如下形式
• 其中 I 为图像特征的几何平均向量， I hc 为对原始 图像的高斯模糊，采用 5 的二项式核。 5 为 L2 范数， x, y为像素点坐标 。
SR模型
• SR（Spectral Residual）模型是由Hou等人提出 来的，基于空间频域分析的算法之一，显著 R( f ) 图通过对剩余谱 做傅里叶逆变换得到。 • 剩余谱 定义为
S (Ik )
• 其中D( I k , Ii )为像素在Lab空间的颜色距离度量。如果 忽略空间关系，使得具有相同颜色的像素归到一起 ，得到每一个颜色的显著性值
S ( I k ) S (cl ) f j D(cl , c j )
FTS模型
• FTS（Frequency-Tuned Saliency）模型是由Achanta 等人提出的一种自底向上的显著性检测方法，通 过局部颜色和亮度特征的对比多尺度方法求像素 点显著值。 • 将原始图像由SRGB颜色空间转化成CIE颜色空间， 然后显著性映射定义为
S ( x, y ) I I hc
I ( x ) log( p ( x )) 为特征的概率密度函数。
p( x)
GBVS模型
• GBVS（Graph-Based Visual Saliency）模型是 在Itti的模型基础之上运用马尔可夫随机场 的特点构建二维图像的马尔可夫链，通过 求其平衡分布而得到显著图 • 算法步骤：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
SR模型
• SR（Spectral Residual）模型是由Hou等人提出 来的，基于空间频域分析的算法之一，显著 R( f ) 图通过对剩余谱 做傅里叶逆变换得到。 • 剩余谱 定义为
r (t ) g (t ) r (t ) g (t ) Y (t ) b(t ) 2 2
PQFT模型
• 类似于人类视觉系统，对立颜色通道定义为
RG(t ) R(t ) G(t ), BY (t ) B(t ) Y (t )
• 亮度通道和运动通道定义为
r (t ) g (t ) b(t ) I (t ) 3 M (t ) I (t ) I (t )
研究现状
• 显著性检测一般分为两类
– 自下而上基于数据驱动的显著性区域突现 – 自上而下任务驱动的目标突现
• 本报告只关注自下而上的显著性检测算法
研究现状
• Achanta 将这些算法分成三类
– 基于低层视觉特征，代表性算法是文献[1]中提出的模 拟生物体视觉注意机制的选择性注意算法(Itti 算法) – 没有基于任何生物视觉原理的纯数学计算方法，如 Achanta 等[4] 提出的全分辨率算法(AC 算法) 和Hou 等 [5] 提出的基于空间频域分析的剩余谱算法 (Spectralresidual approach, SR) – 将前两种进行融合的方法，代表性算法是Harel 等[6] 提 出的基于图论的算法(Graph-based visual saliency， GBVS)
研究现状
• Goferman将显著性分析算法分成以下三类
– 考虑局部特征的，如Itti 算法和GBVS 算法
– 考虑整体性的，如SR 算法和Achanta 等[3] 提出 的算法(IG 算法) – 局部与整体结合的，如Goferman等[7]和Liu 等 提出的算法
算法模型介绍
Itti模型
• Itti 模型中, 显著值是像素点在颜色、亮度、方向 方面与周边背景的对比值。该模型包括两个步骤: – 特征提取 – 显著图生成
I ( x ) log( p ( x )) 为特征的概率密度函数。
p( x)
GBVS模型
• GBVS（Graph-Based Visual Saliency）模型是 在Itti的模型基础之上运用马尔可夫随机场 的特点构建二维图像的马尔可夫链，通过 求其平衡分布而得到显著图 • 算法步骤：
– 特征的提取：与Itti 算法类似 – 显著图生成 ：马尔可夫链方法
FTS模型
• FTS（Frequency-Tuned Saliency）模型是由Achanta 等人提出的一种自底向上的显著性检测方法，通 过局部颜色和亮度特征的对比多尺度方法求像素 点显著值。 • 将原始图像由SRGB颜色空间转化成色空间， 然后显著性映射定义为
S ( x, y ) I I hc
关于自底向上的显著性方法的综述
报告人：周静波
2012年08月30日
报告提纲
一．研究现状
二．算法模型介绍
三．实验结果及分析 四．结论
研究现状
研究现状
• 基于视觉注意的显著性区域检测对于图像 分析过程有着非常重要的意义。注意是人 类信息加工过程中的一项重要的心理调节 机制，它能够对有限的信息加工资源进行 分配，使感知具备选择能力。如果能够将 这种机制引入图像分析领域，将计算资源 优先分配给那些容易引起观察者注意的区 域，这样必将极大的提高现有的图像处理 分析方法的工作效率。显著性区域检测正 是在这个基础上提出并发展起来的。
PQFT模型
t 1,2,, T， T • 假设 F (t ) 表示时间t时刻的输入图像， 为所有图像帧的总数。 F (t ) 分为红、绿、蓝三个颜 色通道，表示为 r (t ), g (t ),b(t ) ，那么，可以将三 个颜色通道扩展为四个广义的颜色通道：
g (t ) b(t ) 2 r (t ) b(t ) G (t ) g (t ) 2 g (t ) r (t ) B(t ) b(t ) 2 R(t ) r (t )
q(t ) f1 (t ) f 2 (t ) 2 f1 (t ) M (t ) RG(t ) 1 f 2 (t ) BY (t ) I (t ) 1
AIM模型
• AIM（Attention-based on Information Maximization ）模型利用香农的自信息度量，将图像的特征平 面变换到对应于视觉显著性的维度上。 • AIM假设：一个视觉特征的显著性就是该特征相 对于它周围其他特征提供的信息的差别度。 • 根据香农定理，图像特征对应的自信息通过下面 的公式进行计算
• 其中 为使用者设定的延迟因子。
PQFT模型
• 四元组图像可以表示为下列形式
q(t ) M (t ) RG(t )1 BY (t )2 I (t )3
其中 i , i 1,2,3，满足 i2 1 ，2 3 , 1 3 , 3 12 1 2 , q(t ) 可以写成如下形式
R( f )
R( f ) log(A( f ) hn ( f ) * log(A( f ))) • 其中， 为原图二维傅里叶变换得到的频域 A( f ) 空间， 为局部平均滤波器（一般n取3）
hn ( f )
PQFT模型
• PQFT（Phase Spectrum of Quaternion Fourier Transform）模型是由Guo等人在Spectral Residual基础之上提出的，该方法通过计算图像 的四元傅里叶变换的相位谱得到图像的时空显著 性映射。 • 事实上，图像的相位谱即图像中的显著性目标。 图像中的每一个像素点都用四元组表示：颜色， 亮度和运动向量。 • PQFT模型独立于先验信息，不需要参数，计算 高效，适合于实时显著性检测