图像视觉特征与视觉单词构造-2016年
图像中轮廓结构的视觉特征研究
图像中轮廓结构的视觉特征研究作者：师晟孙荪王书利来源：《教育教学论坛》2016年第52期（上海工程技术大学，上海 201620）摘要：在《构成基础》课程中，研究图像中轮廓结构的视觉特征应侧重于空间中轮廓线的表现、轮廓层次和形式之间的联动状态，对轮廓的视觉识别需要关注静态轮廓和动态轮廓、图像的纹理和质地与轮廓的纹理和质地之间的转化过程，从而通过轮廓的整体特征和对轮廓区域的划分来获得图像中轮廓信息与图像识别的视觉关联。
关键词：图像视觉特征；轮廓线和空间；轮廓信息的图像识别中图分类号：G423.04 文献标志码：A 文章编号：1674-9324（2016）52-0069-02识别不同图像类别的视觉基础首先需要研究图像中轮廓结构的视觉特征，因为轮廓存储着图像信息的概貌，同时也是提升图像识别过程中最基本的视觉特征之一。
它不仅对计算机学科中机器视觉系统的图像识别具有一定的帮助，同时也强化了图像设计的基本要素和应用要素的视觉识别性。
一、图像中轮廓的视觉特征（一）轮廓线和空间图像的轮廓结构在空间中受到多因素的作用呈现出变化性，而轮廓结构依从于轮廓线的表现。
百度百科中轮廓线指物体的外边缘界线，认为同一个物体在空间中的不同观察角度会表现出不同的轮廓形状，并指出在电影创作中，选择适当的摄影角度能够表现出物体最具特点、最具表现力的轮廓形状。
首先，空间中不同角度的轮廓线相叠现象，会出现多重轮廓线以及因轮廓线之间的交错所形成的多样轮廓线。
同时，轮廓线在受环境、光照的影响，又呈现出实际存在的轮廓线和理想状态下的补充轮廓线现象，犹如百度百科中的轮廓度指出，被测的实际轮廓相对于理想轮廓之间的变动情况。
其次，根据1824年英国罗葛特教授在《移动物体的视觉暂留现象》报告中指出视觉存在着暂留现象——视觉在有限时间内的反应速度会导致影像遗留。
而视觉在跟踪规则或非规则化的轮廓线时会受到视觉暂留影像的影响，会使视觉识别轮廓线的过程始终处于调和轮廓线和视觉影像遗留之间的关系中。
计算机视觉与图像理解
计算机视觉与图像理解摘要精确的特征跟踪是计算机视觉中的许多高层次的任务，如三维建模及运动分析奠定了基础。
虽然有许多特征跟踪算法，他们大多对被跟踪的数据没有错误信息。
但是，由于困难和空间局部性的问题，现有的方法会产生非常不正确的对应方式，造成剔除了基本的后处理步骤。
我们提出了一个新的通用框架，使用Unscented转换，以增加任意变换特征跟踪算法，并使用高斯随机变量来表示位置的不确定性。
我们运用和验证了金出武雄，卢卡斯- Tomasi的跟踪功能框架，并将其命名为Unscented康莱特（UKLT）。
UKLT能跟踪并拒绝不正确的应对措施。
并证明对真假序列的方法真确性，并演示UKLT能做出正确不误的判断出物体的位置。
1．简介在计算机视觉，对问题反映的准确性取决于于图像的准确测定。
特征跟踪会随时间变化对变化的图像进行处理，并更新每个功能的变化作为图像的位置判断。
重要的是所选择图像的功能，有足够的信息来跟踪，而且不遭受光圈问题的影响。
[1]在金出武雄，卢卡斯- Tomasi（康莱特）是最知名的跟踪和研究方法之一。
它采用一对匹配准则刚性平移模型，它是相当于窗口强度的平方差之和最小化的基础。
特征点的正确选择，可大大提高算法的性能。
[3]Shi与Tomasi 将初始算法考虑仿射模型，并提出了技术监测的功能对质量进行跟踪。
如果第一场比赛中的图像区域之间和当前帧残留超过阈值时，该功能将被拒绝。
在随后的工作中，对模型进行了扩展且考虑了光照和反射的变化。
不幸的是，这些算法没有考虑在跟踪的不确定性，和估计的可靠性。
如果我们能够考虑到这些问题，我们将能从混乱的数据中提取出更准确的数据。
在没有不确定性特设技术条件下，有些研究员试图从中提取有用的数据但是结果都不能令人满意。
但是理论上有声音的不确定性为特征跟踪，是可以应用于不同的功能类型的方法。
在一个闭塞，模糊，光照变化的环境中，即使是最复杂的特征跟踪算法一败涂地无法准确跟踪。
文献外部特征的检索语言
文献外部特征的检索语言外部特征的检索语言是指在文献检索中使用的特定术语或关键词，用于寻找与特定主题或研究领域相关的外部特征的文献。
这些外部特征可能涉及物体表面的形态、纹理、颜色、特定结构或其他性质，或者涉及人体的某些特定特征或行为。
以下是一些与外部特征相关的常用检索语言的示例：1. 表面形态特征：- 均匀性（uniformity）- 曲率（curvature）- 平滑度（smoothness）- 粗糙度（roughness）- 几何形状（geometric shape）- 表面形貌（surface topography）- 表面形态（surface morphology）2. 表面纹理特征：- 纹理特征（texture features）- 纹理描述（texture descriptors）- 纹理分析（texture analysis）- 纹理判别（texture discrimination）- 纹理识别（texture recognition）- 纹理提取（texture extraction）- 纹理模型（texture model）- 纹理分类（texture classification）3. 表面颜色特征：- 颜色特征（color features）- 颜色分布（color distribution）- 颜色模型（color model）- 颜色空间（color space）- 颜色直方图（color histogram）- 颜色特征提取（color feature extraction）- 颜色描述符（color descriptor）4. 特定结构特征：- 细胞结构（cellular structure）- 晶格结构（lattice structure）- 分子结构（molecular structure）- 生物组织结构（biological tissue structure）- 表表面结构（surface structure）- 微观结构（microstructure）5. 人体特征：- 人脸特征（facial features）- 身体形态（body shape）- 手部特征（hand features）- 骨骼结构（skeletal structure）- 步态分析（gait analysis）- 视觉注意（visual attention）- 姿势识别（pose recognition）- 表情识别（facial expression recognition）以上仅是外部特征检索语言的示例，实际应用中需要根据具体的研究领域和研究目的进行调整和进一步扩展。
一种基于视觉单词的图像检索方法
内容 的 图像 检 索 （ ＢＲ，ｏｔｎ—ａｅ ｍ ｇ ｅ ｅａ） Ｃ Ｉ ｃｎｅｔ ｓｄｉａｅｒｔ ｖ１ ｂ ｉ ｒ 技术成 为 了近 年来 图像 检 索技术 的研 究热 点 ¨ 。基 于 内容 的图像检 索 主要 通 过 图像 的低 层 视觉 特 征 （ 颜 色 、 理 、 状 ） 行 图像 表 示 和 匹 配 ， 面 临 的主 纹 形 进 其 要 问题是 图像低 层 特征 和 图像 高 层 语义 存 在着 “ 义 语 鸿沟 ” ｓｍａｔ ａ ） 为 了克 服语 义鸿 沟 ， 们 进 行 （ｅ ｎｉ ｇｐ 。 ｃ 人 了诸 多方 面 的研 究 ， 致力 于建 立 一种 有 效 的从 图像 低 层视 觉特 征到 高层语 义 的映射模 式 。这方 面 的研 究虽 然取 得 了一 定 的成果 ， 由 于映 射模 式 的建 立是 相 当 但 复杂 的 ， 以说 目前 仍 然 没有 一 种 全 面并 且 有效 的语 可
词汇加工与视觉特征在中文阅读眼动控制中的作用
关键词 ： 中文 阅 读 ； 无心阅读 ； 消失文本 ； 眼 动
１ 引 言
视 角大 小对 读 者眼跳 幅 度 、再 注视 和跳 读事 件 的影
响却 十 分 明显 ＿ 】 驯， 这 表 明在 一 定 范 围 内文 本 的视 觉 因素 对 中文 阅读 眼动模 式 的影 响程度甚 于西文 阅 读。
摘
要： 实 验 采 用 消失 文 本 范 式 考 察 不 同消 失 单 元 对 句 子 阅读 和 无 心 阅读 眼动 模 式 的 影 响 ， 进 而 推 测 词 汇 加 工 与 视觉 特 征 对 中 文
读 者 眼动 过 程 的影 响 。结 果 发 现 ： （ １ ） 相 对 于 无 心 阅读 ， 句 子 阅读 时读 者 花 费较 长 的 总 阅 读 时 间 ， 但 在 无 心 阅读 中单 个 注 视 的 持 续 时 间较 长 ， 注视次数较少 ， 眼跳 幅 度 较 长 ； （ ２ ） 消失单元 对句子阅读和无心 阅读的影响模式不 同， 消 失文 本 不 会 导 致 句 子 阅读 任 务 总 阅读 时 间 的 增 加 ， 但 却 严 重 影 响无 心 阅 读 的 总 阅读 时 间 ， 不 同消 失 单 元 对 句 子 阅 读 眼 动 模 式 的影 响 不 明 显 ； 但 相 对 于 注 视 词 消 失， 注 视 字 消 失 导 致 无 心 阅读 中较 长 的平 均 注 视 时 间 、 较 多 的注 视 次 数 和 较 长 的基 于 词 的平 均 凝 视 时 问 。 综合这些结果可知 。 视 觉
并 不 能影 响相 对单 位 的眼跳 幅度 （ 以字符 数量 为 单
位） ［ １ ６ － １ ８ ］ 。 这 是 因为无 论 字符 多 大 。词 间 空格 都 能
SIFT、SURF、ORB
几种局部图像特征的提取算法的研究摘要：局部图像特征描述是计算机视觉的一个基本研究问题，在寻找图像中的对应点以及物体特征描述中有着重要的作用。
本文主要研究了三种当前比较流行的具有不变性的局部图像特征提取算法，分析了SIFT、SURF和ORB特征点提取与定位方法，讨论这三种特征的特征描述子对特征点描述方法的异同。
总结了三种特征描述方法各自的优缺点。
关键字：局部图像特征；SIFT；SURF；ORBAnalysis of several feature-extract algorithms Abstract：Local image features is a basic issue of computer vision. It is important in the pratise to find corresponding point and to describe the feature of object. In the paper, we study three popular local image features which are imvariant descriptors. We analyse the way to localize the key point of the SIFT, SURF and ORB algorithm. We also discuss the different of this methoeds on extracting the feature vector of the key point. Finally ,we point the advantage and disadvantage of this methoeds.Keyword：local image feature；SIFT；SURF；ORB一、概述局部图像特征描述的核心问题是不变性（鲁棒性）和可区分性。
一种结合语义特征和视觉特征的图像检索方法
提 出了一种将 图像底 层视 觉特 征与 图像在 向量 空 间 中的语义统计特征相 结合 的方法 ， 图像 底层视觉 特 将 征赋予更高层次 的意义 。该方法 涉及到一种技 术 ， 潜在
一
个语 义 网络 ［ ］ ３ 。由于该检 索 系统是 试验 系统 ， “ 图像
数据 库 的规 模 不大 ， 因此 我 们 采用 手 工 标 注 的方式 来
ｖ ｃ ｏ ｏｒ ｉ ｇ ｃ ｏ ｓ ｏ ａ ．Ａ ｎ ａ ｐｒ ｃ ｓｐｒ ｐｏ ｅ ｈａ ｌｏｗｓ ｔ ｅ ｃ ｍ ｂｎａ ｉ ｎ ｏｆｖｉｕａ ｔ ｔｓ ｉｓ ｗｉｈ ｔ ｔ ｌｓ ａ ｉｔｃ ｎ ｅ ｔ ｒ ｆ ｍ ｕｓｎ ｏｌｒ ｈｉｔ ｇｒ ｍ ｐ ｏａ ｈ ｉ ｏ ｓ ｄ ｔ ｔａｌ ｈ ｏ ｉ ｔｏ ｓ ｌｓ ａ ｉｔｃ ｔ ｅｘ ｕａ ｔ ｔｓ ｉｓ ｉ ｔｅ ｅ ｔｒ ｐ ｃ ｈ ｖ ｃ ｏ ｓ ａ ｅ， ｗ ｈｉｈ ｓ ｅ ｔ ｔａ ｆ ｍ ｏ —ｅ ｅ ｆ ａ ｕｒ ｓ Ｏ ｈ ｇ ｒ ｅ ｌｏｆ ｍ ｅ ｎｉ ｃ ｅ ｋｓ ｏ ｒ ｎｓ ｏｒ ｌ ｗ ｌ ｖ ｌ ｅ ｔ ｅ ｔ ａ ｉ ｈｅ ｌｖｅ ａ ｎｇ． Ｉ ｃ ｎ ｔ ａ ｈｅ ｐ ｍ ｐｒ ｖｅ ｈ ｒ ｔｉ ｖ ｌ ｌ ｉ ｏ ｔ ｅ ｅ ｒｅ ａ ｐ ｒ ｏ ｍ ａ ｃ ｉ ｉｉａ ｔｙ． ｅ ｆ ｒ ｎ ｅ ｓｇｎ ｆｃ ｎ ｌ ＫＥＹＷ ＯＲＤＳ ｃ ｔ ｎｔ ｂ ｓ ｄ， ｍ ａ ｅ ｒｅ ａ１ ｉ ａ ｅ ａｎｔｃ ｏｎ ｅ — ａ ｅ ｉ ｇｅｒ ｔ ｉｖ ， ｍ ｇｅ ｓ ｍ ｉｓ， ｌ ｔ ｔｓ ｍ ａ ｉ ｎｄｅ ｉ ｇ ａ ｅｎ ｅ ｎｔｃ ｉ ｘｎ
第 ２ 卷 ４
第 ２期
电 脑 开 发 与 应ຫໍສະໝຸດ 用 文 章 编 号 ：０ ３ ５ ５ （ ０ １ ０ — ０ ９ ０ １ ０－８ ０ ２ １ ） ２０１ －３
基于内容的图像检索的视觉特征
样才能进行相似度 比较 ； ③还要定 义一种 相似度（ 距离１ 标准用
图像 处 理包 括 很 多方 面， 当然 也 包 括 图像 检 索 技 术 。 年来 ， 来 衡 量 图像 之 间在 颜 色 上 的 相 似性 。 近 随 着 多 媒体 技 术 和 因 特 网 的快 速 发 展 ．基 于 内 容 的 图 像 检 索 已 颜 色 特 征 是 图像 最直 观而 明显 的特 征 。用 于 表 达 图像 颜 色 经 成 为 一 个 研 究 热 点 ．出 现 了 Ｉ Ｍ 公 司 的 Ｑ Ｉ 、 Ｉ Ｂ Ｂ Ｃ Ｍ Ｔ的 Ｐ ｏｏ 特 征 有 颜 色 直 方 图 （ ｏ ｒ ｉ ｏ ｒｍ）颜 色矩 Ｃ ｌ ｍ ｎｓ、 ｈ ｔ ． Ｃ ｌ ｓ ｇａ 、 ｏＨ ｔ ｏｒ ｏ Ｍｏ ｅ ｔ 颜 １
１ 引 言 ．
的依 赖 性 较 小 ， 而 具 有 较 高 的 稳健 性 。图像颜 色 特 征 的 表达 包 从
我 们 知 道 图像 工 程 的 内容 非 常 丰 富 ．根 据 抽 象 程 度 和 研 究 括了几个 问题 ： 由于存在许多不 同的颜色色彩空间， ① 对不 同的 方 法等 的不 同 可 分 为 三个 层 次 ：图 像 处 理 、 图 像 分 析 和 图像 理 具 体应 用． 要 选 择 合 适 的 颜 色 色 彩 空 间 来 描 述 图像 颜 色特 征 ： 需 解 。 图像 工 程是 既有 联 系 又有 区别 的 图像 处 理 、 而 图像 分 析 及 图 ② 需要采用 一定的量化方 法将颜 色特 征表达为向量的形式， 这 像 理解 三 者 的有 机结 合 ． 外 还 包 括 对 它 们 的 工 程应 用 。 另
Ｃ ｏ 等１ 合 了 图像 理 解 、 式识 别 、 据 库 等 技 术 ， 有 如 下 以基 于不 同 的颜 色空 间 和 坐标 系 最 常 用 的颜 色 空 间是 Ｒ Ｂ色 ｏ＃ｅ ， 融 模 数 具 Ｇ 特点 ： 彩 空 间 ． 因在 于大 部 分 的数 字 图像 都 是 用 这 种 颜 色 空 间 表 达 原 ｆ 直 接 从 图像 媒 体 内容 中提 取 信 息 线 索 。 突破 了传 统 的 的 。 而 ， Ｇ ｌ １ 它 然 Ｒ Ｂ空 间结 构 不 符 合 人们 的颜 色 相 似性 判 断 。 此， 因 基
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
吴飞 浙江大学计算机学院 /wufei 2016年
Email: wufei@
提纲
颜色直方图 视觉特征(SIFT） 视觉单词 基于聚类的视觉单词构造
颜色直方图 （Histogram）
图像特征：SIFT（Scale-Invariant Feature Transform）
若干图像的DoG结果示意图：
图像特征：SIFT（Scale-Invariant Feature Transform）
若干图像的DoG结果示意图：
基于高斯差图像的线条画生成
Holger Winnemö ller,XDoG: Advanced Image Stylization with eXtended Difference-of-Gaussians, Proceedings of NPAR 2011
第五步：SIFT点的描述（ Keypoint descriptor）
对于这个图像中以极（大/小）值点L(x,y)为中心的16*16大 小区域中每个像素点，计算其梯度幅度和方向
的 Lena原始彩色图像读入，lena变量大小为512×512×3 ） histR=imhist(lena(:,:,1),20); （红色通道的20维直方图） histG=imhist(lena(:,:,2),20); （绿色通道的20维直方图） histB=imhist(lena(:,:,3),20); （蓝色通道的20维直方图）
23 David G. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60, 2 (2004）
图像特征：SIFT（Scale-Invariant Feature Transform）
方差为1的7*7高斯滤波矩阵
方差为1的7*7高斯滤波矩阵卷积结果
方差为10的7*7高斯滤波矩阵
方差为10的7*7高斯滤波矩阵卷积结果
与Prewitt滤波矩阵中权重固定不同，高斯卷积矩阵中的权重设置反映了图像 “局部空间相关”特性。在高斯卷积滤波算子中，高斯函数中方差越大，图 像中心像素点权重越小，则图像越模糊。
SIFT（Scale-invariant feature transform）是一种在 尺度空间中提取的图像局部特征。SIFT特征在相当 多领域得到应用，是目前一种很重要的局部特征。
去除可能的噪音点 （如低对比度和 边缘孤立点）
构造空间 尺度
搜索尺度空间 中的极值
计算方向 构造特征向量
SIFT特征提取流程
图像特征：SIFT（Scale-Invariant Feature Transform）
第二步：构造高斯差图像（Difference of Gaussian, DoG）
对DoG的进一步说明（来自Wiki）： Difference of Gaussians is a grayscale image enhancement algorithm that involves the subtraction of one blurred version of an original grayscale image from another, less blurred version of the original. The blurred images are obtained by convolving the original grayscale image with Gaussian kernels having differing standard deviations. Blurring an image using a Gaussian kernel suppresses only high-frequency spatial information. Subtracting one image from the other preserves spatial information that lies between the range of frequencies that are preserved in the two blurred images. Thus, the difference of Gaussians is similar to a band-pass filter that discards all but a handful of spatial frequencies that are present in the original grayscale image
图像是由具有不同色度值的像素点所组成，可以用每一 种色度值的像素点总数来表达一幅图像。 具体应用中可对颜色直方图进行归一化，即将直方图的 值规整到[0,1]区间。
颜色直方图 （Histogram）
Matlab程序中对颜色直方图的提取过程 lena=imread(‘lena.bmp’); （将分辨率大小为512×512的 Lena原始灰度图像读 入，即原始图像像素点个数为262144 ，lena变量大小为512×512） H1=imhist(lena,20); （从lena图像中提取维度为20的颜色直方图，H1变量的 大小为20×1，其值为（0, 0, 750, 14613, 24233, 11126, 12943, 19345, 22012, 23122, 27978, 33309, 25312, 15992, 9563, 12967, 8045, 828, 6, 0）
图像特征：SIFT（Scale-Invariant Feature Transform）
第四步：去除候选极（大/小）值点中可能噪音点
如去掉对比度低的点和位于边缘上的点
22 David G. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60, 2 (2004）
0.14 0.12
0.1
0.08
0.06
0.04
0.02
0
0
5
10
15
20
25
原始灰度图像Lena及其归一化的20维颜色直方图特征
颜色直方图 （Histogram）
给定同一幅图像，如果其位于不同色彩空间，则所 得到的颜色直方图将不同。 一般而言，对于彩色图像直方图的提取可采取如下 办法：
在彩色图像的每一个色度通道中计算其对应的直方图。如对 于RGB色彩空间的图像，我们可分别计算其在R、G和B三个 色度通道中的颜色直方图，然后将得到的所有色度通道的颜 色直方图作为图像颜色直方图特征
x 10 8 7 6 5 4 3 2 1 0 0 50 100 150 200 250
4
原始灰度图像Lena及其20维颜色直方图特征
颜色直方图 （Histogram）
Matlab程序中对颜色直方图的归一化过程过程 lena=imread(‘lena.bmp’); [m,n]=size(lena); H1=imhist(lena,20)； H1=H1./(m*n);bar(H1) （20维直方图则变为（0,0, 0.0029, 0.0557, 0.0924, 0.0424, 0.0494, 0.0738, 0.0840, 0.0882, 0.1067, 0.1271, 0.0966, 0.0610, 0.0365, 0.0495, 0.0307, 0.0032, 0.0000, 0）
David G. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60, 2 (2004）（2014年10月引用次数为34479）
图像特征：SIFT（Scale-Invariant Feature Transform）
第一步：构造原始图像的尺度空间
13
图像特征：SIFT（Scale-Invariant Feature Transform）
第一步：构造不同尺度的高斯滤波算子，对图像进 行不同尺度的高斯模糊，获得一系列不同尺度的高 斯模糊图像
14
图像特征：SIFT（Scale-Invariant Feature Transform）
图像特征：SIFT（Scale-Invariant Feature Transform）
第三步：搜索候选极（大/小）值点
搜索图像的候选特征点就是在尺度空间中搜索极值点，包括极大值和极 小值。对于上述求得某一高斯差尺度空间中的每一个点，将其与周围26 个点（如图 所示同一层的8个相邻的和两个相邻高斯差层的9*2个点）比 较，如果其色度值为最大或者最小，则将该点作为候选特征点。
方差为10的7*7高斯滤波矩阵卷积结果
与Prewitt滤波矩阵中权重固定不同，高斯卷积矩阵中的权重设置反映了图像“局部空间相关”特性 。在高斯卷积滤波算子中，高斯函数中方差越大，图像中心像素点权重越小，则图像越模糊。
图像特征：SIFT（Scale-Invariant Feature Transform）
图像特征：SIFT（Scale-Invariant Feature Transform）
第五步：极（大/小）值点方向表示（ Orientation assignment ）
对于某个被Gaussain算子滤波后的图像中，给定这个图像中 的极（大/小）值点L(x,y)，如下计算其梯度幅度和方向（ all computations are performed in a scale-invariant manner. ）