图像局部特征描述子研究分析(未完-待续)
图像特征提取方法详解(Ⅲ)

图像特征提取方法详解图像特征提取是计算机视觉和图像处理领域中的一个重要任务,它是对图像中的信息进行分析和提取,以便进行后续的图像识别、分类和分析。
在图像处理和计算机视觉应用中,图像特征提取是至关重要的一步,因为它直接影响了后续处理的结果。
一、图像特征的概念图像特征是指图像中能够表征其内容和结构的可测量属性。
常见的图像特征包括颜色、纹理、形状、边缘等。
这些特征可以帮助我们理解图像的含义,区分不同的物体、场景和结构。
二、图像特征提取的方法1. 颜色特征提取颜色是图像中最直观和重要的特征之一。
常用的颜色特征提取方法包括直方图统计、颜色矩和颜色空间转换。
直方图统计是通过统计图像中每种颜色出现的频率来提取颜色特征,它可以帮助我们了解图像中的主要颜色分布。
颜色矩是一种用于描述颜色分布和颜色相关性的方法,它可以帮助我们定量地比较不同图像之间的颜色特征。
颜色空间转换则是将图像的RGB颜色空间转换为其他颜色空间(如HSV、Lab等),以便更好地提取颜色特征。
2. 纹理特征提取纹理是图像中的重要特征之一,它可以帮助我们理解图像中的细节和结构。
常见的纹理特征提取方法包括灰度共生矩阵、小波变换和局部二值模式。
灰度共生矩阵是一种用于描述图像纹理结构的统计方法,它可以帮助我们了解图像中不同区域的纹理分布。
小波变换是一种多尺度分析方法,它可以帮助我们提取图像中不同尺度和方向的纹理特征。
局部二值模式是一种用于描述图像局部纹理特征的方法,它可以帮助我们快速提取图像中的纹理信息。
3. 形状特征提取形状是图像中的重要特征之一,它可以帮助我们理解图像中的对象和结构。
常见的形状特征提取方法包括边缘检测、轮廓提取和形状描述子。
边缘检测是一种用于提取图像中边缘信息的方法,它可以帮助我们理解图像中的对象轮廓和结构。
轮廓提取是一种用于提取图像中对象轮廓信息的方法,它可以帮助我们理解图像中的对象形状和结构。
形状描述子是一种用于描述图像对象形状特征的方法,它可以帮助我们快速提取图像中的形状信息。
图像目标描述子的研究

摘要本论文结合无人机跟踪识别地面目标的课题,开展图像目标描述子的研究,针对无人机机载图像设备识别、跟踪地面目标的实际需求,研究由于无人机的三维姿态运动和质心运动引起的目标图像平移、旋转、缩放等对目标自动识别效果的影响。
论文的主要研究内容如下:首先,针对无人机的飞行姿态变化引起的目标物在图像中的几何变化,提出课题的识别要求,并根据识别要求建立仿真图像库。
选取具有代表性的全局目标描述子,分别为不变矩描述子和协方差描述子,通过仿真对算法的有效性进行评价。
仿真结果表明:不变矩描述子和协方差描述子不能够满足论文中提出的识别准确度要求。
其次,对离散状态下的Hu不变矩描述子进行改进。
从不变矩的物理意义、构造原理出发,保留离散状态下的6个不变矩中稳定性较好的3个矩,对其余随着目标几何变化波动区间超出置信区间范围的矩进行平方运算,得到一组新的M不变矩。
仿真结果表明,在图像目标做一系列几何变化时,M不变矩性能优于离散状态下的Hu 不变矩。
最后,对协方差描述子进行改进。
针对原始协方差描述子在目标发生尺度变化时,识别准确度无法满足要求的问题,在协方差描述子的特征向量中加入图像目标的边缘特征,同时去掉一阶偏导向量,构造出新的8维协方差描述子。
仿真结果表明,结合边缘特征的协方差描述子在目标尺度放大为基准图像200%,旋转角度为45度时,仍能满足识别准确度的要求。
关键词:目标识别;目标描述子;不变矩;协方差AbstractThis paper focuses on the study of target descriptors of the image, in order to keep accurate when translation, rotation and scale change happens to the targets during Auto Target Recognition (ATR) of the UA V. The main achievements are as follows: First of all, the recognition requests are brought up and on the basis of which established the targets geometric changes imagery library. Hu Invariant moments descriptor and region covariance descriptor are chose to be evaluated. Simulations based on the image library show that invariant moment and region covariance descriptors could not meet the recognition request.Secondly, Hu invariant moments under the discrete state are improved. The advanced algorithm, M invariant moment, replaces three moments which are sensitive to the geometric changes with their square. At the same time, the other three are kept and compose M moments with the new ones. Simulations based on images from image library show that M moments have a better invariance than the Hu moments.Thirdly, region covariance descriptor is improved. Edge feature has been combined to the feature vectors of covariance matrix, and the first-order derivatives are moved because of their sensitive to scale changes. Simulations of this new 8-dimensional descriptor show that it has a better performance when the target had geometric changes. The advanced descriptor could recognize accurately when target has been enlarged to 200% or rotated within 45 degrees.Key Words: Object Recognition; Target Descriptors; Invariant Moment; Region Covariance目录第1章 绪论 (1)1.1 本论文研究的目的和意义 (1)1.2无人机目标识别的研究现状 (1)1.3 目标描述子研究现状及发展趋势 (3)1.2.1 局部目标描述子的研究现状 (4)1.2.2 全局目标描述子的研究现状 (6)1.4 目标描述子用于无人机目标识别的现状 (8)1.5 论文的主要研究内容 (9)第2章 典型目标描述子算法及仿真 (11)2.1 目标识别指标要求 (11)2.2 算法性能评价方法 (11)2.3 Hu不变矩描述子算法及仿真 (14)2.3.1 矩的物理意义及Hu不变矩 (14)2.3.2 Hu不变矩的仿真实验 (16)2.4协方差描述子算法及仿真 (22)2.4.1 区域协方差法原理 (22)2.4.2 协方差描述子的仿真实验 (23)2.5 本章小结 (30)第3章 不变矩描述子的改进 (31)3.1 离散状态下的不变矩 (31)3.2 不变矩描述子的改进 (37)3.3 本章小结 (42)第4章 协方差描述子的改进 (43)4.1 Canny边缘检测算子 (43)4.2 改进的区域协方差描述子及仿真 (45)4.3视频图像仿真 (53)4.4 本章小结 (62)结论 (63)参考文献 (64)致谢 (67)第1章绪论1.1 本论文研究的目的和意义图像目标描述子通常指表征图像特征的一系列符号,描述子在尽可能区别不同目标的基础上对目标的几何变化不敏感,因此图像目标描述子对于能否准确从图像序列中检测出运动信息、识别并跟踪目标十分关键[1]。
常用的特征描绘子

常用的特征描绘子特征描绘子是计算机视觉领域中常用的一种技术,用于描述和表示图像的特征。
这些特征可以用来比较、分类和检索图像。
下面是常用的特征描绘子:1.颜色特征:颜色是图像中最基本的特征之一、通过提取图像中的颜色分布,可以获得颜色直方图、颜色矩等特征。
常用的颜色特征描绘子有RGB颜色直方图、HSV颜色直方图等。
2.纹理特征:纹理是图像中反映物体表面特征的一种性质。
通过提取图像中的纹理信息,可以得到纹理特征。
常用的纹理特征描绘子有灰度共生矩阵(GLCM)、局部二值模式(LBP)等。
3. 形状特征:形状是物体在二维平面上的轮廓。
通过提取图像中物体的形状信息,可以得到形状特征。
常用的形状特征描绘子有边界描述子、Hough变换等。
4. 边缘特征:边缘是图像中灰度变化剧烈的地方。
通过提取图像中的边缘信息,可以得到边缘特征。
常用的边缘特征描绘子有Canny边缘检测、Sobel算子等。
5.尺度不变特征变换(SIFT):SIFT是一种基于尺度空间和局部特征的描绘子。
它通过在图像中检测关键点,并计算关键点周围的局部特征,得到具有尺度不变性的特征描绘子。
6.方向梯度直方图(HOG):HOG是一种用于目标检测和行人识别的特征描绘子。
它通过计算图像中像素的梯度方向,得到具有方向特征的直方图。
7.深度学习特征:深度学习是一种基于神经网络的机器学习方法,可以从原始图像中学习到高级的特征表示。
常用的深度学习特征描绘子有卷积神经网络(CNN)的卷积层输出、预训练模型中的特征等。
这些特征描绘子都具有不同的特点和适用范围,可以根据具体的应用场景选择合适的特征描绘子进行图像处理和分析。
特征描绘子在图像检索、目标识别、行人跟踪等领域都有广泛的应用。
随着计算机视觉和深度学习的发展,特征描绘子的研究和应用将会得到进一步的扩展和深化。
局部二值模式方法研究与展望

局部二值模式方法研究与展望一、本文概述局部二值模式(Local Binary Patterns,LBP)是一种在计算机视觉和图像处理领域广泛应用的局部纹理特征描述子。
自从1994年由T. Ojala, M. Pietikäinen, 和 D. Harwood首次提出以来,LBP 因其计算简单、对光照变化和旋转具有鲁棒性等优点,在人脸识别、动态纹理识别、图像分类等许多领域取得了显著的成效。
本文旨在深入研究和探讨局部二值模式方法的基本原理、发展历程、应用领域以及未来可能的发展趋势。
本文将回顾LBP方法的基本概念和计算过程,阐述其在不同应用场景下的优势与挑战。
我们将详细介绍LBP方法的各种变体,包括旋转不变LBP、均匀LBP等价模式LBP等,以及它们在处理复杂纹理和动态图像时的性能表现。
本文还将探讨LBP方法在深度学习框架下的应用,如卷积神经网络(CNN)中的LBP纹理层,以及如何在保持计算效率的同时提升特征表达能力。
本文将展望LBP方法在未来的发展趋势。
随着计算机视觉技术的不断进步,尤其是在大数据、云计算和等领域的快速发展,LBP方法有望在更多领域发挥重要作用。
我们将关注LBP方法在计算效率、特征表示能力、鲁棒性等方面的进一步提升,以及在新兴应用领域如无人驾驶、智能监控等中的潜在价值。
二、LBP方法的基本原理与发展历程局部二值模式(Local Binary Patterns,LBP)是一种在计算机视觉和图像处理领域广泛应用的纹理描述算子。
其基本原理基于图像的局部纹理信息,通过比较中心像素与其邻域像素的灰度值来生成一个二进制数,以此作为该局部区域的纹理描述。
LBP方法的发展历程经历了从基础概念的提出,到各种改进和扩展算法的涌现,以及在多种计算机视觉任务中的成功应用。
LBP方法的核心思想是比较图像中每个像素与其邻域像素的灰度值。
对于一个给定的中心像素,其LBP值是通过将其与周围像素的灰度值进行比较并生成一个二进制数来计算的。
医学影像分析中的图像配准方法综述

医学影像分析中的图像配准方法综述医学影像分析是指利用图像处理、模式识别和机器学习等计算方法对医学影像进行分析和处理,以获取相关的解剖、功能和病理信息。
而图像配准是医学影像分析的一个重要环节,它指的是将不同模态或不同时间点获取的医学影像图像进行准确的对齐,以便在后续分析和研究中提供更可靠的结果。
医学影像配准方法的目标是将不同的图像进行对齐,使得它们在空间和几何上相互吻合。
这样做的优点是提高了医学影像分析的准确性和可信度,同时也为临床医生和研究人员提供了更全面的信息,以便更好地诊断疾病、研究病变发展和评估治疗效果。
医学影像配准方法可以分为刚性配准和非刚性配准两大类。
刚性配准(Rigid Registration)是指通过旋转、平移和缩放等刚性变换使得图像彼此对齐。
刚性配准适用于同一器官的不同扫描或同一时间点的不同斜视图像等情况。
它的优点是计算快速、操作简单,但局限性在于无法处理组织形变引起的图像变化。
而非刚性配准(Non-rigid Registration)克服了刚性配准的局限性,它可以处理器官形变、组织变形以及疾病进展引起的图像差异。
非刚性配准算法基于局部区域的相似性进行配准,并对图像进行局部形变模型的建立,常见的方法有弹性体变形(Elastic Deformation)、三维网格配准(3D Mesh Registration)和基于特征的配准(Feature-based Registration)等。
在医学影像配准中,常用的方法有基于互信息(Mutual Information)的配准、基于特征点匹配的配准和基于局部图像特征的配准等。
基于互信息的配准算法是一种无需事先标记特征点的配准方法,它通过最大化目标图像和参考图像之间的互信息量来完成图像的配准。
互信息测量的是两个图像之间的统计相关性,由于它不受图像灰度变化和噪声的影响,因此被广泛应用于医学影像配准领域,尤其适用于多模态影像的配准。
基于特征点匹配的配准算法是一种通过识别图像中的关键特征点,并对其进行匹配和对齐的方法。
常用的特征描绘子

常用的特征描绘子在计算机视觉和图像处理领域,特征描绘子是用于描述图像中的特定属性或纹理信息的数学表示。
特征描绘子对于图像匹配、对象识别和图像检索等任务非常重要。
下面将介绍一些常用的特征描绘子。
1.SIFT(尺度不变特征变换):SIFT是一种用于在不同尺度上检测和描述局部特征的算法。
它通过应用高斯滤波器来寻找具有高灵敏度的关键点,并使用关键点周围的局部图像区域来构建描述子。
SIFT特征具有尺度不变性和旋转不变性,因此在大规模图像检索和对象识别中广泛应用。
2. SURF(加速稳健特征):SURF是一种基于Hessian矩阵的局部特征描述子。
它通过计算图像中的灰度变化率来检测特征点,并构建了一种基于梯度直方图的描述子。
SURF特征具有尺度不变性、旋转不变性和光照不变性,且计算速度比SIFT更快,因此适用于实时图像处理任务。
3.ORB(方向鲁棒特征):ORB是一种结合了FAST角点检测器和BRIEF特征描述子的特征描绘子。
它通过检测图像中的角点,并使用二进制描述子来描述这些角点的特征。
ORB特征具有尺度不变性、旋转不变性和仿射不变性,且计算速度比SIFT和SURF都更快,因此适用于实时图像处理应用。
4.HOG(方向梯度直方图):HOG是一种用于物体检测和人体姿态估计的特征描述子。
它通过计算图像中局部区域的梯度直方图来描述图像的形状和纹理信息。
HOG特征在人体检测和行人识别等任务中表现出色,并且对于图像的尺度和旋转变化具有一定的鲁棒性。
5.LBP(局部二值模式):LBP是一种用于纹理分析和表情识别的特征描述子。
它通过将局部图像区域与其周围像素比较,并将比较结果编码为二进制数来描述纹理特征。
LBP特征在纹理分类和人脸识别等任务中表现出色,并且对于光照变化和噪声干扰具有一定的鲁棒性。
除了上述特征描绘子,还有许多其他的常用特征描绘子,如GIST(总体图像特征)、BRISK(加速旋转不变特征)、FREAK(快速稳定特征)等。
Matlab中的图像特征描述和显著性分析方法

Matlab中的图像特征描述和显著性分析方法近年来,随着计算机视觉和图像处理的迅速发展,图像特征描述和显著性分析已经成为研究的热点之一。
在图像处理的领域中,特征描述和显著性分析技术被广泛应用于图像检索、目标跟踪、图像拼接等应用中。
而Matlab作为一个功能强大的数学软件,提供了丰富的图像处理工具箱以及算法库,使得图像特征描述和显著性分析方法的实现和应用变得更加简单高效。
一、图像特征描述方法图像特征描述是指通过提取图像中的特定信息,将原始图像转化为一组具有独特性质的向量或者描述符。
常见的图像特征描述方法包括颜色特征描述、纹理特征描述和形状特征描述等。
1. 颜色特征描述:颜色是图像中最重要的特征之一,它可以通过颜色直方图、颜色矩、颜色共生矩阵等方式进行描述。
在Matlab中,可以利用imhist函数计算颜色直方图,或者使用color moments函数计算颜色矩。
2. 纹理特征描述:纹理是指图像中的细节和结构,描述图像纹理特征的方法有灰度共生矩阵、Gabor滤波器等。
在Matlab中,可以使用graycomatrix函数计算灰度共生矩阵,或者利用gabor函数进行Gabor滤波器变换。
3. 形状特征描述:形状是指物体的外部轮廓和结构,常用的形状特征描述方法有边缘直方图、轮廓矩和Hu不变矩等。
在Matlab中,可以利用edge函数计算边缘,或者使用regionprops函数计算轮廓矩和Hu不变矩。
二、显著性分析方法显著性分析是指在图像中找出与周围环境明显不同的对象或者区域,用于引起观察者的注意。
显著性分析方法可以分为基于全局信息和基于局部信息两类。
1. 基于全局信息的显著性分析方法:这类方法主要是从整幅图像的角度出发,通过计算图像的对比度、颜色分布以及结构特征等来确定图像中显著的区域。
在Matlab中,可以使用imcontrast函数进行图像的对比度增强,或者通过计算颜色直方图和纹理特征来实现。
2. 基于局部信息的显著性分析方法:这类方法主要是从局部区域的角度出发,通过计算图像的边缘、纹理、颜色等局部特征来确定显著的区域。
常见的特征描述子及其原理

常见的特征描述子及其原理特征描述子是计算机视觉中用于描述图像中特征的算法。
它们通过对图像中的特征进行数学表示,将复杂的图像信息转化为一组具有独特性质的特征向量。
这些描述子可以帮助我们识别和匹配图像中的对象、检测变化或运动等。
以下是几种常见的特征描述子及其原理:1.尺度不变特征变换(SIFT)描述子:SIFT是一种在计算机视觉领域非常著名的特征描述子。
它通过检测图像中的极值点和关键点,然后使用高斯金字塔来对图像进行尺度空间的变换,最后根据图像局部梯度方向来计算描述子。
SIFT描述子具有尺度不变性、旋转不变性和光照不变性等特性,适用于目标识别、图像匹配和物体跟踪等应用。
2.加速稳健特征(ORB)描述子:ORB是一种结合了FAST特征检测器和BRIEF特征描述子的算法。
它通过检测图像中的角点来确定关键点,然后根据这些关键点的灰度信息计算描述子。
ORB描述子具有高速性能和良好的鲁棒性,适用于实时目标追踪、三维重建和SLAM(同时定位与地图构建)等应用。
3.方向梯度直方图(HOG)描述子:HOG是一种用于图像检测的特征描述子。
它通过计算图像中局部区域的梯度方向直方图来描述图像特征。
HOG描述子在人体检测、行人识别和行为分析等领域具有广泛应用。
4.高级二进制特征(ABD)描述子:ABD是一种基于局部二进制模式(Local Binary Patterns, LBP)的特征描述子。
它通过计算图像中每个像素与其周围像素的灰度差异,得到二进制编码,然后将编码的直方图作为图像的特征向量。
ABD描述子适用于人脸识别、纹理分类和图像检索等任务。
5.非负矩阵分解(NMF)描述子:NMF是一种基于矩阵分解的特征提取方法。
它通过将图像表示为非负矩阵的乘积形式,将图像特征分解到低维空间中。
NMF描述子可用于图像聚类、图像压缩和图像检索等任务。
综上所述,特征描述子在计算机视觉中发挥着重要作用。
不同的特征描述子适用于不同的应用场景,选择合适的描述子能够提高图像处理的效果和性能。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
研究背景在日常生活中,我们主要依赖于视觉来感知外界的信息,比起听觉,视觉能给我们更加丰富的描述。
人们一直想通过计算机视觉来描述视觉信息中有意义和有用的东西。
首先,我们必须回答什么类型的信息是我们想要的?如何提取这样的特征信息?有人定义视觉为发现图像是什么和在哪里的过程,这强调了视觉是一个信息处理任务[]。
而如何构建一个视觉系统来进行这样的信息处理任务是很多学者研究的问题之一。
其中,达成统一共识是利用不同的特征层来构建这一个视觉模型系统,最简单的三层体系结构为低层、中层、高层。
而本文基于最基本的图像描述方法——尺度的概念,利用尺度空间表示法来分析最低层图像数据。
尺度空间方法是一种尺度参数连续、不同尺度空间下采样保持一致性的视觉多尺度分析。
视觉多尺度分析是一种新的视觉信息处理方法,其基本思想是:当我们用眼睛观察物体且物体和观察者之间的距离(将距离视为尺度参数)不断变化时,视网膜将感知到不断变化的图像信息,分析和综合这些不同尺度下的视觉信息以获得被观察物体的本质特征,这种视觉分析方法即称为视觉多尺度分析。
尺度空间方法的基本思想是:在视觉信息(图像信息)处理模型中引入一个被视为尺度的参数,通过连续变化尺度参数获得不同尺度下的视觉处理信息,然后综合这些信息以深入地挖掘图像的本质特征。
尺度空间方法将传统的单尺度视觉信息处理技术纳入尺度不断变化的动态分析框架中,因此更容易获得图像的本质特征。
为什么要研究尺度空间?可以从以下几个通俗的描述来说明:1)现实世界的物体由不同尺度的结构所组成;2)在人的视觉中,对物体观察的尺度不同,物体的呈现方式也不同;3)对计算机视觉而言,无法预知某种尺度的物体结构是有意义的,因此有必要将所有尺度的结构表示出来;4)从测量的角度来说,对物体的测量数据必然是依赖于某个尺度的,例如温度曲线的采集,不可能是无限的,而是在一定温度范围进行量化采集。
温度范围即是选择的尺度;5)采用尺度空间理论对物体建模,即将尺度的概念融合入物理模型之中。
尺度空间数学定义表示如下:设多尺度分析的初始图像为0()u x (x , 为图像区域),(,)u x t 为多尺度分析用于图像所获得的在尺度(0)t t 时的图像,称0:()(,)t T u x u x t 为尺度空间算子,尺度空间算子族 0t t T 为尺度空间,并称为0:()(,)t h T u x t u x t h 尺度由t 变化到t h 的尺度空间算子。
依据尺度空间公理,尺度空间算子应满足如下定义的视觉不变性:定义2 设t T 为尺度空间算子,称t T 具有1) 灰度不变性,如果对任意常数c ,()()t t T u c T u c ;2) 对比度不变性,如果对任意非降实函数f ,(())(())t t T h u h T u ;3) 平移不变性,如果对任意常数h ,(())(())t h h t T u T u ,其中()()h u u x h ;4) 尺度不变性,如果对于任意正实数 和尺度参数t ,存在'(,)0t t ,使得't t H T T H ,其中()H u u x ;5) 欧基里德不变性,如果对于任意正交矩阵R , ()()t t T R u R T u ,其中,()()()R u x u R x ;6) 仿射不变性,如果对于任意仿射变换A 和任意尺度参数t ,存在'(,)0t A ,使得't t AT T A 。
上述诸不变性定义的视觉解释如下:当我们用眼睛观察物体时,一方面,当物体所处背景的光照条件变化时,视网膜感知图像的亮度水平和对比度是不同的,因此要求尺度空间算子对图像的分析不受图像的灰度水平和对比度变化的影响,即满足灰度不变性和对比度不变性;另一方面,相对于某一固定坐标系,当观察者和物体之间的相对位置变化时,视网膜所感知的图像的位置、大小、角度和形状(三维物体投影到视网膜上的二维图像轮廓,通常对应于图像的仿射变换)是不同的,因此要求尺度空间算子对图像的分析与图像的位置、大小、角度以及仿射变换无关,即满足平移不变性、尺度不变性、欧基里德不变性以及仿射不变性。
按照上面公理得出的条件,唯一可能的尺度空间函数核为高斯函数[],不同高斯核组成的尺度空间是规范的和线性的,并且满足以下若干性质,即平移不变性、半群结构、非增局部极值、尺度不变性和旋转不变性等。
最为基础的四类尺度空间依次为:线性尺度空间、非线性尺度空间、形尺度空间和数学形态学尺度空间。
本文主要研究线性尺度空间即高斯尺度空间下的局部不变特征检测与描述,同时也针对局部不变特征匹配存在的问题进行了研究。
目前图像特征提取是图像处理、模式识别以及计算机视觉等领域的一个重要研究内容,它是许多问题的基础,例如图像配准、图像拼接、物体识别、数字水印、动态跟踪、基于图像内容的检索以及视频镜头检测等。
这些问题都可以通过特征的提取与匹配来实现。
在计算机视觉中,有很多可供引用的图像特征,如按提取特征的区域大小可分为局部特征和全局特征;按特征在图像上的表现形式可分为点特征、线特征和面特征等。
图像局部特征是由一些亮度变化很大的像素点组成的局部结构,这些局部结构包含有丰富的图像信息,具有较强的代表性。
近年来,一类基于提取图像局部不变特征的方法在计算机视觉领域得到了广泛地应用。
这类局部特征,一方面不受平移、旋转、尺度、视角、光照变化以及模糊等因素的影响;另一方面可以很大程度地摒弃以往全局特征容易受到背景杂乱及目标遮挡等影响的缺点。
因而,与其它类型的特征相比,局部不变特征在稳定性、可重复性和独特性方面具有较大的优势,是近年来研究的热点。
局部特征描述是许多方法的基础,因此也是目前计算机视觉研究中的一个热点,每年视觉领域顶级会议ICCV/CVPR/ECCV 上都有高质量的特征描述论文发表。
但是该类方法提取的局部不变特征能够承受图像旋转、尺度、视角、光照及模糊等变换的程度仍然有待提高,并且还没有任何一种局部不变特征能够针对所有的图像变换具备良好的稳定性。
因此,如何使得局部不变特征具有更高的稳定性和可重复性是巫待解决的问题。
在具体应用过程中,发现了几个共同的问题,这些问题尚待研究解决。
比如:1) 在宽基线匹配情况下(图像之间存在较大的模糊、视角、旋转、缩放、尺度、光照等变化),数字摄影测影(近景摄影时)图像匹配、图像重构等会出现以下问题:由于光照条件不同,目标表明光亮度、对比度将会改变,使得基于灰度影像相关匹配的算法效果较差;物体与摄像机的距离不同,图像具备不同分辨率,即尺度不同;影像存在较大的旋转度,使得目标形状发生变化,目标图像存在仿射变形;2) 图像拼接应用时则会出现下列问题:来自不同传感器或者不同视角的同一场景的两幅或者多幅图像的匹配,主要难点是拍摄时间、角度、环境以及传感器性能的不同,都给图像带来了不可避免的噪声,同时还存在不同程度的灰度失真以及几何畸变。
3) 目标跟踪时则会遇到如下问题:光照变化:在不同的光照条件下,目标的特征会呈现明显的差异。
尤其复杂光照环境下,目标特征会发生强烈的变化;姿态和形状变化:目标的平面旋转,轴旋转以及与摄影设备距离变化都将导致目标图像的仿射变化和投射变化;部分遮挡:当跟踪目标被部分遮挡时,部分特征信息无法获取,就有可能跟踪失败或者偏移;4) 目标识别是计算机视觉中的一个非常具有挑战性的课题,主要遇到的问题描述如下: 如对于人类来说,即使是小孩也能轻松的在复杂图像中找到所需目标,即便这个目标被部分遮挡了,或者物体形状、大小发生变化等,但是对于计算机来说,非常具有挑战性,其核心问题就是用什么样的特征来描述物体。
这些实际应用问题本质反映了图像之间存在尺度、视角、光照、旋转、缩放、遮挡等变化,因此很难有通用的解决所有仿射变化的图像局部不变特征算法。
因此,本文重点研究如何提高局部不变特征的稳定性、可重复性等问题。
局部不变特征局部特征数学描述:图像函数表示为(,)f x y ,()g f 为定义在图像局部邻域 上的特征函数,()H f 表示对图像进行的各种变换。
特征函数()g f 对变换H 具有不变性是指对任意的图像函数f 满足:()(())g f g H f (1)特征函数()g f 对变换H 具有不变性时提取的特征为局部不变特征,其中特征不变性的自由度由H 的自由度决定。
物理意义及思想:局部不变特征是指局部特征的检测或描述对图像的各种变化,例如几何变换、光度变换、卷积变换、视角变化等保持不变。
局部不变特征的基本思想是提取图像内容的本质属性特征,这些特征与图像内容的具体表现形式无关或具有自适应性(即表现形式变化时特征提取自适应的变化以描述相同的图像内容)。
局部不变特征性质局部特征两个最重要的属性是:不变性(鲁棒性/重复性)和可区分性。
当然,还有其他几个属性:局部性、(特征点)数量大、准确性、效率。
由于使用局部图像特征描述子的时候,通常是为了鲁棒地处理各种图像形变的情况,因此,在设计图像特征描述子的时候,鲁棒性问题就是最优先考虑的问题。
在宽基线匹配中,视角不变性(viewpoint invariance)、尺度不变性(scale invariance)、旋转不变性(rotation invariance)、光照不变性(illumination invariance)等属性在构建特征描述子时需要考虑。
而在物体识别中,需要考虑特征描述子对物体形状的不变性。
局部不变特征研究现状一、SIFT类描述子在诸多的局部图像特征描述子中,SIFT(Scale Invariant Feature Transform)是其中应用最广的,它在1999年由David Lowe[1][2]首次提出,至2004年得到完善,SIFT算法是基于局部不变量的图像特征提取、匹配方法,SIFT的提出也是局部图像特征描述子研究领域一项里程碑式的工作。
由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性,并且SIFT具有很强的可区分性,自它提出以来,很快在物体识别、宽基线图像匹配、三维重建、图像检索中得到了应用,局部图像特征描述子在计算机视觉领域内也得到了更加广泛的关注。
但是,经过实际的应用和评测,SIFT算法有几个严重的缺陷:1.不完全的仿射变化;2.计算复杂度较高,实时性不强;3.光照变化大、视角变化大、物体自身有相似或周期性结构时匹配点对过少甚至匹配失败;4.匹配点对错误率较高;5. Sift是一种只利用到灰度性质的算法,忽略了色彩信息。
因此,其突出的性能以及缺陷使得大批学者投入到该算法的研究当中。
1.对SIFT算法进行降维的改进降维的目的和意义:SIFT类算法中在特征描述符的生成过程中采用主方向旋转并统计梯度直方图的方式生成128 维特征向量计算量相当大,,而且在完成图像的配准时对128 维向量进行特征匹配的计算开销也较大,这是影响SIFT 算法实时性的主要原因,因此,改进算法的思想主要是减少生成特征描述符计算量和提高特征匹配速度。