图像特征提取综述

图像特征提取的定位是计算机视觉和图像处理里的一个概念，表征图像的特性。输入是一张图像（二维的数据矩阵），输出是一个值、一个向量、一个分布、一个函数或者是信号。提取特征的方法千差万别，下面是图像特征的一些特性：

边缘

边缘是两个区域边界的像素集合，本质上是图像像素的子集，能将区域分开。边缘形状是任意的，实践中定义为大的梯度的像素点的集合，同时为了平滑，还需要一些算法进行处理。角

顾名思义，有个突然较大的弧度。早起算法是在边缘检测的基础上，分析边缘的走向，如果突然转向则被认为是角。后来的算法不再需要边缘检测，直接计算图像梯度的高度曲率（合情合理）。但会出现没有角的地方也检测到角的存在。

区域

区域性的结构，很多区域检测用来检测角。区域检测可以看作是图像缩小后的角检测。

脊

长形的物体，例如道路、血管。脊可以看成是代表对称轴的一维曲线，每个脊像素都有脊宽度，从灰梯度图像中提取要比边缘、角和区域都难。

特征提取

检测到特征后提取出来，表示成特征描述或者特征向量。

常用的图像特征：颜色特征、

纹理特征

形状特征

空间关系特征。

1.颜色特征

1.1特点：颜色特征是全局特征，对区域的方向、大小不敏感，但是不能很好捕捉局部特征。

优点：不受旋转和平移变化的影响，如果归一化不受尺度变化的影响。

缺点：不能表达颜色空间分布的信息。

1.2特征提取与匹配方法

（1）颜色直方图

适用于难以自动分割的图像，最常用的颜色空间：RGB和HSV。

匹配方法：直方图相交法（相交即交集）、距离法、中心距法、参考颜色表法、累加颜色直方图法。

对颜色特征的表达方式有许多种，我们采用直方图进行特征描述。常见的直方图有两种：统计直方图，累积直方图。我们将分别实验两种直方图在图像聚类和检索中的性能。

统计直方图

为利用图像的特征描述图像，可借助特征的统计直方图。图像特征的统计直方图实际是一个1-D的离散函数，即：

上式中k代表图像的特征取值，L是特征可取值个数，是图像中具有特征值为k的像素的个数，N是图像像素的总数，一个示例如下图：其中有8个直方条，对应图像中的8种灰度像素在总像素中的比例。

累积直方图

图像特征统计的累积直方图也是一个1-D的离散函数，即：上式的各个参数含义同前，与上图对应的累积直方图见下：

直方图间的距离可使用一般的欧式距离函数来衡量：

我们可以实验多种相似性度量准则，研究它们之间的差异，找出对于某类图像，那种相似性度量能更加准确的描述两幅图像之间的相似程度。

（2）颜色集

近似于颜色直方图。将RGB颜色空间转换为视觉均衡的颜色空间（如HSV空间）将空间量化成若干个bin。将图像分为若干区域，每个区域用颜色空间的某个颜色分量来索引，从而将图像表达为二进制的颜色索引集。

匹配方法：距离法和色彩区域的空间关系。

（3）颜色矩

数学基础：任何颜色分布可以用矩来表示。由于颜色分布主要在低阶矩，一般用一阶矩（均值）、二阶矩（方差）和三阶矩（偏度：skewness）表示颜色分布。

（4）颜色聚合向量

核心思想：将属于直方图的每一个bin的像素分成两部分，如果bin内的某些像素的连续面积大于给定阈值，则为聚合像素，否则为非聚合像素。

（5）颜色相关图

如果用颜色直方图匹配的方法进行图像匹配，在这种情况下：不同的图片直方图分部也是一致的，采用直方图匹配的方法则没有效果。对于直方图这种简单的统计方法，这种情况的存在不可避免。

2.纹理特征

2.1特点：纹理特征也是全局特征，描述图像的表面性质。纹理特征不是像素点的特征，而是区域进行统计的结果。适用于检索粗细有较大差别的纹理图像。

优点：具有旋转不变性，对噪声有较强抵抗能力。

缺点：分辨率变化纹理偏差大，受光照、反射的影响。

2.2特征提取与匹配方法

（1）统计法

常用的是灰度共生矩阵分析方法，四个关键特征：能量、惯量、熵和相关性。另一个典型方法是自相关函数（图像的能量谱函数），通过计算图像的能量谱函数，提取纹理的粗细和方向等。Tamura 纹理特征基于灰度共生矩阵，提出6种属性，即：粗糙度、对比度、方向度、线像度、规整度和粗略度。

（2）几何法

建立在基本的纹理元素上的方法。但由于图像分割困难，不太常用。比较有影响的算法有：Voronio棋盘格特征法和结构法。

（3）模型法

以图像的构造模型为基础，模型的参数作为纹理特征。即将图像表示成一个分布，典型方法是随机场模型法，如马尔科夫随机场模型（MRF）和Gibbs随机场模型法。自回归纹理模型（SAR）是马尔科夫随机场模型的一种应用实例。

（4）信号处理法

将图像表示成信号，然后根据信号进行处理和匹配。

3.形状特征

3.1特点：基于形状的检索方法可以比较有效利用图像中感兴趣的目标进行检索。

缺点：①基于形状的检索方法还缺乏比较完善的数学模型；②目标变形结果不可靠；③对计算时间和存储有较高要求；④特征空间的相似性和人感受到的相似性有差别；⑤2D图像是3D物体在某个平面的投影，由于视点变化，2D图像反应的形状通常不是3D物体的真实形

状。

3.2特征提取与匹配方法

形状特征有两类表示方法：一类是轮廓特征，另一类是区域特征。

（1）边界特征法

经典方法：Hough变换和边界方向直方图。Hough变换是利用全局特性将边缘像素连接起来组成区域封闭边界的方法，基本思想是点—线对偶性；边界方向直方图是微分图像得到边缘，然后得到边缘大小和方向的直方图，构造图像灰度梯度方向矩阵

（2）傅里叶形状描述符法

傅里叶形状描述符(Fourier shape deors)基本思想是用物体边界的傅里叶变换作为形状描述，利用区域边界的封闭性和周期性，将二维问题转化为一维问题。由边界点导出三种形状表达，分别是曲率函数、质心距离、复坐标函数。

（3）几何参数法

是一直区域特征的方法，如可以采用形状度量（如矩、面积、周长等），在基于内容的检索系统中，利用圆度、偏心率、主轴方向和代数不变矩等参数，进行图像检索。依赖于图像分割。

（4）形状不变矩

是一直区域特征的方法，利用目标区域的矩作为形状参数。依赖于图像分割。

（5）其他

在形状的表示和匹配方面的工作还包括有限元法（Finite Element Method 或FEM）、旋转函数（Turning ）和小波描述符（Wavelet Deor）等方法。小波和相对矩的结合：用小波变换模极大值得到多尺度边缘图像，对每一尺度计算7个不变矩，再转换为10个相对矩，将所有尺度的相对矩作为特征向量。

4.空间关系特征

4.1特点：指分割出来的多个目标间的相互位置关系，分为连接、交叠和包含关系等。空间信息分为两类：相对空间位置信息和绝对空间位置信息。前一种强调目标之间的相对情况，如上下左右；后一种强调目标间的距离和方位。由绝对可以推出相对，但相对信息比较简单。优点：可加强图像的描述区分能力

缺点：对旋转、尺度变换敏感，实际应用中除了空间关系特征，还需要其他特征配合。

4.2特征提取与匹配方法

空间关系特征有两类表示方法：一类是图像自动分割划分区域，根据区域提取特征建立索引；另一类是均匀划分若干子块，根据区域提取特征建立索引。

从另一个角度来看，特征提取的主要目的是降维。特征抽取的主要思想是将原始样本投影到一个低维特征空间，得到最能反应样本本质或进行样本区分的低维样本特征。一般图像特征可以分为四类：直观性特征、灰度统计特征、变换系数特征与代数特征。

1.直观性特征

主要是指几何特征。

优点：几何特征比较稳定，受人脸姿态和光照影响小。

缺点：不易抽取，测量精度不高，与图像处理技术密切相关。

2.代数特征

基于统计学习抽取的特征。分为两类：一类是线性投影特征抽取；另一类是非线性特征抽取。优点：具有较高的识别精度。

2.1线性投影特征抽取

基本思想是根据性能目标寻找线性变换，使原始数据压缩到低维空间。包括主成分分析（PCA）

和Fisher线性鉴别分析（LDA）。围绕这两种方法形成的特征抽取算法，已成为模式识别领域中最为经典和广泛使用的方法。

优点：这样数据分布更加紧凑，同时计算复杂度大大降低。

缺点：需要对大量已有样本进行学习，对定位、光照和非线性变形敏感，采样条件对识别性能影响较大。

2.2非线性特征提取

非线性特征提取也是研究热点之一，“核技巧”最早应用在SVM中，KPCA和KFA是核技巧的推广应用。核投影方法的基本思想是将原样本空间通过非线性映射，变换到高维甚至是无穷维空间，再应用线性分析方法求解，新空间的线性分析对应原空间的非线性分析。

缺点：①几何意义不明确，无法知道样本在映射后变成什么分布；②核函数的参数选取没有标准，大多数只能采取经验参数；③不适合训练样本很多，原因是经过核映射后，样本的维度与训练样本的个数成正比，样本数量多核映射后的向量维数很高，计算量大。

2.3对比

就应用领域，KPCA远没有PCA应用广泛。作为一般性的降维KPCA比PCA效果好，尤其是特征空间不是欧式空间。PCA可以通过大量自然图片学习一个子空间，但KPCA不行。

3.变换系数特征

先对图像进行Fourier变换、小波变换等，得到的系数后作为特征进行识别。

局部图像特征描述的核心问题是不变性（鲁棒性）和可区分性。由于使用局部图像特征描述子的时候，通常是为了鲁棒地处理各种图像变换的情况。因此，在构建/设计特征描述子的时候，不变性问题就是首先需要考虑的问题。在宽基线匹配中，需要考虑特征描述子对于视角变化的不变性、对尺度变化的不变性、对旋转变化的不变性等；在形状识别和物体检索中，需要考虑特征描述子对形状的不变性。

然而，特征描述子的可区分性的强弱往往和其不变性是矛盾的，也就是说，一个具有众多不变性的特征描述子，它区分局部图像内容的能力就稍弱；而如果一个非常容易区分不同局部图像内容的特征描述子，它的鲁棒性往往比较低。举个例子，假定我们需要对一个点周围固定大小的局部图像内容进行描述。如果我们直接将图像内容展开成一个列向量对其进行描述，那么只要局部图像内容发生了一点变化，就会使得它的特征描述子发生较大的变化，因此这样的特征描述方式很容易区分不同的局部图像内容，但是对于相同的局部图像内容发生旋转变化等情况，它同样会产生很大的差异，即不变性弱。

而另一方面，如果我们通过统计局部图像灰度直方图来进行特征描述，这种描述方式具有较强的不变性，对于局部图像内容发生旋转变化等情况比较鲁棒，但是区分能力较弱，例如无法区分两个灰度直方图相同但内容不同的局部图像块。

综上所述，一个优秀的特征描述子不仅应该具有很强不变性，还应该具有很强的可区分性。

在诸多的局部图像特征描述子中，SIFT（Scale Invariant Feature Transform）是其中应用最广的，它在1999年首次提出，至2004年得到完善。SIFT的提出也是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性，自它提出以来，很快在物体识别、宽基线图像匹配、三维重建、图像检索中得到了应用，局部图像特征描述子在计算机视觉领域内也得到了更加广泛的关注，涌现了一大批各具特色的局部图像特征描述子。

SURF（Speeded Up Robust Features）是对SIFT的改进版本，它利用Haar小波来近似SIFT 方法中的梯度操作，同时利用积分图技术进行快速计算，SURF的速度是SIFT的3-7倍，大部分情况下它和SIFT的性能相当，因此它在很多应用中得到了应用，尤其是对运行时间要求高的场合。

DAISY是面向稠密特征提取的可快速计算的局部图像特征描述子，它本质思想和SIFT 是一样的：分块统计梯度方向直方图，不同的是，DAISY在分块策略上进行了改进，利用高斯卷积来进行梯度方向直方图的分块汇聚，这样利用高斯卷积的可快速计算性就可以快速稠密地进行特征描述子的提取。比较巧合的是，DAISY这种特征汇聚策略被一些研究者（Matthen Brown，Gang Hua，Simon Winder）通过机器学习的方法证明相对于其他几种特征汇聚策略（卡迪尔坐标下分块、极坐标下分块）是最优的。

ASIFT（Affine SIFT）通过模拟所有成像视角下得到的图像进行特征匹配，可以很好地处理视角变化的情况，尤其是大视角变化下的图像匹配。

MROGH（Multi-support Region Order-based Gradient Histogram）则是特征汇聚策略上寻求创新，之前的局部图像特征描述子，其特征汇聚策略都是基于邻域内点的几何位置的，而MROGH基于点的灰度序进行特征汇聚。

BRIEF（Binary Robust Independent Element Feature）利用局部图像邻域内随机点对的灰度大小关系来建立局部图像特征描述子，得到的二值特征描述子不仅匹配速度快，而且存储要求内存低，因此手机应用中具有很好的应用前景。其实，利用邻域内点对的灰度大小关系进行特征描述这一思想在SMD（ECCV’08）中就已经有了。

除了BRIEF，近两年还提出了许多二值特征描述子，例如ORB、BRISK、FREAK。上述这些特征描述子都是基于手动设计得到的，也有一些研究试图利用机器学习的方法，通过数据驱动得到想要的特征描述子。这类特征描述子包括PCA-SIFT，Linear Discriminative Embedding，LDA-Hash等。当然，除了提到的这些特征描述子之外，还有许多其他的特征描述子，在这就不再一一叙述了。

国际上研究局部图像特征描述子比较著名的学者有：

英国Surrey大学的Mikolajzyk，他在INRIA做博后的时候，在宽基线应用背景下，对SIFT、Shape Context、PCA-SIFT、不变矩等多种局部图像描述子的性能进行了评测，相关论文发表在2005年PAMI上，他提出来的评测方法至今仍是局部图像描述子研究领域中广泛采用的性能评测方法。

INRIA的C. Schmid，她九十年代就开始研究局部图像描述方法了，是这个领域内的元

老之一，不过这几年她的团队正在将重心转向大规模图像检索和行为识别等应用中。

比利时Leuven大学的Tinne Tuytelaars，她是著名的SURF描述子的提出者，SURF相关的论文于2011年获得CVIU引用最多论文奖，她写了三篇局部图像特征描述相关的综述文章，分别是“Local Invariant Feature Detectors: A Survey”，“Local Image Features”和“Wide baseline matching”。

英国Oxford大学的Andrea Valida，他是Vlfeat的发起者和主要作者。Vlfeat是一个开源程序，其中包括了SIFT、MSER，被许多研究者广泛采用。Vlfeat目前正在逐渐实现其他常用的特征描述子。

瑞士EPFL的Vincent Lepetit和Pascal Fua，他们的团队主要致力于发展快速、高效的局部图像特征描述子，用于模板匹配、三维重建、虚拟现实等应用。他们的工作包括用于稠密立体匹配的DAISY特征描述子，基于Random Trees的模板匹配方法，基于Random Ferns的模板匹配方法。此外，LDA-Hash、BRIEF、D-BRIEF（ECCV 2012）也是他们的杰作。

中国科学院自动化研究所的吴福朝研究员，他在这方面也做了比较深入的研究，并提出了许多不错的局部图像特征提取和描述方法。这些名字都是我们在读论文的时候会经常看到的。

最近几年局部图像特征描述子的发展趋势是：快速、低存储。这两个趋势使得局部图像特征描述子可以在快速实时、大规模应用中发挥作用，而且有利于将许多应用做到手机上去进行开发，实实在在的将计算机视觉技术应用于我们周围的世界中。为了满足快速和低存储这两个需求，二值特征描述子得到了研究者的广泛关注，这两年CVPR和ICCV中关于局部图像特征描述子的文章，大部分都是这类的。相信它们在未来几年还会继续受到关注，期待出现一些深入大众生活中的成功应用。

关于SIFI算法

https://www.360docs.net/doc/1313711061.html,/yingying0907/archive/2011/08/06/2129453.html

基于颜色特征的图像检索方法及系统实现