图像特征提取综述

图像特征提取的定位是计算机视觉和图像处理里的一个概念，表征图像的特性。

输入是一张图像（二维的数据矩阵），输出是一个值、一个向量、一个分布、一个函数或者是信号。

提取特征的方法千差万别，下面是图像特征的一些特性：边缘边缘是两个区域边界的像素集合，本质上是图像像素的子集，能将区域分开。

边缘形状是任意的，实践中定义为大的梯度的像素点的集合，同时为了平滑，还需要一些算法进行处理。

角顾名思义，有个突然较大的弧度。

早起算法是在边缘检测的基础上，分析边缘的走向，如果突然转向则被认为是角。

后来的算法不再需要边缘检测，直接计算图像梯度的高度曲率（合情合理）。

但会出现没有角的地方也检测到角的存在。

区域区域性的结构，很多区域检测用来检测角。

区域检测可以看作是图像缩小后的角检测。

脊长形的物体，例如道路、血管。

脊可以看成是代表对称轴的一维曲线，每个脊像素都有脊宽度，从灰梯度图像中提取要比边缘、角和区域都难。

特征提取检测到特征后提取出来，表示成特征描述或者特征向量。

常用的图像特征：颜色特征、纹理特征形状特征空间关系特征。

1.颜色特征1.1特点：颜色特征是全局特征，对区域的方向、大小不敏感，但是不能很好捕捉局部特征。

优点：不受旋转和平移变化的影响，如果归一化不受尺度变化的影响。

缺点：不能表达颜色空间分布的信息。

1.2特征提取与匹配方法（1）颜色直方图适用于难以自动分割的图像，最常用的颜色空间：RGB和HSV。

匹配方法：直方图相交法（相交即交集）、距离法、中心距法、参考颜色表法、累加颜色直方图法。

对颜色特征的表达方式有许多种，我们采用直方图进行特征描述。

常见的直方图有两种：统计直方图，累积直方图。

我们将分别实验两种直方图在图像聚类和检索中的性能。

统计直方图为利用图像的特征描述图像，可借助特征的统计直方图。

图像特征的统计直方图实际是一个1-D的离散函数，即：上式中k代表图像的特征取值，L是特征可取值个数，是图像中具有特征值为k的像素的个数，N是图像像素的总数，一个示例如下图：其中有8个直方条，对应图像中的8种灰度像素在总像素中的比例。

累积直方图图像特征统计的累积直方图也是一个1-D的离散函数，即：上式的各个参数含义同前，与上图对应的累积直方图见下：直方图间的距离可使用一般的欧式距离函数来衡量：我们可以实验多种相似性度量准则，研究它们之间的差异，找出对于某类图像，那种相似性度量能更加准确的描述两幅图像之间的相似程度。

（2）颜色集近似于颜色直方图。

将RGB颜色空间转换为视觉均衡的颜色空间（如HSV空间）将空间量化成若干个bin。

将图像分为若干区域，每个区域用颜色空间的某个颜色分量来索引，从而将图像表达为二进制的颜色索引集。

匹配方法：距离法和色彩区域的空间关系。

（3）颜色矩数学基础：任何颜色分布可以用矩来表示。

由于颜色分布主要在低阶矩，一般用一阶矩（均值）、二阶矩（方差）和三阶矩（偏度：skewness）表示颜色分布。

（4）颜色聚合向量核心思想：将属于直方图的每一个bin的像素分成两部分，如果bin内的某些像素的连续面积大于给定阈值，则为聚合像素，否则为非聚合像素。

（5）颜色相关图如果用颜色直方图匹配的方法进行图像匹配，在这种情况下：不同的图片直方图分部也是一致的，采用直方图匹配的方法则没有效果。

对于直方图这种简单的统计方法，这种情况的存在不可避免。

2.纹理特征2.1特点：纹理特征也是全局特征，描述图像的表面性质。

纹理特征不是像素点的特征，而是区域进行统计的结果。

适用于检索粗细有较大差别的纹理图像。

优点：具有旋转不变性，对噪声有较强抵抗能力。

缺点：分辨率变化纹理偏差大，受光照、反射的影响。

2.2特征提取与匹配方法（1）统计法常用的是灰度共生矩阵分析方法，四个关键特征：能量、惯量、熵和相关性。

另一个典型方法是自相关函数（图像的能量谱函数），通过计算图像的能量谱函数，提取纹理的粗细和方向等。

Tamura 纹理特征基于灰度共生矩阵，提出6种属性，即：粗糙度、对比度、方向度、线像度、规整度和粗略度。

（2）几何法建立在基本的纹理元素上的方法。

但由于图像分割困难，不太常用。

比较有影响的算法有：Voronio棋盘格特征法和结构法。

（3）模型法以图像的构造模型为基础，模型的参数作为纹理特征。

即将图像表示成一个分布，典型方法是随机场模型法，如马尔科夫随机场模型（MRF）和Gibbs随机场模型法。

自回归纹理模型（SAR）是马尔科夫随机场模型的一种应用实例。

（4）信号处理法将图像表示成信号，然后根据信号进行处理和匹配。

3.形状特征3.1特点：基于形状的检索方法可以比较有效利用图像中感兴趣的目标进行检索。

缺点：①基于形状的检索方法还缺乏比较完善的数学模型；②目标变形结果不可靠；③对计算时间和存储有较高要求；④特征空间的相似性和人感受到的相似性有差别；⑤2D图像是3D物体在某个平面的投影，由于视点变化，2D图像反应的形状通常不是3D物体的真实形状。

3.2特征提取与匹配方法形状特征有两类表示方法：一类是轮廓特征，另一类是区域特征。

（1）边界特征法经典方法：Hough变换和边界方向直方图。

Hough变换是利用全局特性将边缘像素连接起来组成区域封闭边界的方法，基本思想是点—线对偶性；边界方向直方图是微分图像得到边缘，然后得到边缘大小和方向的直方图，构造图像灰度梯度方向矩阵（2）傅里叶形状描述符法傅里叶形状描述符(Fourier shape deors)基本思想是用物体边界的傅里叶变换作为形状描述，利用区域边界的封闭性和周期性，将二维问题转化为一维问题。

由边界点导出三种形状表达，分别是曲率函数、质心距离、复坐标函数。

（3）几何参数法是一直区域特征的方法，如可以采用形状度量（如矩、面积、周长等），在基于内容的检索系统中，利用圆度、偏心率、主轴方向和代数不变矩等参数，进行图像检索。

依赖于图像分割。

（4）形状不变矩是一直区域特征的方法，利用目标区域的矩作为形状参数。

依赖于图像分割。

（5）其他在形状的表示和匹配方面的工作还包括有限元法（Finite Element Method 或FEM）、旋转函数（Turning ）和小波描述符（Wavelet Deor）等方法。

小波和相对矩的结合：用小波变换模极大值得到多尺度边缘图像，对每一尺度计算7个不变矩，再转换为10个相对矩，将所有尺度的相对矩作为特征向量。

4.空间关系特征4.1特点：指分割出来的多个目标间的相互位置关系，分为连接、交叠和包含关系等。

空间信息分为两类：相对空间位置信息和绝对空间位置信息。

前一种强调目标之间的相对情况，如上下左右；后一种强调目标间的距离和方位。

由绝对可以推出相对，但相对信息比较简单。

优点：可加强图像的描述区分能力缺点：对旋转、尺度变换敏感，实际应用中除了空间关系特征，还需要其他特征配合。

4.2特征提取与匹配方法空间关系特征有两类表示方法：一类是图像自动分割划分区域，根据区域提取特征建立索引；另一类是均匀划分若干子块，根据区域提取特征建立索引。

从另一个角度来看，特征提取的主要目的是降维。

特征抽取的主要思想是将原始样本投影到一个低维特征空间，得到最能反应样本本质或进行样本区分的低维样本特征。

一般图像特征可以分为四类：直观性特征、灰度统计特征、变换系数特征与代数特征。

1.直观性特征主要是指几何特征。

优点：几何特征比较稳定，受人脸姿态和光照影响小。

缺点：不易抽取，测量精度不高，与图像处理技术密切相关。

2.代数特征基于统计学习抽取的特征。

分为两类：一类是线性投影特征抽取；另一类是非线性特征抽取。

优点：具有较高的识别精度。

2.1线性投影特征抽取基本思想是根据性能目标寻找线性变换，使原始数据压缩到低维空间。

包括主成分分析（PCA）和Fisher线性鉴别分析（LDA）。

围绕这两种方法形成的特征抽取算法，已成为模式识别领域中最为经典和广泛使用的方法。

优点：这样数据分布更加紧凑，同时计算复杂度大大降低。

缺点：需要对大量已有样本进行学习，对定位、光照和非线性变形敏感，采样条件对识别性能影响较大。

2.2非线性特征提取非线性特征提取也是研究热点之一，“核技巧”最早应用在SVM中，KPCA和KFA是核技巧的推广应用。

核投影方法的基本思想是将原样本空间通过非线性映射，变换到高维甚至是无穷维空间，再应用线性分析方法求解，新空间的线性分析对应原空间的非线性分析。

缺点：①几何意义不明确，无法知道样本在映射后变成什么分布；②核函数的参数选取没有标准，大多数只能采取经验参数；③不适合训练样本很多，原因是经过核映射后，样本的维度与训练样本的个数成正比，样本数量多核映射后的向量维数很高，计算量大。

2.3对比就应用领域，KPCA远没有PCA应用广泛。

作为一般性的降维KPCA比PCA效果好，尤其是特征空间不是欧式空间。

PCA可以通过大量自然图片学习一个子空间，但KPCA不行。

3.变换系数特征先对图像进行Fourier变换、小波变换等，得到的系数后作为特征进行识别。

局部图像特征描述的核心问题是不变性（鲁棒性）和可区分性。

由于使用局部图像特征描述子的时候，通常是为了鲁棒地处理各种图像变换的情况。

因此，在构建/设计特征描述子的时候，不变性问题就是首先需要考虑的问题。

在宽基线匹配中，需要考虑特征描述子对于视角变化的不变性、对尺度变化的不变性、对旋转变化的不变性等；在形状识别和物体检索中，需要考虑特征描述子对形状的不变性。

然而，特征描述子的可区分性的强弱往往和其不变性是矛盾的，也就是说，一个具有众多不变性的特征描述子，它区分局部图像内容的能力就稍弱；而如果一个非常容易区分不同局部图像内容的特征描述子，它的鲁棒性往往比较低。

举个例子，假定我们需要对一个点周围固定大小的局部图像内容进行描述。

如果我们直接将图像内容展开成一个列向量对其进行描述，那么只要局部图像内容发生了一点变化，就会使得它的特征描述子发生较大的变化，因此这样的特征描述方式很容易区分不同的局部图像内容，但是对于相同的局部图像内容发生旋转变化等情况，它同样会产生很大的差异，即不变性弱。

而另一方面，如果我们通过统计局部图像灰度直方图来进行特征描述，这种描述方式具有较强的不变性，对于局部图像内容发生旋转变化等情况比较鲁棒，但是区分能力较弱，例如无法区分两个灰度直方图相同但内容不同的局部图像块。

综上所述，一个优秀的特征描述子不仅应该具有很强不变性，还应该具有很强的可区分性。

在诸多的局部图像特征描述子中，SIFT（Scale Invariant Feature Transform）是其中应用最广的，它在1999年首次提出，至2004年得到完善。

SIFT的提出也是局部图像特征描述子研究领域一项里程碑式的工作。

由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性，自它提出以来，很快在物体识别、宽基线图像匹配、三维重建、图像检索中得到了应用，局部图像特征描述子在计算机视觉领域内也得到了更加广泛的关注，涌现了一大批各具特色的局部图像特征描述子。