SIFT算法和卷积神经网络算法在图像检索领域的应用分析
SIFT算法和卷积神经网络算法在图像检索领域的应用分析
1、引言
基于内容的图像检索是由于图像信息的飞速膨胀而得到关注并被提出来的。如何快速准确地提取图像信息内容是图像信息检索中最为关键的一步。传统图像信息检索系统多利用图像的底层特征，如颜色、纹理、形状以及空间关系等。这些特征对于图像检索有着不同的结果，但是同时也存在着不足，例如：颜色特征是一种全局的特征，它对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好的捕捉图像中对象的局部特征，也不能表达颜色空间分布的信息。纹理特征也是一种全局特征，它只是物体表面的一种特性，并不能完全反映物体的本质属性。基于形状的特征常常可以利用图像中感兴趣的目标进行检索，但是形状特征的提取，常常受到图像分割效果的影响。空间关系特征可以加强对图像内容的描述和区分能力，但空间关系特征对图像或者，目标的旋转、平移、尺度变换等比较敏感，并且不能准确地表达场景的信息。图像检索领域急需一种能够对目标进行特征提取，并且对图像目标亮度、旋转、平移、尺度甚至仿射不变的特征提取算法。
2、SIFT特征
SIFT（Scale-Invariant Feature Transform，尺度不变特征转换）是一种电脑视觉的算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由David Lowe在1999年所发表，2004年完善总结。
局部特征的描述与侦测可以帮助辨识物体，SIFT特征是基于物体上的一些局部外观的兴趣点，与目标的大小和旋转无关，对于光线、噪声、些微视角改变的容忍度也相当高。使用SIFT特征描述对于部分物体遮蔽的侦测成功率也相当高，甚至只需要3个以上的SIFT 物体特征就足以计算出位置与方位。在现今的电脑硬件速度和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，也适合在海量数据库中快速准确匹配。
SIFT算法的特点有：
（1）SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变形，是非常稳定的局部特征，现在应用非常广泛。（仿射变换，又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并加上一个平移，变换为另一个向量空间。）
（2）独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；
（3）多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；
（4）高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；
（5）可扩展性，可以很方便的与其他形式的特征向量进行联合。
SIFT算法可以解决的问题：目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。
而SIFT算法在一定程度上可解决：
（1）目标的旋转、缩放、平移（RST，Rotation, Stretch, and Translate）
（2）图像仿射/投影变换（视点Viewpoint）
（3）光照影响（Illumination）
（4）目标遮挡（Occlusion）
（5）杂物场景（Clutter）
（6）噪声
SIFT算法的实质是在不同的尺度空间上查找关键点（特征点），并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。
David Lowe在他的论文中将SIFT算法分解为如下四步：
（1）尺度空间极值侦测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。
（2）关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。
（3）方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
（4）关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。
SIFT能够找出独特的关键点，且关键点不会受移动、转动、缩放、仿射变换、亮度等外在因素的影响而改变其特性，因此能够有效应用在物体辨识上。虽然SIFT在图像的不变特征提取方面拥有无与伦比的优势，但并不完美，仍然存在：
（1）实时性不高。
（2）有时特征点较少。
（3）对边缘光滑的目标无法准确提取特征点。
等缺点，对模糊的图像和边缘平滑的图像，检测出的特征点过少，对圆形目标更是无能为力。近来不断有人改进，其中最著名的有SURF和CSIFT。
图1 SIFT算法检测效果，来自CSDN
3、卷积神经网络
卷积神经网络（Convolutional Neural Networks，简称CNN）是当前图像识别领域的研究热点，利用预先训练的CNN 网络提取的图像特征展示出了较强的图像识别能力。CNN 是建立在传统人工神经网络上的一种深度学习算法，也是第一次成功训练的多层网络的学习算法。
3.1 传统神经网络结构
神经网络的诞生起源于对大脑工作机理的研究，人类的神经中枢视觉系统包括几十亿个神经元。人工神经网络是模拟神经系统的一种算法，但是计算机资源有限，神经网络只能是模拟人脑的抽象简化的模型，和生物系统的工作方式还是有明显差距。即便如此，人工神经网络依然具有生物系统的很多特点，如鲁棒性、高度并行、非线性、容错性、良好的学习能力等等。
神经网络是一个有向无环的网络结构，由许多个感知器分层互联而成，包括输入层、隐含层和输出层。输入层直接接受样本的数据，经过一个或多个隐含层，依次向前传播到达输出层。图2是一个典型的3层神经网络结构，包含一个输入层，一个隐含层和一个输出层；每一层都含有多个神经元（也称为感知器）。箭头代表不用层次之间神经元信息传递。
图2 神经网络结构挺图
需要注意的是，神经元和神经元之间的连接并不是简单的加权，而是需要加入偏置，然后进行加权，最后还要通过一个激励函数进行映射。其原理如图3所示：
图3 神经元Sigmoid单元
图中x1~x n是从上一层网络神经元的输入信号，令W ij表示从上层神经元j到该层神经元i的权重，x0是偏置（bias）。将输入表示为X，将权值表示为W，那么神经元i的输出与输入的关系可以表示为：
3.2 BP算法原理
人工神经网络可以从大量样本中学习到离散、连续或者向量形式的函数，在众多神经网络学习算法中，反向传播算法（Back Propagation，简称BP）是其中最杰出的代表，该算法性能最好且应用最为广泛，其主要思想是：导入训练样本，计算期望值和实际值的差值，然后通过不断的调整权值，减小两者误差，直到误差小到规定值为止。BP算法具体步骤如下：（1）数据预处理，预处理的方法有很多，比如说去噪，归一化等，普通的神经网络都要用到归一化，即将数据等比例的映射到[0,1]和[-1,1]区间内，归一化处理可以将大范围数据映射到小范围区间内，防止网络收敛慢，训练时间长；也可以提高算法精确度，减小误差；另外需要归一化的一个重要原因是：神经网络的激活函数如Sigmoid和Tanh函数，只能处理[0,1]以及[-1,1]区间内的数据，只有在这个区间内，曲线变化才会明显。一般的归一化方法都是线性方法。
（2）设置网络初值，传统的神经网络中，权值和阈值是随机给出的，一般随机变化的权值都是比较小的参数，过大的权重容易导致局部收敛和过拟合。
（3）根据给定的权值和阈值以及Sigmoid函数，计算隐含层各神经元的输入和输出，依次向前传递，计算每一层的输出值，这个输出值是网络计算出来的值。
（4）计算网络输出和期望值的差值，依次从后往前调整各个层次的权重，一般使用逻辑回归调节每个神经元的权值。
（5）重复迭代，直到全局误差满足要求。
3.3 卷积神经网络结构
通过构建多个隐含层，传统神经网络算法也可以通过大量样本中学习出复杂的分类曲面，因此传统神经网络被广泛应用于语音识别和图像识别领域。传统的模式识别方法，一般
是首先设计一个算法用作特征提取，如常见的HOG特征、LBP特征以及SIFT特征，然后将提取的特征传入一个可训练的分类器，对分类器进行训练，最后将测试样本导入分类器进行分类。这种模式下，由于提取出来的特征一般较小，因此可以设计一个全连接的多层网络作为分类器。另一种思路是：考虑直接用神经网络进行特征提取和分类，而免去前面的特征提取过程。反向传播算法可以将前面几层神经网络训练成特征提取器，把后面层次用来分类：只是这种方法有较大的弊端。
首先，如果直接用神经网络进行特征提取，要提取到足够好的特征，隐含层结点必定不能太少，而传入的语音频谱和图像的像素往往比较大。假设输入层数据有1000个神经元（一般情况下远远不止），第一个隐含层有100个神经元，由于神经网络是全连接的，那么仅仅是这两层之间就有十万个以上的连接权重。即使不考虑训练速度，如果没有足够的训练样本，这些参数也难以拟合网络；其次，全连接的网络对每一个样本进行学习，每一个样本的传入都会影响参数的更新，而传入的数据之间往往是有很大相似之处的，例如在图像识别中，两帧图像的差距可能只是很小的方位移动，而全连接的网络无法捕捉这种信息，不能根据样本对训练过程进行优化，费时又费力。而卷积神经网络可以通过一定手段，充分利用数据的局部性特征，缓解这些问题。
卷积神经网络是受视觉神经机制启发而设计的一种多层感知器（Multi-layer Perceptron，简称MLP）。与传统神经网络一样，它运用反向传播算法对网络进行训练。不同的是，其网络结构进行了简化和改进。如果将神经网络看作是一种训练生成分类器的算法，那么卷积神经网络可以概括为提取特征和训练生成分类器的算法。卷积神经网络的三个基本概念是：局部感知野、权值共享以及时间或空间降采样，这种结构特点使网络对于输入的噪声、形变和扭曲等变化具有极强的适应性。
在一个卷积神经网络模型中，神经元可以分为两类，一类是用于特征提取的S元，另一类是抗形变的C元，S元中有两个重要的参数，即阈值参数和感受野；感受野就从输入层中提取多大的空间作为输入，阈值参数控制着输出对输入的反应程度。同样，卷积神经网络是一个多层网络结构，它的每一个层实际上是由多个特征图构成，每一个特征图代表一种特征；每一个特征图上又有许多个独立的神经元。对应的，将卷积神经网络的网络层分为卷积层和下采样层，也称为降采样或者子采样层；网络层次之间并非线性映射，从卷积层到下采样层是一个下采样层，从下采样层到卷积层则是一个卷积滤波的过程。
图4是一个简化的卷积神经网络结构：
图4 卷积神经网络结构图
其中，Input是输入层，通过3个可训练的数字滤波器，然后加上偏置，通过一个Sigmoid 函数，得到C1，C1是一个卷积层，由于是3个滤波器，因此包含了3个特征图，每个特征图代表学到的一组特征；从C1到S2的过程是一个下采样过程，具体做法是C1中的连续4个像素（2×2区域）求和，加权值加偏置，映射到S2中的一个点上，C1中的每一个特征图都单独下采样，因此S2也包含3个特征图，然后从S2到C3又是卷积滤波，从C3到S4是下采样，得到S4后，将特征拉成一条直线作用于神经网络。图5是其连接过程：
图5 卷积神经网络连接过程
这里f x是数字滤波器，b x是偏置，C x是卷积层的特征图；W x+1表示下采样的权值，b x+1是对应的权重，得到下采样层S x+1。
可以看出，C层作为卷积层是用来做特征提取的，每一个神经元和上一层的小块感受野连接，然后移动感受野，将新的感受野对应到C层的另一个神经元上；采用Sigmoid函数，使得该过程具有位移不变性。这里只要输入层大小和局部感受野大小确定，那么C层的大小也是确定的。S层是下采样层，其目的是将C层多个像素变为一个像素。
由于映射面上的权值是共享的，也就是说每个神经元的权重一样，因此整个网路参数将大大减少，复杂度降低；网络采用特征提取和下采样相结合的方法，下采样求局部平均，这种结构使得网络具有较高的抗畸变能力。
总结来说SIFT算法相对CNN来说实现起来更简单，可以使用更少的设计参数，对计算性能和存储需求更少，可以用于需要实时处理的图像识别任务但对非线性转换缺乏鲁棒性。CNN是目前一种很热门的基于神经网络的用于图像处理的计算模型，需要通过训练和调参来取得较好的判决能力，神经网络训练过程中对计算和存储的要求比较高，实现过程也十分复杂。因此在实际项目中需要在计算能力和结果之间进行权衡，选择一种更合适的方案。
4、方案设计
车牌识别在现代交通信息控制与智能交通中发挥着重要作用，如：高速公路收费管理、超速自动化监管系统、公路布控管理系统、停车场收费管理系统、交通数据采集等。通常，车牌识别系统主要包括车牌定位、字符分割与字符识别单个部分，这三个部分环环相扣，前一步的精确度将影响到后一步的质量。
车牌的提取与定位是车牌自动车别的关键和前提。它将直接决定后面两步中能否识别出车牌字符，从而影响到整个识别系统的识别率。由于光照、天气等环境因素的影响，定位出来的车配是否残缺，参杂的伪车牌多少等问题对算法提出了车牌定位算法提出了很高的要求。现有的车牌定位方法一般如下：
（1）基于边缘检测的车牌定位
图像中的“边缘”是指其周围像素灰度有阶跃变化的像素集合。“边缘”两侧分别属于两个区域，每个区域的灰度均匀一致，但这两个区域的灰度在特征上存在一定的差异。基于边缘检测的车牌定位是利用车牌字符颜色和底色在灰度上剧烈变化，通过检测车牌字符的边缘，从而实现车牌的定位。现有的一些边缘检测的算子有：Robert算子、Sobel算子、Prewitt算子、Log算子和Canny算子。
（2）基于图像纹理特征的车牌定位
图像在灰度化与二值化之后有边缘相对集中和规则的纹理特征，我们就对其进行扫描通过寻找相似的纹理特征，就能找到车牌的候选区域。
（3）基于图像色彩特征的车牌定位
一个车牌的色彩组合和字符是唯一的，并且这种组合仅出现在车牌的一个区域内。我们把输入图像的像素用色度、亮度、色饱和度（HLS）来分类，从而锁定车牌区域。
（4）基于图像字符特征的车牌定位
这类方法是通过检测图像中是否有字符的存在，如果有字符的存在，那么就认定该区域为车牌区域。
（5）基于全局图像信息的车牌定位
根据连通组件分析技术以及对图像面积与空间的测量，如长宽比来确定车牌区域。上述方法多偏向于图像质量较好的单车牌图像进行处理，而对于实时路况的多车牌定位技术则较少。
图6 基于图像底层特征的车牌定位
如上所述，已有的车牌检索方法大多基于图像内容的底层特征，如图6所示，是根据基于边缘检测和全局图像信息进行车牌定位的一个例子。这类特征只适用于简单环境中标准车牌的检索，而面对车牌自身的倾斜、旋转、遮挡和模糊等状况以及环境中光照、雨雪和伪车牌（斑马线、广告牌和树木等）等影响缺乏适应性。因此人们开始把注意力转移到图像内容的第二层语义特征上，即局部不变特征。局部不变特征包括角点特征、边缘特征、区域特征和Blob特征等。SIFT算子是众多局部不变特征描述子中的佼佼者，它的特征描述信息量充足，对旋转、尺度变化、亮度、噪声和遮挡等干扰具备极好的鲁棒性。
因此提出一种基于SIFT特征的车牌定位方法，该方法选取局部不变特征中最经典的SIFT算子对目标图像以及特征数据库中的车牌模板图像进行特征点的提取、描述，再将两方面获取的SIFT特征向量进行匹配，从而粗略得到车牌的候选区域，再对候选区域做尺寸调整及倾斜矫正，从而实现车配的精确定位。如图7所示，是一个基于SIFT特征进行车牌定位的例子。
图7 基于SIFT特征的车牌定位
5 参考文献
[1]Lowe, David G. 1999. Object recognition from local scale-invariant features. In International Conference on Computer Vision, Corfu, Greece, pp. 1150-1157.
[2]许可. 卷积神经网络在图像识别上的应用的研究[D].浙江大学,2012.
[3]李卫. 深度学习在图像识别中的研究及应用[D].武汉理工大学,2014.
[4]郭克友,贾海晶,郭晓丽. 卷积神经网络在车牌分类器中的应用[J]. 计算机工程与应用,,:1-6.
[5]钟钰. 基于内容的图像查询在车牌识别系统中的应用研究[D].扬州大学,2014.
SIFT算法原理
3.1.1尺度空间极值检测 尺度空间理论最早出现于计算机视觉领域，当时其目的是模拟图像数据的多尺度特征。随后Koendetink 利用扩散方程来描述尺度空间滤波过程，并由此证明高斯核是实现尺度变换的唯一变换核。Lindeberg ，Babaud 等人通过不同的推导进一步证明高斯核是唯一的线性核。因此，尺度空间理论的主要思想是利用高斯核对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间特征提取。二维高斯函数定义如下： 222()/221 (,,)2x y G x y e σσπσ-+= （5） 一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到： (,,(,,)*(,)L x y G x y I x y σσ)= （6） 其中(x,y )为图像点的像素坐标，I(x,y )为图像数据, L 代表了图像的尺度空间。σ称为尺度空间因子，它也是高斯正态分布的方差，其反映了图像被平滑的程度，其值越小表征图像被平滑程度越小，相应尺度越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。因此，选择合适的尺度因子平滑是建立尺度空间的关键。 在这一步里面，主要是建立高斯金字塔和DOG(Difference of Gaussian)金字塔，然后在DOG 金字塔里面进行极值检测，以初步确定特征点的位置和所在尺度。 (1)建立高斯金字塔 为了得到在不同尺度空间下的稳定特征点，将图像(,)I x y 与不同尺度因子下的高斯核(,,)G x y σ进行卷积操作，构成高斯金字塔。 高斯金字塔有o 阶，一般选择4阶，每一阶有s 层尺度图像，s 一般选择5层。在高斯金字塔的构成中要注意，第1阶的第l 层是放大2倍的原始图像，其目的是为了得到更多的特征点；在同一阶中相邻两层的尺度因子比例系数是k ，则第1阶第2层的尺度因子是k σ，然后其它层以此类推则可；第2阶的第l 层由第一阶的中间层尺度图像进行子抽样获得，其尺度因子是2k σ，然后第2阶的第2层的尺度因子是第1层的k 倍即3 k σ。第3阶的第1层由第2阶的中间层尺度图像进行子抽样获得。其它阶的构成以此类推。 (2)建立DOG 金字塔 DOG 即相邻两尺度空间函数之差，用(,,)D x y σ来表示，如公式(3)所示： (,,)((,,)(,,))*(,)(,,)(,,)D x y G x y k G x y I x y L x y k L x y σσσσσ=-=- (7) DOG 金字塔通过高斯金字塔中相邻尺度空间函数相减即可，如图1所示。在图中，DOG 金字塔的第l 层的尺度因子与高斯金字塔的第l 层是一致的，其它阶也一样。
SIFT算法实现及代码详解
经典算法SIFT实现即代码解释： 以下便是sift源码库编译后的效果图：
为了给有兴趣实现sift算法的朋友提供个参考，特整理此文如下。要了解什么是sift算法，请参考：九、图像特征提取与匹配之SIFT算法。ok，咱们下面，就来利用Rob Hess维护的sift 库来实现sift算法： 首先，请下载Rob Hess维护的sift 库： https://www.360docs.net/doc/5313507840.html,/hess/code/sift/ 下载Rob Hess的这个压缩包后，如果直接解压缩，直接编译，那么会出现下面的错误提示： 编译提示:error C1083: Cannot open include file: 'cxcore.h': No such file or directory，找不到这个头文件。 这个错误，是因为你还没有安装opencv，因为：cxcore.h和cv.h是开源的OPEN CV头文件,不是VC++的默认安装文件,所以你还得下载OpenCV并进行安装。然后，可以在OpenCV文件夹下找到你所需要的头文件了。 据网友称，截止2010年4月4日，还没有在VC6.0下成功使用opencv2.0的案例。所以，如果你是VC6.0的用户请下载opencv1.0版本。vs的话，opencv2.0,1.0任意下载。 以下，咱们就以vc6.0为平台举例，下载并安装opencv1.0版本、gsl等。当然，你也可以用vs编译，同样下载opencv（具体版本不受限制）、gsl等。 请按以下步骤操作： 一、下载opencv1.0 https://www.360docs.net/doc/5313507840.html,/projects/opencvlibrary/files/opencv-win/1.0/OpenCV_1.0.exe
SIFT算法英文详解
SIFT: Scale Invariant Feature Transform The algorithm SIFT is quite an involved algorithm. It has a lot going on and can be come confusing, So I’ve split up the entire algorithm into multiple parts. Here’s an outline of what happens in SIFT. Constructing a scale space This is the initial preparation. You create internal representations of the original image to ensure scale invariance. This is done by generating a “scale space”. LoG Approximation The Laplacian of Gaussian is great for finding interesting points (or key points) in an image. But it’s computationally expensive. So we cheat and approximate it using the representation created earlier. Finding keypoints With the super fast approximation, we now try to find key points. These are maxima and minima in the Difference of Gaussian image we calculate in step 2 Get rid of bad key points Edges and low contrast regions are bad keypoints. Eliminating these makes the algorithm efficient and robust. A technique similar to the Harris Corner Detector is used here. Assigning an orientation to the keypoints An orientation is calculated for each key point. Any further calculations are done relative to this orientation. This effectively cancels out the effect of orientation, making it rotation invariant. Generate SIFT features Finally, with scale and rotation invariance in place, one more representation is generated. This helps uniquely identify features. Lets say you have 50,000 features. With this representation, you can easily identify the feature you’re looking for (sa y, a particular eye, or a sign board). That was an overview of the entire algorithm. Over the next few days, I’ll go through each step in detail. Finally, I’ll show you how to implement SIFT in OpenCV! What do I do with SIFT features? After you run through the algorithm, you’ll have SIFT features for your image. Once you have these, you can do whatever you want. Track images, detect and identify objects (which can be partly hidden as well), or whatever you can think of. We’ll get into this later as well. But the catch is, this algorithm is patented. >.< So, it’s good enough for academic purposes. But if you’re looking to make something commercial, look for something else! [Thanks to aLu for pointing out SURF is patented too] 1. Constructing a scale space Real world objects are meaningful only at a certain scale. You might see a sugar cube perfectly on a table. But if looking at the entire milky way, then it simply does not exist. This multi-scale nature of objects is quite common in nature. And a scale space attempts to replicate this concept
SIFT 特征提取算法详解
SIFT 特征提取算法总结 主要步骤 1)、尺度空间的生成； 2)、检测尺度空间极值点； 3)、精确定位极值点； 4)、为每个关键点指定方向参数； 5)、关键点描述子的生成。 L(x,y,σ), σ= 1.6 a good tradeoff
D(x,y,σ), σ= 1.6 a good tradeoff
关于尺度空间的理解说明：图中的2是必须的，尺度空间是连续的。在 Lowe 的论文中， 将第0层的初始尺度定为1.6，图片的初始尺度定为0.5. 在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以Lowe 建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。尺度越大图像越模糊。 next octave 是由first octave 降采样得到（如2） ， 尺度空间的所有取值，s为每组层数，一般为3~5 在DOG尺度空间下的极值点 同一组中的相邻尺度（由于k的取值关系，肯定是上下层）之间进行寻找
在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度 变化的连续性，我们在每一组图像的顶层继续用高斯模糊生成了 3 幅图像， 高斯金字塔有每组S+3层图像。DOG金字塔每组有S+2层图像.
If ratio > (r+1)2/(r), throw it out (SIFT uses r=10) 表示DOG金字塔中某一尺度的图像x方向求导两次 通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度）？
直方图中的峰值就是主方向，其他的达到最大值80%的方向可作为辅助方向 Identify peak and assign orientation and sum of magnitude to key point The user may choose a threshold to exclude key points based on their assigned sum of magnitudes. 利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备 旋转不变性。以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度 方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。随着距中心点越远的领域其对直方图的贡献也响应减小.Lowe论文中还提到要使用高斯函 数对直方图进行平滑，减少突变的影响。
卷积神经网络CNN从入门到精通
卷积神经网络CNN从入门到精通 卷积神经网络算法的一个实现 前言 从理解卷积神经到实现它，前后花了一个月时间，现在也还有一些地方没有理解透彻，CNN还是有一定难度的，不是看哪个的博客和一两篇论文就明白了，主要还是靠自己去专研，阅读推荐列表在末尾的参考文献。目前实现的CNN在MINIT数据集上效果还不错，但是还有一些bug，因为最近比较忙，先把之前做的总结一下，以后再继续优化。 卷积神经网络CNN是Deep Learning的一个重要算法，在很多应用上表现出卓越的效果，[1]中对比多重算法在文档字符识别的效果，结论是CNN优于其他所有的算法。CNN在手写体识别取得最好的效果，[2]将CNN应用在基于人脸的性别识别，效果也非常不错。前段时间我用BP神经网络对手机拍照图片的数字进行识别，效果还算不错，接近98%，但在汉字识别上表现不佳，于是想试试卷积神经网络。 1、CNN的整体网络结构 卷积神经网络是在BP神经网络的改进，与BP类似，都采用了前向传播计算输出值，反向传播调整权重和偏置；CNN与标准的BP最大的不同是：CNN中相邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层的部分神经单元，而不是像BP那样与所有的神经单元相连接。CNN的有三个重要的思想架构： 局部区域感知 权重共享 空间或时间上的采样 局部区域感知能够发现数据的一些局部特征，比如图片上的一个角，一段弧，这些基本特征是构成动物视觉的基础[3]；而BP中，所有的像素点是一堆混乱的点，相互之间的关系没有被挖掘。 CNN中每一层的由多个map组成，每个map由多个神经单元组成，同一个map 的所有神经单元共用一个卷积核（即权重），卷积核往往代表一个特征，比如某个卷积和代表一段弧，那么把这个卷积核在整个图片上滚一下，卷积值较大的区域就很有可能是一段弧。注意卷积核其实就是权重，我们并不需要单独去计算一个卷积，而是一个固定大小的权重矩阵去图像上匹配时，这个操作与卷积类似，因此我们称为卷积神经网络，实际上，BP也可以看做一种特殊的卷积神经网络，只是这个卷积核就是某层的所有权重，即感知区域是整个图像。权重共享策略减少了需要训练的参数，使得训练出来的模型的泛华能力更强。 采样的目的主要是混淆特征的具体位置，因为某个特征找出来后，它的具体位置已经不重要了，我们只需要这个特征与其他的相对位置，比如一个“8”，当我们得到了上面一个"o"时，我们不需要知道它在图像的具体位置，只需要知道它下面又是一个“o”我们就可以知道是一个'8'了，因为图片中"8"在图片中偏左或者偏右都不影响我们认识它，这种混淆具体位置的策略能对变形和扭曲的图片进行识别。 CNN的这三个特点是其对输入数据在空间（主要针对图像数据）上和时间（主要针对时间序列数据，参考TDNN）上的扭曲有很强的鲁棒性。CNN一般采用卷积层与
SIFT算法C语言逐步实现详解
SIFT算法C语言逐步实现详解（上） 引言： 在我写的关于sift算法的前倆篇文章里头，已经对sift算法有了初步的介绍：九、图像特征提取与匹配之SIFT算法，而后在：九（续）、sift算法的编译与实现里，我也简单记录下了如何利用opencv，gsl等库编译运行sift程序。 但据一朋友表示，是否能用c语言实现sift算法，同时，尽量不用到opencv，gsl等第三方库之类的东西。而且，Rob Hess维护的sift 库，也不好懂，有的人根本搞不懂是怎么一回事。 那么本文，就教你如何利用c语言一步一步实现sift算法，同时，你也就能真正明白sift算法到底是怎么一回事了。 ok，先看一下，本程序最终运行的效果图，sift 算法分为五个步骤（下文详述），对应以下第二--第六幅图：
sift算法的步骤 要实现一个算法，首先要完全理解这个算法的原理或思想。咱们先来简单了解下，什么叫sift算法： sift，尺度不变特征转换，是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由David Lowe 在1999年所发表，2004年完善总结。 所谓，Sift算法就是用不同尺度（标准差）的高斯函数对图像进行平滑，然后比较平滑后图像的差别， 差别大的像素就是特征明显的点。 以下是sift算法的五个步骤： 一、建立图像尺度空间(或高斯金字塔)，并检测极值点 首先建立尺度空间，要使得图像具有尺度空间不变形，就要建立尺度空间，sift算法采用了高斯函数来建立尺度空间，高斯函数公式为：
上述公式G(x,y,e)，即为尺度可变高斯函数。 而，一个图像的尺度空间L（x,y,e) ,定义为原始图像I(x,y)与上述的一个可变尺度的2维高斯函数G(x,y,e) 卷积运算。 即，原始影像I(x，y)在不同的尺度e下，与高斯函数G(x,y,e)进行卷积，得到L(x,y,e)，如下： 以上的（x，y）是空间坐标，e，是尺度坐标，或尺度空间因子，e的大小决定平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的e值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。 尺度，受e这个参数控制的表示。而不同的L（x,y,e）就构成了尺度空间，具体计算的时候，即使连续的高斯函数，都被离散为（一般为奇数大小）(2*k+1) *(2*k+1)矩阵，来和数字图像进行卷积运算。 随着e的变化，建立起不同的尺度空间，或称之为建立起图像的高斯金字塔。 但，像上述L(x,y,e) = G(x,y,e)*I(x,y)的操作，在进行高斯卷积时，整个图像就要遍历所有的像素进行卷积(边界点除外)，于此，就造成了时间和空间上的很大浪费。 为了更有效的在尺度空间检测到稳定的关键点，也为了缩小时间和空间复杂度，对上述的操作作了一个改建：即，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分与原始图像I(x,y)相乘，卷积生成。 DOG算子计算简单，是尺度归一化的LOG算子的近似。 ok，耐心点，咱们再来总结一下上述内容： 1、高斯卷积 在组建一组尺度空间后，再组建下一组尺度空间，对上一组尺度空间的最后一幅图像进行二分之一采样，得到下一组尺度空间的第一幅图像，然后进行像建立第一组尺度空间那样的操作，得到第二组尺度空间，公式定义为 L(x,y,e) = G(x,y,e)*I(x,y)
(完整word版)深度学习-卷积神经网络算法简介
深度学习 卷积神经网络算法简介 李宗贤 北京信息科技大学智能科学与技术系 卷积神经网络是近年来广泛应用在模式识别、图像处理领域的一种高效识别算法，具有简单结构、训练参数少和适应性强的特点。它的权值共享网络结构使之更类似与生物神经网络，降低了网络的复杂度，减少了权值的数量。以二维图像直接作为网络的输入，避免了传统是被算法中复杂的特征提取和数据重建过程。卷积神经网络是为识别二维形状特殊设计的一个多层感知器，这种网络结构对于平移、比例缩放、倾斜和其他形式的变形有着高度的不变形。 ?卷积神经网络的结构 卷积神经网络是一种多层的感知器，每层由二维平面组成，而每个平面由多个独立的神经元组成，网络中包含一些简单元和复杂元，分别记为C元和S元。C元聚合在一起构成卷积层，S元聚合在一起构成下采样层。输入图像通过和滤波器和可加偏置进行卷积，在C层产生N个特征图（N值可人为设定），然后特征映射图经过求和、加权值和偏置，再通过一个激活函数（通常选用Sigmoid函数）得到S层的特征映射图。根据人为设定C层和S层的数量，以上工作依次循环进行。最终，对最尾部的下采样和输出层进行全连接，得到最后的输出。
卷积的过程：用一个可训练的滤波器fx去卷积一个输入的图像（在C1层是输入图像，之后的卷积层输入则是前一层的卷积特征图），通过一个激活函数(一般使用的是Sigmoid函数)，然后加一个偏置bx，得到卷积层Cx。具体运算如下式，式中Mj是输入特征图的值： X j l=f?(∑X i l?1?k ij l+b j l i∈Mj) 子采样的过程包括：每邻域的m个像素（m是人为设定）求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过激活函数Sigmoid产生特征映射图。从一个平面到下一个平面的映射可以看作是作卷积运算，S层可看作是模糊滤波器，起到了二次特征提取的作用。隐层与隐层之间的空间分辨率递减，而每层所含的平面数递增，这样可用于检测更多的特征信息。对于子采样层来说，有N 个输入特征图，就有N个输出特征图，只是每个特征图的的尺寸得到了相应的改变，具体运算如下式，式中down（）表示下采样函数。 X j l=f?(βj l down (X j l?1) +b j l)X j l) ?卷积神经网络的训练过程 卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入和输出之间的映射关系，而不需要任何输入和输出之间的精确数学表达式。用已知的模式对卷积网络加以训练，网络就具有了输
SIFT算法分析
SIFT算法分析 1 SIFT 主要思想 SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。 2 SIFT 算法的主要特点： a)SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。 b)独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进 行快速、准确的匹配。 c)多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 d)高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。 e)可扩展性，可以很方便的与其他形式的特征向量进行联合。 3 SIFT 算法流程图：
4 SIFT 算法详细 1）尺度空间的生成 尺度空间理论目的是模拟图像数据的多尺度特征。 高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为： L( x, y, ) G( x, y, ) I (x, y) 其中G(x, y, ) 是尺度可变高斯函数，G( x, y, ) 2 1 2 y2 (x ) 2 e / 2 2 （x，y）是空间坐标，是尺度坐标。大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。 为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。 D( x, y, ) (G( x, y,k ) G( x, y, )) I ( x, y) L( x, y,k ) L( x, y, ) DOG算子计算简单，是尺度归一化的LoG算子的近似。图像金字塔的构建：图像金字塔共O组，每组有S层，下一组的图像由上一 组图像降采样得到。 图1由两组高斯尺度空间图像示例金字塔的构建，第二组的第一副图像由第一组的第一副到最后一副图像由一个因子2降采样得到。图2 DoG算子的构建： 图1 Two octaves of a Gaussian scale-space image pyramid with s =2 intervals. The first image in the second octave is created by down sampling to last image in the previous
sift算法详解
尺度不变特征变换匹配算法详解 Scale Invariant Feature Transform(SIFT) Just For Fun 张东东zddmail@https://www.360docs.net/doc/5313507840.html, 对于初学者，从David G.Lowe的论文到实现，有许多鸿沟，本文帮你跨越。 1、SIFT综述 尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由David Lowe在1999年所发表，2004年完善总结。 其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。 此算法有其专利，专利拥有者为英属哥伦比亚大学。 局部影像特征的描述与侦测可以帮助辨识物体，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。 SIFT算法的特点有： 1.SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性； 2.独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配； 3.多量性，即使少数的几个物体也可以产生大量的SIFT特征向量； 4.高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；
卷积神经网络全面解析之算法实现
卷积神经网络全面解析之算法实现 前言 从理解卷积神经到实现它，前后花了一个月时间，现在也还有一些地方没有理解透彻，CNN还是有一定难度的，不是看哪个的博客和一两篇论文就明白了，主要还是靠自己去专研，阅读推荐列表在末尾的参考文献。目前实现的CNN在MINIT数据集上效果还不错，但是还有一些bug，因为最近比较忙，先把之前做的总结一下，以后再继续优化。 卷积神经网络CNN是Deep Learning的一个重要算法，在很多应用上表现出卓越的效果，[1]中对比多重算法在文档字符识别的效果，结论是CNN优于其他所有的算法。CNN 在手写体识别取得最好的效果，[2]将CNN应用在基于人脸的性别识别，效果也非常不错。前段时间我用BP神经网络对手机拍照图片的数字进行识别，效果还算不错，接近98%，但在汉字识别上表现不佳，于是想试试卷积神经网络。 1、CNN的整体网络结构 卷积神经网络是在BP神经网络的改进，与BP类似，都采用了前向传播计算输出值，反向传播调整权重和偏置；CNN与标准的BP最大的不同是：CNN中相邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层的部分神经单元，而不是像BP那样与所有的神经单元相连接。CNN的有三个重要的思想架构： ?局部区域感知 ?权重共享 ?空间或时间上的采样 局部区域感知能够发现数据的一些局部特征，比如图片上的一个角，一段弧，这些基本特征是构成动物视觉的基础[3]；而BP中，所有的像素点是一堆混乱的点，相互之间的关系没有被挖掘。 CNN中每一层的由多个map组成，每个map由多个神经单元组成，同一个map的所有神经单元共用一个卷积核（即权重），卷积核往往代表一个特征，比如某个卷积和代表一段弧，那么把这个卷积核在整个图片上滚一下，卷积值较大的区域就很有可能是一段弧。注意卷积核其实就是权重，我们并不需要单独去计算一个卷积，而是一个固定大小的权重矩阵去图像上匹配时，这个操作与卷积类似，因此我们称为卷积神经网络，实际上，BP也可以看做一种特殊的卷积神经网络，只是这个卷积核就是某层的所有权重，即感知区域是整个图像。权重共享策略减少了需要训练的参数，使得训练出来的模型的泛华能力更强。 采样的目的主要是混淆特征的具体位置，因为某个特征找出来后，它的具体位置已经不重要了，我们只需要这个特征与其他的相对位置，比如一个“8”，当我们得到了上面一个"o"时，我们不需要知道它在图像的具体位置，只需要知道它下面又是一个“o”我们就可以知道是一个'8'了，因为图片中"8"在图片中偏左或者偏右都不影响我们认识它，这种混淆具体位置的策略能对变形和扭曲的图片进行识别。 CNN的这三个特点是其对输入数据在空间（主要针对图像数据）上和时间（主要针对时间序列数据，参考TDNN）上的扭曲有很强的鲁棒性。CNN一般采用卷积层与采样层交
SIFT算法与RANSAC算法分析
概率论问题征解报告： （算法分析类） SIFT算法与RANSAC算法分析 班级：自23 姓名：黄青虬 学号：2012011438 作业号：146
SIFT 算法是用于图像匹配的一个经典算法，RANSAC 算法是用于消除噪声的算法，这两者经常被放在一起使用，从而达到较好的图像匹配效果。 以下对这两个算法进行分析，由于sift 算法较为复杂，只重点介绍其中用到的概率统计概念与方法——高斯卷积及梯度直方图，其余部分只做简单介绍。 一． SIFT 1. 出处：David G. Lowe, The Proceedings of the Seventh IEEE International Conference on (Volume:2, Pages 1150 – 1157), 1999 2. 算法目的：提出图像特征，并且能够保持旋转、缩放、亮度变化保持不变性，从而 实现图像的匹配 3. 算法流程图： 原图像 4. 算法思想简介： （1） 特征点检测相关概念： ◆ 特征点：Sift 中的特征点指十分突出、不会因亮度而改变的点，比如角点、边 缘点、亮区域中的暗点等。特征点有三个特征：尺度、空间和大小 ◆ 尺度空间：我们要精确表示的物体都是通过一定的尺度来反映的。现实世界的 物体也总是通过不同尺度的观察而得到不同的变化。尺度空间理论最早在1962年提出，其主要思想是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。尺度越大图像越模糊。 ◆ 高斯模糊：高斯核是唯一可以产生多尺度空间的核，一个图像的尺度空间，L （x,y,σ) ,定义为原始图像I(x,y)与一个可变尺度的2维高斯函数G(x,y,σ) 卷积运算 高斯函数： 高斯卷积的尺度空间： 不难看到，高斯函数与正态分布函数有点类似，所以在计算时，我们也是 ()()() ,,,,*,L x y G x y I x y σσ=()22221 ()(),,exp 22i i i i x x y y G x y σπσσ??-+-=- ? ??
SIFT算法和卷积神经网络算法在图像检索领域的应用分析
SIFT算法和卷积神经网络算法在图像检索领域的应用分析 1、引言 基于内容的图像检索是由于图像信息的飞速膨胀而得到关注并被提出来的。如何快速准确地提取图像信息内容是图像信息检索中最为关键的一步。传统图像信息检索系统多利用图像的底层特征，如颜色、纹理、形状以及空间关系等。这些特征对于图像检索有着不同的结果，但是同时也存在着不足，例如：颜色特征是一种全局的特征，它对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好的捕捉图像中对象的局部特征，也不能表达颜色空间分布的信息。纹理特征也是一种全局特征，它只是物体表面的一种特性，并不能完全反映物体的本质属性。基于形状的特征常常可以利用图像中感兴趣的目标进行检索，但是形状特征的提取，常常受到图像分割效果的影响。空间关系特征可以加强对图像内容的描述和区分能力，但空间关系特征对图像或者，目标的旋转、平移、尺度变换等比较敏感，并且不能准确地表达场景的信息。图像检索领域急需一种能够对目标进行特征提取，并且对图像目标亮度、旋转、平移、尺度甚至仿射不变的特征提取算法。 2、SIFT特征 SIFT（Scale-Invariant Feature Transform，尺度不变特征转换）是一种电脑视觉的算法，用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由David Lowe在1999年所发表，2004年完善总结。 局部特征的描述与侦测可以帮助辨识物体，SIFT特征是基于物体上的一些局部外观的兴趣点，与目标的大小和旋转无关，对于光线、噪声、些微视角改变的容忍度也相当高。使用SIFT特征描述对于部分物体遮蔽的侦测成功率也相当高，甚至只需要3个以上的SIFT 物体特征就足以计算出位置与方位。在现今的电脑硬件速度和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，也适合在海量数据库中快速准确匹配。 SIFT算法的特点有： （1）SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变形，是非常稳定的局部特征，现在应用非常广泛。（仿射变换，又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并加上一个平移，变换为另一个向量空间。） （2）独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配； （3）多量性，即使少数的几个物体也可以产生大量的SIFT特征向量； （4）高速性，经优化的SIFT匹配算法甚至可以达到实时的要求； （5）可扩展性，可以很方便的与其他形式的特征向量进行联合。 SIFT算法可以解决的问题：目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。 而SIFT算法在一定程度上可解决：
SIFT算法实现原理步骤
SIFT 算法实现步骤 ：1 关键点检测、2 关键点描述、3 关键点匹配、4 消除错配点 1关键点检测 1.1 建立尺度空间 根据文献《Scale-space theory: A basic tool for analysing structures at different scales 》我们可知，高斯核是唯一可以产生多尺度空间的核，一个图像的尺度空间，L （x,y,σ) ,定义为原始图像I(x,y)与一个可变尺度的2维高斯函数G(x,y,σ) 卷积运算。 高斯函数 高斯金字塔 高斯金子塔的构建过程可分为两步： （1）对图像做高斯平滑； （2）对图像做降采样。 为了让尺度体现其连续性，在简单 下采样的基础上加上了高斯滤波。 一幅图像可以产生几组（octave ） 图像，一组图像包括几层 （interval ）图像。 高斯图像金字塔共o 组、s 层， 则有： σ——尺度空间坐标；s ——sub-level 层坐标；σ0——初始尺度；S ——每组层数（一般为3~5）。 当图像通过相机拍摄时，相机的镜头已经对图像进行了一次初始的模糊，所以根据高斯模糊的性质： -第0层尺度 --被相机镜头模糊后的尺度 高斯金字塔的组数: M 、N 分别为图像的行数和列数 高斯金字塔的组内尺度与组间尺度: 组内尺度是指同一组（octave ）内的尺度关系，组内相邻层尺度化简为： 组间尺度是指不同组直接的尺度关系，相邻组的尺度可化为： 最后可将组内和组间尺度归为： ()22221 ()(),,exp 22i i i i x x y y G x y σπσσ??-+-=- ? ??()()(),,,,*,L x y G x y I x y σσ=Octave 1 Octave 2 Octave 3 Octave 4 Octave 5σ2σ 4σ8 σ 0()2s S s σσ= g 0σ=init σpre σ()() 2log min ,3O M N ??=-?? 1 12S s s σσ+=g 1()2s S S o o s σσ++=g 222s S s S S o o σσ+=g g 121 2(,,,) i n k k k σσσσ--L 1 2 S k =
遥感图像处理在汶川地震中的应用分析
遥感图像处理在汶川地震中的应用分析 摘要 随着卫星技术的快速发展，遥感技术被越来越广泛的应用于国民经济的各个方面。本文结合汶川地震中遥感技术的应用实例，系统阐述了遥感应用于应急系统中需要解决的一系列关键技术问题。并就数据获取、薄云去除、图像镶嵌、图像解译，以及灾后重建中的若干关键技术问题展开了分析。关键词：遥感；地震；应用；关键技术 1 引言 长期以来，人们不断遭受到各种自然灾害的侵害，如地震、火山、洪水等，同时，由人为因素导致的灾难也不断发生，如火灾、恐怖袭击等。这些灾害具备破坏性、突发性、连锁性、难预报性等特点，往往容易造成重大的人员伤亡和巨大的财产损失。为了有效的应对突发事件，产生了各类应急系统。 灾区数据的实时获取足所有应急系统的基础。对于区域性的灾害，传统的地面调查方式，由于速度慢、面积小、需要人员现场勘查等无法避免的特点，很难满足应急系统的需要。相对而言，遥感技术有其得天独厚的优势：遥感传感器能实时的、大面积的、无接触的获取灾区数据，因此成为绝大多数应急系统中数据获取的主要手段。为了使遥感数据能满足应急系统中基础数据的要求，需要经过数据获取、数据预处理、图像解译等阶段的处理，最终提取出准确的遥感信息。下面将根据这三个阶段的处理技术展开阐述与分析，并以汶川地震为例，介绍遥感技术在应急救灾及灾后重建中的应用。 2 数据获取 灾害发生后，由于地形、气象等客观因素的影响，通过单一的遥感传感器往往很难获得灾区所有数据，需要充分发挥多种传感器的优势，获取灾区的各种类型数据，主要包括光学与SAR卫星遥感影像、光学与SAR航空遥感影像两大类。 2.1 光学与SAR卫星遥感影像的获取 此类数据包括国内外的众多高分辨率光学与SAR卫星遥感影像。从时间上说，重点是灾害发生前后数据的获取，以快速确定灾区的位置和前后的变化。 2.2 光学与SAR航空遥感影像的获取 此类数据是利用高空遥感琶机、无人机和卣升机等高、低空遥感平台，搭载遥感传感器，快速
SIFT特征提取分析
SIFT（Scale-invariant feature transform）是一种检测局部特征的算法，该算法通过求一幅图中的特征点（interest points, or corner points）及其有关scale 和orientation 的描述子得到特征并进行图像特征点匹配，获得了良好效果，详细解析如下： 算法描述 SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果。整个算法分为以下几个部分： 1. 构建尺度空间 这是一个初始化操作，尺度空间理论目的是模拟图像数据的多尺度特征。 高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为： 其中G(x,y,σ) 是尺度可变高斯函数 （x，y）是空间坐标，是尺度坐标。σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。 下图所示不同σ下图像尺度空间：
关于尺度空间的理解说明：2kσ中的2是必须的，尺度空间是连续的。在 Lowe的论文中，将第0层的初始尺度定为1.6（最模糊），图片的初始尺度定为0.5（最清晰）. 在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以Lowe 建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。尺度越大图像越模糊。 图像金字塔的建立：对于一幅图像I,建立其在不同尺度(scale)的图像，也成为子八度（octave），这是为了scale-invariant，也就是在任何尺度都能够有对应的特征点，第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4（长宽分别减半），构成下一个子八度（高一层金字塔）。
sift算法的MATLAB程序
% [image, descriptors, locs] = sift(imageFile) % % This function reads an image and returns its SIFT keypoints. % Input parameters: % imageFile: the file name for the image. % % Returned: % image: the image array in double format % descriptors: a K-by-128 matrix, where each row gives an invariant % descriptor for one of the K keypoints. The descriptor is a vector % of 128 values normalized to unit length. % locs: K-by-4 matrix, in which each row has the 4 values for a % keypoint location (row, column, scale, orientation). The % orientation is in the range [-PI, PI] radians. % % Credits: Thanks for initial version of this program to D. Alvaro and % J.J. Guerrero, Universidad de Zaragoza (modified by D. Lowe) function [image, descriptors, locs] = sift(imageFile) % Load image image = imread(imageFile); % If you have the Image Processing Toolbox, you can uncomment the following % lines to allow input of color images, which will be converted to grayscale. % if isrgb(image) % image = rgb2gray(image); % end [rows, cols] = size(image); % Convert into PGM imagefile, readable by "keypoints" executable f = fopen('tmp.pgm', 'w'); if f == -1 error('Could not create file tmp.pgm.'); end fprintf(f, 'P5\n%d\n%d\n255\n', cols, rows); fwrite(f, image', 'uint8'); fclose(f); % Call keypoints executable if isunix command = '!./sift '; else command = '!siftWin32 '; end command = [command '