基于SIFT特征点的双目视觉定位

合集下载

基于特征匹配算法的双目视觉测距_邵暖

基于特征匹配算法的双目视觉测距_邵暖
第 36 卷 第 1 期 2012 年 1 月
燕山大学学报 Journal of Yanshan University
文章编号:1007-791X (2012) 01-0057-05
Vol. 36 No. 1 Jan. 2012
基于特征匹配算法的双目视觉测距
邵 暖,李惠光*,刘 乐
(燕山大学 电气工程学院,河北 秦皇岛 066004)
第1期
邵 暖 等 基于特征匹配算法的双目视觉测距
59
图 3 尺度空间极值提取
Fig. 3 Extreme extraction in scale-space
以每个局部特征点为中心,在其邻域取 16×16
的窗口,划分为 4×4 的像素块,在每个像素块上计
算 8 个方向的梯度直方图分属 8 个区间,每个区间
由式 (6) ~ (8) 可见,该模型的距离测量值主 要取决于空间物点在左右摄像机下的像素坐标值, 所以双目视觉的匹配精度是本文所提测距方法的 前提。
2 改进的 SIFT 特征匹配算法
SIFT 算子是 David G Lowe 在 2004 年提出的 一种基于尺度空间的局部特征描述子。该算法首先 建立图像的尺度空间表示,然后在尺度空间中搜索 图像的极值点,建立特征描述向量,是一种具有放 缩、旋转和仿射不变性的特征检测描述方法 。 [12]
作者简介:邵 暖(1985-),女,天津人,博士研究生,主要研究方向为机器视觉、模式识别;*通信作者:李惠光(1947-),男, 黑龙江齐齐哈尔人,教授,博士生导师,主要研究方向为机器人视觉伺服控制和采样系统理论,Email:ydlhg@。
58
相同,成像模型如图 1 所示。
燕山大学学报
2
2
170.30), , = (73.73, 173.37)。将以上数据

基于改进SIFT算法的双目视觉SLAM研究

基于改进SIFT算法的双目视觉SLAM研究

基于改进SIFT算法的双目视觉SLAM研究朱代先;王晓华【期刊名称】《计算机工程与应用》【年(卷),期】2011(047)014【摘要】SIFT算法通常用于移动机器人视觉S LAM中.但其算法复杂、计算时间长,影响视觉SLAM的性能.在两方面对SIFT 改进:一是用街区距离与棋盘距离的线性组合作为相似性度量;二是采用部分特征方法完成快速匹配.应用扩展卡尔曼滤波器融合SIFT特征信息与机器人位姿信息完成SLAM.仿真实验表明,在未知室内环境下,该算法运行时间短,定位精度高.%Scale Invariant Feature Transform(SIFT) algorithm is used in mobile robot Simultaneous Localization and Mapping (SLAM) based on visual information.but this algorithm is complicated and computation time is long.Two improvements are introduced to optimize its performance. The linear combination of cityblock distance and chessboard distance is comparability measurement;Some partial features are used to matching. SLAM is completed by fusing the information of SIFT features and robot information with EKF. The simulation experiment indicate that the proposed method reduce computational complexity,and with high localization precision in indoor environments.【总页数】4页(P170-173)【作者】朱代先;王晓华【作者单位】西安科技大学通信与信息工程学院,西安710054;西安工程大学电信学院,西安710048【正文语种】中文【中图分类】TP911【相关文献】1.基于SIFT算法的单目视觉SLAM路标观测研究 [J], 王世浩;倪建军;王康;吴榴迎2.基于改进SIFT算法的双目视觉距离测量 [J], 李奇敏;李扬宇3.基于改进SIFT算法的单目SLAM图像匹配方法 [J], 胡为;刘兴雨4.基于双目视觉SLAM三维信息的建立与问题研究 [J], 张宇廷; 朱敏玲; 郑治伟5.基于新型多传感器融合策略的移动端双目视觉惯性SLAM闭环算法研究 [J], 任金伟;郑鑫;李昱辰;朱建科因版权原因,仅展示原文概要,查看原文内容请购买。

基于点线综合特征的双目视觉slam方法

基于点线综合特征的双目视觉slam方法

基于点线综合特征的双目视觉SLAM方法引言双目视觉SLAM(Simultaneous Localization and Mapping)是一种利用双目相机获取场景信息,并同时估计相机的位姿和场景三维结构的技术。

其中,点线综合特征是一种基于点和线的特征表示方法,可以用来描述场景中的结构信息。

本文将详细介绍基于点线综合特征的双目视觉SLAM方法。

点线综合特征的定义与表示点线综合特征是一种将点和线进行综合描述的特征表示方法。

在双目视觉SLAM中,可以通过将双目图像中的点和线提取出来,并将它们进行组合,从而得到点线综合特征。

点线综合特征的定义包括以下几个方面:1.点特征(Point Feature):双目相机可以通过立体匹配算法得到一组对应的左右图像点对,这些点对被称为点特征。

点特征可以用来计算相机的位姿,同时也可以用来重建场景的三维结构。

2.线特征(Line Feature):双目相机还可以通过线检测算法得到一组左右图像中的线段,这些线段被称为线特征。

线特征具有一定的尺度和方向信息,可以提供额外的视觉约束,有助于提高SLAM系统的精度和鲁棒性。

3.综合特征(Composite Feature):将点特征和线特征进行综合,可以得到点线综合特征。

综合特征能够更全面、准确地描述场景中的结构信息,为SLAM系统提供更可靠的视觉约束。

基于点线综合特征的双目视觉SLAM方法框架基于点线综合特征的双目视觉SLAM方法主要分为以下几个步骤:1. 双目图像预处理首先需要对双目图像进行预处理,包括图像去畸变、图像配准、图像增强等操作。

去畸变可以校正由于镜头畸变引起的图像失真,提高图像的几何精度。

图像配准可以将左右图像进行对齐,使得它们在立体匹配时更加准确。

图像增强可以提高图像的对比度和清晰度,以便更好地进行特征提取和跟踪。

2. 点特征提取与匹配利用特征点提取算法(如FAST、SIFT、SURF等),从左右图像中提取点特征。

双目定位算法python

双目定位算法python

双目定位算法是一种基于双目视觉原理的计算机视觉方法,通过比较左右图像中的特征点,计算出特征点在三维空间中的坐标。

在Python 中实现双目定位算法,可以使用OpenCV 库和相关的双目视觉工具。

以下是一个简单的双目定位算法实现步骤:1. 安装依赖库首先,确保已安装以下依赖库:```pip install opencv-pythonpip install matplotlib```2. 导入所需库```pythonimport cv2import numpy as npimport matplotlib.pyplot as plt```3. 读取左右图像```pythonleft_image = cv2.imread('left_image.jpg', 0)right_image = cv2.imread('right_image.jpg', 0)```4. 预处理图像```pythonleft_gray = cv2.cvtColor(left_image, cv2.COLOR_BGR2GRAY)right_gray = cv2.cvtColor(right_image, cv2.COLOR_BGR2GRAY)```5. 寻找特征点使用SIFT 算法寻找左右图像中的特征点。

首先需要在左右图像上创建SIFT 对象,然后检测特征点:```pythonsift = cv2.xfeatures2d.SIFT_create()kp1, des1 = sift.detectAndCompute(left_gray, None)kp2, des2 = sift.detectAndCompute(right_gray, None)```6. 匹配特征点使用暴力匹配方法(Brute-Force Matcher)匹配左右图像中的特征点:```pythonbf_matcher = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)matches = bf_matcher.match(des1, des2)matches = sorted(matches, key=lambda x: x.distance)```7. 绘制匹配点将匹配点绘制到左右图像上:```pythondef draw_matches(img1, kp1, img2, kp2, matches):matched_points = [(kp1[m.queryIdx], kp2[m.trainIdx]) for m in matches]img = cv2.drawMatches(img1, kp1, img2, kp2, matched_points, None, flags=2)return imgdraw_matches(left_image, kp1, right_image, kp2, matches)```8. 计算三维坐标根据匹配点,使用三角测量方法计算特征点在三维空间中的坐标。

双目视觉特征点的三维坐标计算

双目视觉特征点的三维坐标计算

双目视觉特征点的三维坐标计算双目视觉是一种通过使用两个相机模拟人眼视觉的技术。

它可以通过计算两个相机之间的视差(即相同物体在两个相机中的像素差)来估计物体的深度,并计算出特征点的三维坐标。

双目视觉在机器人领域、计算机视觉和三维重建等方面有广泛应用。

下面将简要介绍双目视觉特征点的三维坐标计算的基本原理。

双目视觉系统由两个相机组成,分别称为主相机和从相机。

主相机通常放在一个固定位置,而从相机可以相对于主相机移动,以改变观察角度。

双目视觉的原理是基于视差的计算。

当一个物体位于不同相机的视野中时,由于视野的不同,物体在两个相机中的图像位置会有所偏移,这个偏移量称为视差。

首先,应该通过一些校准步骤来确定相机的内参矩阵和外参矩阵。

内参矩阵包括相机的焦距、主点坐标和畸变系数等参数,它们可以通过标定来测量得到。

外参矩阵包括相机的位置和姿态,可以通过对相机进行定位来获得。

双目视觉的主要步骤如下:1.特征点提取:在主相机和从相机的图像中提取特征点,例如角点或SIFT特征点等。

这些特征点在两个相机中的像素位置可以很容易地匹配。

2.特征点匹配:对于主相机和从相机中的每个特征点,需要找到在另一个相机中与之匹配的特征点。

匹配可以通过计算特征描述子之间的相似度来实现。

3.视差计算:对于每对匹配的特征点,可以通过计算它们在两个相机中的像素位置差来计算视差。

视差计算可以采用最小二乘法或其他深度推测算法。

4.深度计算:有了视差信息,可以根据相机基线和三角测量原理来计算特征点的相对深度。

根据特定的相机配置,可以通过相机内参和外参来计算特征点的三维坐标。

总的来说,双目视觉特征点的三维坐标计算可以通过特征点提取、特征点匹配、视差计算和深度计算来实现。

这些步骤需要对相机进行校准,并根据相机配置和参数来计算特征点的三维坐标。

双目视觉在计算机视觉领域有着广泛的应用,例如三维重建、目标跟踪、立体匹配和位姿估计等。

特征点的三维坐标计算是实现这些应用的关键步骤之一、它可以通过将双目相机与其他传感器(如激光雷达)结合使用来提高测量精度和准确性。

基于改进SIFT的无人机双目目标识别与定位

基于改进SIFT的无人机双目目标识别与定位

基于改进SIFT的无人机双目目标识别与定位
姚艺;黄卫华;章政;陈阳;张子然
【期刊名称】《组合机床与自动化加工技术》
【年(卷),期】2022()6
【摘要】对无人机自主着陆系统中双目视觉采集到的地标图像进行了研究,在分析地标图像中存在模糊噪声以及大量背景干扰问题,提出一种基于改进SIFT算法的无人机双目视觉目标识别与定位方法。

首先,采用基于OTSU与HSV的ROI算法对无人机双目图像进行目标识别与分割预处理操作,将目标准确识别;其次,针对双目视觉获取三维信息效率慢的问题,采用基于改进的SIFT算法对已识别的地标进行特征提取,生成二进制描述符,并采用局部敏感哈希算法对特征点进行稀疏匹配,提高目标特征匹配准确度及效率;最后,采用相似三角形原理计算每个特征匹配点的三维距离,获得无人机与目标之间的平均三维距离。

实验结果表明所设计的算法相较于传统的SIFT算法更具有可行性和有效性。

【总页数】5页(P49-53)
【作者】姚艺;黄卫华;章政;陈阳;张子然
【作者单位】武汉科技大学信息科学与工程学院
【正文语种】中文
【中图分类】TH166;TG659
【相关文献】
1.基于改进的SIFT特征点的双目定位
2.基于SIFT特征点的双目视觉定位
3.基于Harris-SIFT算法的双目立体视觉定位
4.基于视差和SIFT的双目视觉移动目标识别和追踪的研究
5.基于YOLOv3的无人机目标识别与双目测距应用研究
因版权原因,仅展示原文概要,查看原文内容请购买。

基于Harris_SIFT算法的双目立体视觉定位_李耀云

基于Harris_SIFT算法的双目立体视觉定位_李耀云
数字视频 DIGITAL VIDEO
J] . 电视技术, 2013, 37( 9) . 【本文献信息】 李耀云, 贾敏智 . 基于 Harris-SIFT 算法的双目立体视觉定位[
基于 Harris-SIFT 算法的双目立体视觉定位
李耀云, 贾敏智
( 太原理工大学 信息工程学院, 山西 太原 030024)
【Abstract】The object location technique for binocular stereo vision has some problems of the poor real-time performance and the mismatching based on the SIFT algorithm of the scale space to image keep invariance. A method of the object location technique for binocular stereo vision developed based on adopting new Harris-SIFT algorithm to the Harris-SIFT algorithm is presented. Through the introduction of the binocular stereo vision model principle, get the camera image form the two detection target, and for matching the feature points of the target, according to the target object coordinate calibration two images of the two images. Through the calculation can get the depth of the object distance, reducing the 3d information. The experiments improve the real-time performance and the accuracy distance based on the Harris-SIFT algorithm. 【Key words】Harris-SIFT algorithm; binocular stereo vision; matching; location

基于SIFT算法的双目立体视觉测距系统

基于SIFT算法的双目立体视觉测距系统

基于SIFT算法的双目立体视觉测距系统作者:潘庆甫潘庆茹来源:《卷宗》2018年第31期摘要:针对双目立体视觉中的特征点提取与匹配时计算复杂度大、图像匹配时间较长的问题,提出用SIFT算法进行特征点的提取与匹配。

利用张正友标定法确定摄像机的内外参数,利用Bouguet算法进行图像的立体矫正。

建立以图像获取、立体矫正、目标检测与特征提取、立体匹配与三维重建为主要步骤的双目立体视觉测距。

实验表明,在保持原有匹配率的前提下,一定程度上提高了运算速度。

关键词:双目立体视觉测距,SIFT算法,图像匹配一个完整的双目立体视觉系统一般由摄像机标定、图像获取、图像预处理、目标检测与特征提取、立体匹配和三维测距组成。

与普通图像配准不同的是,立体像对之间的差异是由拍摄点的不同一起的,而不是由被拍摄图像的变换或运动引起的。

1 四个坐标系的转换如图1所示,图中有四个坐标系分别为世界坐标系(Ow-XwYwZw),摄像机坐标系(Oc-XcYcZc),像素坐标系(O0-uv)和图像坐标系(O1-xy)。

其中O1为摄像机光轴与图像平面的交点,称为主点,该点的坐标为O1(u0,v0),dx和dy分别为每一个像素在x轴和y轴上的尺寸,则图像中任意一点的像素在两个坐标系下的关系可以表示成:dx、dy、u0、v0其实都是我们假设出来的参数,dx、dy表示感光芯片上像素的实际大小,u0、v0是图像平面中心,最终是要我们求的内外参数。

设空间一点P在摄像机坐标系Oc-XcYcZc下的坐标为,在世界坐标系Ow-XwYwZw下的坐标为,该点在图像坐标系下的成像点为p,p点的图像坐标和像素坐标分别为和R为旋转矩阵,T为平移向量:其中,称为u轴上的尺度因子,称为v轴上的尺度因子,M1称为摄像机的内部参数,M2称为摄像机的外部参数,确定内外参数的过程称为摄像机的标定。

2 双目立体视觉的测距模型简易的双目立体视觉测距模型如图2所示,假设两摄像头的光轴平行,Ol和Or分别为左右摄像头的光心,两摄像头的光心之间的距离为b,P为目标点,根据图1建立的坐标模型可知P到两摄像头之间的距离可看作Z轴上的坐标即为Z,P在左右摄像头的成像点分别为Xl和Xr,因此,可建立以X-Z的平面模型。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
精确定位极值点的作用是消除低对比度极值点 和不稳定的边缘响应点,获得图像局部特征点.
对于选定的图像局部特征点,利用特征点邻域 像素的梯度方向分布特性为每个特征点指定其方向 参数,使得SIFT算子具有旋转不变性.
以特征点为中心取8×8的窗口,在每4×4的 小块上计算8个方向的梯度方向直方图,绘制每个 梯度方向的累加值,即可形成一个种子点,每个种子 点有8个方向向量信息.Lowe建议对每个特征点使 用4 x4共16个种子点来描述,这样对于一个特征 点就可以产生128个数据,即最终形成128维的 SIFT特征向量. 1.1.2 SIFT特征向量匹配
第30卷第6期 2009年6月
哈尔滨工程大学学报 Journal of Harbin Engineering University
doi:10.369/j.issn.1006-7043.2009.06.01 1
V01.30№.6 Jun.2009
基于SIFT特征点的双目视觉定位
孟 浩,程康
(哈尔滨工程大学自动化学院,黑龙江哈尔滨150001)
Abstract:An object location method was developed based on scale invariant feature transform(SIFT)feature points that is useful for digital image based binocular stereo vision.First,the SIFT feature vector Was introduced,as it has
4 目标定位实验
实验中采用DF-202TZ针孔摄像机,组成平行双目 视觉系统,基线长度为100 mm.焦距为3.88 nlm,1/3英 寸CCD,CCD的面积为3,2 mill×2,4 him,采集图片的 尺寸为768 x576像素.实验以墙壁插座为目标.
首先获取插座模板图片及左右两侧摄像机采集 的图片,如图2所示.
2)对特征点对集合S.进行验证,将左右两幅图 像利用SIF'r特征匹配算法匹配,生成特征点对集合 s伍R,将集合S.中的元素在集合s L&。中进行搜索, 如果搜索到相同元素则表示该特征点对在左、右图 片间也符合匹配,称之为空间匹配点,将其保留.最 后生成了空间匹配点对的集合S。.
由上述方法获得的空间匹配点对的集合S。中 的特征点,可以很好的保证对应于目标实物中的相 同位置,具有良好的空间位置匹配性. 2.2标定点坐标计算
2 目标标定点选取
对于移动机器人目标定位,如要获取目标物体 的三维信息,需采集2幅不同位置的目标图像,利用 视差原理对2幅图像中目标物体上的同一点进行三 维信息的恢复,这里将该点称为目标物体的标定点. 2幅图像中标定点位置的相匹配程度决定了目标定 位的精确度.利用swr特征匹配算法可以在2幅图 像中获取一些SIFrr特征点.由于2幅图像拍摄环境 的差异,2幅图像中获得的Sil,l’特征点在空间位置 上不具有一致性,即这些特征点不全对应于目标上 相同位置上的点,需要进行选取才能获得具有空间 一致性的标定点.这里提出了一种完整的标定点获 取方法,该方法分为空间匹配点选取、标定点计算两 步. 2.1空间匹配点选择
good robustness to changes such as scaling,rotation and visual angles.By the use of SIFT feature vector matching,
objects which had been collected by a binocular stereo vision system were detected in both left and right images,
/\.
乞l。
}l ‘ q.{/
I/
‘%
矿丐 ●
一r

t. t1
0c1


od
id

图1平行双目视觉系统
Fig.I Parallel binocular stereo vision system
空间点P在摄像机坐标系X。。k。Z。。0a中的三 维坐标(‰。,%。,:F。)可以写为
双目视觉系统中最为简便常用的是和人眼构造 一致的平行等高双目视觉系统.该双目视觉系统两 个相同的摄像机平行摆放,摄像机前端平齐且高度 一致.摄像机在坐标系中横坐标重合,坐标原点相距 b,将距离b称为基线.如图1所示.
(算。,门)、(算:,Y:)分别为空间点P在2个摄像 机成像面上的物理坐标,可以由在图像中的像素坐 标通过已知的摄像机内部参数计算而得.依据上述 公式,可以通过获取目标点在2幅图像中的位置,在 摄像机坐标系中标定目标点的三维坐标.
随着机器人自主化的不断深入,对机器人自主 能力最重要的机器人视觉技术的要求也不断提高, 具有获取深度信息能力的双目立体视觉技术已经成 为了自主机器人技术的关键组成部分¨引.如何在 背景环境中正确获取目标位置,如何在左、右摄像机 采集的图片中选取具有空间位置一致性的目标标定 点一直是双目立体视觉技术的难点和关键.通常的 方法依靠目标的形状、颜色等特征检测目标,并以物 体的形心等作为标定点[3-5 J.该文将SIFI"特征匹配 算法用于目标检测,可以在较复杂环境下,从待测图 片中匹配出模板目标,并提出了一种基于sIVr特征 点的目标标定点选择方法,用于双目立体视觉中左、
标以外的特征.
使用SIlT特征提取算法获得模板图片和待测
万方数据
图片的SIIiT特征向量,模板图片中的sIFr特征向 量几乎全为目标的特征向量,待测图片生成的SIFr 特征向量包括目标与背景.这些特征向量具有很好 的位置、尺度、旋转不变性.将模板图片与待测图片 的SIFT特征向量进行匹配,可以匹配出待测图片中 目标物体的SIf'F特征向量,这些SIFT特征向量的 位置点称为SIlT特征点,当匹配出的特征点达到一 定数量,表明在图片中检测出了目标物体.
设空间匹配点集中元素总数为n,(名i,Yi)为点
第6期
盂浩,等:基于SIFT特征点的双目视觉定位
·65l·
集中的坐标,则该点集中心坐标为
n 1
孑=÷∑铂
(3)
。。i=l


一=÷∑Y 2 i上·Y1.
(‘44)J
。’‘=l
将中心坐标取整后作为标定点图像坐标.
3 双目视觉标定点计算
双目立体视觉¨叫11是对人双眼的模拟,人的双 眼从稍有不同的2个角度去观察三维世界的景物。 由于几何光学的投影,像点在左右两眼视网膜处在 不同的位置上.这种两眼视网膜上的位置差就称为 双目视差(简称视差),它反映了客观景物的深度. 双目立体视觉正是基于视差理论,用2个摄像机在 不同位置对同一物体成像,获取同一点的视差,再利 用视差测距原理计算深度信息.
sIFr特征向量的匹配主要就是对2幅待匹配 图像的SIFt特征向量进行相似性度量,计算第1幅 图像的每个局部特征点在待匹配图像的特征点集中 的最邻近匹配.这里使用欧氏距离作为特征点的相
似性度量.特征点a,b间的欧氏距离叱表示如下:
%=^/乏(口‘一bi)2,i∈(1,2,…,n).(1)
式中:n为特征向量的维数. 为了排除因为图像遮挡和背景混乱而产生的无
匹配关系的特征点,Lowe提出了通过比较最邻近距
离和次邻近距离来消除错配.
昔<尺,
。<尺“
(2)
式中:“i。为最邻近距离,“为次邻近距离,当他们
的比值小于距离比例阈值R时判定为正确匹配,否
则为错误匹配. 1.2 目标检测
可以利用SIlT特征匹配算法在待测图片中检
测出目标物体的前提是,拥有目标物体的模板图片. 该模板要求目标具有明显的特征,并且模板图片中 背景的特征尽可能少,即在模板图片中尽量去除目
万方数据
·650·
哈尔滨工程大学学报
第30卷
1.1.1 SIFr特征向量的生成 SIlTr特征向量的生成,包括检测尺度空间极值
点、精确定位极值点、指定特征点方向参数和生成特 征向量等步骤.
SIl7r特征匹配算法中尺度空间极值检测的主 要过程是:在尺度空间内,利用唯一的线性 核"别——高斯核建立高斯金字塔;构建DOG金字 塔;在DOG金字塔内进行极值检测.最后可以初步 确定特征点的位置及所在尺度.
obiect location technique for binocular stereo vision based on scale invariant feature transform feature points
MENG Hao,CHENG Kang (College of Automation,Harbin Ensineefing University,Harbin 150001,China)
and thus suitable SIFI"feature points were found.Then,by choosing matching points,computing the calibrated
pointg coordinates,and SO on,the calibration points of the object could be determined.These calibration points de— scribe the same spatial locations of objects in the left and right images.Finally,the three—dimensional coordinates of the calibration points were rebuilt in the cameras coordinate system.The results show that the method discussed has good robustness and practicability. Keywords:sivr feature points;binocular stereo vision;object location;feature matching
相关文档
最新文档