基于双目视觉的水下目标图像处理与定位技术研究
水下机器人双目立体视觉定位系统研究的开题报告
水下机器人双目立体视觉定位系统研究的开题报告（以下为开题报告正文）一、研究背景水下机器人作为一种具有广泛应用前景的智能装备，已经被广泛应用于海洋资源勘探、水下搜救、海洋环保等领域。
水下机器人在进行任务执行时，往往需要精准的定位和导航能力，而水下环境复杂，导致其探测范围受到较大限制，传统的GPS等定位手段在水下难以使用，这就需要开发出一种适用于水下环境的定位系统。
双目立体视觉作为一种非接触式三维测量手段，可以有效地消除传统单目视觉测量的缺陷，提高测量精度和稳定性。
在水下机器人领域，双目立体视觉技术也得到了广泛的应用，并取得了良好的效果。
因此，本文将重点研究水下机器人双目立体视觉定位系统。
二、研究目标本文旨在开发一种适用于水下机器人的双目立体视觉定位系统。
具体目标如下：1. 设计并搭建双目立体视觉系统；2. 研究水下机器人定位算法，提高其精度和稳定性；3. 在实际水下环境中验证水下机器人双目立体视觉定位系统的有效性。
三、研究内容本文研究的具体内容如下：1. 双目立体视觉系统的设计和搭建根据水下机器人的实际需求，设计一个适用于水下环境的双目立体视觉系统。
该系统应包括可靠的照明设备、高分辨率的相机以及稳定的图像传输设备。
2. 水下机器人定位算法的研究根据水下机器人实际需求，对双目立体视觉数据进行处理，提取出机器人所在位置和姿态的相关信息，并结合陀螺仪、加速度计等其他传感器数据，实现水下机器人的定位和姿态估计。
3. 水下机器人双目立体视觉定位系统的实验验证在实际水下环境中，使用研究开发的双目立体视觉定位系统对机器人进行测试和验证，评估其定位精度和稳定性，为后续实际应用提供可靠的技术保障。
四、研究方法本文将采用以下研究方法：1. 理论研究和文献综述对现有的双目立体视觉技术进行深入学习和分析，找出适用于水下机器人的双目立体视觉算法，并针对性地进行研究。
2. 硬件开发和系统集成根据研究开发需求，设计并搭建一个适用于水下环境的双目立体视觉系统，并将其集成到水下机器人中。
基于双目视觉的水下连接器位姿测量方法
舰船科学技术SHIP SCIENCE AND TECHNOLOGY第43卷第4期2021年4月Vol. 43, No. 4Apr., 2021基于双目视觉的水下连接器位姿测量方法陈瑞，王旭阳(上海交通大学船舶海洋与建筑工程学院，上海200240)摘 要：水下连接器的对接作业是水下工程作业的重要环节，针对目前依靠摄像机传回视频进行作业过程中 存在的操作难度大、依赖操作员经验的问题，设计基于双目视觉的水下连接器位姿测量方法。
该方法首先根据水下 连接器的颜色特征确定检测范围，之后在检测范围中以水下连接器为模板进行初步定位，然后根据水下连接器端面的成像特点检测椭圆特征，并进行双目匹配获得相关三维点坐标，最后计算得出水下连接器的位姿。
实验表明，该 方法位置测量平均误差1.3%,姿态测量平均误差3.5°,可以较好地为水下连接器对接作业提供参考。
关键词：水下作业；双目视觉；双目匹配；位姿测量中图分类号：TP242.3 文献标识码：A文章编号：1672 - 7649(2021)04 - 0064 - 04 doi ： 10.3404/j.issn.l672 - 7649.2021.04.013Pose measurement method of underwater connector based on binocular visionCHEN Rui, WANG Xu-yang(School of N aval Architecture, Ocean and Civil Engineering, Shanghai Jiaotong University, Shanghai 200240, China)Abstract: The docking operation of underwater connectors is an important part of underwater engineering operations.In view of the problems existing in the operation process of relying on the video returned by the camera, such as the diffi culty of operation and the dependence on the operator's experience, a method of underwater connector pose measurementbased on binocular vision is designed. This method firstly determines the detection range according to the color characterist ics of the underwater connector, and then uses the underwater connector as the template for preliminary positioning in the de tection range, then detects the ellipse characteristics of the end face of the underwater connector, and carries out binocular matching to obtain the relevant three-dimensional point coordinates, and finally calculates the position and orientation of theunderwater connector.Experiments show that this method has an average position measurement error of 1.3% and an attitude measurement average error of 3.5°, which can provide a good reference for underwater connector docking operations.Key words: underwater operation ； binocular vision ； binocular matching ； pose measurement0引言随着我国经济的快速发展，海上运输量逐年大幅度增长，船舶碰撞事故时有发生，因此出于海洋环保的需要，必须将沉船携带或装载的大量燃油或液体危险化学品回收，否则会造成严重的海洋污染事件。
基于深度学习的水下智能图像处理与目标检测技术研究
基于深度学习的水下智能图像处理与目标检测技术研究水下智能图像处理与目标检测技术是在水下环境中应用深度学习算法对水下图像进行处理和目标检测的一项重要研究领域。
水下环境具有复杂的光照条件、噪声干扰和散射等问题，因此传统的图像处理和目标检测算法在水下环境中的表现受到限制。
而深度学习技术的兴起为水下智能图像处理与目标检测带来了新的机遇。
首先，水下环境的复杂光照条件对水下图像质量造成了很大的影响。
传统的图像增强算法在水下条件下的效果有限，难以获得清晰的水下图像。
而基于深度学习的图像去雾和增强方法能够学习到水下图像中的特征，对图像进行去雾和增强，从而提高图像的质量。
这些方法利用卷积神经网络（CNN）对水下图像中的散射和噪声进行建模和学习，从而抑制噪声、消除散射现象，使得水下图像更加清晰。
其次，在水下环境中进行目标检测是一项具有挑战性的任务。
水下目标通常受到散射、噪声和水质等因素的影响，难以准确地检测和识别。
传统的目标检测算法在水下条件下的性能有限，因为它们无法对复杂的水下图像进行有效的特征提取和模式识别。
而基于深度学习的目标检测方法可以通过卷积神经网络（CNN）自动学习图像中的特征，从而更准确地检测水下目标。
这些方法通常利用大规模的水下数据集进行训练，以提高检测算法的鲁棒性和准确性。
与传统的水下图像处理和目标检测算法相比，基于深度学习的水下智能图像处理与目标检测技术具有以下优势：首先，基于深度学习的方法能够自动学习图像中的特征，无需手动设计特征提取器。
这使得算法更加灵活和自适应，能够适应不同的水下环境和目标特征。
其次，基于深度学习的方法具有更高的准确性和鲁棒性。
深度学习模型可以通过大规模数据集的训练获得更好的泛化能力，从而在水下环境中实现更准确的目标检测。
此外，深度学习方法还能够充分利用计算资源，进行并行计算和高效处理，加快水下智能图像处理与目标检测的速度。
然而，基于深度学习的水下智能图像处理与目标检测技术仍然面临一些挑战。
基于双目视觉的水下定位系统
Ｂｉ ｏ ｕ ａ ｉｉ ｎ ｂ ｓ ｄ ｌ ｃ ｔｎｇ ｓ ｓｅ ｏ ｎｄ ｒ ｔ ｒ ｉ ｓ ｃ ｉ ｎ ｎ ｃ ｌ ｒ ｖ ｓｏ ａ ｅ ｏ ａ ｉ ｙ ｔ ｍ ｆ ｒ ｕ ｅ ｗａ ｅ ｎ ｐｅ ｔｏ
Ｃ Ｎ Ｙ ａ — ｅ ＨＵ Ｋ ｎ — Ｕ，Ｇ ａ —ｈ ｎ ，ＧＵ Ｌｎｙ ＨＥ ｕ ｎｊ ，Ｚ ａ ｇＷ ｉ Ｅ Ｙ ｏｚ ｅｇ ｉ—ｉ
机 、 行器 （ 机 械 手 ， 执 如 电机 等 ） 组 成 。在 该 实 验 系 等
究 中心学 者将 目标 物体结 构模 型 法单 目视 觉应 用 于水 下机 器人 定位 。文献 ［ ］ ４ 中英 国学 者 Ｎ Ｈ ｌｎ ｈ ｒ 等 ． ｏｌ ｇ ｕｓ ｉ ｔ 人利用双 目视觉 控 制机 械 手抓 取物 体 ， 文献 ［ － ］ 别 ５６ 分 将双 目立体视 觉应用 于 曲线跟踪 和水下焊缝 的跟踪 。
应用 在单 目视 觉 定 位 上 ， 献 ［ ］ 中 国船 舶 科 学 研 文 ３ 中
１ 双 目立 体 视 觉 定 位 系 统 构 成
机器 视 觉 系 统 的 硬 件 一 般 由 视 觉 传 感 器 （ 像 摄 机）光源 、 、 滤光 片 、 图像 采 集 卡 、 图像 处 理 模 块 、 算 计
（ Ｖ） ｎｏｄ ｒｔ ｄ ｐ ｈ ｏ ｌｘｕ ｄ ｒ ｔｒｅ ｖｒｎ ｌｎ ，ａｓａｉｇｓｒ ｃｕｅｆｒｔｅｃ ｍｅａ ｔｏ ｆｕ ｄ ｒ ａｅ ａｉｒｔ ｎ ａ ｄ ＲＯ ．Ｉ ｒ ｅ ｏａ ａ ｔ ｅｃ ｍｐｅ ｎ ｅｗａｅ ｎ ｉｏ ｎｅ ｔ ｅ ｌ ｔｕ ｔｒ ｈ ａ ｒ ，ａ ｍｅｈ ｄ ｏ ｎ ｅ ｔｒｃｌ ａｉ ｎ ｔ ｎ ｏ ｗ ｂ ｏ
ａｎｗｍ ｔｏ ｂ ｃ ｌｃｔ ｇ ａｅ ｎｆ ｎ ａａ ｅ ｐａｅｔ ｎｆ ｍ ｔ ｎｗ ｒ ｄｓ ｎｄ ｘｅｉ ｅｔ ｅｕｔｓｏ ｅ ｃｕａｙａｄｓ ｂ ｉ ｅ ｅ ｄｏ ｏｊ ｔｏａｎ ｓｄｏ ｏ ｔ ｒｌ ｌ ｌｎ ａｓ ｒ ａｉ ｅ ｅｉ ｅ ．Ｅ ｐｒ ｎ ｓｌ ｗｔ ｃｒｃ ｎ ａｉｔ ｈ ｆ ｅ ｉ ｂ ｒ ｐ ｌ ｒ ｏ ｏ ｅ ｇ ｍ ｒ ｓｈ ｈ ａ ｔ ｌｙ
双目立体视觉的水下应用
双目立体视觉的水下应用从图像预处理、相机标定、立体匹配三个方面论述了双目视觉在水下场景的应用，比较了与空气环境中应用的不同，对水下双目视觉发展趋势做了分析。
标签：水下双目视觉；相机标定；立体匹配Abstract：This paper discusses the application of binocular vision in underwater scene from three aspects of image preprocessing，camera calibration and stereo matching，compares the application of binocular vision with that in air environment，and analyzes the development trend of underwater binocular vision.Keywords：underwater binocular vision；camera calibration；stereo matching引言双目立体视觉技术利用视差理论恢复像素的深度信息和三维坐标，通过获取左右两个视角下同时采集的两幅图像恢复三维场景信息，还原真实的三维世界，为导航提供目标的位置信息描述，是被动式视觉测量技术的一种。
作为计算机视觉的一个重要分支，双目立体视觉技术模型简洁，运算高效，有着广阔的应用前景。
而随着海洋科学技术的发展和人类对海洋资源探索的逐渐深入，双目视觉技术逐渐被应用到海洋探测，在对水下目标的监控、海底地形测绘、海流测量、水下军事设施的探测和侦查等方面都有着广泛的应用。
双目立体视觉系统模拟人眼，通过三角测量原理来获取图像的视差，进而得到目标三维信息，一般由以下几个功能模块组成：图像采集，相机标定，立体匹配，三维重建。
常规的双目视觉大多是在单一介质的空气中，而由于水下环境的特殊性，往往存在光的散射，吸收效应等不利因素的干扰，相关技术方法也应随环境作适应性调整。
基于机器视觉的水下机器人目标追踪
基于机器视觉的水下机器人目标追踪在当今科技飞速发展的时代，水下机器人在海洋探索、资源开发、科学研究以及军事等领域发挥着日益重要的作用。
而其中，基于机器视觉的水下机器人目标追踪技术更是成为了关键的研究方向。
水下环境与陆地环境截然不同，其复杂且恶劣的条件给目标追踪带来了巨大的挑战。
水下的光线散射、吸收严重，导致图像清晰度降低；水流的影响使得目标的运动轨迹变得不稳定且难以预测；水压、水温的变化也会对机器人的传感器和设备性能产生影响。
机器视觉作为水下机器人感知环境和追踪目标的重要手段，其原理主要是通过摄像头等图像采集设备获取水下场景的图像信息，然后利用图像处理和分析技术对这些信息进行处理和理解。
在这个过程中，图像的预处理是至关重要的一步。
由于水下光线的特殊性，采集到的图像往往存在噪声、模糊等问题，需要通过滤波、增强等操作来改善图像质量，为后续的目标检测和追踪奠定基础。
目标检测是水下机器人目标追踪的第一步。
常见的目标检测方法包括基于特征的检测和基于深度学习的检测。
基于特征的检测方法通常提取目标的形状、颜色、纹理等特征，并与预先设定的模板或特征库进行匹配。
然而，这种方法在复杂的水下环境中往往效果不佳，因为水下目标的特征可能会因为光线、水流等因素而发生变化。
基于深度学习的目标检测方法在近年来取得了显著的进展。
通过大量的水下图像数据进行训练，深度学习模型能够自动学习到目标的特征表示，从而提高检测的准确性。
但水下图像数据的获取相对困难，标注也较为复杂，这给深度学习方法的应用带来了一定的限制。
在目标追踪方面，常见的算法包括基于滤波的追踪算法和基于匹配的追踪算法。
基于滤波的追踪算法如卡尔曼滤波、粒子滤波等，通过预测目标的状态并结合观测值来更新目标的位置估计。
基于匹配的追踪算法则通过在连续的图像帧中寻找与目标模板最相似的区域来确定目标的位置。
然而，在水下环境中，目标的快速运动、遮挡以及环境的干扰都会导致追踪算法的性能下降。
基于深度学习的水下图像目标检测与识别
基于深度学习的水下图像目标检测与识别水下图像目标检测与识别是近年来深度学习技术在水下领域的研究热点之一。
由于水下环境的特殊性，如水下浑浊、光照不均等，传统的图像处理方法在水下图像处理方面存在一定的局限性。
利用深度学习技术，可以提高水下图像目标检测与识别的准确度和效率，对水下探测、海洋科研、水下机器人等领域具有重要意义。
深度学习是一种模仿人类神经网络的机器学习方法，通过建立多层神经网络，使得计算机可以从数据中进行学习和自主发现模式。
在水下图像目标检测与识别中，深度学习技术主要包括卷积神经网络（Convolutional Neural Network，CNN）和目标检测模型。
卷积神经网络是深度学习在图像处理领域的重要应用之一。
其特点在于可以自动从原始数据中提取特征，通过多个卷积、池化等层次的处理，逐渐提取出具有语义信息的特征。
针对水下图像目标检测与识别，研究者们通过构建不同的卷积神经网络模型来提高模型对水下图像的理解能力。
例如，YOLO（You Only Look Once）模型将目标检测问题视为一个回归问题，通过一次前向传播即可得到目标的坐标和类别信息，大大提高了检测速度。
Mask R-CNN则结合了目标检测和目标分割的任务，可以实现对水下图像中目标的精确定位。
除了卷积神经网络，另一个关键技术是目标检测模型。
传统的目标检测方法如滑动窗口、图像分割等在水下图像处理中的适应性较差。
随着深度学习的发展，基于深度学习的目标检测方法逐渐成为主流。
其中，常用的目标检测模型包括FasterR-CNN、SSD等。
这些模型通过提供边界框和类别信息，实现对水下图像中的目标进行快速而准确的定位。
在具体的水下图像目标检测与识别任务中，首先需要建立一个包含大量水下图像的训练集。
这些图像需要包含不同种类的水下目标，如鱼类、珊瑚、海藻等。
在选择训练集时需要注意，图像的数量越多、种类越丰富，模型对不同目标的识别能力就越强。
其次，需要进行数据预处理，包括图像增强、尺寸调整等，以提高模型的泛化能力。
基于图像处理的水下机器人视觉导航技术研究
基于图像处理的水下机器人视觉导航技术研究随着科学技术的不断发展，越来越多的技术应用在了人们的生活和工作中，其中之一就是水下机器人视觉导航技术。
为了使水下机器人能够自主地完成任务，良好的视觉导航技术是不可或缺的。
一、水下机器人视觉导航技术的意义水下环境是一个高度复杂、多变的环境，有很多不可控的因素，如水流、水质、深度等。
传统的水下机器人依靠人工遥控，但是这样不仅效率低下，而且操作性很差，而基于图像处理的水下机器人视觉导航技术可以通过算法对水下沉船、水下海底管道等目标进行识别和定位。
这种技术不需要人工干预，能够自主地探测水下环境，并提供可靠的数据和信息，为科学研究和应用提供重要的支持。
二、图像处理技术在水下机器人视觉导航技术中的应用图像处理技术是水下机器人视觉导航技术的重要组成部分，通过对水下图像的处理和分析，可以实现水下机器人的自主导航和任务执行。
目前，常用的水下图像处理技术有图像去噪、图像增强、目标检测和跟踪等。
1.图像去噪水下环境中的噪声很多，这会干扰图像的识别和分析。
图像去噪功能是将图像中的噪声去除，使图像更加清晰和准确。
该技术在水下机器人视觉导航技术中扮演着重要的角色。
2.图像增强水下环境光线较差，图像亮度不均匀，这会影响机器人对目标的准确性。
通过对图像进行增强，可以使图像中目标更加清晰和明显，提高机器人的识别能力。
3.目标检测和跟踪在水下环境中，海底生物、海底岩石和遗留在水底的物品等都可能成为机器人识别的目标，通过目标检测和跟踪技术，可以将机器人的注意力集中在目标上，提高机器人的探测效率。
三、水下机器人视觉导航技术的发展前景水下机器人视觉导航技术是未来水下探测和开采的重要技术创新方向之一。
随着科学技术的不断发展和提高，水下机器人的应用领域也越来越广泛。
除了科学研究、海洋资源开发等领域，水下机器人在军事、消防和救援等领域也有很大的应用潜力。
未来，随着水下机器人的技术不断提高，水下机器人视觉导航技术将更加智能化和自主化，为水下环境中的探测和开采提供更加可靠、高效和精确的服务。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于双目视觉的水下目标图像处理与定位技术研究自主式水下运载器-机械手系统(Autonomous Underwater
Vehicle-Manipulator System,AUVMS)是一种无人无缆自主地进行海洋环境作业的装备。
及时准确地获取水下目标物信息是AUVMS自主完成水下作业任务的前提。
水下目标物信息获取主要有声视觉和光视觉两种方式,相对于声视觉,光视
觉在水下近距离作业中具有更高分辨率,是目前AUVMS作业主要信息获取方式。
本文以光视觉为基础,研究水下目标图像处理与定位技术,这对于提高AUVMS的
自主作业能力具有重要的研究意义和实用价值。
本文以AUVMS自主完成水下作业任务为背景,研究基于双目视觉的水下目标图像处理与定位技术,主要包括图像降噪、图像分割和目标定位方法,在这些方法研究的基础上,研制一套基于非平行双目的水下目标定位系统,该系统旨在准确、稳定且快速地获取AUVMS所需的目标信息,配合课题组研制的AUVMS完成真实的水下自主作业任务。
本文的主要研究内容概述如下:(1)研究水下图像降噪方法。
典型空间域和变换域的图像降噪方法处理水下图像时,受多种噪声叠加的干扰,降噪结果中存在图像模糊加重、甚至大量图像信息消除等问题。
针对此问题,本文提出一种基于陷波滤波和双边滤波的水下图像降噪方法,该方法通过结合陷波滤波、中值滤波和双边滤波方法,以实现对不同图像噪声的降噪处理。
不同于典型的高斯滤波和中值滤波方法中采用固定窗口进行降噪的思路,本文方法通过判断邻域内像素值特征来改变滤波窗口的大小,并且增加相似性判断函数来提高降噪效果;不同于小波方法对分布较一致的小波系数进行置零处理的思路,本文方法中通过估计邻域的方差来确定权值函数,以提取噪声的主频率分量,来降低图像噪声。
通过水下图像降噪对比实验验证本文降噪方法的有效性。
(2)研究水下图像分割方法。
为满足AUVMS自主作业对图像处理的要求,本文采用耗时较少的典型阈值分割方法和灰度化方法(NTSC方法和ELSSP方法)处理水下图像时,受灰度图像中部分目标区域与背景区域间的对比度较低等因素影响,分割结果中存在的目标与背景粘连、目标分割不完整、分割耗时较长等问题。
针对此问题,本文提出一种基于RGB通道融合的水下彩色图像分割方法,该方法以NTSC方法为基础,利用RGB三通道间局部对比度的差异性,来动态调整RGB彩色通道融合的对应权值,以增强灰度图像中目标与背景间的对比度,进而
便于典型阈值方法快速准确地分割出目标物。
不同于NTSC方法中固定融合权值及ELSSP方法中未考虑像素坐标的处理思路,本文方法利用RGB三通道间局部对比度的差异性,来实现融合权值的动态调整,并且综合分析像素值和像素坐标,以获得更准确的局部对比度信息。
通过多组水下图像分割对比实验验证本文分割方法的有效性。
(3)研究水下目标定位方法。
综合考虑多种摄像机畸变类型,建立不同摄像机模型,并改进张正友方法,以完成本文不同摄像机模型的参数标定,并且通过对模型性能进行测试,以确定最适合本文所用的两个摄像机的摄像机模型。
由于本文两个摄像机的性能参数、拍摄角度和拍摄距离存在差异,导致两幅图像中对应区域的像素值差别较大且难以获得多组匹配点对,进而导致典型的区域匹配和特征匹配方法均难以适用于本文环境的问题。
针对此问题,本文双目立体匹配方法中仅匹配两幅图像中目标像的中心点,一方面避免了错误匹配,另一方面降低了算法耗时。
由于本文AUVMS自主作业过程中,两个摄像机间相对位置不断发生变化,导致出现目标物脱离视场和反复进
出视场的情况,进而导致双目方法难以获得稳定的目标三维位置数据的问题。
针对此问题,本文提出一种双目与单目相结合的水下目标定位方法,该方法在利用双目定位数据得到目标尺寸信息的基础上,进行单目定位,以获得稳定的目标位置测量数据。
通过水下多组对比实验验证本文定位方法的有效性。
(4)研制基于非平行双目的水下目标定位系统。
在本文降噪、分割和定位方法研究基础上,研制一套基于非平行双目的水下目标定位系统,用于配合课题组AUVMS完成真实水下自主作业任务。
在定位系统配合AUVMS进行自主作业实验研究中,本文分割方法在处理实际作业图像时,粗分割处理受作业图像中H和I通道中目标与背景分离性较差特点的影响,导致部分图像的分割结果中存在目标与背景粘连、目标分割不完整等问题,针对此问题,对本文分割方法进行改进,并通过水下分割实验验证改进方法的有效性。
本文定位方法应用于实际作业环境时,由于AUVMS机械结构及双目结构的特殊性,导致难以安装高精度标定板,使得采用典型靶标方法获得高精度在线变焦标定结果和外参标定结果等问题,本文提出一种离线与在线相结合的定位系统标定方法,该方法包括两部分:离线变焦标定方法和离线与在线结合外参标定方法,变焦标定方法在多次试验确定变焦次数和变焦程度的基础上,通过离线标定得到所需的变焦标定数据,并确定摄像机进行变焦的具体时刻;外参标定方法利用安装在机械手关节处的传感器输出的关节角度信息,来获得在线外参数据,通过水下实验验证标定方法的有效性。
最后,通过AUVMS水下自主作业实验系统地验证本文定位系统及本文降噪、分割和定位方法的有效性。