基于米勒矩阵的水下成像技术
水下目标探测与识别技术
2.3.5 选通ICCD摄像机的方法
❖ ICCD摄像机主要分为非选通型和选通型两类： ❖ 非选通ICCD摄像机本身没有光快门，不具有快速开关的功能，
主要用于对微弱光图像信号的增强和放大； ❖ 选通ICCD摄像机是由具有快速开关功能的像增强器通过光纤
光在水下的衰减
❖ 水对光谱中紫外和红外部分表现出强烈 的吸收。这是由于水分子在这些谱带上 强烈的共振造成的。紫外共振起因于电 子的激发，红外共振起因于分子激发。
❖ 大部分波段的光在水下传播时都会受到强烈的吸收衰减，只有波长 在 0.5nm 左右波段的蓝绿光在水中的吸收衰减系数最小，穿透能力 最强，而且此波段又处于电磁波的“大气窗口”。
实现方法：
❖ Matlab图像处理函数； ❖ VC6.0以上版本编程； ❖ OpenCV（Open Source Computer Vision Library）专
业图像处理软件，结合Visual Studio 2005以上版本实现； ❖ Kinect ， OpenGL （ Graphics Library ） ， OpenNI
长基线带来的问题：
❖ 但实际上，长基线会引起下面两个问题: ❖ 引起双目系统联合视域缩小。随着基线的增加，区域离双目摄像机
会越来越远，使这个距离内的目标不可见。换用大视角镜头可以克 服这个难题，但同时大视角镜头又会引发严重畸变等其他问题。 ❖ 增加立体匹配的难度。两个摄像机分别从不同角度观察同一目标， 所以观察到的目标有轻微不同，当基线加长，两摄像机观察到的目 标的差异增大，两幅图像的相关性下降，导致立体匹配更加困难。
❖ 在该系统中，非常短的激光脉冲照射物体，照相机快门打开的时间相 对于照射物体的激光发射时间有一定的延迟，并且快门打开的时间很 短，在这段时间内，探测器接收从物体返回的光束，从而排除了大部 分的后向散射光。
水下目标搜索与识别技术
水下目标搜索与识别技术 水下目标搜索与识别系统一般分为光视觉系统和声视觉系统，当距离物体十米以内，一般采用光视觉系统，当距离物体大于十米以上时则用声视觉系统。当前流行的趋势是采用激光的方式来进行目标搜索与识别。 一． 光视觉系统 传统的光视觉系统包括水下摄像机、照明等设备用来满足获取光学图像和视频信息等基本的要求。而现在的光视觉系统不仅要求满足上述要求，还要求具备对图像和视频信息进行处理、特征提取以及分类识别的功能。总之，只能水下机器人中光视觉系统的使命是：快速、准确德获取水下目标的相关信息，并对信息进行实时处理，将处理结果反馈给计算机，从而指导机器人进行正确的作业。 1.光视觉系统框架 水下光视觉系统主要分为三大块：(1)底层模块:图像采集系统，包括专用水下CCD感光摄像头和图像采集卡，这部分属于硬件部分；(2)中层模块：图像处理，包括图像预处理、图像分割、特征提取、根据目标模型进行学习，形成知识库和逻辑推理机制，得到单幅图像的初步理解和评价。(3)高层模块：分类是水下目标识别最为核心的技术，也是最终实现部分。 1.1硬件组成 光视觉系统硬件包括光视觉计算机、水下CCD摄像头、云台和辅助照明灯。光视觉计算机完成视觉建模、高层视觉信息处理和理解、与机器人主控计算机的网络通讯，实时监控系统每个时间节拍的运行状态与处理参数。 1.2软件体系 水下光视觉系统的软件体系涵盖了两个部分：中层模块和高层模块。中层模块主要负责图像处理工作(图像处理一般包括图像预处理、图像分割和特征提取三方面)。高层模块是水下目标识别系统的最终实现部分，一般采用的是神经网络识别算法进行识别分类。 二． 声视觉系统 理想的声视觉系统作为智能水下机器人的传感设备，应该具备灵敏度高、空间分辨率高、隐蔽性好、抗干扰能力强、自主调节和全天候作业等特点，能适合探测弱目标和鉴别多目标的需要。同时它能在比较复杂的人为干扰和自然干扰下，实现对目标的自动识别和跟踪选择。声视觉系统最终要完成的任务是目标的自动定位、分类识别以及对运动目标实现跟踪，而完成这一任务的核心和前提条件是拥有一台高分辨率水声探测设备。目前较常用的是多波束声纳系统。 2.1声纳成像技术 随着科学技术的进步，声纳技术得到了突飞猛进的发展。成像声纳的发展速度也很快，已有了接近光学质量的声全息成像实验系统、声透镜成像系统等。尽管这些成像系统的声成像质量较好，但实用性较差。目前技术比较成熟、使用也较多的成像声纳为侧扫声纳和扇扫声纳(前视声纳)。 侧扫声纳是探测海洋的重要工具之一。侧扫声纳为一高频拖曳声纳，其换能器阵一般安装在水下拖曳体的两侧。由母船拖曳在距海底15米左右的距离上工作，波束探测方向与舰体行进方向垂直。由于工作频率高，因而具有较高的解像度，可对海底地形地貌及沉没船只、飞机的残骸进行清晰的解读。 扇扫声纳的研究开展较晚，但发展很快，现已广泛应用于探雷、定位、避障等水下作业中。目前国际上己经用在水下机器人上的扇扫声纳主要分三大类:(1)单波束机械扫描声纳：它由机械旋转的单波束形成全方位或某固定扇面内的扫描来完成探测。结构简单，价格便宜，但成像速率较低；(2)多波束预成电子扫描声纳：具有较高的成像速度，但由于旁瓣的作用，图像质量略逊于单波束机械扫描声纳。(3)三维成像声纳：它能够获得距离、水平、垂直三维空间的目标信息。前两类声纳都只在距离和角度方向具有分辨能力，因而仅能获得目标的二维信息。 2.2水声图像处理技术 随着声纳技术成像和数字成像技术的发展，水声图像处理的研究也随之进入了新的阶段。其主要研究方向包括:(1)图像的增强：改善图像的视觉效果，加强图像的有用信息，削弱干扰和噪声；(2)图像的恢复：把退化模糊的图像复原；(3)图像的编码：简化图像的表示，压缩表示图像的数据，以便于存储和传输。 (4)图像的重建：由二维图像重建三维图像；(5)图像的分析：对图像中的不同对象进行分割分类识别和描述解释等。 此外，声纳图像本身分辨率不高，噪声严重，也给水下目标探测带来了很大的困难。因此在实际应用中，我们有必要寻找到适合水声图像物理背景的处理方法。近年来，国内外陆续开展了成像声纳的研制和水声图像处理的研究工作。水声图像处理的研究主要集中在侧扫声纳和扇扫声纳的单帧图像处理和序列图像处理方面。 (1)侧扫声纳图像处理 随着多波束高分辨率侧扫声纳技术的日趋成熟，国外己有侧扫声纳方面的产品问世。目前侧扫声纳图像处理应用的技术有阴影技术、纹理分析技术、数学形态学方法和神经网络分类技术等。 (2)扇扫声纳图像处理 随着声纳技术和信号处理技术的发展，扇扫声纳从早期的单波束机械扫描声纳发展到目前的预成多波束电子扫描声纳。这提高了成像速度和分辨率。目前己有扇扫声纳方面的产品问世，如SeaBat6012等。扇扫声纳图像的预处理通常采用光学图像处理技术，图像识别采用的方法有基于模板的投票法、神经网络分类技术和模板匹配技术等。 (3)声纳序列图像处理 与光学图像相比，声纳图像分辨率低，干扰强，仅凭一幅静止的图像往往很难准确地识别目标。时间序列图像较单帧图像能提供更多的信息，将更有利于目标的识别。因此，近年来人们开始把研究重点转移到了序列图像的处理方面。 2.3水下目标识别与跟踪 水下目标识别技术就是从水声信号中提取水下目标特性并对目标进行分类识别的技术。水下目标包括舰船、潜艇、水雷、鱼群、海底沉物、地貌底质等。水下目标识别一般要求回波信号符合大信噪比条件，分为瞬态回波信号识别和水声图像信号识别两种。前者用于识别航行舰艇，直接能对目标回波或目标噪声信号进行实时辨别，类似语音识别;后者多用于静态目标如海底沉船水雷和地层介质结构等识别。两者都是属于目标识别范畴，因此都要经过特征提取、分类判决等几个过程。其中关键的是目标声特征的描述和提取方法，它长期以来一直是水下目标特性研究的重点。早期的目标识别主要根据目标噪声或回波的波形音调、节奏分布特性。20世纪70年代后，目标回波的亮点分布结构起伏和展宽特性以及目标噪声的线谱分布特性均可作为目标的特征量。但由于目标本身以及声传输信道的复杂性，目标特征量及其数量的选取问题还始终是有待解决的间题。80年代以来，目标识别技术广泛引入了近代信号处理技术，如高分辨谱估计、自适应滤波、时频分布、子波变换等，为目标特征量提取和数据压缩提供了方便，而且更接近于人类生理功能的人工神经网络分析将目标识别过程进一步智能化。 由于目前预成多波束高频声纳及高分辨率成像声纳的发展，使得用于水下目标自动识别系统的目标特征信息的提取技术得到发展，对声纳图像的自动解释一般可分为三个步骤:图像处理、特征提取及目标识别。为了适应水下机器人自动化的要求，水声图像的自动解释和目标检测显得尤为重要。 目标的检测与跟踪是基于对一个图像序列的研究，力图从复杂的背景中检测甚至辨认出运动目标，并且对目标运动的规律加以预测，实现对指定的目标进行准确且连续的跟踪。水下目标检测是实现水下机器人的避碰作业和目标跟踪作业的前提。而要完成水下目标的跟踪，则必须把不同时刻的声纳图像中的多个目标进行对应和套准，然后根据目标瞄准点进行跟踪，对目标进行运动估计。 三． 水下激光目标探测 1963年，人们在研究光波在海洋中的传播特性时，发现海水对0.47～O.58nm波段内的蓝绿激光的衰减比对其他波段的衰减要小得多，从而证实了在海水中存在一个理想的透光窗口。这一物理现象的发现使激光水下探测成为可能。 3.1水下成像技术 光在水中传播．接收器接收的光信息主要由3部分组成：从目标反射回来并经水介质吸收、散射损耗后的成像光束：光源与目标之间水介质散射的影响图像对比度的后向散射光：目标与接收器之间水介质散射较小角度并直接影响目标细节分辨率的前向散射光。与大气成像技术相比，水下成像技术的研究重点就是减小水介质所具有的强散射效应和快速吸收功率衰减特性对水下通信、成像、目标探测所造成的影响。目前主要有几种成像技术在实际中得到应用且达到较好的工作效果．它们的工作原理和技术特点如下所述。 (1)同步扫描成像：同步扫描技术是扫描光束(连续激光)和接收视线的同步．利用的是水的后向散射光强相对中心轴迅速减小的原理。该技术采用准直光束点扫描和基于光电倍增管的高灵敏度探测器的窄视域跟踪接收。 (2)距离选通成像：距离选通技术是利用脉冲激光器和选通摄像机，以时间的先后分开不同距离上的散射光和目标的反射光。使由被观察目标反射回来的辐射脉冲刚好在摄像机选通工作的时间内到达摄像机并成像。 (3)偏振光水下成像：偏振成像技术是利用物体的反射光和后向散射光的偏振特性的不同来改善成像的分辨率。激光波长与海水及海水中悬浮颗粒和有机物分子的尺寸相当。其相对折射率为1.00-1.15。一般遵从瑞利或米氏散射理论。根据散射理论，悬浮粒子后向散射的退偏振度小于物体后向散射光的退偏振度。如果在水下用偏振光源照明．则大部分后向散射光也将是偏振的。如果采用适当取向的检偏器对后向散射光加以抑制．从而可是图像对比度增强。 (4)水下激光三维成像：条纹管成像激光雷达可提供很好的三维信息。其原理是通过测量短脉冲激光在发射机与目标之间的往返时间，来还原出目标的距离像。目标的距离信息首先转换成为回波信号的时间信息。即回波的时间先后，然后又通过条纹管转换成为条纹像的空间信息。该技术使用脉冲激光发射器和时间分辨条纹管接收器。 3.2相关器件的发展 水下成像系统中的关键器件有两个：(1)高效率、高功率以及高脉冲频率的长寿命的激光器；(2)具备高速外触发功能、高分辨率、高灵敏度、低噪声、足够的增益动态范围的接收器。 (1)激光器：水下成像系统中可供选用在蓝绿光谱区域(450—550nm)发光的高效能激光器种类有很多。如通过倍频产生绿光的钕玻璃激光器和Nd：YAG激光器：通过喇曼下转换产生蓝绿光的氯化氙(XeCI)激光器和氟化氙激光器：直接输出蓝绿光的氩离子激光器、高脉冲能量染料激光器、铜蒸气激光器和溴化汞(HgBr)准分子激光器等，这些都有自己的优点和缺点。目前正在研究的是LD泵浦LiSAF类激光器。LiSAF是一种迄今为止综合指标最好的可调谐激光材料。该激光器波长最佳又可调，易于与最理想的窄带滤波器铯原子滤波器匹配。并可适用于不同海区最佳透射波长的少量变化。与钛宝石系统相比．转换环节简化。效率提高，且体积、重量、能耗均有减少。另外，LD泵浦LiSAF类激光器可直接采用LD泵浦。可靠性提高。大大延长了使用寿命。 (2)接收器：目前水下成像系统使用的光电成像传感器主要有：高灵敏度CCD成像器件、微光ICCD成像器件、电子轰击CCD(EBCCD)成像器件、电子倍增CCD(EM-
水下目标搜索与识别技术
水下目标搜索与识别技术水下目标搜索与识别系统一般分为光视觉系统和声视觉系统，当距离物体十米以内，一般采用光视觉系统，当距离物体大于十米以上时则用声视觉系统。
当前流行的趋势是采用激光的方式来进行目标搜索与识别。
一．光视觉系统传统的光视觉系统包括水下摄像机、照明等设备用来满足获取光学图像和视频信息等基本的要求。
而现在的光视觉系统不仅要求满足上述要求，还要求具备对图像和视频信息进行处理、特征提取以及分类识别的功能。
总之，只能水下机器人中光视觉系统的使命是：快速、准确德获取水下目标的相关信息，并对信息进行实时处理，将处理结果反馈给计算机，从而指导机器人进行正确的作业。
1.光视觉系统框架水下光视觉系统主要分为三大块：(1)底层模块:图像采集系统，包括专用水下CCD感光摄像头和图像采集卡，这部分属于硬件部分；(2)中层模块：图像处理，包括图像预处理、图像分割、特征提取、根据目标模型进行学习，形成知识库和逻辑推理机制，得到单幅图像的初步理解和评价。
(3)高层模块：分类是水下目标识别最为核心的技术，也是最终实现部分。
1.1硬件组成光视觉系统硬件包括光视觉计算机、水下CCD摄像头、云台和辅助照明灯。
光视觉计算机完成视觉建模、高层视觉信息处理和理解、与机器人主控计算机的网络通讯，实时监控系统每个时间节拍的运行状态与处理参数。
1.2软件体系水下光视觉系统的软件体系涵盖了两个部分：中层模块和高层模块。
中层模块主要负责图像处理工作(图像处理一般包括图像预处理、图像分割和特征提取三方面)。
高层模块是水下目标识别系统的最终实现部分，一般采用的是神经网络识别算法进行识别分类。
二．声视觉系统理想的声视觉系统作为智能水下机器人的传感设备，应该具备灵敏度高、空间分辨率高、隐蔽性好、抗干扰能力强、自主调节和全天候作业等特点，能适合探测弱目标和鉴别多目标的需要。
同时它能在比较复杂的人为干扰和自然干扰下，实现对目标的自动识别和跟踪选择。
声视觉系统最终要完成的任务是目标的自动定位、分类识别以及对运动目标实现跟踪，而完成这一任务的核心和前提条件是拥有一台高分辨率水声探测设备。
水下远距离全视景成像特性分析
水下远距离全视景成像特性分析水下远距离全视景成像特性分析随着科技的不断发展，水下远距离全视景成像技术在海洋研究、水下探测和水下工程等领域中起着越来越重要的作用。
全视景成像技术能够提供高质量的水下图像，帮助人们更好地了解海洋环境、监测水下物体和设施。
本文将对水下远距离全视景成像的特性进行分析和探讨。
水下环境与陆地环境相比，具有复杂的光学特性。
水的折射、散射和吸收是水下成像中需要考虑的关键因素。
光线在水中的传播路径与在空气中有很大差异，因此水下光线的传播特性对于全视景成像至关重要。
水下远距离全视景成像技术需要充分考虑水下环境的影响，以保证图像的清晰度和准确性。
在水下远距离全视景成像中，光照的均匀性是一个重要的特性。
由于水中的散射和吸收，光线在传播过程中会逐渐减弱，导致图像的亮度不均匀。
因此，为了获得均匀的光照分布，全视景成像系统需要具备光照补偿的功能。
光照补偿的方法包括增加光源强度、调整光源角度和使用光学滤光片等。
通过这些方法可以提高图像的亮度均匀性，增强图像的质量。
在水下远距离全视景成像中，图像的失真也是一个需要考虑的特性。
由于水的折射和散射作用，水下图像存在形变和模糊的问题。
为了解决这个问题，全视景成像系统需要进行几何校正和图像清晰化处理。
几何校正可以通过计算折射和散射的强度来恢复图像的原始形状和尺寸。
图像清晰化处理可以通过降噪、对比度增强和边缘增强等技术来提高图像的清晰度和细节。
水下环境的多样性也是水下远距离全视景成像技术需要考虑的特性之一。
不同深度、不同海域和不同水质条件下的水下环境存在巨大差异。
全视景成像系统需要具备自适应性能，能够根据不同的水下环境参数进行调整和优化。
例如，根据水的吸收系数和色散系数，可以选择适当的光源和滤光片，以提高图像的对比度和色彩还原度。
根据水的浑浊程度，可以调整光源的强度和角度，以提高图像的清晰度。
此外，在水下远距离全视景成像中，图像的处理速度也是一个重要的特性。
水下光电成像系统计算机仿真
水下光电成像系统计算机仿真摘要：为进行水下目标探测，该文针对Jaffe模型的不足，利用小角度近似原理，建立了水下光电成像系统的理论模型。
考虑散射光的影响，给出了给定距离处的水下成像面各像素的信号辐射量的计算方法和对比度模型。
对常规激光助视水下成像探测系统进行了仿真，研究了光源系统和接受系统的距离与成像对比度的关系。
与Jaffe模型相比，该文所建模型中变量的物理意义更加明确，而仿真结果与其类似，证明该文所述方法的正确性。
水下光电成像探测系统在海洋探测、水下兵器试验等方面有着越来越重要的应用[ 1，2 ] 。
水下光电成像探测系统的主要类型包括：摄像机- 光源紧凑型、摄像机- 光源分开型、距离门选通型和激光同步扫描型。
这些不同类型的水下成像探测系统在不同的场合均有不同的应用。
符合实际的水下成像系统模型有广泛的应用，它可以为系统设计、后续图像处理算法研究、水下图像识别等提供重要的指导[3] ;也可以为海水光学特性研究和测量提供更加便利和快捷的方法，例如人们研究发现海水的相位函数和传递函数之间存在傅里叶变换的关系，从而为相位函数的计算提供了便利[4] 。
研究人员对水下光电成像探测系统的系统建模作了大量工作：Tan等人[5]研究了短距离工作时的距离门选通水下光电成像探测系统的计算模型，黄有为等人[6]研究了基于光束空间展宽的水下前向散射成像模型，Jaffe[7]分析了同步扫描水下成像的性能极限，Rampolla基于后向散射效应给出了激光助视光电成像系统的理论模型[8] 。
在这些模型中，除Jaffe外，均没有考虑整个系统的成像过程，虽然Jaffe考虑小角度散射原理所建立的模型最为贴近实际，但在其模型中，并没有给出各种参量的具体计算方法。
本文针对Jaffe模型的不足利用小角度近似原理，建立了水下光电成像系统详细的数学计算模型，给出了仿真步骤，得到仿真结果。
与Jaffe模型相比，本文所建模型中各项的物理意义更加明确，而仿真结果与其模型类似，表明本文所述方法的正确性。
水下航行器视觉控制技术综述
水下航行器视觉控制技术综述高 剑, 何耀祯, 陈依民, 张元旭, 杨旭博, 李宇丰, 张桢驰(西北工业大学 航海学院, 陕西 西安, 710072)摘 要: 视觉控制是通过视觉信息进行环境和自身状态感知的一种控制方式, 文中将该技术应用于水下航行器控制, 并对不同应用场景下的相关研究进展、难点与趋势进行分析。
首先介绍水下航行器视觉控制技术发展现状与任务场景, 然后对水下图像增强、目标识别与位姿估计技术进行介绍, 并从水下视觉动力定位与目标跟踪、水下航行器对接及水下目标抓取作业等3个任务场景, 对水下航行器视觉控制技术发展现状进行总结和分析, 最后梳理了水下航行器视觉控制技术的难点与发展趋势。
关键词: 水下航行器; 水下视觉; 视觉控制中图分类号: TJ630; U674.941 文献标识码: R 文章编号: 2096-3920(2024)02-0282-13DOI: 10.11993/j.issn.2096-3920.2023-0061Review of Visual Control Technology for Undersea VehiclesGAO Jian, HE Yaozhen, CHEN Yimin, ZHANG Yuanxu, YANG Xubo, LI Yufeng, ZHANG Zhenchi (School of Marine Science and Technology, Northwestern Polytechnical University , Xi’an 710072, China)Abstract: Visual control is a control method that utilizes visual information for environmental and self-state awareness. In this paper, this technology was applied to control undersea vehicles, and relevant research progress, challenges, and trends in different application scenarios were analyzed. The current development and task scenarios of visual control technology for undersea vehicles were first introduced, mainly focusing on underwater image enhancement, target recognition, and pose estimation technologies. The current development of visual control technology for undersea vehicles was then summarized and analyzed based on three task scenarios: underwater visual dynamic positioning and target tracking, undersea vehicle docking, and underwater operational tasks such as target grasping. Finally, the challenges and development trends of visual control technology for undersea vehicles were outlined.Keywords: undersea vehicle; underwater vision; visual control0 引言水下航行器因具备工作时间长、航行范围广、用途灵活、风险小及维护成本低等特点, 已成为一种可代替人类在水下复杂环境下完成任务的机器人平台。
科技成果——基于ROV的水下结构物声光成像测量系统
科技成果——基于ROV的水下结构物声光成像测量系统技术开发单位
上海遨拓深水装备技术开发有限公司、上海勘测设计研究院有限公司
成果简介
1、基于ROV的高精度、高清晰的声学系统与光学系统相结合的方法，应用于水下结构物的识别和测量。
2、可扩展性（模块结构）、分布式（总线通讯）视觉信息采集与控制系统。
3、一套可以图像处理并对获得的信息进行再次提取和自我甄别的人机交互软件系统。
主要性能指标
1、适用水深：0-500米。
2、声学成像系统：实现球面扫描和单角度扫描控制
3、精细的水下3维图像点云数据，精度可达厘米级
4、光学成像系统：光源可调、多自由度可控的云台。
适用范围
利用ROV遥控潜器搭载多种成像系统对大坝、涵洞、闸门等水下结构进行近距离观察测量。