一种光学遥感图像船舶目标检测技术

合集下载

光学遥感图像舰船目标检测算法研究

光学遥感图像舰船目标检测算法研究光学遥感图像舰船目标检测算法研究随着遥感技术的发展，光学遥感图像的应用越来越广泛，其中，舰船目标检测是其中的一个重要研究方向。

在军事、海事、气象等领域，舰船的位置和数量信息是至关重要的。

本文将介绍一种基于卷积神经网络的光学遥感图像舰船目标检测算法。

该算法通过将原图像分为多个区域进行遍历，采用神经网络将像素点分类为舰船或背景两类。

在网络训练阶段中，将数据集中的图像归一化处理，并对像素进行标注，将其分类为舰船或背景。

采用交叉熵误差函数进行网络训练，在模型训练完成后，通过在测试集上的预测，进行模型准确性的评估。

在实现过程中，首先进行图像预处理，包括图像归一化、图像增强等操作，提高图像质量。

其次，将图像通过滑动窗口的方式进行分块处理，得到多个子图像。

然后将每个子图像输入到训练好的神经网络中进行分类，得到舰船位置信息。

最后，在舰船位置信息上进行非极大值抑制，消除多余的舰船位置，得到最终的舰船目标检测结果。

该算法的优点在于能够自适应地处理具有不同尺度的舰船目标，同时将图像分块处理，减少运算量，提升检测效率。

此外，采用卷积神经网络进行分类，能够有效地提高模型的鲁棒性和准确性。

本文介绍了一种基于卷积神经网络的光学遥感图像舰船目标检测算法，并在实验中验证了其有效性。

随着计算机技术和遥感技术的发展，类似的算法还有很大的应用潜力。

相关数据：光学遥感图像数据、舰船目标检测算法预测结果数据、真实舰船位置数据、模型准确率数据。

这些数据的分析和统计能够提供模型的表现和预测结果的质量信息。

下面对这些数据进行分析：光学遥感图像数据：光学遥感图像是舰船目标检测算法的输入数据，其质量和分布会对模型的表现产生影响。

通过对光学遥感图像数据的统计分析，可以发现遥感图像数据存在不同尺寸、亮度、对比度的差异，需要对图像进行预处理和增强，以提高模型的准确性。

另外，光学遥感图像数据的分布也具有空间相关性，需要考虑空间信息的影响。

光学遥感图像船只目标检测识别技术

第42卷第3期遥测遥控V ol. 42, No. 3 2021年5月Journal of Telemetry, Tracking and Command May 2021光学遥感图像船只目标检测识别技术陈昱文，熊建林，刘斌，刘颖，张永倩（北京遥测技术研究所北京100076）摘要：船只目标检测识别技术是现阶段遥感图像研究领域的一个重要发展方向。

随着国产高分辨率卫星的快速发展，高分遥感卫星陆续发射，基于光学遥感图像的船只检测识别技术会逐步成为研究热门。

主要介绍了近年来基于光学图片的船只检测识别技术发展、以及当前技术存在的问题。

当前基于深度学习的船只目标检测识别技术取得了较好的检测效果，成为主流研究方向，但在光学遥感图像船只检测领域基于深度学习的方法有一些基本问题限制了检测效果，对这些问题进行了归纳总结，并对未来光学遥感图像船只检测技术的发展进行了展望。

关键词：光学遥感图像；船只目标识别；深度学习中图分类号：TP751 文献标识码：A 文章编号：CN11-1780(2021)03-0057-10Survey of ship detection and recognition technology inoptical remote sensing imagesCHEN Yuwen, XIONG Jianlin, LIU Bin, LIU Ying, ZHANG Yongqian（Beijing Research Institute of Telemetry, Beijing 100076, China）Abstract: At this stage, ship detection and recognition technology is an important development direction in the field of remote sensing image research. With the rapid development of domestic high-resolution satellites, high-resolution remote sensing satellites have been launched one after another, and ship detection and recognition technology based on optical remote sensing images will gradually become a research hotspot. This article introduces the development of ship detection and recognition technology based on optical images in recent years, and the problems of current technology.The current deep learning-based ship target detection technology has achieved good detection results and has become the mainstream research direction. However, in the field of optical remote sensing image ship detection, deep learning-based methods have some basic problems which limit the detection effect. This article summarizes some of the problems that currently limit the deep learning-based optical remote sensing image ship detection technology, and looks forward to the future development of optical remote sensing image ship detection technology.Key words: Optical remote sensing image; Ship detection technology; Deep learning引言船只目标检测识别技术是卫星光学图像处理领域中一个重要的发展方向。

光学遥感图像小样本舰船目标识别

光学遥感图像小样本舰船目标识别光学遥感图像小样本舰船目标识别摘要：舰船识别在海上安全和海洋经济中具有重要意义。

然而，由于舰船外观的差异性和目标数量的复杂性，舰船目标识别存在着一定的难度。

光学遥感图像中舰船目标种类较多，通常需要大量的数据进行训练，但现实中获取大量舰船图像数据的难度很大。

因此，如何在小样本下实现舰船目标识别便成为了研究的热点。

本文提出了一种基于卷积神经网络（CNN）的小样本舰船目标识别方法。

该方法采用了一种基于注意力机制的循环学习机制，用于进一步提高模型的泛化能力。

经过实验验证，本文提出的方法在光学遥感图像中实现小样本舰船目标识别效果较好，方法准确率达到95.86%。

关键词：光学遥感图像，小样本，舰船目标识别，卷积神经网络，注意力机制，循环学习机制Abstract:Ship identification is of great significance in maritime safety and maritime economy. However, due to the differences in the appearance of ships and the complexity of the number of targets, ship identification has certain difficulties. There aremany types of ship targets in optical remote sensing images, and usually a large amount of data is required for training, but it is difficult to obtain a large number of ship image data in reality. Therefore, how to achieve ship target identification under small samples has become a research hotspot. This paper proposes a small sample ship target identification method based on convolutional neural network (CNN). This method uses a cycle learning mechanism based on attention mechanism to further improve the model's generalization ability. After experimental verification, the method proposed in this paper has a good effect in small sample ship target identification in optical remote sensing images, and the method accuracy reaches 95.86%.Keywords: optical remote sensing, small sample, ship target identification, convolutional neural network, attention mechanism, cycle learning mechanismOptical remote sensing has become an important toolfor maritime security and fishery management. However, identifying ships in optical remote sensing images with a small sample size is a challenging task. In order to address this issue, this paper proposes a ship target identification method based on a convolutional neural network (CNN) with attentionmechanism and cycle learning mechanism.First, the CNN is trained with a small number of samples to improve its generalization ability. Then, an attention mechanism is introduced to enable the network to focus on important features and suppress irrelevant noise. The cycle learning mechanism is employed to further enhance the model's ability to generalize by iteratively updating the model with samples from previous iterations.Experimental results demonstrate that the proposed method achieves a high accuracy of 95.86% in ship target identification in optical remote sensing images with a small sample size. Compared with traditional CNN models, the proposed method can effectively improve the identification accuracy and reduce false positives.Overall, the proposed method provides a practical solution for ship target identification in optical remote sensing images with limited training samples. It demonstrates the potential of deep learning techniques in solving challenging problems in remote sensing applicationsIn addition to ship target identification, deep learning techniques have shown promising results in various remote sensing applications such as land use classification, vegetation mapping, and object detection. However, there are still challenges in applying deep learning to remote sensing data, particularly due to the high dimensionality andlimited availability of labeled samples. Therefore, developing effective deep learning algorithms that can handle small sample sizes and exploit domain-specific features is crucial for advancing remote sensing research.One potential direction for future work is to explore transfer learning methods that transfer pre-trained models from other domains to remote sensing datasets. Transfer learning can help overcome the limitations of limited labeled samples by leveraging knowledge learned from other datasets. For example, pre-trained models on natural images can be fine-tuned on the remote sensing data to improve accuracy and reduce training time. Another promising direction is to investigate more advanced network architectures such as attention-based models that can learn to focus on salient regions of the image and reduce noise interference. Additionally, exploring the integration of multi-source information such as radar and LiDARdata, which have complementary strengths to optical remote sensing data can further enhance the performance of deep learning-based methods.Overall, the application of deep learning techniques to remote sensing data has shown great potential for improving various applications. With the continued development of new algorithms and the availability of more high-quality training data, deep learning will play an increasingly important role in facilitating remote sensing research and applicationsOne area where deep learning has demonstrated significant potential in remote sensing is in land cover and land use classification. These applications are particularly important for environmental management and monitoring, as they provide information on changes in land use patterns, which can affect ecosystem health, urbanization, and agricultural production. Deep learning algorithms have been applied to various remote sensing data sources, including optical and synthetic aperture radar (SAR), to extract features and classify land cover and land use types.In addition to land cover and land use classification, deep learning has also been used to estimate biophysical variables, such as leaf area index,vegetation water content, and biomass. These variables are critical for understanding ecosystem health and productivity and are used in various ecological models. Deep learning techniques, such as convolutional neural networks (CNNs) and recurrent neural networks (RNNs), have been shown to outperform traditional approaches, such as linear regression and decision trees, in estimating these biophysical variables from remote sensing data.Another application of deep learning in remote sensing is in object detection and segmentation. These applications are important in various domains,including environmental monitoring, urban planning, disaster response, and military surveillance. Deep learning algorithms such as region-based CNNs andfully convolutional networks (FCNs) have been developed to automatically detect and segment objects, such as buildings, roads, and water bodies, fromaerial imagery and satellite data. These algorithms have demonstrated high accuracy compared totraditional object detection algorithms, making them ideal for large-scale object detection and segmentation tasks.Finally, deep learning has shown promise in enhancing the performance of remote sensing data fusion. Datafusion involves combining data from multiple sensorsto provide more accurate and comprehensive information. Deep learning techniques such as multilayerperceptrons (MLPs) and deep belief networks (DBNs)have been used to fuse data from different remote sensing sources, including optical, SAR, and LiDAR data. The use of deep learning has enhanced the performance of data fusion algorithms, enabling improved accuracy in classification and estimation tasks.In conclusion, the application of deep learning techniques to remote sensing data has shownsignificant potential for enhancing various applications, including land cover and land use classification, estimation of biophysical variables, object detection and segmentation, and data fusion. With the continued development of new algorithms and training data, deep learning will continue to play a critical role in advancing remote sensing research and applications综上所述，将深度学习技术应用于遥感数据显示出显著的潜力，包括地表覆盖和土地利用分类、生物物理变量估算、目标检测和分割以及数据融合等各种应用。

基于目标特征的光学遥感图像舰船检测方法

２．ＪｉａｎｇｓｕＡｕｔｏｍａｔｉｏｎＲｅｓｅａｒｃｈＩｎｓｔｉｔｕｔｅ，Ｌｉａｎｙｕｎｇａｎｇ２２２０６１，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：ＴｈｅｅｆｆｅｃｔｏｆｔｈｅｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｓｓｕｃｈａｓｄｅｔｅｃｔｉｏｎｂｙａｔｈｒｅｓｈｏｌｄｏｒＣＦＡＲｄｏｎｏｔｖｅｒｙｗｅｌｌｉｎｓｈｉｐｓｄｅｔｅｃｔｉｏｎ
关键词：高分辨率光学遥感图像；舰船目标检测；ＲＮＮ网络；信噪比
中图分类号：ＴＰ２７４；Ｅ９１７文献标识码：ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３－３８１９．２０１３．０２．０３１
ｄｅｔｅｃｔｉｏｎｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ，ｗｈｉｃｈｃａｎｃｏｍｐｕｔｅｔｈｒｅｓｈｏｌｄｏｆｅｖｅｒｙｐｏｔｅｎｔｉａｌｔａｒｇｅｔｗｉｔｈｈｉｇｈｓｐｅｅｄ．Ｂｅｓｉｄｅｓ，ａｍｅｔｈ — ｏｄｏｆｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎｂａｓｅｄｏｎＲＮＮａｌｇｏｉｒｔｈｍｎｄａｓｉｇｎｌａｎｏｉｓｅｒａｔｉｏｉｓｐｒｏｐｏｓｅｄ．ｗｈｉｃｈｃａｎｓｅｌｅｃｔｇｏｏｄｆｅａｔｕｒｅｓｏｆａｔｒｇａｅｔａｎｄｉｄｅｎｔｉｆｙｓｈｉｐｓｆｒｏｍｃａｎｄｉｄａｔｅｄｅｔｅｃｔｅｄｔｒｇａｅｔｓ．Ａｎｕｍｂｅｒｏｆｅｘｐｅｒｉｍｅｎｔｓｄｅｍｏｎｓｔｒａｔｅｓｇｏｏｄｐｅｒｆｏｍａｒｎｃｅｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄ．

高分辨率光学遥感图像目标精细化检测

如何将不同模态的遥感数据进行融合，以获取更丰富的目标特征信息，提高目标检测的性能。
3. 端到端优化
如何将整个目标检测流程进行端到端的优化，以进一步提高目标检测的精度和效率。
THANKS
感谢观看
计算效率优化
虽然该算法在精度上取得了优异的性能表现，但计算效率还有待进一步优化，以满足实际应用中对实时性的要求。
未来研究方向
针对高分辨率光学遥感图像的目标精细化检测，未来的研究方向可以包括以下方面
1. 跨域学习
如何利用不同数据源之间的信息进行迁移学习，以提高目标检测的精度和泛化能力。
2. 多模态融合
研究内容与方法
01
02
03
内容1
研究基于深度学习的目标精细化检测方法，提高对高分辨率光学遥感图像中目标的检测精度。
内容2
分析高分辨率光学遥感图像的特点，研究适合该类图像的目标检测网络结构。
内容3
研究如何提高目标检测方法的鲁棒性和泛化能力，以适应不同场景和任务需求。
研究内容与方法
多尺度特征融合
将不同尺度的特征进行融合，提高目标检测的准确性。
跨层特征融合
将浅层和深层特征进行融合，使网络能够同时获得空间和语义信息。
上下文信息融合
将上下文信息融入到特征融合中，提高目标检测的鲁棒性。
04
实验与分析
数据集与实验设置
数据集
使用公开的、经过标注的高分辨率光学遥感图像数据集，如GF-1、高分一号等。这些数据集包含多种地物类型，如建筑物、植被、道路等，为精细化目标检测提供了充足的数据源。
卷积神经网络（CNN）为基础
01
利用CNN进行特征提取，通过多层级特征融合提高目标的局部

现代航天技术中的光学遥感成像技术及应用研究

现代航天技术中的光学遥感成像技术及应用
研究
随着人类的科技水平不断提高，现代的航天技术成为了人类探索天空的有力工具。

而光学遥感成像技术则是现代航天技术中不可或缺的一部分。

一、光学遥感成像技术简介
光学遥感成像技术是指利用光学传感器对地球的大气、陆地、海洋等进行观测和监测，并通过图像处理技术进行目标检测、提取和识别的一种技术。

光学遥感成像技术主要根据不同波段光的散射、透过特性进行探测拍摄，其中包括红外线、紫外线、可见光、近红外、短波红外等波段。

二、光学遥感成像技术应用
1. 海洋环境监测：光学传感器的高时空分辨率有助于监测海水的色度、悬浮物浓度、海洋生物及底质状况等。

2. 气象观测：能够及时监测大气状况，并预测天气变化。

3. 林业资源管理：光学遥感成像技术可以远程监测森林生态环境，检测野火、林业病虫害等自然灾害，为林业资源管理提供帮助。

4. 土地利用规划：利用光学遥感成像技术可以获得不同时间段
的土地利用数据，制定土地规划和管理政策。

三、光学遥感成像技术发展趋势
1. 多波段遥感技术：多波段融合技术可以使得数据更加全面，
提高图像质量。

2. 大数据技术：光学遥感成像技术可以获取海量数据，大数据
处理技术的引入可以提高数据的处理速度和精度。

3. 人工智能技术：光学遥感成像技术可以获取大量的图像数据，利用人工智能技术可以实现自动识别、分类等目的。

四、结论
光学遥感成像技术在人类的生产、生活中发挥了极其重要的作用。

随着现代科学技术的不断发展，光学遥感成像技术也在不断
的创新和升级，可以更好地服务于人类的发展。

光学图像海面舰船目标智能检测与识别方法研究

光学图像海面舰船目标智能检测与识别方法研究一、本文概述随着遥感技术的快速发展，光学图像作为其中的一种重要数据源，广泛应用于海面舰船目标的检测与识别。

光学图像海面舰船目标的智能检测与识别方法研究，不仅有助于提升海洋安全监管的自动化和智能化水平，也对军事侦察、民用船舶监控等领域具有重要意义。

本文旨在探讨和研究基于光学图像的海面舰船目标智能检测与识别的相关技术和方法。

本文将对光学图像海面舰船目标检测与识别的研究背景和意义进行阐述，分析当前国内外的研究现状和发展趋势。

接着，文章将详细介绍基于光学图像的海面舰船目标检测与识别所涉及的关键技术，包括图像预处理、特征提取、目标检测和识别等步骤，并对各种方法的优缺点进行比较分析。

在此基础上，本文将提出一种基于深度学习的海面舰船目标智能检测与识别方法，该方法能够充分利用光学图像中的多尺度、多特征信息，实现对海面舰船目标的快速、准确检测与识别。

文章将详细阐述该方法的实现过程，包括模型的构建、训练、优化和测试等步骤，并通过实验验证该方法的有效性和鲁棒性。

本文将对研究成果进行总结，并对未来研究方向进行展望。

通过本文的研究，旨在为光学图像海面舰船目标智能检测与识别技术的发展提供理论支持和实践指导，推动相关领域的科技进步和应用发展。

二、相关理论和技术随着光学成像技术的不断进步，海面舰船目标的智能检测与识别已成为当前研究的热点。

在这一领域中，涉及的理论和技术众多，主要包括图像处理、机器学习、深度学习等。

图像处理技术是海面舰船目标检测的基础。

常用的图像处理技术包括图像增强、滤波、边缘检测等。

这些技术可以有效地提高图像质量，减少噪声干扰，突出目标特征，为后续的目标识别提供基础。

机器学习算法在舰船目标识别中发挥着重要作用。

通过训练大量的样本数据，机器学习模型可以学习到舰船目标的特征表示，从而实现自动的目标分类和识别。

常见的机器学习算法包括支持向量机（SVM）、随机森林（Random Forest）等。

可见光遥感图像海面目标自动检测关键技术研究

可见光遥感图像海面目标自动检测关键技术探究摘要：可见光遥感图像海面目标自动检测是海洋资源开发、海上安全监测以及环境保卫等领域的重要技术之一。

本文对可见光遥感图像海面目标自动检测的关键技术进行了总结和探究，包括预处理、目标检测算法以及性能评估等方面。

通过对现有探究效果的梳理和对比分析，得出了一些对提高海面目标自动检测效果和准确性有重要意义的技术措施和方法。

一、引言可见光遥感图像海面目标自动检测是指利用可见光遥感图像进行海洋环境信息提取和目标检测的技术。

随着遥感技术的快速进步和应用的广泛推广，可见光遥感图像成为海洋领域重要的数据来源。

如何通过自动化的方式对海洋图像进行分析和处理，提取其中的目标信息，对于海洋资源的开发利用、海上安全监测以及环境保卫等都具有重要意义。

二、预处理技术预处理是进行海面目标自动检测的首要步骤，其目标是对海洋图像进行扩充和增强，提高图像质量和可检测性。

常用的预处理技术包括均值滤波、图像增强等。

均值滤波是通过计算像素邻域内像素灰度均值来减小图像中的噪声。

图像增强是通过直方图均衡化、灰度变换等方式提高图像对比度和明晰度。

预处理技术的选择和应用应依据实际状况进行合理调整，以达到更好的检测效果。

三、目标检测算法目标检测算法是实现海面目标自动检测的核心环节，常用的目标检测算法包括基于阈值法、基于边缘检测和基于特征提取的方法等。

基于阈值法的目标检测算法是最简易和常用的一种方法，通过设定一个阈值将海面目标与背景区分开来。

基于边缘检测的方法对图像中物体的边缘进行检测，在海洋图像中可以通过Canny、Sobel等算子进行边缘检测。

基于特征提取的目标检测算法则是通过提取图像中目标的纹理、外形和颜色等特征进行匹配和识别。

目标检测算法的选择应依据探究目标和实际需求进行合理选择，并结合其他算法进行优化和完善。

四、性能评估性能评估是对海面目标自动检测算法进行评判和比较的重要手段，常用的性能评估指标包括准确率、召回率、精确率和F-measure等。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

收稿日期:2018-08-27 修回日期:2018-12-28 网络出版时间:2019-03-27基金项目:国家自然科学基金(61171053);南京邮电大学基金(SG 1107)作者简介:方梦梁(1993-),男,硕士研究生,研究方向为机器学习;黄　刚,教授,研究生导师,研究方向为计算机软件与大数据应用㊂网络出版地址:http :// /kcms /detail /61.1450.TP.20190327.1620.010.html一种光学遥感图像船舶目标检测技术方梦梁,黄　刚(南京邮电大学计算机学院,江苏南京210023)摘　要:遥感图像目标检测与识别是遥感图像分析处理中的研究热点之一,具有十分重要的科研和应用价值㊂基于光学遥感图像的海面船舶目标检测是其中一个重要的应用方向㊂传统的遥感图像船舶目标检测方法精度不足㊁适用范围有限;因此,文中引入自然图片目标检测任务中表现优异的基于深度学习的Faster R -CNN 算法㊂由于光学遥感图像中海面船舶目标尺寸小以及自然图片与卫星遥感图像差异明显,直接应用原始的Faster R -CNN 算法检测效果较差㊂针对此问题,提出一种将图像上采样与特征金字塔网络结合的改进策略,以提高海面船舶检测性能,尤其是小尺寸目标的召回率和准确性㊂通过在自制数据集上合理的对比实验验证了自然图片中的深度学习目标检测算法迁移至遥感图像处理的可行性和所提出方法的先进性㊂关键词:深度学习;卷积神经网络;光学遥感图像;船舶目标检测中图分类号:TP 301 文献标识码:A 文章编号:1673-629X (2019)08-0136-06doi :10.3969/j.issn.1673-629X.2019.08.026A Ship Detection Technique for Optical Remote Sensing ImagesFANG Meng -liang ,HUANG Gang(School of Computer ,Nanjing University of Posts and Telecommunications ,Nanjing 210023,China )Abstract :Remote sensing image target detection and recognition is one of the research hotspots in remote sensing image analysis and pro⁃cessing ,which has very important scientific research and application value.Ship detection based on optical remote sensing image is one of the applications in the field of remote sensing image analysis and processing.The traditional remote sensing image ship target detection method has insufficient accuracy and limited application range.Therefore ,the deep learning -based Faster R -CNN is applied ,which is excellent in natural picture target detection tasks.Due to the small size of ships on the sea surface in optical remote sensing images and the obvious difference between natural images and satellite remote sensing images ,the direct application of the original Faster R -CNN leads to the poor detection.For this ,the improved strategy of combining image upsampling with feature pyramid network is proposed ,which significantly improves the ship detection performance ,especially the recall rate and accuracy of small size targets.The feasibility of transferring the deep learning target detection algorithm in natural pictures to remote sensing image processing and the advancement of the proposed method are verified by a reasonable comparison experiment on the self -made data set.Key words :deep learning ;convolutional neural network ;optical remote sensing image ;ship target detection0　引　言近年来,光学遥感成像技术发展迅速,光学遥感图像分辨率不断提升,相比其他类型遥感图像如高光谱㊂合成孔径雷达(SAR ),高分辨率光学遥感图像有着独特的优势㊂在民用与军事领域,基于光学遥感图像的研究和应用都受到广泛关注㊂船舶是重要的海上目标,船舶目标自动检测是海洋环境监测㊁渔业管理㊁抢险救灾㊁军事侦察等任务中重要的一环,也是遥感信息处理的重要内容㊂在基于深度学习的检测方法兴起以前,船舶目标检测依赖于手工设计特征,往往需要专门的先验知识,适用范围窄,实时性差,不适用于当前数据量巨大㊁分辨率高的光学遥感图像[1]㊂近年来,基于深度学习的方法利用深度神经网络自适应地分层学习对象的特征,相比以往模式识别中人工设计的特征提取模型,特征表达能力更强,获取的特征语义更丰富,具有较好的光照㊁几何㊁位置不变性,泛化能力更强[2]㊂基于深度学习的目标检测方法典型代表有R -CNN [3]㊁Faster R -CNN [4]㊁YOLO [5]和SSD [6]等,这些方法在自第29卷　第8期2019年8月计算机技术与发展COMPUTER TECHNOLOGY AND DEVELOPMENT Vol.29　No.8Aug.　2019然场景图像的目标检测任务中取得了巨大的成功㊂最近,已有一些研究将基于深度学习的目标检测方法应用到遥感图像船舶检测任务中[7-12],但多是针对SAR图像,对光学遥感图像的比较少;或是直接基于卷积神经网络(CNN)构造模型,没有很好地利用已有的高性能目标检测框架,在时间效率和通用性上还有改进空间㊂现有的深度学习目标检测方法中Faster R-CNN或基于此的改进算法实时性较好,对小而密集的目标检测有更高的精度㊂文中提出了一种基于深度学习的光学遥感图像船舶检测方法,通过图像上采样,在不改变卷积神经网络基本结构的情况下,增大卷积层输出的特征图分辨率;同时利用特征金字塔结合高层与低层的特征,在保持高层特征图语义信息不损失的同时增强其细节信息,提高了原始Faster R-CNN 算法对小目标的检测能力,应用于光学遥感图像船舶检测中取得了较好的效果㊂1　目标检测框架1.1　Faster R-CNN检测小目标的不足Faster R-CNN检测目标的主要流程为:利用多层卷积神经网络提取待检测图特征得到特征图;特征图被送入区域提议网络(region proposal network,RPN)得到一定数量的候选框;在特征图上取候选框对应的特征片,经兴趣区域池化层(RoI pooling)得到固定尺寸的特征图,使用分类器判别是否属于某个特定类;对于属于某一非背景类的候选框,用回归器进一步精调其位置㊂其中多层卷积神经网络提取的特征被RPN 和RoI pooling共享,其质量十分关键㊂当前的特征提取网络可以有多种选择,如AlexNet㊂GoogLeNet㊂VGGNet㊂ResNet等㊂这些网络的主干都是多个卷积层和多个池化层的组合,由于池化层降低图像规模和分辨率,故层级越高图像分辨率越低;同时CNN的网络结构决定了层级越高的特征图感受野越大,更倾向于检测大的目标㊂卷积网络的这种特性,导致对小目标检测的不利㊂以经典的VGG16为例,用于Faster R-CNN共享特征提取时只用到VGG16的前5个卷积块,包含4个最大池化层,每次池化操作(2×2下采样)图像规模减小50%,最后特征图(Conv5_3)尺寸只有原输入图像的1/16㊂当原图中目标尺度低于16像素时,特征图上几乎没有对应的定位和分类信息,自然难以被检测到㊂从感受野的角度也可以看到这种不足,多层CNN卷积层感受野的计算公式如下: RF k=RF k-1+(f k-1)×∏k-1i=1S i(1)其中,RF k为第k层卷积层的感受野大小;f k为当前层卷积核尺寸;S i为卷积步长㊂层级越高,感受野越大,目标检测区分性越弱,不利于对小目标的检测㊂从卷积神经网络提取到的各层特征来看,层级越高语义信息越丰富,特征越抽象㊁越全局化,但分辨率越来越低,几何细节信息和位置信息越来越少,适合大目标检测及复杂目标区分;而低层级的特征分辨率高,几何轮廓和位置信息丰富,对目标定位和小目标检测更有利㊂故为了提高对小目标的检测性能,常常将高低层次的特征结合起来或者在多个层级的特征图上做目标检测[13-17],而不是只使用某一层的特征图㊂1.2　光学遥感图像与自然图像的差异在自然场景图像的目标检测中,Faster R-CNN算法性能优异,目前基于此模型的应用及其改进算法还在不断涌现[18],在很多场景仍然是精度最高的模型㊂为了保证足够高的召回率和准确度,文中提出的船舶检测方案就基于Faster R-CNN框架㊂然而,由于遥感图像和自然场景图像之间存在明显的差异,直接将现有算法用于遥感图像船舶检测的漏检率比较高,需要继续改进㊂自然场景图像往往尺寸较小,背景比较干净,分辨率较高,包含的目标数量较少,最重要的是待检测目标尺寸大或者说占整幅图的比例很大㊂当前通用的目标检测或识别模型所针对的数据集,如PASCAL VOC和ImageNet ILSVRC都是如此,有数据显示ImageNet中超过80%的目标平均尺寸都超过40pixel[19]㊂光学卫星遥感图像尺寸大,视场大而分辨率相对较低,背景复杂,包含的对象数量众多,待检测目标尺寸小,有的场景中小目标密集聚在一起难以区分;另外还存在目标旋转与仿射等现象以及云雾㊁海面波纹㊁阴影㊁光照与拍摄角度等影响㊂对大量的光学卫星遥感图像中海面船舶尺寸做了统计,尺寸分布如图1所示㊂以矩形标注框的短边来看,其中存在大量的短边尺寸不足32pixel甚至小于16pixel的船舶目标㊂/%30252015105图1　光学遥感图像数据集中船舶目标尺寸分布当前深度学习目标检测的典型算法都是针对自然场景图像的通用模型,即便是应用到含大量小尺寸目标的其他自然场景图像检测任务上,如小人脸检测[19],效果也明显不足㊂由于自然图片与光学遥感图像的显著差异,尤其大量小尺寸船舶目标的存在,直接㊃731㊃　第8期方梦梁等:一种光学遥感图像船舶目标检测技术用Faster R -CNN 框架进行遥感图像船舶检测的效果较差㊂经自然图片数据集如ImageNet 预训练的模型迁移到遥感图像船舶检测时更需要专门数据集进行充分训练,模型的改进应该关注提高对小目标的检测能力㊂2　改进方法基于前面分析,为改善特征提取网络输出的特征图缺失底层细节特征㊁分辨率过小的不足,在不改变现有Faster R -CNN 基本架构的前提下提高其对小目标的检测性能,使其适用于光学遥感图像船舶检测,提出了两种改进策略:通过输入图像上采样提高特征提取网络输出的特征图分辨率,并利用特征金字塔融合高低层的特征,在经特征融合后的多个层次的特征图上进行检测㊂系统主流程如图2所示㊂图2　方案整体框架文中专注于光学遥感中的民船检测,且不细分类型诸如游艇㊁游轮㊁货船㊁军用舰船等,相当于只检测一类目标,将分类网络最后一个全连接层输出维度改为2,模型类别数量改为2,对应判别两种类型:船舶㊁背景㊂特征提取网络采用中型的网络VGG 16㊂由于太浅的网络提取的特征不足,目标检测效果差,在复杂图像分类与检测等任务上已很少被使用,而更深的网络如ResNet ㊁DenseNet 等结构复杂,最终的特征图感受野更大,对小目标检测识别不利㊂已有的一些研究[14]表明,在存在大量密集小目标的场合,更复杂的网络检测结果并没有较浅的VGG 16效果好㊂2.1　提高特征图分辨率为了进一步增加特征图分辨率以提高小目标检测性能,有的研究中用更浅层的特征提取网络或删减网络的最尾部的卷积层和池化层,然而更高层特征经过多次最大池化处理后有着更强的平移不变性和形变不变性,对于该任务中背景复杂的遥感图像检测很重要㊂为了不删减VGG 16卷积层㊁保留Conv 5特征,同时提高其特征图分辨率,将图像2倍上采样后再送入网络,相当于特征提取网络中各层的特征图分辨率提高到原来的2倍,比如Conv 5_3输出的特征图由原图尺寸的1/16增大到1/8,其细节特征更丰富,提高了小目标的区分度㊂为保证图像有较高的质量,插值方式选择双三次插值法(bicubic interpolation )㊂输入图像尺寸的增大能提高检测准确度,但所需内存将急剧增大㊂为平衡准确度和占用内存,在测试和验证阶段,原始图像进入网络之前需要先进行缩放,使图像的长边达到1000pixel 或者短边达到800pixel ㊂同样2倍放大后的图像先切分为4等份,与原图尺寸相同,然后将这5块分别送入网络检测㊂在结果融合操作之前5块图像的检测步骤并行执行,缩短检测时间㊂各切片上的检测结果框的位置坐标是基于各自切片坐标系的,而最终检测结果应该都是在原图上标记的㊂另外,图片被切分后,有的目标被切分到多个切片中,可能会导致一个目标被检测多次,产生多个检测框,这些属于同一目标的检测框需要被合并㊂为了方便边框合并去重,将原图也送入网络进行检测㊂所有切片上的检测结果边框需先映射到相对于原图的坐标和尺寸,然后将所有切片上的和原图上的检测结果通过非极大值抑制方式(NMS )合并,得到最终的原图级别的检测结果㊂整个过程以端到端的方式完成㊂另外该方法在两种尺寸的图像上检测,使得网络在预定义锚框的基础上可以捕获更大尺度变化范围内的候选区域,从而提高了多尺度检测的鲁棒性㊂2.2　结合特征金字塔网络融合多层特征基于前面的分析,卷积神经网络的低层和高层特征有互补的特点,对于目标检测都很重要,尤其对于小目标检测更应该利用好低层特征㊂目前已有多种高低层特征融合的方式,如HyperNet [17]㊁RON [18],但Tsung -Yi Lin 等[20]的实现方式操作简单㊁代价小㊁效果良好㊂作者利用多层卷积神经网络多层池化操作后特征图尺寸逐级减小,自然形成了多尺度多层级的类金字塔结构构造特征金字塔(feature pyramid networks ,FPN ),只需很小的额外计算量便巧妙融合了从低层到高层多尺度的特征,并且在各层上相对地预测候选框,结构示意如图3所示㊂图3　特征金字塔网络结构示意㊃831㊃计算机技术与发展第29卷特征金字塔网络中的特征数据流有三个路径,分别是自底向上,自顶向下,横向连接㊂自底向上即卷积神经网络的前向过程,左边各框分别是取自卷积神经网络各卷积块最后的输出特征,每经过一卷积块特征图分辨率减少1/2㊂自顶向下即对上一层特征图进行2倍最邻近上采样,然后将其与横向连接的本层特征图(经过1×1卷积以降低维度)通过逐元素相加方式进行融合,再采用3×3的卷积核对每个融合结果进行卷积操作以消除上采样的混叠效应,生成与本层原特征相同尺寸的特征图,在此称为超特征㊂特征金字塔每一层特征经过其上的所有层特征的累加,包含不同分辨率㊁不同语义强度的特征,自上至下各层特征不断丰富㊂FPN 具有很好的泛化能力,将其应用到一些基于深度神经网络的图像处理方法中可带来显著的性能改善甚至是速度的提升,包括目标检测㊁实例分割等㊂同时,由于该方法只是在原网络基础上加上了数个额外的跨层连接和简单的特征融合,故额外增加的时间和计算消耗很小㊂将FPN 与Faster R -CNN 相结合,并称改进后的网络为FPRCNN ,如图4所示㊂该方法使用的特征提取网络VGG 16有5个卷积块,将各卷积块的输出,即Conv 1_2,Conv 2_2,Conv 3_3,Conv 4_3,Conv 5_3的输出分别记为{C 1,C 2,C 3,C 4,C 5}㊂考虑到C 1特征图尺寸大导致内存消耗很大且语义值太低,对目标分类不利,在生成超特征时没有使用,只用{C 2,C 3,C 4,C 5}自上至下生成超特征{P 2,P 3,P 4,P 5},与原特征一一对应,尺寸相同㊂图4　FPRCNN 结构示意各个区域建议网络RPN 在特征金字塔各个特征图{P 2,P 3,P 4,P 5}上独立进行候选框RoI 的生成,不同尺度的RoI 使用不同特征层对应的特征片作为ROIPooling 层的输入㊂根据RoI 尺寸选择特征映射的具体公式为:k =⌊k 0+log 2(wh /224)」(2)其中,w 和h 为RoI 的宽和高;k 0=5,k 对应FPN中的P k 层㊂所以,若某个RoI 尺寸为56*56,则k =3,将选择从特征金字塔中的P 3上提取特征片,随后的步骤与原始Faster R -CNN 一样,即RoI 池化㊁类别判定与边框回归㊂由于特征金字塔各层固有的多级尺度,且该方法在各层上运行RPN 做区域建议操作,不需要像原Faster R -CNN 一样为了实现多尺度检测而在单个尺度的特征图检测时RPN 网络需要设置多种不同的锚框尺寸,只需在每个层级上的RPN 设置单一尺寸的锚框㊂另外根据图1对遥感图像中船舶尺寸的统计数据,改小RPN 中锚框的尺寸,故分别对{P 2,P 3,P 4,P 5}上的RPN 设置锚框尺寸为(162,322,642,1282)㊂鉴于遥感图像中船舶目标具有方向多变㊁高长宽比的特点,将锚框的长宽比设为5类{1∶1,1∶2,1∶3,1∶4,1∶6,2∶1,3∶1,4∶1,6∶1},这种尺寸设置更有利于对船舶这一特定目标检测㊂为缩短模型训练和检测时间,各个层级上的分类器和回归器共享相同的卷积参数㊂3摇实验数据与模型训练文中专注于检测光学遥感中的船舶目标,由于没有专门的公开数据集,自己制作了数据集㊂从NWPU VHR -10和DOTA 数据集中选取了部分图片,另外从Google Earth 上获取了100张遥感图像,原图像总共400张,尺寸都剪裁至1000×1000左右㊂为了扩充训练样本,并考虑到实际场景遥感图像中的目标存在视角变化㊂方向变化的影响,故对图像进行了旋转和翻转操作㊂对于每个训练样本,以顺时针方向旋转3个角度{90°,180°,270°};随后对所有图像进行水平翻转,同时这些图像的原始标注数据做相应转换,例如原始图像某标注框坐标为:左上[xl 0,yl 0],右上[xr 0,yr 0],左下[xl 1,yr 1]和右下[xr 1,yr 1],做顺时针90°旋转后坐标变为:左上[xl 1,yr 1],右上[xl 0,yl 0],左下[xr 1,yr 1]和右下[xr 0,yr 0],以此类推㊂从Google Earth 采集的图像通过人工标注,旋转和翻转及坐标转换操作通过编程自动完成,训练样本扩充到原来的8倍㊂取其中2000张包含船舶目标的作为正样本,训练集与测试集比例为7∶3㊂所有正样本都人工标注其中船舶目标的边界框㊂为了方便训练,把标注好的数据做成PASCAL VOC 格式㊂由于基于TensorFlow Object Detection API 构建网络,按TensorFlow 框架要求,还需将PASCAL VOC 格式数据集转换成TFRecord 格式㊂本实验的网络训练采用迁移学习策略,共享的特征提取网络为VGG 16,已经过ImageNet 数据集的预训练,在此基础上,继续在该遥感船舶数据上微调参㊃931㊃　第8期方梦梁等:一种光学遥感图像船舶目标检测技术数㊂在训练过程中,设置初始学习速率为0.0001,每迭代2000次学习速率减为1/10㊂多次迭代,每5000次保存一个模型,选择损失小的在测试集图上做检测试验㊂其他参数遵循原Faster R -CNN [3],如NMS 的IoU 阈值为0.7㊂采用端到端(end -to -end )的方式来训练主干网络VGG 16和RPN 区域推荐网络㊂在实际场景中,不同船舶之间体型区别及遥感图像地面采样距离(GSD )的差异导致船舶目标也存在较大的尺度变化,为了强化模型的多尺度鲁棒性,在训练阶段采用多尺度训练方式㊂每隔10轮随机改变输入的训练图像的尺寸,图像缩放到原尺寸的1.0+0.2(1-k )倍,k 随机取值{0,1,2,3},即原图的{0.6,0.8,1.0,1.2}倍,模型在原图的这4种缩放比例上有更充分地训练㊂为方便起见,基于Google 开源的TensorFlow Object Detection API 构建该模型㊂实验平台:Ubuntu14.04.5,Xeon E 5-2690v 4CPU ,NVIDIA GK 110BGL GPU ㊂4　实验结果分析实验中,用准确率(precision )和召回率(recall )来评判检测效果,其中召回率描述被正确检测到的船舶数与图像中实际总数量的比率,表明所希望被检索到的船舶目标多大程度上被系统检索到了㊂准确率衡量正确检测数量与全部识别出目标数量的比值,即检索到的对象里有多少是真正的船舶目标㊂recall =TruePositive TruePositive +FalseNegative (3)precision =TruePositiveTruePositive +FalsePostive(4)图5是测试集的一个检测结果示例,可以看到图中绝大部分船舶都被成功正确地检测出,有较好的多尺度适应性㊂图5　检测结果示例图中上部有几艘紧贴另一艘大船的船没有被检测到,推测其原因应该是本方法基于常见的水平边界框检测,船只方向多变,候选框往往不能很好地贴合瘦长形的船只,容易出现紧靠在一起的多个候选框高度重合在PRN 网络中被合并㊂故对于这种尺寸差别明显且密集紧贴的多个目标难以区分,需要继续改进㊂如表1数据显示,无论是基于区域建议的Faster R -CNN 还是基于回归的SSD ,基于深度学习的方法在在遥感图像船舶目标检索上的性能都超过了传统的基于手工特征的HOG +SVM 方法,显示出了良好的泛化能力㊂表中 Faster R -CNN +FPN ”指仅仅使用特征金字塔改进Faster R -CNN 的方法,对比最后三行数据可看到,该方法提出的两个策略:图像上采样㊁特征金字塔FPN 对提升召回率都有明显的帮助㊂与原始Faster R -CNN 相比,文中方法的船舶目标召回率提高了约11个百分点,说明文中方法能在背景复杂㊁目标尺度多变的遥感图像中检测出更多的小目标㊂表1　不同方法的召回率对比方法AR /%HOG +SVM59.30SSD 65.73Faster R -CNN 64.54Faster R -CNN +FPN70.84文中方法75.21 表2是不同方法在文中数据集上检测的准确度结果对比,同样可以看到提出的两个策略对检测的准确率都有提升,改进后Faster R -CNN 目标检测准确度提高了8.6%㊂表2　不同方法的准确率对比方法AP /%HOG +SVM74.59SSD 81.67Faster R -CNN 81.40Faster R -CNN +FPN85.11文中方法88.36 综合上述结果,提出的改进方法检测光学遥感图像船舶小目标相比原始的Faster R -CNN 在准确率㊁召回率上均有明显提高,也超过了传统的基于手工特征模式识别方法和SSD 算法㊂5　结束语首先将自然场景图像深度学习目标识别算法运用到了遥感图像船舶目标检测上,将通用的多类别目标检测算法Faster R -CNN 用于单类目标的检测,把目标的检测问题转换为二分类问题(船舶和背景)㊂分析了高分辨率遥感图像与自然场景图像的差别及原始Faster R -CNN 算法检测小目标的不足之处,提出图像㊃041㊃计算机技术与发展第29卷上采样与特征金字塔网络结合的策略㊂改进后的模型在遥感图像海面船舶检测任务中表现出更好的性能,表明了用于自然图像中的深度学习目标检测算法应用到遥感图像处理的可行性和优越性㊂该方法召回率有显著提升,但是离实际应用需求还有距离,有待继续提高;另外该方法使用传统的水平边界框做检测,导致少数密集紧贴的多个目标候选框易高度重合而被非极大值抑制方法错误地抛弃,若使用任意方向的边界框替代水平边界框可能会有改善,下一步将在这两方面做进一步研究㊂参考文献:[1]　陈　亮,王志茹,韩　仲,等.基于可见光遥感图像的船只目标检测识别方法[J].科技导报,2017,35(20):77-85. [2]　李旭冬,叶　茂,李　涛.基于卷积神经网络的目标检测研究综述[J].计算机应用研究,2017,34(10):2881-2886. [3]　GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich fea⁃ture hierarchies for accurate object detection and semanticsegmentation[C]//Proceedings of2014IEEE conference oncomputer vision and pattern recognition.Columbus,OH,USA:IEEE,2014:580-587.[4]　REN Shaoqing,HE Kaiming,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region propos⁃al networks[J].IEEE Transactions on Pattern Analysis& Machine Intelligence,2017,39(6):1137-1149. [5]　REDMON J,DIVVALA S,GIRSHICK R,et al.You only⁃look once:unified,real-time object detection[C]//Proceed⁃ings of2016IEEE conference on computer vision and patterns Vegas,NV,USA:IEEE,2016:779-788. [6]　LIU Wei,ANGUELOV D,ERHAN D,et al.SSD:single shotmultibox detector[C]//European conference on computervision.Amsterdam,the Netherlands:Springer,2016:21-37.[7]　黄　洁,姜志国,张浩鹏,等.基于卷积神经网络的遥感图像舰船目标检测[J].北京航空航天大学学报,2017,43(9):1841-1848.[8]　胡　炎,单子力,高　峰.基于Faster-RCNN和多分辨率SAR的海上舰船目标检测[J].无线电工程,2018,48(2):96-100.[9]　KANG M,JI K,LENG X,et al.Contextual region-basedconvolutional neural network with multilayer fusion for SARship detection[J].Remote Sensing,2017,9(8):860-874.[10]LIU Y,CUI H Y,KUANG Z,et al.Ship detection and classi⁃fication on optical remote sensing images using deep learning[C]//ITM web of conferences.Les Ulis France:EDP Sci⁃ences,2017:05012.[11]TANG Jiexiong,DENG Chenwei,HUANG Guangbin,et al.Compressed-domain ship detection on spaceborne optical image using deep neural network and extreme learning ma⁃chine[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(3):1174-1185.[12]SOMMER L,SCHUMANN A,SCHUCHERT T,et al.Multifeature deconvolutional faster R-CNN for precise vehicle de⁃tection in aerial imagery[C]//2018IEEE winter conference on applications of computer ke Tahoe,NV:IEEE, 2018:635-642.[13]葛园园,许有疆,赵　帅,等.自动驾驶场景下小且密集的交通标志检测[J].智能系统学报,2018,13(3):366-372.[14]HONARI S,YOSINSKI J,VINCENT P,et al.Recombinatornetworks:learning coarse-to-fine feature aggregation[C]//Proceedings of the IEEE conference on computer vision and pattern s Vegas,NV,USA:IEEE,2016:5743-5752.[15]ZHU Chenchen,ZHENG Yutong,LUU K,et al.CMS-RC⁃NN:contextual multi-scale region-based CNN for uncon⁃strained face detection[M]//Deep learning for biometrics.Berlin:Springer,2017:57-79.[16]KONG Tao,YAO Anbang,CHEN Yurong,et al.Hypernet:towards accurate region proposal generation and joint object detection[C]//IEEE conference on computer vision and pat⁃tern s Vegas,NV,USA:IEEE,2016:845-853.[17]DAI Jifeng,LI Yi,HE Kaiming,et al.R-FCN:object detec⁃tion via region-based fully convolutional networks[C]//Proceedings of the30th international conference on neural in⁃formation processing systems.Barcelona,Spain:Curran Asso⁃ciates Inc.,2016:379-387.[18]HU Peiyun,RAMANAN D.Finding tiny faces[C]//2017IEEE conference on computer vision and pattern recognition.Honolulu,HI,USA:IEEE,2017:1522-1530. [19]KONG Tao,SUN Fuchun,YAO Anbang,et al.Ron:reverseconnection with objectness prior networks for object detection[C]//IEEE conference on computer vision and pattern rec⁃ognition.Honolulu,HI,USA:IEEE,2017:2. [20]LIN T Y,DOLLÁR P,GIRSHICK R B,et al.Feature pyra⁃mid networks for object detection[C]//IEEE conference on computer vision and pattern recognition.Honolulu,HI,USA: IEEE,2017:4.㊃141㊃　第8期方梦梁等:一种光学遥感图像船舶目标检测技术。