【CN110070025A】基于单目图像的三维目标检测系统及方法【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910306845.6(22)申请日 2019.04.17(71)申请人 上海交通大学地址 200240 上海市闵行区东川路800号(72)发明人 林巍峣 陈志明 朱燕民 卢宏涛 熊红凯 (74)专利代理机构 上海交达专利事务所 31201代理人 王毓理 王锡麟(51)Int.Cl.G06K 9/00(2006.01)G06K 9/32(2006.01)G06K 9/62(2006.01)
(54)发明名称基于单目图像的三维目标检测系统及方法(57)摘要一种基于单目图像的三维目标检测系统及方法，将三维目标检测转化到二维图像下的预测，然后应用摄像头标定参数将二维映射到摄像头三维坐标系下，重构出目标的三维目标框，通过对映射出的三维目标框进行进一步修正，得到精确的三维目标框，经两步法训练后进行精确三维目标检测，本发明低成本，高效，具有广泛的实
际应用价值。
权利要求书3页 说明书5页 附图4页CN 110070025 A2019.07.30
CN 110070025
A1.一种基于单目图像的三维目标检测系统，其特征在于，包括：二维框检测模块、二维修正模块以及用于将二维映射三维的标定摄像头投影矩阵模块，三维目标框进一步修正模块，其中：二维框检测模块与深度特征相连进行二维信息预测并传输二维目标框、接地点等信息，二次修正模块与二维框检测模块相连进行进一步修正二维预测信息，投影矩阵映射模块与二次修正模块相连进行将二维点映射到摄像头坐标系下的三维点处理并传输三维目标框信息，三维目标框修正模块与投影矩阵映射模块相连进行三维目标框修正处理，最终系统输出精确的三维目标框。2.一种根据权利要求1所述系统的目标检测方法，其特征在于，将三维目标检测转化到二维图像下的预测，然后应用摄像头标定参数将二维映射到摄像头三维坐标系下，重构出目标的三维目标框，通过对映射出的三维目标框进行进一步修正，得到精确的三维目标框，经两步法训练后进行精确三维目标检测。3.根据权利要求2所述的方法，其特征是，所述的将三维目标检测转化到二维图像下的预测是指：采用二维修正模块分别提取训练后的三维目标检测系统中的VGG16网络结构的Conv4层、Conv5层、fc7层、Conv6层的特征，分别用一系列卷积操作直接进行回归图像坐标系下的四个接地点和摄像头坐标系下的离“0”平面的真实偏移量预测。4.根据权利要求3所述的方法，其特征是，为了让设计的网络更好地学习目标的(cx，cy，width，height)，信息，将其按照以下方式进行编码：
i＝0，1，2，3，i＝0，1，2，3，
其中：pi表示对应目标信息设置的先验值，oi表示对应目标信息的真实值。5.根据权利要求2所述的方法，其特征是，所述的重构出目标的三维目标框是指：采用三维目标检测系统中的二维修正模块分别提取三维目标检测系统中的RefineDet网络结构的P4层、P5层、P6层、P7层的特征，通过一系列卷积操作直接进行二维框的预测值(cx，cy，width，height)、三维目标框的底部四个点的映射值以及目标接地点的真实偏移量的修正，使网络预测的以上目标信息更加准确；然后将图像坐标系下的接地点到摄像头坐标系下的映射，得到摄像头坐标系下的三维目标框的信息。6.根据权利要求5所述的方法，其特征是，所述的映射，具体包括：4.1)由于网络学习的是编码过后目标的信息，故首先解码目标的二维框的预测值(cx，cy，width，height)、三维目标框的底部四个点的映射值以及目标接地点的真实偏移量具体为：cx＝predictx*pw+pcx，cy＝predicty*ph+pcy，width＝exp(predictw)*pw，height＝exp(predicth)*ph
，权 利 要 求 书1/3页
2CN 110070025 A
基于多模态图像分析的目标检测方法研究
基于多模态图像分析的目标检测方法研究
随着计算机技术的发展，人工智能成为当前研究的热点之一。其中，目标检测是人工智能领域中的一个重要问题。多模态图像分析方法在目标检测中发挥着越来越重要的作用。本文将介绍基于多模态图像分析的目标检测方法。
一、多模态图像分析概述
多模态图像分析是指将不同的图像模态组合在一起来分析图像。常见的图像模态包括：RGB彩色图像、红外图像、3D激光雷达图像等。这些不同的模态从不同的角度描述同一个场景或对象，将它们组合在一起能够提供更为完整的信息，从而对于目标检测等任务有更高的准确度。
二、基于多模态图像分析的目标检测方法
目标检测是指从图像中找出特定的目标，并标出其位置和大小。传统的目标检测方法通常是基于单一模态的图像分析，如使用RGB彩色图像进行分析。但是，这种方法往往会受到环境光线、天气等因素的影响，检测结果不够准确。因此，基于多模态图像分析的目标检测方法应运而生。
在基于多模态图像分析的目标检测方法中，先将多种不同模态的图像进行融合处理，得到综合信息。然后，利用深度学习的技术进行目标检测。深度学习是一种基于神经网络的机器学习方法，该方法可以在给定的数据集上进行训练，最终得到具有良好泛化性能的模型。在目标检测中，通常使用卷积神经网络（Convolutional
Neural Network，CNN）进行建模。
具体而言，基于多模态图像分析的目标检测方法具有以下步骤：
1. 数据预处理：将不同模态的图像进行预处理，使其能够在同一坐标系中对齐。通常采用特征点匹配和变换等方法。 2. 多模态图像融合：将不同模态的图像进行融合，得到综合信息。常用的融合方法包括级联法、加权平均法等。
3. 深度学习模型训练：使用融合后的多模态图像数据进行深度学习模型的训练。常用的目标检测模型包括 Faster R-CNN、YOLO、SSD等。
4. 目标检测：使用训练好的深度学习模型对新的图像进行目标检测。通常采用滑动窗口或区域提议等方法，得到图像中目标的位置和大小。
复杂背景下小目标检测方法综述
复杂背景下小目标检测方法综述
小目标检测是计算机视觉领域中的重要任务之一，目标是在复杂背景下准确地检测和定位图像中的小目标。小目标通常具有低分辨率、低对比度和低信噪比等特点，这使得它们更难以被传统目标检测方法准确地识别。因此，研究人员提出了许多针对小目标的特定方法。本文将综述常用的小目标检测方法，并对它们的优劣进行评估。
首先，传统的小目标检测方法主要基于图像处理和特征提取。这些方法主要包括基于模板匹配、基于边缘检测、基于滤波和基于统计建模等。模板匹配方法通过与目标模板进行匹配来检测小目标，但由于其依赖于准确的模板，对于目标外观变化较大的情况下效果较差。边缘检测方法通过提取图像中的边缘信息来检测小目标，但由于小目标的低对比度和噪声干扰，边缘提取结果不准确。滤波方法通过利用滤波器来增强小目标的信息，但对于背景噪声较多的情况下效果较差。统计建模方法通过对目标和背景进行建模来检测小目标，但由于统计建模的复杂性，检测速度较慢。
随着深度学习的发展，基于深度学习的小目标检测方法逐渐受到关注。这些方法主要包括基于卷积神经网络（CNN）的方法和基于循环神经网络（RNN）的方法。基于CNN的方法通过使用深度卷积神经网络来学习和提取图像特征，并利用这些特征进行目标检测。基于RNN的方法通过使用循环神经网络来捕捉图像序列中的时序信息，并利用这些信息来改善小目标的检测性能。这些方法通过学习大量的数据和特征表示来提高小目标的检测性能，但由于其对计算资源的要求较高，实时性较差。
近年来，一些基于注意力机制的小目标检测方法被提出。这些方法主要通过引入注意力机制来准确地定位和识别小目标。注意力机制可以使网络自动聚焦于感兴趣的区域，从而提高小目标的检测性能。这些方法通过引入注意力机制来捕捉小目标的上下文信息和空间关系，从而提高小目标的检测性能。但由于注意力机制的计算复杂性，这些方法的速度较慢。
总体而言，小目标检测在复杂背景下仍然是一个具有挑战性的问题。传统的方法在准确性和实时性之间存在折衷，而基于深度学习和注意力机制的方法在准确性和速度之间存在折衷。因此，未来的研究方向可以是进一步改进现有方法的性能，并提出更高效的小目标检测方法，以满足实际应用的需求。
旋转目标检测方法
旋转目标检测方法
旋转目标检测方法是一种新兴的目标检测技术，它可以有效地检测旋转目标，如车辆、建筑物、船只等。与传统的目标检测方法相比，旋转目标检测方法具有更高的准确性和鲁棒性，可以应用于各种场景，如城市规划、交通管理、军事侦察等领域。
旋转目标检测方法的核心是旋转矩形框，它可以更好地适应旋转目标的形状和方向。旋转矩形框是由四个顶点和一个旋转角度组成的，它可以完整地覆盖目标，并且可以准确地描述目标的方向和大小。旋转矩形框的计算方法有很多种，如最小外接矩形、最小旋转矩形、基于角点的旋转矩形等。
旋转目标检测方法的流程包括图像预处理、目标检测和结果输出三个步骤。首先，对输入图像进行预处理，包括图像增强、去噪、边缘检测等操作，以提高目标检测的准确性和鲁棒性。然后，利用旋转矩形框对目标进行检测，可以采用传统的目标检测算法，如基于特征的检测算法、基于深度学习的检测算法等。最后，将检测结果输出到显示设备或存储设备中，以供后续处理和分析。
旋转目标检测方法的应用非常广泛，可以应用于城市规划、交通管理、军事侦察等领域。例如，在城市规划中，可以利用旋转目标检测方法对城市建筑物进行检测和分类，以提高城市规划的效率和准确性。在交通管理中，可以利用旋转目标检测方法对车辆进行检测和跟踪，以提高交通管理的效率和安全性。在军事侦察中，可以利用旋转目标检测方法对敌方装备和设施进行检测和分析，以提高军事侦察的效果和精度。
旋转目标检测方法是一种非常有前途的目标检测技术，它可以有效地检测旋转目标，具有更高的准确性和鲁棒性，可以应用于各种场景，具有广泛的应用前景。
目标检测综述
如上图所示，传统目标检测的方法一般分为三个阶段：首先在给定的图像上选择一些
候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。下面我们对这
三个阶段分别进行介绍。
(1) 区域选择 这一步是为了对目标的位置进行定位。由于目标可能出现在图像的任
何位置，而且目标的大小、长宽比例也不确定，所以最初采用滑动窗口的策略对整幅图像
进行遍历，而且需要设置不同的尺度，不同的长宽比。这种穷举的策略虽然包含了目标所
有可能出现的位置，但是缺点也是显而易见的：时间复杂度太高，产生冗余窗口太多，这
也严重影响后续特征提取和分类的速度和性能。 (实际上由于受到时间复杂度的问题， 滑动
窗口的长宽比一般都是固定的设置几个，所以对于长宽比浮动较大的多类别目标检测，即
便是滑动窗口遍历也不能得到很好的区域)
(2) 特征提取 由于目标的形态多样性，光照变化多样性，背景多样性等因素使得设
计一个鲁棒的特征并不是那么容易。 然而提取特征的好坏直接影响到分类的准确性。 (这个
阶段常用的特征有 SIFT、 HOG 等)
(3) 分类器 主要有 SVM, Adaboost 等。
总结：传统目标检测存在的两个主要问题： 一是基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余；
二是手工设计的特征对于多样性的变化并没有很好的鲁棒性。
对于传统目标检测任务存在的两个主要问题，我们该如何解决呢？
对于滑动窗口存在的问题 ， region proposal 提供了很好的解决方案 。 region
proposal (候选区域) 是预先找出图中目标可能出现的位置。但由于 regionproposal 利
用了图像中的纹理、边缘、颜色等信息，可以保证在选取较少窗口(几千个甚至几百个)
的情况下保持较高的召回率。这大大降低了后续操作的时间复杂度，并且获取的候选窗口
要比滑动窗口的质量更高(滑动窗口固定长宽比) 。比较常用的 region proposal 算法有
运动目标检测方法
运动目标检测方法
运动目标检测是计算机视觉领域中的一个重要任务，旨在识别图像或视频中的运动目标并将其从背景中分割出来。以下是几种常见的运动目标检测方法：
1. 基于背景差分的方法：该方法通过建立静态背景模型并通过计算当前帧与背景之间的差异来检测运动目标。常见的背景差分算法有帧差法、高斯混合模型（GMM）法等。
2. 基于光流的方法：光流是描述图像中像素运动方向和速度的一种方法。基于光流的运动目标检测方法通过计算两个相邻帧之间的光流场，并根据光流的一致性来检测运动目标。常见的光流算法有Lucas-Kanade算法、Horn-Schunck算法等。
3. 基于运动轨迹的方法：该方法通过跟踪目标的运动轨迹来检测运动目标。常见的运动目标跟踪算法有卡尔曼滤波算法、粒子滤波算法等。
4. 基于深度学习的方法：近年来，深度学习技术在计算机视觉领域取得了显著的进展。基于深度学习的运动目标检测方法通过使用深度学习模型，如卷积神经网络（CNN）或循环神经网络（RNN），来学习图像或视频中的运动目标特征，并进行目标检测。
5. 基于多目标跟踪的方法：运动目标检测通常是多目标跟踪的前置任务。基于多目标跟踪的方法可以通过结合目标检测和目标跟踪的技术，实现对连续帧中的多个目标进行准确的检测。
这些方法各有特点和适用领域，选择适合任务需求的方法能够提高运动目标检测的效果。
视频运动目标检测方法研究与分析
视频运动目标检测方法研究与分析
视频运动目标检测是计算机视觉领域的一个重要研究方向，它广泛应用于智能视频监控、交通流量统计、自动驾驶、医学图像分析等领域。目标检测任务的难度主要在于在不同场景下，不同光照条件下，物体会呈现出不同的外观变化，同时还存在图像噪声、遮挡、部分遮挡等问题，这些因素都会对目标检测结果造成干扰。
一、传统视频目标检测方法
1. 基于帧间差分法
帧间差分法是电子监控领域最早使用的目标检测算法之一，其基本思路是将相邻两帧图像进行相减得到差值图，然后根据设定的阈值进行像素分类。若差分结果大于阈值，则判断该像素点为运动像素点；反之，若差分结果小于阈值，则认为该像素点是背景像素点。
帧间差分法简单易行，速度较快，但由于只考虑了像素值的变化，无法区分运动目标和噪声或背景像素，且当目标的运动速度较慢、光照条件发生变化时，容易产生误检测。
2. 基于背景建模法
背景建模法是一种通过学习并建模背景图像来实现目标检测的算法。该方法常用的技术有Mixture of Gaussian（高斯混合模型）、Self-Organizing Background Subtraction（自组织背景减法）等。
Mixture of Gaussian方法建立了一个高斯混合模型来对背景进行建模，通过计算像素值与模型高斯分布之间的距离来判断像素点是否属于背景。该方法在处理室外环境下的背景建模效果优异，但在室内环境下易受到光照变化和阻挡干扰，容易产生误检测。
二、深度学习相关方法
在深度学习技术的快速发展下，深度神经网络被广泛应用于目标检测任务中。
1. R-CNN方法系列
R-CNN方法系列是一种基于卷积神经网络的目标检测算法。其主要思路是将输入图像划分为多个候选框，然后通过卷积神经网络对每个候选框进行特征提取。最后，通过SVM分类器和回归器来计算候选框的置信度和坐标信息，以确定目标类别和位置。
单阶段目标检测算法
单阶段目标检测算法
单阶段目标检测算法是在计算机视觉领域中用于识别和定位图像中目标物体的一种算法。与传统的两阶段目标检测算法（如Faster R-CNN）相比，单阶段目标检测算法具有简单、直接、易于实现等优点。它将目标检测问题转化为一个回归问题或分类问题，通过一个神经网络将输入图像映射到目标的类别、位置和分数。
1. YOLO (You Only Look Once)
YOLO是一种非常流行的单阶段目标检测算法，其核心思想是将目标检测任务视为一个回归问题。YOLO将图像分割成一个S x S网格，并为每个网格预测B个边界框。每个边界框包含了一个目标物体，同时预测其类别、位置和置信度。YOLO使用卷积神经网络提取图像特征，并通过回归器和分类器预测目标的位置和类别。通过将网络的输出与先验框（anchor box）相结合，YOLO可以实现对目标的定位和分类。
2. SSD (Single Shot MultiBox Detector)
SSD是另一个经典的单阶段目标检测算法。它通过在图像中应用不同尺度的卷积核来检测不同大小的目标物体。SSD在多个特征层上进行预测，以利用来自不同尺度的特征。每个特征层生成一组边界框，并针对每个边界框预测其类别和位置。SSD通过使用卷积层和全连接层实现目标分类和回归。
3. RetinaNet
RetinaNet是一种基于特征金字塔网络（Feature Pyramid Network，FPN）的单阶段目标检测算法。FPN提取了高层级和低层级特征，并通过上采样和跳跃连接的方式将它们进行融合，以保留高分辨率的特征和丰富的语义信息。RetinaNet在融合的特征上添加了一组不同尺度的卷积层，每个卷积层负责检测不同大小的目标。RetinaNet使用分类回归头来预测每个边界框的类别和位置。
这些单阶段目标检测算法在不同的任务和场景中均取得了较好的效果，并在计算机视觉领域中得到广泛应用。随着深度学习的快速发展，不断有新的单阶段目标检测算法涌现，以进一步提高检测准确性和速度。同时，也有一些改进的方法结合了两阶段目标检测算法和单阶段目标检测算法的优点，取得了更好的检测性能。总体而言，单阶段目标检测算法以其简单、高效的特点在目标检测领域中逐渐成为主流。
目标检测的几个基本步骤
- 1 - 目标检测的几个基本步骤
目标检测是计算机视觉中的一项重要任务，它的核心是从图像或视频中检测出不同物体的位置和类别。目标检测的基本步骤主要包括以下几个方面：
1. 图像预处理
在进行目标检测之前，需要对图像进行预处理，以便更好地提取目标信息。例如，可以进行图像增强、缩放、旋转、裁剪等操作，以适应不同的检测模型和场景需求。
2. 特征提取
目标检测的关键是对图像中的目标进行准确的特征提取。这可以通过使用卷积神经网络（CNN）等深度学习模型来实现。CNN可以自动学习目标的特征表示，以便对目标进行准确的分类和定位。
3. 目标定位
目标定位是目标检测的关键步骤之一，它的目的是确定图像中目标的位置。这可以通过使用区域提议算法（RPN）来实现。RPN可以生成各种大小、比例和位置的候选目标框，然后使用分类模型来确定每个框中是否包含目标。
4. 目标分类
目标分类是指对检测出的目标进行分类，以确定它们属于哪个类别。这可以通过使用各种分类算法来实现，如支持向量机（SVM）、K最近邻（KNN）和决策树等。
5. 目标跟踪 - 2 - 目标跟踪是指在图像序列中跟踪目标的位置。它可以使用各种算法来实现，如卡尔曼滤波、粒子滤波等。这可以用于在视频中跟踪目标的位置和运动。
总的来说，目标检测是一个非常复杂的问题，需要考虑多种因素和算法。通过不断优化各个步骤，可以提高目标检测的准确性和效率，为视觉应用提供更好的服务和支持。
目标检测的方法
- 1 - 目标检测的方法
目标检测是计算机视觉中的一个重要任务，其主要目的是在图像或视频中识别和定位需要检测的目标物体。目标检测的方法包括以下几种：
1. 基于传统的分类器：这种方法将目标检测任务转化为分类任务，通过分类器来对图像中的不同区域进行分类，以区分目标和非目标。
2. 基于滑动窗口：这种方法是将图像分成多个小窗口，对每个窗口进行分类判断，从而检测出目标。
3. 基于深度学习的方法：深度学习方法已经成为目标检测中的主流方法，包括YOLO、Faster R-CNN、SSD等。
4. 基于特征提取：这种方法通过提取图像中的特征，然后利用这些特征来检测目标。
除了以上几种方法，还有一些其他的方法，如基于形状模型、基于概率图模型等。不同的方法在不同的场景中会有不同的表现，需要根据具体情况来选择合适的方法。目前，目标检测技术已经广泛应用于人脸识别、智能交通、安防监控等领域。
旋转目标检测方法 2
- 1 - 旋转目标检测方法
旋转目标检测是指在图像或视频中检测和定位旋转的目标。通常情况下，传统的目标检测方法只能检测出水平或垂直的目标，而无法识别旋转的目标。旋转目标检测方法主要有以下几种：
1. 基于模板匹配的方法：该方法是将目标图像与模板图像进行匹配，通过比较二者之间的相似度来确定目标位置。模板图像通常包括目标的各种旋转角度和大小。
2. 基于特征提取的方法：该方法是通过提取目标的特征，如边缘、角点、纹理等，来确定目标位置。由于特征是与目标本身无关的，因此可以应对目标旋转的情况。
3. 基于卷积神经网络的方法：该方法是利用深度学习技术，训练神经网络来识别旋转目标。通过不断迭代训练，网络可以自动学习到目标的各种旋转情况。
综上所述，旋转目标检测是一项具有挑战性的任务，需要结合多种方法进行研究和实践。随着计算机技术的不断发展，相信旋转目标检测技术也会得到不断的优化和提升。