【CN110070025A】基于单目图像的三维目标检测系统及方法【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号
(43)申请公布日
(21)申请号 201910306845.6
(22)申请日 2019.04.17
(71)申请人 上海交通大学
地址 200240 上海市闵行区东川路800号

(72)发明人 林巍峣　陈志明　朱燕民　卢宏涛　
熊红凯　

(74)专利代理机构 上海交达专利事务所 31201
代理人 王毓理　王锡麟

(51)Int.Cl.
G06K 9/00
(2006.01)

G06K 9/32
(2006.01)

G06K 9/62
(2006.01)

(54)发明名称
基于单目图像的三维目标检测系统及方法
(57)摘要
一种基于单目图像的三维目标检测系统及
方法，将三维目标检测转化到二维图像下的预
测，然后应用摄像头标定参数将二维映射到摄像
头三维坐标系下，重构出目标的三维目标框，通
过对映射出的三维目标框进行进一步修正，得到
精确的三维目标框，经两步法训练后进行精确三
维目标检测，本发明低成本，高效，具有广泛的实
际应用价值。

权利要求书3页 说明书5页 附图4页

CN 110070025 A
2019.07.30

C
N
1
1
0
0
7
0
0
2
5
A
1.一种基于单目图像的三维目标检测系统，其特征在于，包括：二维框检测模块、二维
修正模块以及用于将二维映射三维的标定摄像头投影矩阵模块，三维目标框进一步修正模
块，其中：二维框检测模块与深度特征相连进行二维信息预测并传输二维目标框、接地点等
信息，二次修正模块与二维框检测模块相连进行进一步修正二维预测信息，投影矩阵映射
模块与二次修正模块相连进行将二维点映射到摄像头坐标系下的三维点处理并传输三维
目标框信息，三维目标框修正模块与投影矩阵映射模块相连进行三维目标框修正处理，最
终系统输出精确的三维目标框。
2.一种根据权利要求1所述系统的目标检测方法，其特征在于，将三维目标检测转化到
二维图像下的预测，然后应用摄像头标定参数将二维映射到摄像头三维坐标系下，重构出
目标的三维目标框，通过对映射出的三维目标框进行进一步修正，得到精确的三维目标框，
经两步法训练后进行精确三维目标检测。
3.根据权利要求2所述的方法，其特征是，所述的将三维目标检测转化到二维图像下的
预测是指：采用二维修正模块分别提取训练后的三维目标检测系统中的VGG16网络结构的
Conv4层、Conv5层、fc7层、Conv6层的特征，分别用一系列卷积操作直接进行回归图像坐标
系下的四个接地点和摄像头坐标系下的离“0”平面的真实偏移量预测。
4.根据权利要求3所述的方法，其特征是，为了让设计的网络更好地学习目标的(cx，cy，

width，height)，信息，将其按照以下方式进

行编码：

i＝0，1，2，3，i＝0，1，2，3，
其中：pi表示对应目标信息设置的先验值，oi表示对应目标信息的真实值。
5.根据权利要求2所述的方法，其特征是，所述的重构出目标的三维目标框是指：采用
三维目标检测系统中的二维修正模块分别提取三维目标检测系统中的RefineDet网络结构
的P4层、P5层、P6层、P7层的特征，通过一系列卷积操作直接进行二维框的预测值(cx，cy，
width，height)、三维目标框的底部四个点的映射值
以及目标接地点的真实偏移量的修正，使网络预测的以上目标信息更加准确；然后将图
像坐标系下的接地点到摄像头坐标系下的映射，得到摄像头坐标系下的三维目标框的信
息。
6.根据权利要求5所述的方法，其特征是，所述的映射，具体包括：
4.1)由于网络学习的是编码过后目标的信息，故首先解码目标的二维框的预测值(cx，cy，

width，height)、三维目标框的底部四个点的映射值
以及目标接地点的真实偏移量具体为：
cx＝predictx*pw+pcx，cy＝predicty*ph+pcy，
width＝exp(predictw)*pw，height＝exp(predicth)*ph，

权　利　要　求　书
1/3页

2
CN 110070025 A