【CN110047090A】基于演化特征学习的RGBD目标跟踪方法【专利】

合集下载

一种目标检测方法、目标跟踪方法、装置及可读存储介质[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010373510.9(22)申请日 2020.05.06(66)本国优先权数据201911028303.3 2019.10.28 CN(71)申请人北京大学地址 100871 北京市海淀区颐和园路5号(72)发明人黄铁军　郑雅菁　余肇飞　田永鸿　(74)专利代理机构北京辰权知识产权代理有限公司 11619代理人付婧(51)Int.Cl.G06T 7/20(2017.01)G06N 3/04(2006.01)H04N 5/14(2006.01)(54)发明名称一种目标检测方法、目标跟踪方法、装置及可读存储介质(57)摘要本发明公开了一种目标检测方法、目标跟踪方法、装置及可读存储介质。

目标检测方法包括：生成被监测区域的第一脉冲阵列，将第一脉冲阵列送入输入层，输出层的每个神经元接受输入层的多个神经元的输入，当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列，利用第二脉冲阵列进行目标检测；目标跟踪方法包括确定在不同时刻的同一运动目标的步骤；目标检测装置包括脉冲阵列生成模块、脉冲阵列输入模块、脉冲阵列输出模块及目标信息检测模块；目标跟踪装置包括目标检测装置和目标跟踪模块；可读存储介质在被处理器执行时用于实现上述的方法或装置。

本发明能够实现对高速目标的检测与跟踪，实时性好且成本低。

权利要求书2页说明书7页附图2页CN 111709967 A 2020.09.25C N 111709967A1.一种目标检测方法，其特征在于，该检测方法包括：生成被监测区域的第一脉冲阵列；将所述第一脉冲阵列送入脉冲神经网络中的输入层，所述脉冲神经网络包括相连接的输入层和输出层，所述输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接；输出层的每个神经元接受输入层的多个神经元的输入，当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列；利用所述第二脉冲阵列进行目标检测。

一种基于跟踪-学习-检测的视觉目标跟踪方法[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201810080582.7(22)申请日 2018.01.28(71)申请人北京工业大学地址 100124 北京市朝阳区平乐园100号(72)发明人李嘉锋　张时雨　卓力　张辉　马春杰　(74)专利代理机构北京思海天达知识产权代理有限公司 11203代理人沈波(51)Int.Cl.G06T 7/246(2017.01)G06T 7/223(2017.01)G06T 7/262(2017.01)G06K 9/62(2006.01)(54)发明名称一种基于跟踪-学习-检测的视觉目标跟踪方法(57)摘要本发明公开了一种基于跟踪-学习-检测的视觉目标跟踪方法，属于计算机视觉领域。

首先，本发明从深度特征和核相关滤波的角度出发，建立了一种基于跟踪-学习-检测的视觉目标跟踪方法，可完成复杂场景下长时间目标跟踪的任务；其次，本发明针对卷积神经网络的特征图进行了研究和测试，并分析了不同卷积层的特征图对视觉目标跟踪的影响。

最后，本发明融入目标检测的思想，可以进行跟踪失败后对目标进行再检测，从而实现对单目标的长时间跟踪。

本方法将相关滤波跟踪方法与深度学习相结合，从而提高目标在复杂场景下目标跟踪的鲁棒性。

权利要求书4页说明书7页附图6页CN 108346159 A 2018.07.31C N 108346159A1.一种基于跟踪-学习-检测的视觉目标跟踪方法，其特征在于：本方法将相关滤波跟踪方法与深度学习相结合，从而提高目标在复杂场景下目标跟踪的鲁棒性，同时加入检测机制以应对目标消失在视场后再次出现在视场内的情况，从而实现长时间目标跟踪；整体流程：获取一帧图像后采用ImageNet预训练好的VGG-19卷积神经网络中的卷积层提取特征，然后通过相关滤波计算出响应图，进行多峰值检测，确定目标的所在位置；当平均峰值能量APCE与峰值均大于历史均值时，判定跟踪成功，然后更新模型，并在线训练检测器；当APCE与历史均值的差大于特定值时，判定跟踪失败，然后不更新模型，同时调用检测器对跟踪器进行初始化；学习部分：学习器利用深度学习中卷积神经网络的卷积层提取目标特征，其中卷积神经网络的卷积层采用ImageNet预训练好的VGG-19中的三个卷积层；跟踪部分：跟踪器包含四个相关滤波器，其中三个是用来检测目标的位置，另一个为尺度滤波器用来检测目标的的尺度变化；检测部分：检测器由三个级联分类器构成，分别为方差分类器，随机森林分类器和最近邻分类器；其中随机森林分类器和最近邻分类器需要在线训练所述的整体流程，具体步骤如下：步骤1在视频的第一帧手工标定或者从文档中读取目标的位置信息和尺度信息，并初始化检测器；位置信息和尺度信息以跟踪框的形式呈现；步骤2将跟踪框的1.5倍大小提取的图像块送入VGG-19卷积神经网络，运算完成后提取Conv5-4,Conv4-4和Conv3-4产生的特征图；步骤3利用三个深度特征初始化三个核相关滤波器；步骤4在下一帧图像，通过前一帧跟踪框的位置，步骤2进行特征提取，利用三个相关滤波器分别进行相关滤波，得到三个响应图，将三个响应图进行线性加权求和得到一张响应图，查找响应的最大值f max以及最大值的坐标作为新的目标位置；然后进行目标尺度估计，获取尺度响应最大值的作为新的目标尺度；计算APCE值，当此时的f max和APCE与历史均值的差都小于某一值时，判定跟踪成功，在新的跟踪框位置和大小按照步骤2提取特征，然后更新滤波器模型，并训练检测器；步骤5当此时的fmax和APCE与历史均值的差都大于某一值时，判定跟踪失败，不进行滤波器模型更新，用检测器重新初始化跟踪器，返回步骤4；步骤6重复步骤4、步骤5直至视频最后一帧。

一种目标跟踪方法[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201811210882.9(22)申请日 2018.10.17(71)申请人龙马智芯（珠海横琴）科技有限公司地址 519031 广东省珠海市香洲横琴新区创意谷20栋417室(72)发明人郑权　李睿　张峰　聂颖　(74)专利代理机构广东朗乾律师事务所 44291代理人闫有幸(51)Int.Cl.G06T 7/246(2017.01)G06T 7/90(2017.01)(54)发明名称一种目标跟踪方法(57)摘要本发明公开一种目标跟踪方法，主要是在跟踪步骤过程中进行遮挡发生检测，当目标被遮挡情形发生时则进入重新检测目标的步骤，否则继续跟踪；重新检测目标的步骤主要是抽取所述视频中遮挡发生后的帧图片，由抽取的帧图片通过超像素算法获得与目标图像块大小相同的比对图像块，通过图像特征匹配的方式，找到与目标图像块最匹配的比对图像块，将所述最匹配的比对图像块作为目标位置，并从最匹配的比对图像块的所在帧，沿视频的时间轴正方向和视频时间轴的负方向继续跟踪。

本发明通过引入遮挡发生检测步骤，避免了现有技术不断重新检测目标的盲目检测行为。

本发明重新检测目标的步骤相对于现有技术，可以降低需要重新检测的帧数，降低了计算量。

权利要求书2页说明书5页附图2页CN 109584269 A 2019.04.05C N 109584269A1.一种目标跟踪方法，包括：跟踪步骤：跟踪视频中所述目标出现的首帧图片并训练出一个跟踪器，由所述跟踪器得到下一帧图片的目标位置，继续跟踪并根据跟踪结果更新所述跟踪器；其特征在于，还包括：遮挡发生检测步骤：根据预设的遮挡发生检测条件判断所述跟踪步骤中当前跟踪结果是否有目标被遮挡情形的发生，是则进入重新检测目标的步骤，否则继续跟踪；重新检测目标的步骤：抽取所述视频中遮挡发生后的帧图片，由所述抽取的帧图片通过超像素算法获得与目标图像块大小相同的比对图像块，通过图像特征匹配的方式，找到与所述目标图像块最匹配的比对图像块，将所述最匹配的比对图像块作为目标位置，并从所述最匹配的比对图像块所在的帧继续跟踪。

一种基于RGB-D图像的视觉语义关系检测方法[发明专利]

专利名称：一种基于RGB-D图像的视觉语义关系检测方法专利类型：发明专利
发明人：甘明刚,刘晓舟,陈杰,窦丽华
申请号：CN202010126145.1
申请日：20200228
公开号：CN111368829A
公开日：
20200703
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于RGB‑D图像的视觉语义关系检测方法，首先提取图像的RGB特征向量的同时估计出图像的深度图并提取对应的深度特征向量，将RGB特征向量与深度特征向量相融合；将融合的特征向量输入视觉语义关系分类器，所述视觉语义关系分类器设计为同时处理RGB特征向量与深度特征向量并弱化深度特征向量部分，得到视觉语义关系检测结果。

能够提高复杂视觉场景中视觉语义关系的检测精度和泛化能力。

申请人：北京理工大学
地址：100081 北京市海淀区中关村南大街5号
国籍：CN
代理机构：北京理工大学专利中心
代理人：温子云
更多信息请下载全文后查看。

一种基于目标检测的目标跟踪方法及系统[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201911393936.4(22)申请日 2019.12.30(71)申请人华中科技大学地址 430074 湖北省武汉市洪山区珞喻路1037号(72)发明人秦淮　高常鑫　桑农　(74)专利代理机构华中科技大学专利中心42201代理人李智(51)Int.Cl.G06T 7/246(2017.01)G06K 9/46(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)G06K 9/62(2006.01)(54)发明名称一种基于目标检测的目标跟踪方法及系统(57)摘要本发明公开了一种基于目标检测的目标跟踪方法及系统，模式识别技术领域，包括：为待跟踪目标建立包括主干网络和推理网络的目标跟踪模型，主干网络为目标检测模型中已训练好的特征提取网络；在目标视频中的第一帧F 1上创建多个正样本，通过模型训练初始化推理网络；依次获取目标视频中的帧作为当前帧，利用目标跟踪模型获得当前帧中的多个候选区域及其检测得分和目标位置坐标；根据空间约束对检测得分进行修正，得到跟踪得分；若跟踪得分最高的目标区域的跟踪得分Score>Th S ，则跟踪成功，并创建正、负样本，加入到样本库中；若Th F ≤Score≤Th S ，则判定跟踪成功；若Score<Th F ，则判定踪失败，并利用样本库中推理网络进行在线更新。

本发明能够实现对目标的持续、准确的跟踪。

权利要求书2页说明书8页附图1页CN 111192294 A 2020.05.22C N 111192294A1.一种基于目标检测的目标跟踪方法，其特征在于，包括：为待跟踪目标建立目标跟踪模型，所述目标跟踪模型包括主干网络和推理网络；所述主干网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；所述推理网络，用于根据区域特征为每一个候选区域打分，以得到各候选区域的检测得分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；所述主干网络为目标检测模型中用于提取特征的网络，且已训练好；获取待处理的目标视频中的第一帧F1，在其上通过数据增强的方式创建多个正样本，并利用所得到的正样本训练所述目标跟踪模型，以初始化所述推理网络；在所述推理网络初始化之后，依次获取所述目标视频中的帧作为当前帧，并按照如下步骤对各帧进行目标跟踪：(S1)利用所述目标跟踪模型获得所述待跟踪目标在当前帧中的多个候选区域，以及各候选区域的检测得分和目标位置坐标；(S2)根据空间约束对检测得分进行修正，以得到各候选区域的跟踪得分，并将跟踪得分最高的候选区域确定为目标区域；(S3)若目标区域的跟踪得分Score>Th S，则判定当前帧跟踪成功，并根据当前帧创建正、负样本，加入到样本库中；若Th F≤Score≤Th S，则判定当前帧跟踪成功；若Score<Th F，则判定当前帧跟踪失败，并利用所述样本库中的样本对所述目标跟踪模型进行重新训练，以对所述推理网络进行在线更新；其中，Th S为预设的成功阈值，Th F为预设的失败阈值；所述样本库用于在目标跟踪过程中存储正、负样本，初始时刻，其中样本数量为0；所述空间约束与待跟踪目标在当前帧及前一帧中的空间位置和尺度的变化相关。

一种目标检测跟踪方法、装置及计算机设备[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201810379134.7(22)申请日 2018.04.25(71)申请人杭州海康威视数字技术股份有限公司地址 310051 浙江省杭州市滨江区阡陌路555号(72)发明人虞抒沁　谭文明　(74)专利代理机构北京柏杉松知识产权代理事务所(普通合伙) 11413代理人马敬　项京(51)Int.Cl.G06T 7/269(2017.01)G06K 9/00(2006.01)(54)发明名称一种目标检测跟踪方法、装置及计算机设备(57)摘要本发明实施例提供了一种目标检测跟踪方法、装置及计算机设备，其中，目标检测跟踪方法包括：从获取的视频中提取关键帧，关键帧为连续的多个视频帧中的第一个视频帧；利用预设目标检测方法，对关键帧进行目标检测，得到关键帧中目标所处检测框的位置信息；将当前帧与关键帧进行融合，并对融合后的图像进行光流分析，得到当前帧相对于关键帧的特征位移信息，当前帧为连续的多个视频帧中除关键帧以外的任一个视频帧；根据检测框在关键帧中的位置信息，以及特征位移信息，确定当前帧中预测框的位置信息；基于预测框的位置信息，对目标进行跟踪。

通过本方案，可以在降低计算量、保证目标检测跟踪的实时性前提下，提高目标检测跟踪的准确率。

权利要求书4页说明书15页附图5页CN 110400332 A 2019.11.01C N 110400332A1.一种目标检测跟踪方法，其特征在于，所述方法包括：从获取的视频中提取关键帧，其中，所述关键帧为连续的多个视频帧中的第一个视频帧；利用预设目标检测方法，对所述关键帧进行目标检测，得到所述关键帧中目标所处检测框的位置信息；将当前帧与所述关键帧进行融合，并对融合后的图像进行光流分析，得到所述当前帧相对于所述关键帧的特征位移信息，其中，所述当前帧为所述连续的多个视频帧中除所述关键帧以外的任一个视频帧；根据所述检测框在所述关键帧中的位置信息，以及所述特征位移信息，确定所述当前帧中预测框的位置信息；基于所述预测框的位置信息，对所述目标进行跟踪。

一种目标跟踪方法及系统[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201710287617.X(22)申请日 2017.04.27(71)申请人中国科学院长春光学精密机械与物理研究所地址 130033 吉林省长春市经济技术开发区东南湖大路3888号(72)发明人朱明　曾冬冬　周同雪　(74)专利代理机构北京集佳知识产权代理有限公司 11227代理人罗满(51)Int.Cl.G06K 9/00(2006.01)(54)发明名称一种目标跟踪方法及系统(57)摘要本申请公开了一种目标跟踪方法及系统，该方法包括：对目标对象展开第一阶段跟踪，得到N 帧跟踪图像；提取并保存N帧跟踪图像中每一帧跟踪图像的特征图以及相应的特征图系数，得到相应的特征池；利用特征池，对目标对象展开第二阶段跟踪；其中，在第二阶段跟踪中的任一次跟踪过程均包括：计算本次跟踪过程的帧跟踪图像所对应的频域特征图与特征池中每个特征图之间的响应度，得到相应的N个响应图，然后将N 个响应图中具有最大响应值的位置确定为当前目标对象的最新跟踪位置。

本申请实现了对目标对象的跟踪位置的优化，从而进一步提高了目标跟踪精度。

权利要求书2页说明书6页附图1页CN 107122741 A 2017.09.01C N 107122741A1.一种目标跟踪方法，其特征在于，包括：对目标对象展开第一阶段跟踪，得到N帧跟踪图像；其中，N为不小于2的正整数；提取并保存所述N帧跟踪图像中每一帧跟踪图像的特征图以及相应的特征图系数，得到相应的特征池；利用所述特征池，对所述目标对象展开第二阶段跟踪；其中，在所述第二阶段跟踪中的任一次跟踪过程均包括：计算本次跟踪过程的帧跟踪图像所对应的频域特征图与所述特征池中每个特征图之间的响应度，得到相应的N个响应图，然后将所述N个响应图中具有最大响应值的位置确定为当前所述目标对象的最新跟踪位置。

基于RGBD相机的目标物体识别与定位方法及移动机器人[发明专利]

专利名称：基于RGBD相机的目标物体识别与定位方法及移动机器人
专利类型：发明专利
发明人：郝奇,陈智君,伍永健,曹雏清,高云峰
申请号：CN201911410057.8
申请日：20191231
公开号：CN111160280A
公开日：
20200515
专利内容由知识产权出版社提供
摘要：本发明适用于物体识别技术领域，提供了一种基于RGBD相机的目标物体识别与定位方法及移动机器人，该方法包括：S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像；S2、在RGB图像查找与模板图像差异度最低的目标区域；S3、基于目标区域构建包含目标物体的三维点云，并在所述三维点云中剔除支撑面的点集，形成目标物体点云；S4、计算目标物体点云的重心坐标p及目标物体的形心坐标p；S5、计算重心坐标p与形心坐标p的差值，若该差值小于预设阈值，则判定目标物体成功识别，返回形心坐标p。

基于RGBD相机即可实现对目标物体的识别和精确定位，以进行对目标物体的下一步抓取操作。

申请人：芜湖哈特机器人产业技术研究院有限公司
地址：241000 安徽省芜湖市鸠江区电子产业园E座1层
国籍：CN
代理机构：芜湖安汇知识产权代理有限公司
代理人：钟雪
更多信息请下载全文后查看。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910240994.7
(22)申请日 2019.03.28
(71)申请人淮阴工学院
地址 223005 江苏省淮安市洪泽区东七街
三号高新技术产业园A12-2（淮阴工学
院技术转移中心洪泽分中心）
(72)发明人姜明新　王晓燕　贾银洁　王海燕　
(74)专利代理机构南京苏高专利商标事务所
(普通合伙) 32204
代理人柏尚春
(51)Int.Cl.
G06T 7/20(2017.01)
G06T 7/593(2017.01)
G06T 7/00(2017.01)
(54)发明名称
基于演化特征学习的RGB-D目标跟踪方法
(57)摘要
本发明公开了一种基于演化特征学习的
RGB -D目标跟踪方法，将演化特征学习技术应用
到RGB -D视频目标跟踪方法中，演化特征学习不
需要目标的先验知识，可以克服人工设计特征的
缺点。

与此同时，演化特征学习的参数数量和深
度神经网络比起来要少的多，不需要花费大量的
时间对参数进行学习和训练。

因此，本发明可以
克服人工设计特征鲁棒性差的技术缺点，又可以
克服深度学习方法计算效率低，耗费时间长的技
术缺点。

权利要求书2页说明书4页附图3页CN 110047090 A 2019.07.23
C N 110047090
A
1.一种基于演化特征学习的RGB -D目标跟踪方法，其特征在于包括以下步骤：
步骤1，对视频目标跟踪中的候选目标的Depth图像进行HHA编码；
步骤2，对RGB中候选目标图像的染色体进行编码，对Depth图像中的候选目标图像的染色体进行编码；其中一个染色体包含32个基因，每个基因包含7个数据项，一个数据项包含8个二进制位；在RGB图像中，7个数据项分别表示候选目标图像块的中心点坐标(X ,Y)，图像块的宽和高(W ,H)以及R、G、B三个通道的数值；在Depth图像中，7个数据项分别表示候选目标图像块的中心点坐标(X ,Y)、图像块的宽和高(W ,H)以及水平差异，对地高度以及表面法向量的角度三个通道的数值；
步骤3，RGB和Depth图像模式下的候选目标图像的染色体进行初始化候选解空间，初始化候选解空间中染色体的种群表示为：
或者是一个染色体,j＝1,2,…,M ,M是种群包含染色体的数量,g＝1,2,…,G ,G表示代的数量；
计算候选解空间中每个候选目标图像和上一帧跟踪结果的匹配度，匹配度计算为对于RGB或者Depth模式中的每个输入图像X RGB 或者X depth ,在演化算法中，
都有一个重构图像
或者
C j 表示第j个染色体，对于候选染色体，相应的匹配度方程为：
或者
将匹配到的染色体作为终止结果，同时输出该染色体在RGB和depth模式下的演化特征。

2.根据权利要求1所述的基于演化特征学习的RGB -D目标跟踪方法，其特征在于步骤3中，在RGB和depth模式下的染色体中存在匹配度最高的染色体，该匹配度最高的染色体可以通过下式得出:
或者
得出的作为X RGB 的演化特征的最终结果F RGB ，作为X depth 的演化特征的最终结果F depth 。

3.根据权利要求1所述的基于演化特征学习的RGB -D目标跟踪方法，其特征在于步骤3中，对于不满足终止结果的染色体要进行进一步的选择，包括组合交叉，变异，生成新的种群，然后循环上述过程。

4.根据权利要求3所述的基于演化特征学习的RGB -D目标跟踪方法，其特征在于在选择过程中，根据每个染色体的匹配度对其进行排序，最差的为rank 1，接下来是rank 2……最好的是rank M，M为种群包含染色体的数量；
根据染色体的rank值计算选择概率：
P j 为选择第j个染色体的概率,是选择最差染色体的概率，是选择最佳染色体的概率，m worst 为匹配度最低的染色体个数，m best 为匹配度最高的染色体个数。

5.根据权利要求2所述的基于演化特征学习的RGB -D目标跟踪方法，其特征在于在RGB
权　利　要　求　书1/2页2CN 110047090 A。