【CN110060286A】一种单目深度估计方法【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910340694.6(22)申请日 2019.04.25(71)申请人 东北大学地址 110169 辽宁省沈阳市浑南区创新路195号(72)发明人 张云洲 刘及惟 冯永晖 王帅 裴美淇 (74)专利代理机构 北京易捷胜知识产权代理事务所(普通合伙) 11613代理人 韩国胜(51)Int.Cl.G06T 7/50(2017.01)
(54)发明名称一种单目深度估计方法(57)摘要本发明实施例涉及一种单目深度估计方法，其包括：获取待处理图像，并对所述待处理图像进行缩放处理，得到缩放图像；对所述缩放图像基于多尺度全卷积密集神经网络进行训练，得到深度图；对所述深度图进行放大处理，得到与所述待处理图像的尺寸大小相同的深度图；其中对所述缩放图像基于多尺度全卷积密集神经网络进行训练包括：对所述缩放图像进行特征提取，得到浅层特征；通过多尺度模块对所述浅层特征进行特征连接，得到深层特征；将所述深层特征与处理后的浅层特征进行特征连接，得到所述深度图。本发明实施例提供的方法通过多尺度全卷积密集神经网络对待处理图像进行训练，不仅可以大幅提高单目深度估计的准确率，还能提高单
目深度估计的精度。
权利要求书2页 说明书8页 附图6页CN 110060286 A2019.07.26
CN 110060286
A1.一种单目深度估计方法，其特征在于，其包括：获取待处理图像，并对所述待处理图像进行缩放处理，得到缩放图像；对所述缩放图像基于多尺度全卷积密集神经网络进行训练，得到深度图；对所述深度图进行放大处理，得到与所述待处理图像的尺寸大小相同的深度图；其中对所述缩放图像基于多尺度全卷积密集神经网络进行训练包括：对所述缩放图像进行特征提取，得到浅层特征；通过多尺度模块对所述浅层特征进行特征连接，得到深层特征；将所述深层特征与处理后的浅层特征进行特征连接，得到所述深度图。2.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述缩放图像进行特征提取，得到浅层特征包括：对所述缩放图像进行卷积运算；利用DenseNet模块密集连接机制对所述卷积运算的结果进行特征提取，得到层网络的输出为xl，其中表示非线性激活，表示密集连接操作。3.如权利要求1所述的单目深度估计方法，其特征在于，所述通过多尺度模块对所述浅层特征进行特征连接，得到深层特征包括：利用至少三个不同尺寸的、并行的卷积核进行卷积运算，其中所述不同尺寸的卷积核包括1×1、3×3、5×5；对所述卷积运算的结果进行池化运算；对所述池化运算的结果利用DenseNet模块进行特征提取，分别得到至少三个不同的特征图；采用特征连接对所述至少三个不同的特征图进行特征连接，得到所述深层特征。4.如权利要求3所述的单目深度估计方法，其特征在于，所述处理后的浅层特征为对所述浅层特征按照空间维度进行特征压缩处理得到的权重与所述浅层特征进行计算得到。5.如权利要求4所述的单目深度估计方法，其特征在于，所述按照空间维度进行特征压缩处理包括：全局平均池化、卷积、非线性激活、卷积和归一化处理。6.如权利要求5所述的单目深度估计方法，其特征在于，所述将所述深层特征与处理后的浅层特征进行特征连接包括：基于注意力机制的跳跃连接将所述深层特征与所述处理后的浅层特征进行特征连接。7.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述深度图进行放大处理包括：基于上采样密集模块采用至少三个3×3的卷积核进行卷积运算；对所述卷积运算的结果进行特征连接。8.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述缩放图像基于多尺度全卷积密集神经网络进行训练时采用边缘感知loss进行训练，其中所述边缘感知loss由berhu loss、
梯度loss和边缘loss组成。权 利 要 求 书1/2页
2CN 110060286 A
【CN110021043A】一种基于立体匹配和置信度传播的场景深度获取方法【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910152429.5(22)申请日 2019.02.28(71)申请人 浙江大学地址 310058 浙江省杭州市西湖区余杭塘路866号(72)发明人 于慧敏 龙阳祺 (74)专利代理机构 杭州求是专利事务所有限公司 33200代理人 黄欢娣 邱启旺(51)Int.Cl.G06T 7/593(2017.01)G06N 3/04(2006.01)G06N 3/08(2006.01)
(54)发明名称一种基于立体匹配和置信度传播的场景深度获取方法(57)摘要本发明公开了一种基于立体匹配和置信度传播的场景深度获取方法。该方法通过使用立体匹配算法和基于置信度传播的深度补全算法，对场景进行建模，进而获取场景的深度信息。不同于以往场景深度估计方法，该方法首先使用现有的立体匹配方法获取初始场景深度估计，再利用基于置信度传播的深度补全算法对该深度估计进行优化，最终得到致密的场景深度估计，大大
提升场景深度获取的鲁棒性和精确度。
权利要求书1页 说明书5页 附图2页CN 110021043 A2019.07.16
CN 110021043
A1.一种基于立体匹配和置信度传播的场景深度获取方法，其特征在于，该方法为：步骤1：获取训练用数据集D0，所述数据集D0包含N0组双目立体相机获得的左图和右图，以及左图对应的深度图，因此，该数据集D0中包含了N0×3张图片；步骤2：从数据集D0任意选取若干组图片，作为一个批次的样本；每组的左图和右图作为输入，基于现有的立体匹配方法，获得初始的稀疏视差图，以及对应的置信度。通过立体视觉原理将稀疏视差图转化为稀疏深度图。步骤3：以步骤2中的稀疏深度图为初始值，分别结合对应的置信度，并以数据集D0内的对应深度图作为监督，采用基于置信度传播的深度补全方法，训练深度卷积神经网络；利用多个批次的样本完成深度卷积神经网络的训练，得到基于置信度传播的深度补全模型，通过该深度补全模型，从稀疏深度图输入得到致密的深度图输出。步骤4：输入双目立体相机得到的一组左右视图，先按照步骤2获得稀疏深度图和置信度，进一步利用步骤3训练得到的基于置信度传播的深度补全模型得到最终精确的深度估计。2.根据权利要求1中所述的方法，其特征在于，步骤3中所述训练基于置信度传播的补全模块使用深度真值提供监督，具体为：以输出的致密深度图和数据集D0内的对应深度图的相似度为损失；相似度的度量方式包括但不限于L1范数，欧式距离等。3.根据权利要求1中所述的方法，其特征在于，步骤3的深度卷积神经网络的训练过程中，还引入了附加损失，所述的附加损失通过以下方法得到：利用步骤3中的多个批次的样本，每个批次中的每一组视图先按照步骤2获得稀疏深度图和置信度，进一步利用基于置信度传播的深度补全模型得到致密深度图输出。利用左图加上左图对应的致密深度图输出，通过视角重建模块可以重建出右图，并与数据集内的右图计算相似度，该相似度为附加损失。4.根据权利要求1所述的方法，其特征在于，该方法还包括利用无监督的双目立体数据集D1对步骤3中的置信度传播的深度补全模块进行精调，所述的数据集D1为无监督的双目立体数据集，包含N1组双目立体相机获得的左图和右图，因此，该数据集D1包含了N1×2张图片，精调方法如下：从数据集D1选取m组图片，m≤N1，按照步骤4得到m个致密深度图输出，利用左图加上左图对应的致密深度图输出，通过视角重建模块可以重建出右图，并与数据集内的右图计算相似度，以该相似度为损失，对基于置信度传播的深度补全模型进行精调。5.根据权利要求4所述的方法，其特征在于，所述的相似度采用L1范数，
【CN110009674A】基于无监督深度学习的单目图像景深实时计算方法【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910256117.9(22)申请日 2019.04.01(71)申请人 厦门大学地址 361102 福建省厦门市翔安区厦门大学翔安校区航空航天学院 申请人 厦门万久科技股份有限公司(72)发明人 仲训昱 杨德龙 殷昕 彭侠夫 邹朝圣 (74)专利代理机构 桂林市持衡专利商标事务所有限公司 45107代理人 陈跃琳(51)Int.Cl.G06T 7/593(2017.01) (54)发明名称基于无监督深度学习的单目图像景深实时计算方法(57)摘要本发明公开一种基于无监督深度学习的单目图像景深实时计算方法，利用双目序列图像之间的几何约束关系构造监督信号，取代传统的人工标记数据集，完成了无监督算法设计；在Depth-CNN网络中的，损失函数除了考虑图像之间的几何约束，还设计了针对左右图像的景深估计结果一致性约束项，提高算法精确度；以Depth-CNN的输出作为Pose-CNN输入的一部分，构造整体的目标函数，同时使用双目图像之间的几何关系和序列图像之间的几何关系构造监督信号，
进一步提高的算法的精确度以及鲁棒性。
权利要求书2页 说明书10页 附图3页CN 110009674 A2019.07.12
CN 110009674
A1.基于无监督深度学习的单目图像景深实时计算方法，其特征是，包括步骤如下：步骤1、使用无人驾驶数据集KITTI中的双目序列图像作为输入数据，并通过数据预处理将双目序列图像分类为两种类型，即用于景深估计卷积神经网络的立体图像对和用于相机姿态估计卷积神经网络的序列图像；步骤2、基于残差网络建立景深估计卷积神经网络，构造一个端到端系统，以立体图像对作为输入，输出对应的景深估计图像，设计景深估计卷积神经网络对应的损失函数用于反馈传播；步骤3、基于卷积神经网络模块建立相机姿态估计卷积神经网络，构造一个端到端系统，以序列图像和景深估计图像作为输入，输出序列图像之间的姿态变化矩阵，设计相机姿态估计卷积神经网络对应的损失函数用于反馈传播；步骤4、基于步骤2所设计的景深估计卷积神经网络对应的损失函数和步骤3所设计的相机姿态估计卷积神经网络对应的损失函数，构造目标函数；步骤5、基于步骤2的景深估计卷积神经网络和步骤3的相机姿态估计卷积神经网络完成深度神经网络的搭建，并基于步骤4完成目标函数的设计后，利用步骤1所得无人驾驶数据集KITTI中全部数据对深度神经网络中的景深估计卷积神经网络和相机姿态估计卷积神经网络进行同时训练，以固定深度神经网络的网络参数值和网络结构，得到最终的计算模型；步骤6、将摄像头实际所得到的单目图像输入到步骤5所得到的计算模型中，则计算模型的输出即为图像对应的场景景深图像。2.根据权利要求1所述的基于无监督深度学习的单目图像景深实时计算方法，其特征是，步骤4中，所构造的目标函数为：Lossfinal＝λ1 depth_loss+λ2
【CN110068760A】一种基于深度学习的异步电动机故障诊断方法【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910325479.9(22)申请日 2019.04.23(71)申请人 哈尔滨理工大学地址 150080 黑龙江省哈尔滨市南岗区学府路52号(72)发明人 袁丽英 问天宇 (51)Int.Cl.G01R 31/34(2006.01)G01M 15/00(2006.01)G06K 9/62(2006.01)
(54)发明名称一种基于深度学习的异步电动机故障诊断方法(57)摘要本发明公开了一种基于深度学习的异步电动机故障诊断方法，包含以下步骤：A、搭建异步电动机运转的模拟实验平台；B、对模拟出的电机故障状态进行电流信号和振动信号的采集；C、提取采集到数据的内在特征并进行相应的标签，完成数据集的构建；D、构建基于栈式编码器的故障诊断模型；依次训练该网络和分类器；E、利用构造的数据集对搭建的深度神经网络进行训练，并结合模拟实验平台对所提出的故障诊断方法进行验证。本发明引入深度学习理论，设计能够准确的、灵敏的、有效的诊断异步电动机复杂故障的系统，解决异步电动机故障诊断上存在的问题，
适应不断发展的电力系统的要求。
权利要求书1页 说明书4页 附图2页CN 110068760 A2019.07.30
CN 110068760
A1.一种基于深度学习的异步电动机故障诊断方法，其特征在于，包含以下步骤：搭建异步电动机运转的模拟实验平台；对模拟出的电机故障状态进行电流信号和振动信号的采集；提取采集到数据的内在特征并进行相应的标签，完成数据集的构建；构建基于栈式编码器的故障诊断模型；依次训练该网络和分类器；利用构造的数据集对搭建的深度神经网络进行训练，并结合模拟实验平台对所提出的故障诊断方法进行验证。2.根据权利要求1所述的一种基于深度学习的异步电动机故障诊断方法，其特征在于，所述步骤A中的模拟实验平台由计算机、负载控制器、异步电机、转速计、电流传感器、加速度传感器和NI数据采集卡组成。3.根据权利要求1所述的一种基于深度学习的异步电动机故障诊断方法，其特征在于，所述电流信号通过电流传感器和加速度传感器采集。4.根据权利要求1所述的一种基于深度学习的异步电动机故障诊断方法，其特征在于，所述振动信号通过加速度传感器采集。5.根据权利要求1所述的一种基于深度学习的异步电动机故障诊断方法，其特征在于，所述步骤B采集的数据还需要传输给计算机。6.根据权利要求1所述的一种基于深度学习的异步电动机故障诊断方法，其特征在于，所述步骤D具体是：首先构造由多层自动编码器栈式叠加而成的栈式编码器深层网络结构，然后结合softmax分类器构成多分类故障诊断模型，将振动信号和电流信号的数据相结合作为输入，依次训练该网络和分类器，并有监督的对整个网络进行微调。7.根据权利要求1-6任一所述的一种基于深度学习的异步电动机故障诊断方法，其特征在于，
【CN110033026A】一种连续小样本图像的目标检测方法、装置及设备【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910199257.7(22)申请日 2019.03.15(71)申请人 深圳先进技术研究院地址 518055 广东省深圳市南山区西丽大学城学苑大道1068号(72)发明人 乔宇 陈贤煜 王亚立 (74)专利代理机构 深圳中一专利商标事务所 44237代理人 高星(51)Int.Cl.G06K 9/62(2006.01)
(54)发明名称一种连续小样本图像的目标检测方法、装置及设备(57)摘要一种连续小样本图像的目标检测方法包括：对目标检测器进行解耦，将目标-背景分类器解耦成背景分类器和目标分类器；根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器；通过知识蒸馏方法获取当前检测任务之前的监督参数，通过初始化后的解耦后的目标检测器从而实现所述监督参数对目标进行训练或检测。通过解耦有利于减少学习的复杂度，并且通过拓印策略初始化，可以有效的适应连续小样本图像的训练要求，通过知识蒸馏方法可以有效的利用之前检测任务的知识，可以有效的对抗旧知识的遗忘，实现旧知
识的遗忘与新知识的获取之间的平衡。
权利要求书2页 说明书8页 附图3页CN 110033026 A2019.07.19
CN 110033026
A1.一种连续小样本图像的目标检测方法，其特征在于，所述小样本图像的目标检测方法包括：对目标检测器进行解耦，将目标-背景分类器解耦成背景分类器和目标分类器；根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器；通过知识蒸馏方法获取当前检测任务之前的监督参数，通过初始化后的解耦后的目标检测器结合所述监督参数对目标进行训练或检测。2.根据权利要求1所述的连续小样本图像的目标检测方法，其特征在于，所述对目标检测器进行解耦，将目标-背景分类器解耦成背景分类器和目标分类器的步骤包括：对单阶目标检测器进行解耦，将目标-背景分类器解耦成背景分类器和目标分类器，得到背景分类器的分数向量为：得到目标分类器的分数向量为：其中，是背景分类器经过归一化指数函数处理之前的预测向量，pobj/pbg是目标/背景的概率，是目标分类器经过归一化指数函数处理之前的预测向量，ql是属于第i个目标的概率i＝1，2，...，C。3.根据权利要求1所述的连续小样本图像的目标检测方法，其特征在于，所述根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器的步骤包括：获取与检测任务中的目标类别；根据所述目标类别，在源域中获取多个包含所述目标类别的先验框；根据所获取的多个源域中的先验框分别计算所述检测任务中的目标类别的预测向量；对多个所述预测向量求和取平均后进行归一化处理，得到目标类别对应的参数向量。4.根据权利要求3所述的连续小样本图像的目标检测方法，其特征在于，当所述检测任务中包括多个目标类别时，根据多个目标类别所对应的参数向量，得到目标分类器的初始化参数矩阵。5.根据权利要求1所述的连续小样本图像的目标检测方法，其特征在于，所述根据权重拓印策略以及利用先前检测任务框架从而获得参数初始化解耦后的单阶目标检测器的步骤包括：根据当前检测任务Tk之前的检测任务Tk-1所使用的主干参数、边界框回归参数、背景分类器参数初始化当前检测任务的主干、边界框回归和背景分类器。6.根据权利要求1所述的连续小样本图像的目标检测方法，其特征在于，所述通过知识蒸馏方法获取当前检测任务之前的监督参数，通过初始化后的解耦单阶目标检测器结合所述监督参数对目标进行训练的步骤包括：根据公式计算当前目标检测任务Tk
【CN110060286A】一种单目深度估计方法【专利】
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910340694.6(22)申请日 2019.04.25(71)申请人 东北大学地址 110169 辽宁省沈阳市浑南区创新路195号(72)发明人 张云洲 刘及惟 冯永晖 王帅 裴美淇 (74)专利代理机构 北京易捷胜知识产权代理事务所(普通合伙) 11613代理人 韩国胜(51)Int.Cl.G06T 7/50(2017.01)
(54)发明名称一种单目深度估计方法(57)摘要本发明实施例涉及一种单目深度估计方法，其包括：获取待处理图像，并对所述待处理图像进行缩放处理，得到缩放图像；对所述缩放图像基于多尺度全卷积密集神经网络进行训练，得到深度图；对所述深度图进行放大处理，得到与所述待处理图像的尺寸大小相同的深度图；其中对所述缩放图像基于多尺度全卷积密集神经网络进行训练包括：对所述缩放图像进行特征提取，得到浅层特征；通过多尺度模块对所述浅层特征进行特征连接，得到深层特征；将所述深层特征与处理后的浅层特征进行特征连接，得到所述深度图。本发明实施例提供的方法通过多尺度全卷积密集神经网络对待处理图像进行训练，不仅可以大幅提高单目深度估计的准确率，还能提高单
目深度估计的精度。
权利要求书2页 说明书8页 附图6页CN 110060286 A2019.07.26
CN 110060286
A1.一种单目深度估计方法，其特征在于，其包括：获取待处理图像，并对所述待处理图像进行缩放处理，得到缩放图像；对所述缩放图像基于多尺度全卷积密集神经网络进行训练，得到深度图；对所述深度图进行放大处理，得到与所述待处理图像的尺寸大小相同的深度图；其中对所述缩放图像基于多尺度全卷积密集神经网络进行训练包括：对所述缩放图像进行特征提取，得到浅层特征；通过多尺度模块对所述浅层特征进行特征连接，得到深层特征；将所述深层特征与处理后的浅层特征进行特征连接，得到所述深度图。2.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述缩放图像进行特征提取，得到浅层特征包括：对所述缩放图像进行卷积运算；利用DenseNet模块密集连接机制对所述卷积运算的结果进行特征提取，得到层网络的输出为xl，其中表示非线性激活，表示密集连接操作。3.如权利要求1所述的单目深度估计方法，其特征在于，所述通过多尺度模块对所述浅层特征进行特征连接，得到深层特征包括：利用至少三个不同尺寸的、并行的卷积核进行卷积运算，其中所述不同尺寸的卷积核包括1×1、3×3、5×5；对所述卷积运算的结果进行池化运算；对所述池化运算的结果利用DenseNet模块进行特征提取，分别得到至少三个不同的特征图；采用特征连接对所述至少三个不同的特征图进行特征连接，得到所述深层特征。4.如权利要求3所述的单目深度估计方法，其特征在于，所述处理后的浅层特征为对所述浅层特征按照空间维度进行特征压缩处理得到的权重与所述浅层特征进行计算得到。5.如权利要求4所述的单目深度估计方法，其特征在于，所述按照空间维度进行特征压缩处理包括：全局平均池化、卷积、非线性激活、卷积和归一化处理。6.如权利要求5所述的单目深度估计方法，其特征在于，所述将所述深层特征与处理后的浅层特征进行特征连接包括：基于注意力机制的跳跃连接将所述深层特征与所述处理后的浅层特征进行特征连接。7.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述深度图进行放大处理包括：基于上采样密集模块采用至少三个3×3的卷积核进行卷积运算；对所述卷积运算的结果进行特征连接。8.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述缩放图像基于多尺度全卷积密集神经网络进行训练时采用边缘感知loss进行训练，其中所述边缘感知loss由berhu loss、
面向软体机械臂抓取的单目深度估计方法
面向软体机械臂抓取的单目深度估计方法
张竞豪;邓礼楠;沈逸
【期刊名称】《控制工程》
【年(卷),期】2024(31)2
【摘 要】软体机械臂在非结构化环境中执行物体抓取任务时,具有柔顺性和安全性的优势。但由于传统的立体视觉系统难以安装在软体机械臂上,软体机械臂获取目标物体的三维位置仍存在挑战。首先,建立了描述软体机械臂运动状态和目标物体位置的协作坐标系模型。随后,提出了一种改进运动恢复结构的单目深度估计方法:①针对深度估计的实时性要求,提出采用主成分分析-尺度不变特征变换(principal component analysis-scale invariant feature transform,PCA-SIFT)方法对特征描述符降维;②将机械臂末端的移动距离作为约束恢复深度估计的真实尺度。最后,通过实验验证了所提出的协作坐标系和深度估计方法的有效性。实验结果表明,所提深度估计方法在多种光照和遮挡环境中,特征匹配时间缩短了16.02%,平均误差控制在5 mm以内。
【总页数】7页(P352-358)
【作 者】张竞豪;邓礼楠;沈逸
【作者单位】华中科技大学人工智能与自动化学院;华中科技大学机械科学与工程学院
【正文语种】中 文
【中图分类】TP18 【相关文献】
1.基于深度学习的单目深度估计方法综述2.N2泡沫/CO_(2)复合吞吐提高采收率三维物理模拟试验研究3.基于深度学习的机械臂抓取姿态估计实验设计4.联合引导式深度图像超分辨的单目深度估计方法5.面向盲人避障的单目深度估计方法
因版权原因，仅展示原文概要，查看原文内容请购买