【CN110633005A】一种光学式无标记的三维人体动作捕捉方法【专利】

合集下载

【CN110033505A】一种基于深度学习的人体动作捕捉与虚拟动画生成方法【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910304590.X(22)申请日 2019.04.16(71)申请人西安电子科技大学地址 710071 陕西省西安市太白南路2号(72)发明人林杰　崔健　石光明　刘丹华　齐飞　赵光辉　金星　(74)专利代理机构郑州芝麻知识产权代理事务所(普通合伙) 41173代理人董晓勇(51)Int.Cl.G06T 13/40(2011.01)G06T 13/80(2011.01)G06K 9/00(2006.01)(54)发明名称一种基于深度学习的人体动作捕捉与虚拟动画生成方法(57)摘要本发明公开了一种基于深度学习的人体动作捕捉与虚拟动画生成方法，包含以下步骤：A、采集演员动作并转换成视频流信号输入；B、姿态检测网络预训练；C、提取人体姿态序列；D、姿态条件生成对抗网络预训练；E、将姿态序列输入姿态条件生成对抗网络，输出与人体动作同步的动画视频。

本发明有效的减少了动画制作的成本，提升了普通用户的可操作性，也提高了动画的产出效率，可作为一种媒体创建工具来进行特效演示、Demo的实时生成以及动画和电影的快速制作，也可作为短视频应用中的交互式滤镜，虚拟现实体感游戏的辅助等，从而有利于动作捕捉技术大范围落地商用与推广。

权利要求书2页说明书5页附图4页CN 110033505 A 2019.07.19C N 110033505A1.一种基于深度学习的人体动作捕捉与虚拟动画生成方法，其特征在于，包含以下步骤：A、采集演员动作并转换成视频流信号输入；B、姿态检测网络预训练；C、提取人体姿态序列；D、姿态条件生成对抗网络预训练；E、将姿态序列输入姿态条件生成对抗网络，输出与人体动作同步的动画视频；将姿态检测网络P得到的人体姿态序列输入训练好的生成网络G输出自动生成的虚拟形象图片，按照一定帧率连接即可得到与人体动作同步的动画视频。

一种基于红外图像的人体动作实时识别方法[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910635697.2(22)申请日 2019.07.15(71)申请人成都理工大学地址 610059 四川省成都市成华区二仙桥东三路1号(72)发明人易诗　谢家海　(74)专利代理机构成都弘毅天承知识产权代理有限公司 51230代理人杨保刚(51)Int.Cl.G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)(54)发明名称一种基于红外图像的人体动作实时识别方法(57)摘要本发明公开了一种基于红外图像的人体动作实时识别方法，涉及人体动作识别技术领域，包括以下步骤：构建红外图像人体姿态提取网络与基于骨骼特征的动作识别网络；获取红外行人图像数据集并对其进行预处理，基于预处理后的红外行人图像数据集训练红外图像人体姿态提取网络，得到人体动态骨骼特征图像；分割人体动态骨骼特征图像的感兴趣区域序列，利用分割结果训练动作识别网络；获取待识别红外图像，基于红外图像人体姿态提取网络和动作识别网络对预处理后的待识别红外图像进行动作的分类与预测。

本发明解决了现有的行为识别方法普遍针对可见光环境，在夜间无光或天气恶劣环境下通过红外图像进行人体行为动作识别存在实时性差、识别率低的问题。

权利要求书2页说明书9页附图5页CN 110363140 A 2019.10.22C N 110363140A1.一种基于红外图像的人体动作实时识别方法，其特征在于，包括以下步骤：构建红外图像人体姿态提取网络与基于骨骼特征的动作识别网络SaNet；获取红外行人图像数据集并对其进行预处理，基于预处理后的红外行人图像数据集训练红外图像人体姿态提取网络，得到人体动态骨骼特征图像；分割提取出的人体动态骨骼特征图像的感兴趣区域序列，得到红外人体动态骨骼特征数据集，基于红外人体动态骨骼特征数据集训练动作识别网络SaNet；获取待识别红外图像并对其进行预处理，基于红外图像人体姿态提取网络和动作识别网络SaNet对预处理后的待识别红外图像进行动作的分类与预测。

一种结合三维视觉识别可实现精确抓取的方法[发明专利]

专利名称：一种结合三维视觉识别可实现精确抓取的方法专利类型：发明专利
发明人：陆可,李玉,何天嘉,邹启鸣
申请号：CN202010835303.0
申请日：20200819
公开号：CN111791239A
公开日：
20201020
专利内容由知识产权出版社提供
摘要：本发明公开了一种结合三维视觉识别可实现精确抓取的方法，属于机械臂应用技术领域。

该方法的步骤包括：步骤S101：搭建三维视觉识别可实现精确抓取的机械臂装置；步骤S102：使用三维视觉识别机构获取到目标工件的三维点云数据，作为基准模型；步骤S103：控制机械臂手标定点位，获取深度相机与机械臂之间的系数转化矩阵；步骤S104：通过步骤S103训练和计算。

采集视觉识别机构的深度相机的视觉信息，在机械臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机械臂实现工件的抓取和摆放；灵活性强，适应性高。

申请人：苏州国岭技研智能科技有限公司
地址：215000 江苏省苏州市相城区经济技术开发区漕湖街道观塘路1号西交大漕湖科技园C幢609室
国籍：CN
代理机构：安徽知问律师事务所
代理人：郭大美
更多信息请下载全文后查看。

稀疏IMU实时人体动作捕捉方法、装置及设备[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202210312218.5(22)申请日 2022.03.28(71)申请人清华大学地址 100084 北京市海淀区清华园(72)发明人徐枫　伊昕宇　(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙) 11201代理人黄德海(51)Int.Cl.G01C 21/16(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)(54)发明名称稀疏IMU实时人体动作捕捉方法、装置及设备(57)摘要本申请涉及人体运动捕捉技术领域，特别涉及一种稀疏IMU实时人体动作捕捉方法、装置及设备，包括：根据采集的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器检测惯性数据得到骨骼在人体本地坐标系中的骨骼朝向和加速度，将骨骼朝向和加速度对齐到根节点坐标系下；将对齐后的骨骼朝向和加速度代入反向动力学的多阶段姿态求解器，分阶段预测人体的末端关节坐标、全部关节坐标，求解人体姿态；将对齐后的骨骼朝向和加速度及末端关节坐标、全部关节坐标和人体姿态代入预设的多分支运动求解器，求解人体运动；基于人体姿态和人体运动得到实时人体动作捕捉结果，解决了商业动捕设备无法满足普通消费者日常动作捕捉需求的问题。

权利要求书2页说明书11页附图4页CN 114413897 A 2022.04.29C N 114413897A1.一种稀疏IMU实时人体动作捕捉方法，其特征在于，包括以下步骤：采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器检测的惯性数据；根据所述惯性数据得到骨骼在人体本地坐标系中的骨骼朝向和加速度，并将所述骨骼朝向和加速度对齐到根节点坐标系下；将对齐后的骨骼朝向和加速度代入预设的反向动力学的多阶段姿态求解器，分阶段预测人体的末端关节坐标、全部关节坐标，求解人体姿态；将所述对齐后的骨骼朝向和加速度及所述末端关节坐标、所述全部关节坐标和所述人体姿态代入预设的多分支运动求解器，求解人体运动；以及基于所述人体姿态和所述人体运动得到实时人体动作捕捉结果。

【CN109737941A】一种人体动作捕捉方法【专利】

其中，offset为所述零点漂移的绝对值，PI为圆周率，G为重力加速度，修正后的姿态数据为欧拉角。
4 .如权利要求3所述的人体动作捕捉方法，其特征在于，将修正后的姿态数据转换为四元数的步骤包括：
对所述陀螺仪对应的修正后的姿态数据进行积分，以得到第一旋转角度e0 ,e1 ,e2；根据所述加速度计及磁力计对应的修正后的姿态数据通过如下三角函数变换公式得到第二旋转角度e0 ',e1 ',e2 '；
权利要求书2页说明书8页附图2页
CN 109737941 A
CN 109737941 A
权利要求书
1/2 页
1 .一种人体动作捕捉方法，其特征在于，包括：将惯性传感器安装于动作采集者的各数据采集节点上，并将所述惯性传感器采集的运动数据发送至上位机中，所述上位机中存储有人体模型；获取所述惯性传感器的加速度计、陀螺仪及磁力计多次分别测得的姿态数据并进行零点数据修正；将所述加速度计及磁力计对应的修正后的姿态数据进行三角函数转换以将所述加速度计及磁力计对应的修正后的姿态数据转换为第一旋转角度对应的四元数，将所述陀螺仪对应的修正后的姿态数据进行积分以得到所述陀螺仪对应的修正后的姿态数据转换为第二旋转角度对应的四元数；对所述第一旋转角度及所述第二旋转角度对应的归一化后的四元数进行自适应线性插值以得到旋转增量；利用所述旋转增量驱动所述人体模型。 2 .如权利要求1所述的人体动作捕捉方法，其特征在于，对所述姿态数据并进行零点数据修正的步骤包括：获取所述惯性传感器的加速度计、陀螺仪及磁力计多次分别测得的姿态数据放入一二维数组中；根据所述二维数组计算所述加速度计、陀螺仪及磁力计分别测得的多个姿态数据的平均值；将所述加速度计、陀螺仪及磁力计测得的任一姿态数据减去其对应的平均值以得到所述加速度计、陀螺仪及磁力计的零点漂移；分别计算所述加速度计、陀螺仪及磁力计的比例因子；将所述加速度计、陀螺仪及磁力计零点漂移乘以各自的比例因子以得到修正后的姿态数据。 3 .如权利要求2所述的人体动作捕捉方法，其特征在于，所述加速度计、陀螺仪及磁力计的比例因子分别为：

一种基于姿态坐标的人体动作捕捉方法[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202011589521.7(22)申请日 2020.12.29(71)申请人上海交通大学宁波人工智能研究院地址 315000 浙江省宁波市海曙区南门街道南站西路29号(72)发明人何昱龙　王成光　琚长江　杨根科　褚健　王宏武　林奕专　徐月伟　(74)专利代理机构上海剑秋知识产权代理有限公司 31382代理人徐浩俊(51)Int.Cl.G06F 3/01(2006.01)(54)发明名称一种基于姿态坐标的人体动作捕捉方法(57)摘要本发明公开了一种基于姿态坐标的人体动作捕捉方法，涉及信息采集技术领域，所述方法包括以下阶段：动作分析阶段、数据采集阶段、数据处理阶段和数据传输阶段；具体的，所述方法包括以下步骤：步骤S1、根据需求场景进行动作分析与确定；步骤S2、人体特征信息采集；步骤S3、惯性测量单元的安装与校准；步骤S4、人体姿态信息采集；步骤S5、人体姿态信息与人体特征信息处理；步骤S6、将所述步骤S5得到的姿态信息与坐标信息输出。

通过建立坐标系，本发明将人体动作定义为姿态描述与坐标描述，实现动作的姿态、幅度采集，使后续处理更加方便准确，并先根据场景进行需求分析，确定需要的动作姿态采集部位，定点使用惯性测量单元采集数据。

权利要求书3页说明书7页附图3页CN 112711332 A 2021.04.27C N 112711332A1.一种基于姿态坐标的人体动作捕捉方法，其特征在于，所述方法包括以下阶段：动作分析阶段、数据采集阶段、数据处理阶段和数据传输阶段；具体的，所述方法包括以下步骤：步骤S1、根据需求场景进行动作分析与确定；步骤S2、人体特征信息采集；步骤S3、惯性测量单元的安装与校准；步骤S4、人体姿态信息采集；步骤S5、人体姿态信息与人体特征信息处理；步骤S6、将所述步骤S5得到的姿态信息与坐标信息输出；其中，所述步骤S1属于所述动作分析阶段；所述步骤S2、S3与S4属于所述数据采集阶段；所述步骤S5属于所述数据处理阶段；所述步骤S6属于所述数据传输阶段。

一种人体运动捕捉方法[发明专利]

专利名称：一种人体运动捕捉方法专利类型：发明专利
发明人：不公告发明人
申请号：CN201710278257.7
申请日：20170425
公开号：CN107045725A
公开日：
20170815
专利内容由知识产权出版社提供
摘要：一种人体运动快速捕捉方法，它涉及人体运动捕捉技术领域，它的捕捉方法为：(一)、将三维立体摄像机与计算机连接，通过三维立体摄像机拍摄人体模型，将模型图片导入计算机内；(二)、将红外感应器与计算机连接，通过计算机检测红外感应器，将红外感应器贴在人体的关节处；(三)、再通过三维立体摄像机将人体模型拍下来，且与步骤(一)中的模型进行比对，将关节处作上记号；(四)、通过计算机绘制出3D坐标；(五)、测出的3D位置投影到人体模型所对应的图像上，结合预测出的关节点的位置信息和实际过程中提取的关节点的位置信息进行关节点的跟踪，从而获取各个关节点在视频中的运动轨迹；它能快速的捕捉关节运动轨迹，保证捕捉数据准确度，节省捕捉时间。

申请人：沙玉洁
地址：264500 山东省威海市乳山市城区街道办事处官地村
国籍：CN
更多信息请下载全文后查看。

一种基于惯性感测的人体三维动作捕捉系统[发明专利]

专利名称：一种基于惯性感测的人体三维动作捕捉系统
专利类型：发明专利
发明人：佟吉钢,董恩增,詹望,岳超,文浩然,简皓,陈成凯,朱东伟,郝世超
申请号：CN201811118153.0
申请日：20180926
公开号：CN109238302A
公开日：
20190118
专利内容由知识产权出版社提供
摘要：本发明属于动作捕捉及图像处理技术领域，更具体地，本发明涉及一种基于惯性感测的人体三维动作捕捉系统，该系统设计了一套由一个主控节点和多个采集节点构成的采集系统。

它包括汇总节点、十二个采集节点和数据处理装置，采集节点将采集到的运动数据通过CAN总线传输给汇总节点，汇总节点通过无线WiFi将数据传输给数据处理装置，数据处理装置采用IK链算法对人体骨骼模型进行简化，建立人体CS骨骼模型，将汇总节点发送的数据进行姿态解算，获取与人体运动相关的运动数据，并对骨骼的相应关键节点进行标定，使转化后的数据能够驱动人体CS骨骼模型中的骨骼运动。

申请人：天津理工大学
地址：300384 天津市西青区宾水西道391号
国籍：CN
代理机构：杭州知瑞知识产权代理有限公司
代理人：康培培
更多信息请下载全文后查看。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910262689.8
(22)申请日 2019.04.02
(71)申请人北京理工大学
地址 100081 北京市海淀区中关村南大街5
号
(72)发明人陈文颉　游清　李晔　陈杰　
窦丽华　
(74)专利代理机构北京理工大学专利中心
11120
代理人高燕燕
(51)Int.Cl.
G06F 3/01(2006.01)
G06N 3/04(2006.01)
(54)发明名称
一种光学式无标记的三维人体动作捕捉方
法
(57)摘要
本发明提供一种光学式无标记的三维人体
动作捕捉方法，解决了传统非光学式及光学式有
标记人体动作捕捉方法对人体运动的束缚问题，
并在一定程度上减少了单次人体动作捕捉的所
用时长。

包括：利用不同关节点的位置与其和真
实人体的对应关系，确定人体关节点编号和各个
关节点之间的连接关系；利用深度卷积神经网
络，结合所述编号和连接关系，进行多角度人体
图像的二维关节点提取以及关节点之间肢体骨
骼连线，得到人体关节点的二维坐标信息；利用
不同坐标系之间的转换关系以及所述人体关节
点的二维坐标信息，绘制出三维空间中的人体骨
架模型，使该骨架模型反映出三维空间中真实的
人体姿态运动信息，便于后续将该动作捕捉方法
用于人体运动分析领域。

权利要求书1页说明书6页附图3页CN 110633005 A 2019.12.31
C N 110633005
A
权　利　要　求　书1/1页CN 110633005 A
1.一种光学式无标记的三维人体动作捕捉方法，其特征在于，包括：
利用不同关节点的位置与其和真实人体的对应关系，确定人体关节点编号和各个关节点之间的连接关系；
利用深度卷积神经网络，结合所述编号和连接关系，进行多角度人体图像的二维关节点提取以及关节点之间肢体骨骼连线，得到人体关节点的二维坐标信息；
利用不同坐标系之间的转换关系以及所述人体关节点的二维坐标信息，绘制出三维空间中的人体骨架模型，使该骨架模型反映出三维空间中真实的人体姿态运动信息，便于后续将该动作捕捉方法用于人体运动分析领域。

2.如权利要求1所述的方法，其特征在于，所述关节点增加了人体双脚脚尖这两个关节点。

3.如权利要求2所述的方法，其特征在于，所述关节点包含18个人体关节点。

4.如权利要求1或2或3所述的方法，其特征在于，所述利用不同关节点的位置与其和真实人体的对应关系，确定人体关节点编号和连接关系采用以下方式：首先确定待提取的人体关节点位置，以及关节点与实际人体骨骼的对应关系，即确定关节点在人体骨骼上的位置；然后为所述对应关系进行关节点编码，确定人体关节点的序号，并根据真实人体肢体与骨骼方向，确定关节点之间的连接方式。

5.如权利要求1或2或3所述的方法，其特征在于，所述利用深度卷积神经网络，结合编号和连接关系，进行多角度人体图像的二维关节点提取以及关节点之间肢体骨骼连线具体包括以下步骤：
步骤一、将由不同角度拍摄出来的人体姿态图像传入深度卷积神经网络；
步骤二、利用深度卷积神经网络中的置信图对人体关节点的二维坐标进行提取；
步骤三、利用深度卷积神经网络中的部分肢体关系向量场以及人体关节点连接关系，判断出人体关节点之间的实际肢体方向；
步骤四、利用深度卷积神经网络中的贪婪分析算法对图像中已提取的人体关节点进行连接；
步骤五、将关节点提取结果以及连接结果显示在原人体姿态图像上，作为二维人体姿态的骨架模型。

6.如权利要求1或2或3所述的方法，其特征在于，所述利用不同坐标系之间的转换关系以及人体关节点的二维坐标信息，正确绘制出三维空间中的人体骨架模型采用以下方法：利用人体关节点的二维坐标信息，通过对图像像素坐标系、图像坐标系、摄像机坐标系以及世界坐标系之间转换关系的推导得出含有关节点未知三维坐标的方程组，利用最小二乘法针对方程进行求解，得到人体关节点的三维坐标，再利用关节点的编码顺序及相互连接关系，绘制出三维人体骨架模型。

2。