ROBOT2016_200-207+216_基于关键点序列的人体动作识别_尹建芹

第38卷第2期2016年3月机器人ROBOT V ol.38,No.2

Mar.,2016

DOI：10.13973/https://www.360docs.net/doc/6c8850098.html,ki.robot.2016.0200

基于关键点序列的人体动作识别

尹建芹1,2，刘小丽1，田国会3，魏军1，张玲1，徐涛1（1.济南大学信息科学与工程学院山东省网络环境智能计算技术重点实验室，山东济南250022；

2.山东大学计算机科学与技术学院，山东济南250061；

3.山东大学控制科学与工程学院，山东济南250061）

摘要：在不同的光照及视角下，为了实现人体日常生活动作的高识别率，提出了一种基于Kinect的识别方法．首先，受到人类进行动作识别时往往关注局部细节动作的启发，层次化地处理了采集到的人体关节点数据：通过判断躯干关节点位置变化的缓慢程度，将动作粗分类为上肢动作和躯干动作；之后对于上肢动作，关注手部关节轨迹变化，而对于躯干动作，关注中心关节点轨迹．然后，通过C均值聚类法从这两类轨迹中提取关键点，并将动作的轨迹映射到相应的关键点，得到每组粗分类动作的关键点序列．并提出了时序直方图的概念用以建模关键点序列．再通过比较轨迹间关键点序列的相似性，完成动作识别任务．最后，将该算法应用于采集的数据集合，得到了99%的识别正确率，表明算法能够有效地完成人体动作识别任务．

关键词：人体动作识别；人体关节点；C均值；k近邻；时序直方图

中图分类号：TP391文献标识码：A文章编号：1002-0446(2016)-02-0200-08 Human Action Recognition Based on the Sequence of Key Points

YIN Jianqin1,2，LIU Xiaoli1，TIAN Guohui3，WEI Jun1，ZHANG Ling1，XU Tao1

(1.Shandong Provincial Key Laboratory of Network Based Intelligent Computing,School of Information Science and Engineering,University of Jinan,

Ji’nan250022,China; 2.School of Computer Science and Technology,Shandong University,Ji’nan250061,China;

3.School of Control Science and Engineering,Shandong University,Ji’nan250061,China)

Abstract:To obtain high recognition accuracy of human actions in daily life under different illumination conditions and angles of view,a recognition method based on Kinect is proposed.Inspired by the fact that the human’s attention focuses on the detailed partial action in most cases of action recognitions,the proposed recognition method processes the sensed joints data hierarchically.Roughly,actions are classi?ed into the upper limb action and the trunk action by judging the change speed of the position of the trunk joint.Particularly,the hand joints trajectories in the upper limb action and the trunk joint trajectory in the trunk action are focused on.Then,key points are extracted from the two rough categories of trajectories by C-means clustering algorithm for each category separately.And the trajectory of the action is mapped to the corresponding key points.By this means,the sequence of key points in each category is obtained.And the sequences of key points are modeled based on the concept of the proposed temporal order histogram.Nextly,the action recognition is accomplished by comparing the similarities of the sequences of the key points among the trajectories.Finally,the recognition rate of99%is realized on the collected datasets.The results show that the method is effective for human action recognition task.

Keywords:human action recognition;human joint point;C-means;k nearest neighbor;temporal order histogram

1引言（Introduction）

人体动作识别涉及到视频捕获、图像处理、模式识别等相关技术[1]，其在智能家居、人机交互、服务机器人等领域获得了广泛的应用．人体动作识别问题实际是一个分类问题，它主要包括关节点追踪、特征提取以及动作识别．近年来这方面的研究取得了重大突破[2-6]．

目前的人体动作识别还面临着诸多的困难与挑战，主要体现在这3个方面[2]：首先，基于传统摄像头采集的视频数据进行的动作识别研究，难以摆脱光照及背景变化所带来的噪声影响，使得后续的识别方案设计异常困难，且难以取得令人满意的效果；其次，对不同动作的认知，关注点会有所差异，譬如，对于喝水、打电话等细致动作，关注点应该是其手部这一小尺度上相关动作的变化；而对于起立、坐下等全局类的动作，则更应该关注其大尺度

基金项目：国家自然科学基金（61203341，61573216）；山东省自然科学基金（ZR2015FM007）．通信作者：尹建芹，ise yinjq@https://www.360docs.net/doc/6c8850098.html,收稿／录用／修回：2015-09-07/2015-12-21/2016-01-31

第38卷第2期尹建芹，等：基于关键点序列的人体动作识别201

的变化，即全身的动作趋势；最后，由于人体动作具有复杂性、多样性与随意性，譬如，同样的动作不同的人会按照不同的方式完成，同一种动作同一个人在每次完成时也会有所差异．

针对上述问题，由于Kinect传感器能够自动捕捉人体深度图像和彩色图像[7-8]，因此，能够有效地解决光照不稳定及姿态等因素所带来的影响．本文将采用Kinect传感器获取人体动作关节点数据，其能有效克服光照不稳定等环境因素的干扰，从而有利于动作的分割以及识别．另一方面，通过引入层次性的动作识别方法以达到针对不同动作采用不同关注点的效果，通过粗分类，将具有相同关注点的动作放在同样的子类中，在具有同样关注点的动作子类基础上进行特征抽取以完成动作建模，可以得到更符合动作特点的特征集合．最后，为了提高算法对动作的复杂性和随意性的适应，借鉴尹建芹等[9]基于时序直方图的人体行为表示方法，提出了基于关键点的时序直方图的动作建模方法，通过结合关键点和直方图的方法，达到对随意性及复杂性具有较好识别能力的动作识别效果．

2相关工作（Related works）

Wang等[3]提出了一种基于密度轨迹和运动边界直方图描述子的有效的视频描述方法，有效地完成了人体动作识别的任务，并在9种动作分类的数据集中进行评估．实验结果表明，该方法取得了优于当时最先进方法的识别效果．但是，这种算法容易受到光流获取的质量的限制，不能很好地处理大规模实时视频的数据集．Hoai等[4]提出了学习不变分类器和用最小二乘支持向量机（least-squares support vector machine，LSSVM）替代SVM（支持向量机）等技术，有效地提升了基于3种具有挑战性的基准数据集的最先进算法的人体动作识别效果，但是，文中仅仅通过对整个视频的剪辑来训练分类器，没有考虑在提升之后更新基分类器的问题．Simonyan等[6]提出了一种基于双流卷积网络并且结合分离空间和时间识别数据流的深度视频分类器模型，进行视频中的人体动作识别，达到了良好的识别效果．并且在2种标准视频行为基准数据集UCF-101和HMDB-51上进行训练和评估，有效地验证了该算法的性能．李红波等[7]利用Kinect 传感器获取人体深度图像的特征，采用综合点特征和梯度特征相结合的局域梯度特征方式对人体各部位进行判定，实现人体部位和人体姿态的区分．结合Kinect本身的特点，该研究能够克服光照、姿

态、遮挡等外界因素，但是，对于细微动作的识别仍然需要进行改进．Warade等[8]利用Kinect传感器实现实时的跟踪以及侦测，能够及时地反映生活场景的真实情况，巡逻人员只要及时地观看传回来的视频信息即可完成日常的巡逻任务，从而减轻他们的日常工作负担．田国会等[10]利用Kinect获取人体的关节点数据，构造人体结构的3维向量，采用动态时间规整（dynamic time warping，DTW）算法实现人体行为的识别．实验结果表明，该算法具有旋转平移不变性，并取得了良好的识别效果．但是，该研究针对的行为识别是已经分割好的数据，如何从数据流中完成动作分割与识别，还有待于完善．陈曦等[11]利用骨架关节点的3维坐标信息作为特征向量，结合隐马尔可夫模型进行人体行为识别，也取得了较高的精度．其缺点是使用自建的数据集，不能充分地证明算法的完备性．而且，隐马尔可夫模型的参数设置还有待于优化．尹建芹等[12]对家庭环境进行背景建模，提出了基于高熵变化量的时空特征方法，并结合人体环境信息对人体动作进行识别，取得了较好的识别精度．纪晓飞等[13]结合局部时空特征和兴趣点的全局位置信息分布（positional distribution information，PDI）提出了一种视频描述符完成人体动作的识别，充分考虑了兴趣点所包含的丰富的运动信息，结合了3维尺度不变特征变换（3-dimensional scale-invariant feature transform，3D SIFT）和PDI，其动作识别效果远远超越了传统3D SIFT描述符．但是，这种算法对于更复杂的数据集以及更广泛的应用仍需要进一步改进．Yao等[14]提出了一种计算高效的、基于模糊逻辑系统的方法用于人体动作识别，在同等条件下，取得了优于隐马尔可夫模型等传统非模糊系统的人体动作识别效果．朱岩等[15]在稀疏编码的框架下，对局部3维时空梯度特征进行编码，结合迁移学习的思想，改进了Bag-of-Words模型对人体动作进行识别，分别在KTH数据集以及UCF体育数据集上取得了较好的识别效果．姬晓飞等[16]提出了一种具有一定视角鲁棒性的动作识别方法，充分考虑了时间维度上视频的动态特性，将有利于人体动作识别的兴趣点描述算子的局部特征和运动的光流特征结合起来，忽略多余信息，大大提高了算法的有效性以及适应性．但是，该算法并不能解决多视角问题，因此，其应用具有一定的局限性．叶喜勇等[17]提出了基于稀疏表示的层次化动作识别模型，通过查找测试样本和训练样本之间的最小残差实现人体动作的识别，并且取得了良好的成果．由于该算法

202机器人2016年3月

不受场景信息的影响，因此具有灵活性高、实时性

好等特点．其缺点是采用已经分割好的数据，不能

动态地进行人体动作识别．

综上所述，近几年在人体动作识别的研究取得

了显著的科研成果，但同时也存在着一系列引言中

涉及的潜在问题需要解决．

本文利用Kinect获取的关节点数据作为动作识

别的输入，克服了以往动作识别研究中受光照影响

显著的缺点；另外，采用层次性分类算法框架对不

同类型的动作提取不同特征，有效地模拟人在动作

认知过程中体现的选择性关注的特点；最后，引入

时序直方图建模具有丰富时序信息的人体动作，以

达到较好的动作识别效果．

3系统整体设计（Overall system design）

3.1实验平台的搭建

系统的硬件环境为：PC机1台，CPU为

Core TM2、主频2.40GHz、内存4.00GB，微软

Kinect体感设备．软件开发环境为：Windows7操

作系统、VS2010软件开发平台、C++软件开发语

言、OpenCV开发平台．系统的整体框架如图1所

示，将实验系统划分为4个模块，分别为数据采

集模块、信息显示模块、数据存储模块以及动作识

别模块．所涉及的动作主要包括5类：打电话、喝

水、使用遥控器、起立和坐下．基于这个实验系统，

各模块独立实现相应的功能，互不干扰．

傼??

僂??

??? ?? ?

??

??仁

? ?

?

??

? ??

? 图1系统的整体框架

Fig.1

The overall framework of the system

3.2系统功能模块的实现

根据各部分功能的特点可将上述4个功能模块大致分为以下3个部分．

3.2.1数据采集以及信息显示模块

数据的采集模块是系统的核心部分，原始数据采集调用系统封装好的Kinect功能接口即可实现．采集到的数据以及彩色图像均通过窗口进行显示．3.2.2数据存储模块

将采集到的数据按帧进行存储，便于数据的重复利用．本文采用文件流的方式对数据进行存储．人体关节点数据的存储如图2所示．

图2人体关节点数据

Fig.2Data of human joint point

为了便于数据的处理以及重复利用，本文将采用连续存储的方式对数据进行存储，将不断获得的信息流依次输出并存入文档，如图2所示，每帧数据之间采用空行分开．

3.2.3动作识别模块

该部分的功能是通过算法的设计以及实现，对数据进行加工处理，完成人体动作的识别．该部分是本文讨论的重点内容，本文后续部分给出了详细的算法，其主要思想是采用层次化的基于关键点序列的动作识别方法：第1层次，利用中心关节点进行动作粗分类，将动作分为上肢动作和躯干动作．第2层次，分别对这两类动作，构建基于关键点序列的动作识别方法．

4基于中心关节点的动作粗分类（The rough classi?cation of the actions based on the central joint）

?? 学

?? 学

к?

к? ?

?

??

?? ≤

≤ ?

? ??

?? л

л

图3人体动作层次化结构框图

Fig.3Hierarchical structure diagram of human action

根据动作的特征，将动作粗分类成2大类，即上肢动作和躯干动作，人体动作层次化结构框图如图3所示．打电话（call）、喝水（drink）、拿遥控器

第38卷第2期尹建芹，等：基于关键点序列的人体动作识别203

（remote）这些上肢动作，在一般情况之下是与下肢无关的，主要是与右手的关节点相关，同理，起立（up）、坐下（down）这些躯干动作一般情况下与上肢无关，主要的区分在于躯干位置的变化．但是，在现实场景下，人体的动作是很复杂的，比如有些人喝水的时候，同时做着行走或者坐下等动作，存在动作的耦合现象．为了简化问题，本文不考虑动作的耦合问题（但本算法稍作调整后即可用于存在耦合动作的情况）．

一般情况下，对于中心关节点（即模块中返回的HIP CENTER，称之为中心关节点）来说，躯干动作的变化程度远大于上肢动作的变化程度．因此，能够根据中心关节点变化的缓慢程度对动作进行粗分类．由于方差能够反映数据波动情况，因此，可以通过计算中心关节点的速度向量求得其方差，利用方差来判断中心关节点变化的缓慢程度．首先，根据已知标签的训练样本进行学习，得到阈值d，并将其作为中心关节点变化缓慢程度的判断依据，学习阈值d的流程如下：

Step1：对所有躯干动作的训练样本，首先抽取中心关节点的轨迹数据，并求得该轨迹的速度向量，计算相应的方差δ：

δ=[δ1,δ2,···,δN](1)其中，N表示所有躯干动作的训练样本数．

Step2：求δ1,δ2,···,δN的最小值，并将其作为阈值d的初始值，即d=min{δ1,δ2,···,δN}．Step3：设定需要期望正确分类的准确率，例如0.95．初始化实际的精度p=0．

Step4：对所有训练样本，分别抽取中心关节点的轨迹数据，并求得该轨迹的速度向量，计算相应的方差δ′．若δ′

Step5：分别统计上肢动作、躯干动作以及总体动作的准确率，分别设为p1、p2、p．

Step6：若p>0.95，则停止循环，阈值d训练完成；否则，需要调整阈值d的值，继续训练．具体调整方案如下：若p1>p2，说明阈值d设置得过大，导致判错，则d=d?0.1；否则，d=d+0.1．Step7：继续执行Step4，直到满足p>0.95的循环停止条件．

基于上文的研究，阈值d学习完成之后，接着能够对动作进行粗分类，具体的算法过程如下．首先，提取中心关节点的数据：

T=[t1,t2,···,t m](2)其中，m表示该样本的帧数，该轨迹设为T，t i（i= 1,2,···,m）代表该样本轨迹的一帧．

然后，计算轨迹T的速度向量V：

V=[t2?t1,t3?t2,···,t m?t m?1](3)最后，计算速度向量V的方差δ′′，结合上文学习得到的阈值d，若δ′′ d，则提取中心关节点数据作为该动作的特征向量；否则，提取右手的关节点数据作为特征向量．流程见图4．

??

? ??

??? ?V

??

???

??

? ? d

? ? ??

?? ?

? ? ??

?? ?

??

?? ?

??

?? ?

δ′′

δ′′?d?

图4特征提取流程图

Fig.4The?ow chart of the feature extraction

5关键点生成（Generation of the key points）

粗分类完成后，需要对每一类中的动作进行细分类．由于获取的轨迹点是一系列的关节点在空间中的坐标值，而具体的坐标值对于行为的认知来说，增大了分析的难度，因此，首先提取轨迹的关键点，并基于关键点序列构建反映轨迹时序关系的时序直方图，进行人体动作识别．C均值是典型的基于欧氏距离的聚类算法，采用欧氏距离的大小作为相似度的指标，挨得越近的对象，其相似度也越大，C均值的结果是把紧凑且独立的对象作为最终的目标．设数据集为X={x i}n i=1，随机初始化n1个

类心，即C={c1,···,c n

1

}．将集合X和集合C的数据作为输入．采用距离最近原则将数据集X进行分类，并更新类心，得到新的类心．将新的类心作为初始类心C．不断地重复此过程，直到新的类心不再发生变化．将这新的类心作为输出，即输出

C′={c′

1

,c′

2

,···,c′

n1

}．则称点集C′为数据集X的关键点．

将动作粗分类为2大类，提取了相应的动作特征向量．分别将上肢动作和躯干动作的轨迹点数据

204机器人2016年3月

作为输入，最后分别输出上肢动作和躯干动作的n 个关键点，并随机地对这些关键点用数字1～n 进行编号，便于以下实验的研究．对于上肢动作，由于上肢动作的鉴别信息较多地存在于动作的终止阶段，而起始阶段区分信息不明显，因此，起始阶段取1个关键点，进行阶段和终止阶段各取2个关键点描述，共5个关键点，因此取n 1=5，其关键点如图5所示；对于躯干动作，起始阶段和终止阶段各取1个关键点，进行阶段取2个关键点，取n 1=4，聚成4个关键点，如图6所示．

y

图5

上肢动作的关键点

Fig.5

Key points of the upper limb action

y

图6躯干动作的关键点

Fig.6Key points of the body action

6

时序直方图（Temporal order histo-gram ）

在定义了关键点之后，关键点在动作片断中出现的频数一定程度上可以反映动作信息，但会忽略动作过程中体现的时序信息．由于某些动作只在时序上有区别，例如起立和坐下这两个动作的关键点频数基本一致，而在时序上是个逆转，因此，这些动作与时序息息相关．图7给出了起立和坐下两个动作的关键点频率（只是单纯地统计每个关键点在动作片段中出现的次数，并进行了归一化）．由图7

可见，这样处理出来的数据丢失了时序的信息，很可能是很多不同排列的轨迹点序列（只要每个轨迹点出现的次数相同）统计出来的结果对应着同一个直方图．因此，在不考虑时序信息的情况下，这两个动作是分不开的．为了引入时序信息，给出时序

直方图的定义．

??

仁?

(a)起立

??

仁?

(b)坐下

图7

关键点频率

Fig.7

The frequencies of key points

6.1时序直方图

定义：时序直方图．将n 个按次序出现的关键点作为横坐标，将其出现的频数进行归一化之后作为纵坐标，如此构成的直方图称为n ?1阶时序直方图．n ?1阶时序直方图建模的是n ?1阶时序关系．

这里的时序直方图与文[9]中定义的时序直方图不同，文[9]中提出的时序直方图中，不管在当前状态停留的时间多长，只触发1次传感器．而在本文当中，由于采用的是Kinect 传感器，在当前状态的所有时间内，一直触发传感器．

图8给出了起立和坐下1阶时序直方图，加入了一定的时间信息，统计的是轨迹中相邻两个关键点的信息．其中，图(b)和图(d)横轴为[12,13,14,21,23,24,31,32,34,41,42,43]，由不同的关键点按次序出现得到．虽然图(a)和图(c)中统计的这两个动作的单一关键点组成的时序信息基本相同，但是，由图(b)和图(d)所示，这两个动作不同关键点组成的时序信息是不一样的．因此，图(b)和图(d)的信息对于区分这两个动作非常关键．像这样的时序直方图，虽然不能完全地消除歧义，但能够大大减小动作歧义．

6.2时序直方图的归一化

由于所用传感器不同于文[9]中的传感器，从而导致单一关键点组成的时序信息远远超过不同关键点组成的时序信息，如果将单一关键点组成的时

第38卷第2期尹建芹，等：基于关键点序列的人体动作识别205

序信息和不同关键点组成的时序信息直接联结在一起进行归一化的话，将会淡化不同关键点组成的时序信息．然而，这些不同关键点组成的时序信息对于分类问题非常重要．因此，必须将单一关键点组成的时序信息和不同关键点组成的时序信息分别进行归一化处理．然后将归一化之后的时序信息进行联结得到最终的时序直方图．

а ??

仁?

н ??

(a) 起立单一关键点时序(b) 起立不同关键点 1 阶时序仁?

а ??

н ??

(c) 坐下单一关键点时序(d) 坐下不同关键点 1 阶时序

图81阶时序直方图

Fig.8First order temporal histogram

7

动作基准向量的提取（Extracting the baseline vector of action ）

7.1

上肢动作基准向量的提取

得到上肢动作的关键点后，将每个轨迹点映射到关键点上，用关键点序列表示轨迹．

具体的识别过程如下：

设C 均值聚类分析得到5个关键点，并随机地给这些关键点进行编号，写入集合C 1={x 1,x 2,x 3,x 4,x 5}．设测试样本集为{z i }n i =1，其中每一个测试样本都是一系列轨迹点的组合，即z i =[x ′1,x ′2,···,x ′n ]，其中每一个x ′i （i =1,2,···,n ）代表的是一个点，n 表示的是该测试样本的长度，即帧数．

分别计算该测试样本的每一个轨迹点到C 1中5个关键点的距离：

d i j (x i ,x ′

j )=√(x i ?x ′j )T (x i ?x ′j ),(4)

i =1,2,···,5;j =1,2,···,n

根据k 近邻的原则将x ′i （i =1,2,···,n ）映射到

相应的关键点上．因此，最终得到的轨迹将会是用相应关键点序列表示的轨迹．分别统计不同动作的所有训练样本关键点序列相邻两点的信息，将这些信息分为单一关键点组成的时序信息和不同关键点组成的时序信息，单一关键点时序信息如[11,22,33,44,55]，不同关键点1阶时序信息如[12,13,14,15,21,23,24,25,31,32,34,35,41,42,43,45,51,52,53,54]．

单一关键点时序信息向量：

x 11=[x ′11,x ′22,x ′33,x

′44,x ′

55]

(5)

а ??

仁?图9“打电话”单一关键点时序直方图

Fig.9Temporal histogram of single key points of action “call”

н ??

仁?图10“打电话”不同关键点1阶时序直方图

Fig.10First order temporal histogram of multiple key points of

action “call”

其1阶时序直方图如图9所示．不同关键点1阶时序信息向量：

x 12=[x ′12

,x ′

13,x ′14,x ′15,x ′21,···,x ′53,x ′54](6)

206机器人2016年3月

其1阶时序直方图如图10所示．将向量x 11、x 12连接起来即可得到动作call 的基准向量y 1，即y 1=[x 11,x 12]．

同理，可以分别得到动作drink 和remote 的基准向量y 2和y 3．

7.2躯干动作基准向量的提取

第5节得到了躯干动作的4个关键点以及所对应的关键点序列．同理，采用7.1节的方法分析躯干的关键点序列，图11、12分别为down 这一动作单一关键点时序信息直方图和不同关键点1阶时序信息直方图．横轴分别为{11,22,33,44}和{12,13,14,21,23,24,31,32,34,41,42,43}．将单一关键点时序信息向量和不同关键点1阶时序信息向量串起来得到动作down 和up 的基准向量y 4和y 5．

а ??

仁?图11“坐下”单一关键点时序直方图

Fig.11

Temporal order histogram of single key points of action

“down”

н ??

仁?图12“坐下”不同关键点1阶时序直方图

Fig.12First order temporal histogram of multiple key points of

action “down”

8动作的识别（Recognition of the actions ）

由上文的介绍可知，得到的5个动作的基准向量为y 1,y 2,y 3,y 4,y 5，对每一个测试样本，根据粗分类提取的特征向量，若提取的是躯干的关节点，则

认为是躯干动作，则将轨迹映射到躯干的关键点上，分别统计该轨迹的单一关键点时序信息和不同关键点1阶时序信息，然后分别将这些单一关键点时序信息和不同关键点1阶时序信息进行归一化，并把得到的相应向量串起来得到代表该测试样本的一个16维的向量．最后，采用k 近邻原则进行动作的识别．否则，认为该动作属于上肢动作，采用相同的方法对动作的轨迹进行处理，得到代表该测试样本的一个25维的模板向量．然后采用k 近邻原则实现人体动作的识别．

9

实验的结果与分析（Experimental results and analysis ）

参考文[10]的设置，对每种动作采集了50组，共计250组动作序列．其中，每种动作采用30组样本建立标准模板库，即获取动作基准向量．对其余样本进行测试，得到粗分类和最终分类的混淆矩阵结果分别如表1和表2所示．其中，单样本的平均识别时间是2.584ms ，基本上能够满足人体动作识别的实时性要求．

表1粗分类结果

Tab.1Rough classi?cation results

上肢动作躯干动作

pre /%ca 200100dr 19195re 200100up 020100dn

20

100

表2识别的结果Tab.2Identi?cation results ca dr re up dn pre /%ca 200000100dr 01900195re 002000100up 000200100dn

20

100

在表1、表2中，为简化起见，对5种动作进行了缩写，如打电话（call ）→ca 、喝水（drink ）→dr 、拿遥控器（remote ）→re 、起立（up ）→up 、坐下（down ）→dn ．同时，准确率（precision ）→pre ．由表2可见，本文提出的算法针对相似性比较大的动作，如喝水和打电话，取得了较好的识别效果；同时，对于只在时序上存在逆反的动作，如起立和坐下，同样取得了较好的动作识别效果．粗分

第38卷第2期尹建芹，等：基于关键点序列的人体动作识别207

类的结果如表1所示，结合表1、表2，能够分别分析动作粗分类以及细分类的识别性能．例如，对于喝水这一动作，有一个样本被错误地识别成了坐下．由于粗分类是已经完成了上肢动作以及躯干动作分类的，细分类在其基础上进行，因此，造成该错误识别的原因是粗分类的时候出错．

? ? ?3? ?

图13识别结果分析

Fig.13The analysis of the identi?cation result

另外，对每种动作的accuracy、recall及preci-sion进行了评价，结果如图13所示．由图13识别结果分析可知，每一个动作的accuracy、recall以及precision均达到95%以上，再一次证明了该动作识别方法取得了较好的识别效果．

10结论及展望（Conclusion and outlook）本文主要目的在于克服光照、视角及不同动作的不同实现等对人体动作识别的影响，通过利用Kinect获得的关节点数据，模拟人在进行动作认知过程中的层次化认知过程，进行人体动作识别．贡献主要集中于2个方面：一方面，提出了层次化的动作分类方法，从而可以在粗分类得到的结果下，针对不同类的动作选择不同的关注点进行人体动作识别；另一方面，引入时序直方图的概念灵活地建模复杂性的动作，可以取得较好的动作识别结果．相关实验结果表明，该方法对于相似性比较大而且与时序密切相关的动作区分性比较好，取得了较好的识别效果．尽管文中的算法是针对于不存在耦合现象的简单动作提出的，但在存在耦合的情况下，可以对文中算法作简单的修改以适应耦合动作发生的情况．另外，由于算法采用的是关键点序列，因此，对轨迹的长度不敏感，具有使用灵活的优点．但是，本文的数据涉及的范围有限，视角及尺度变化较小，同时，对于一些复杂问题没有过多考虑，如习惯使用左手操作物品的人．对于这些更为复杂的数据，该算法的有效性以及适用性还需要进一步论证．如何解决这些潜在的问题，以及提高该算法的有效性以及适用性将会是我们下一步研究的目标．

参考文献（References）

[1]魏莱．基于关节点的人体动作识别及姿态分析研究[D]．北

京：北京邮电大学，2014．

Wei L.The study of human action recognition and pose analysis

based on joint points[D].Beijing:Beijing University of Posts

and Telecommunications,2014.

[2]胡琼，秦磊，黄庆明．基于视觉的人体动作识别综述[J]．

计算机学报，2013，36(12)：2512-2524.

Hu J,Qin L,Huang Q M.Overview of human action recogni-

tion based on vision[J].Chinese Journal of Computers,2013,

36(12):2512-2524.

[3]Wang H,Kl¨a ser A,Schmid C.Dense trajectories and mo-

tion boundary descriptors for action recognition[J].Internation-

al Journal of Computer Vision,2013,103(1):60-79.

[4]Hoai M,Zisserman A.Improving human action recognition us-

ing score distribution and ranking[M]//Lecture Notes in Com-

puter Science,vol.9003.Berlin,Germany:Springer-Verlag,

2015:3-20.

[5]顾颖媛．稀疏表示在基于视频的人体动作识别中的应用研

究[D]．北京：清华大学，2013．

Gu Y Y.Application of sparse representation in human motion

recognition based on video[D].Beijing:Tsinghua University,

2013.

[6]Simonyan K,Zisserman A.Two-stream convolutional networks

for action recognition in videos[C]//Advances in Neural Infor-

mation Processing Systems.Montreal,Canada:Morgan Kauf-

mann,2014:568-576.

[7]李红波，丁林建，冉光勇．基于Kinect深度图像的人体识

别分析[J]．数字通信，2012(4)：21-26.

Li H B,Ding L J,Ran G Y.Analysis of human body recogni-

tion based on Kinect depth image[J].Digital Communication,

2012(4):21-26.

[8]Warade S,Aghav J,Claude P,et al.Real-time detection and

tracking with Kinect[C]//12th IEEE International Conference

on Computer and Information Technology.Piscataway,USA:

IEEE,2012:86-89.

[9]尹建芹，田国会，周风余．智能空间下基于时序直方图的

人体行为表示与理解[J]．计算机学报，2014，37(2)：470-

479.

Yin J Q,Tian G H,Zhou F Y.Human behavior representa-

tion and understanding based on temporal histogram in smart

space[J].Chinese Journal of Computers,2014,37(2):470-479.

[10]田国会，尹建芹，韩旭，等．一种基于关节点信息的人体

行为识别新方法[J]．机器人，2014，36(3)：285-292.

Tian G H,Yin J Q,Han X,et al.A new method of human be-

havior recognition based on joint point information[J].Robot,

2014,36(3):285-292.

（下转第216页）

216机器人2016年3月

[19]Cardou P,Bouchard S,Gosselin C.Kinematic-sensitivity in-

dices for dimensionally nonhomogeneous Jacobian matrices[J].

IEEE Transactions on Robotics,2010,26(1):166-173. [20]Gosselin C,Angeles J.A global performance index for the kine-

matic optimization of robotic manipulators[J].Journal of Me-chanical Design,1991,113(3):220-226.

[21]Wang W,Wang W D,Dong W,et al.Dimensional optimiza-

tion of a minimally invasive surgical robot system based on NSGA-II algorithm[J].Advances in Mechanical Engineering, 2015,7(2):No.1687814014568541.作者简介：

王伟（1984–），男，博士生．研究领域：医疗机器人，术前规划．

王伟东（1978–），男，博士，副教授．研究领域：医疗机器人，移动机器人，特种机器人．

董为（1978–），男，博士，副教授．研究领域：机器人技术与智能机电系统．

（上接第207页）

[11]陈曦，孟庆虎．骨架关节点跟踪的人体行为识别方法[J]．

河南科技大学学报：自然科学版，2015，36(2)：43-48.

Chen X,Meng Q H.Human behavior recognition method for skeleton joint tracking[J].Journal of Henan University of Sci-ence and Technology:Natural Science Edition,2015,36(2): 43-48.

[12]尹建芹，田国会，姜海涛，等．面向家庭服务的人体动作

识别[J]．四川大学学报：工程科学版，2011，43(4)：101-107．

Yin J Q,Tian G H,Jiang H T,et al.Human action recognition for family services[J].Journal of Sichuan University:Engineer-ing Science Edition,2011,43(4):101-107.

[13]Ji X F,Wu Q Q,Ju Z J,et al.Study of human action recogni-

tion based on improved spatiotemporal features[J].International Journal of Automation&Computing,2014,15(5):500-509. [14]Yao B,Hagras H,Alhaddad M J,et al.A fuzzy logic-based

system for the automation of human behavior recognition using machine vision in intelligent environments[J].Soft Computing, 2015(19):499-506.

[15]朱岩，赵旭，刘允才．基于稀疏编码和局部时空特征的人

体动作识别[C]//第十五届全国图象图形学学术会议论文集．北京：清华大学出版社，2010：237-241．

Zhu Y,Zhao X,Liu Y C.Human action recognition based on sparse encoding and local temporal and spatial features[C]//Pro-ceedings of the15th National Symposium on Image and Graph-ics.Beijing:Tsinghua University Press,2010:237-241. [16]姬晓飞，王策，李一波．基于一种视角鲁棒性特征的人

体动作识别方法研究[C]//中国自动化学会控制理论专业委

员会、中国系统工程学会第三十二届中国控制会议论文集（C卷）．北京：北京航空航天大学出版社，2013：3877-3881.

Ji X F,Wang C,Li Y B.Research on human action recogni-tion method based on the robust feature of a visual angle[C]// Chinese Society of Automation Control Theory,the Chinese System Engineering Society.The32nd Chinese Control Confer-ence:V ol.C.Beijing:Beihang University Press,2013:3877-3881.

[17]叶喜勇，陶霖密，王国建，等．视角无关的人体躯干动

作识别[C]//第六届和谐人机环境联合学术会议（HHME 2010）、第19届全国多媒体学术会议（NCMT2010）、第6届全国人机交互学术会议（CHCI2010）、第5届全国普适计算学术会议（PCC2010）论文集．2010．

Ye X Y,Tao L M,Wang G J,et al.A novel view invariant algo-rithm for human main body action recognition[C]//HHME2010, NCMT2010;CHCI2010;PCC2010V ol.2010.

作者简介：

尹建芹（1978–），女，博士，副教授．研究领域：图像处理，模式识别与机器学习．

刘小丽（1993–），女，硕士生．研究领域：模式识别与机器学习．

田国会（1969–），男，博士，教授．研究领域：智能空间与服务机器人．