基于多层运动历史图像的飞行时间相机人体运动识别
《基于时空特征的人体动作识别方法研究》
《基于时空特征的人体动作识别方法研究》篇一一、引言人体动作识别技术已成为现代人工智能研究领域的一个重要分支，尤其在人机交互、虚拟现实、运动分析以及医疗康复等多个领域有广泛的应用前景。
在众多的动作识别方法中，基于时空特征的方法因其能有效地捕捉动作的动态信息和空间形态，成为研究的热点。
本文旨在深入研究基于时空特征的人体动作识别方法，探讨其理论框架和实践应用。
二、时空特征提取人体动作的时空特征主要包括空间特征和时间特征。
空间特征描述了人体各部分在空间中的位置和形态，而时间特征则描述了这些位置和形态随时间的变化。
1. 空间特征提取：通过摄像头或传感器等设备获取人体运动的图像或数据，利用图像处理技术提取出人体的轮廓、关节点等信息，形成空间特征。
2. 时间特征提取：在获取空间特征的基础上，进一步分析随时间变化的人体运动轨迹、速度、加速度等信息，形成时间特征。
三、动作识别方法基于时空特征的动作识别方法主要包括基于模板匹配的方法、基于统计学习的方法和基于深度学习的方法。
1. 基于模板匹配的方法：将动作的时空特征与预定义的模板进行比较，通过计算相似度来识别动作。
这种方法简单直接，但需要大量的预处理和计算。
2. 基于统计学习的方法：利用统计学原理，如隐马尔可夫模型（HMM）、动态贝叶斯网络（DBN）等，对动作的时空特征进行建模和识别。
这种方法可以处理复杂的动作序列，但需要大量的训练数据。
3. 基于深度学习的方法：利用深度神经网络（DNN）等机器学习方法，从原始数据中自动提取有用的时空特征，并实现动作的识别。
这种方法在处理复杂、高维的数据时表现出色，但需要大量的计算资源和训练时间。
四、方法应用基于时空特征的人体动作识别方法在多个领域有广泛的应用。
例如，在体育训练中，可以通过识别运动员的动作，分析其运动技能和效率，为训练提供指导；在医疗康复中，可以用于评估患者的康复进度和治疗效果；在人机交互中，可以实现自然、直观的人机交互方式。
基于多层运动历史图像的飞行时间相机人体运动识别_张旭东
究课题，在视频监控、虚拟现实、人机交互等方面 有广阔的应用前景。基于视频的人体运动识别的关 键是如何从视频中提取可靠的特征表征人体动作。 利用 2D 相机获取运动人体信息是过去几十年的研 究重点。然而，2D 相机自身的局限性使已有的 2D 相机运动识别方法[1]仅适用于运动平行于相机的情 况，由于人体运动从本质上来说是 3D 的，距离信 息的丢失使 2D 相机的运动表征方法识别能力大大
图1 基于距离图像的运动人体检测
3.1 传统运动历史图像 运动历史图像[14]是一种人体运动的全局描述方 法，其每个像素值是此像素点上运动时间的方程。 记 B (x , y, t ) 为运动人体的二值轮廓图像序列，则运 动历史图像 t (x , y, t ) 的计算方法如式(2)所示。 ìt, B (x , y, t ) - B (x , y, t - 1) ¹ 0 ï ï t (x , y, t ) = í (2) ï max (0, t (x , y, t - 1) - 1), 其它 ï ï î 式中 t 为时间窗口长度，即一个运动视频序列的帧 数，表示运动的持续时间。由式(2)可知，运动历史 图像是一个标量灰度图，亮度大的区域表示了最新 发生运动的区域。随着时间推进，MHI 中旧信息的 灰度值变小，成为较暗的像素。 3.2 多层运动历史图像 由式(2)可知， MHI 是在二值轮廓图像的基础上 得到的，只记录平行于图像平面的运动所产生的运 动历史，丢失了垂直于图像平面即距离方向上的运 动信息。利用距离信息，MLMHI 根据距离的变化 量，将所有时空距离信息压缩到运动能量图 (Motion-Energy Image, MEI)，前向多层运动历史 图像 (forward-MLMHI, fMLMHI) 和后向多层运动 历史图像 (backward-MLMHI, bMLMHI) 这几个平 行的层面上。运动能量图表征运动发生的区域。 fMLMHI 表 征 前 向 运 动 历 史 ， 即 距 离 的 增 加 。 bMLMHI 表征后向运动历史，即距离的减少。根据 人体结构特征及人体运动的自遮挡特征，选择适当 的阈值，用运动能量图加上前后各两层运动历史图 像表征人体运动，记为 ML = {E t , ft1, ft2 , bt1, bt2 } 。 前向第 1 层与后向第 1 层运动历史图像 ft1 和 bt1 的 计算公式如式(4)和式(5)所示。 ìt, D (x , y, t ) ¹ 0 ï E t (x , y, t ) = ï (3) í ï max 0, E x , y , t 1 1 , 其它 ( ) ( ) ï t ï î ìt, D (x , y, t ) - D (x , y, t - 1) ï ï ï ï Î [ 0.1, 0.4) ft1 (x , y, t ) = ï (4) í ï ï ï max (0, ft1 (x , y, t - 1) - 1), 其它 ï ï î ì t, D (x , y, t ) - D (x , y, t - 1) ï ï ï ï b1 Î (-0.4, -0.1] t (x , y, t ) = ï (5) í ï ï b1 ï max (0, t (x , y, t - 1) - 1), 其它 ï ï î 式(3)-式(5)中， E t (x , y, t ) 为运动能量图，可以看作 人体运动的整体运动信息。 ft1 和 bt1 分别表示前向 和后向距离变化在 0.1 到 0.4 之间的运动历史， 即距 离变化较小的局部运动信息。 ft2 和 bt2 的距离阈值 分别为 [0.4, +¥) , (-¥, -0.4 ] ，表征距离变化较大的
《基于时空特征的人体动作识别方法研究》范文
《基于时空特征的人体动作识别方法研究》篇一一、引言人体动作识别技术已经成为现代智能系统中重要的研究方向，在医疗康复、智能监控、体育科学等多个领域发挥着关键作用。
随着计算机视觉技术的快速发展，基于时空特征的人体动作识别方法已成为研究热点。
本文旨在研究基于时空特征的人体动作识别的基本原理、方法及其实验结果，为相关领域的研究和应用提供参考。
二、人体动作识别的基本原理人体动作识别主要依赖于计算机视觉技术，通过捕捉和分析人体在时空中的运动特征，实现对人体动作的识别。
其基本原理包括：1. 数据采集：通过摄像头等设备捕捉人体运动图像，形成视频序列。
2. 特征提取：从视频序列中提取出人体的时空特征，如关节点轨迹、身体各部位的运动速度、加速度等。
3. 特征分析：对提取的时空特征进行分析，判断人体的动作类型和状态。
4. 动作识别：根据特征分析的结果，对人体的动作进行分类和识别。
三、基于时空特征的人体动作识别方法基于时空特征的人体动作识别方法主要包括以下几种：1. 基于深度学习的方法：利用深度学习模型（如卷积神经网络、循环神经网络等）对视频序列进行学习和分析，提取出人体的时空特征，实现动作识别。
该方法具有较高的准确性和鲁棒性，但需要大量的训练数据。
2. 基于光流法的方法：通过计算视频序列中像素点的运动轨迹（光流），提取出人体的运动信息，进而实现动作识别。
该方法对光照变化和背景干扰具有一定的鲁棒性，但计算复杂度较高。
3. 基于骨骼信息的方法：通过捕捉人体骨骼的三维空间位置信息，分析骨骼的运动轨迹和姿态变化，实现动作识别。
该方法对环境干扰具有较强的抗干扰能力，但需要专门的骨骼数据采集设备。
四、实验与结果分析本文采用基于深度学习的方法进行人体动作识别实验。
实验数据集为公开的UCF-101数据集和Kinetics数据集，训练过程中采用ResNet-50模型作为基础模型进行迁移学习。
实验结果表明，该方法在两个数据集上均取得了较高的准确率。
《基于时空特征的人体动作识别方法研究》
《基于时空特征的人体动作识别方法研究》篇一一、引言人体动作识别作为计算机视觉领域的一个重要分支，其应用广泛且价值巨大。
随着人工智能和机器学习技术的快速发展，基于时空特征的人体动作识别方法逐渐成为研究热点。
本文旨在探讨基于时空特征的人体动作识别方法的研究现状、存在的问题及解决方案，并通过对相关算法的深入分析，提出一种新的动作识别方法。
二、人体动作识别的研究现状及问题当前，人体动作识别方法主要包括基于全局特征的方法、基于局部特征的方法以及基于深度学习的方法。
其中，基于时空特征的方法在识别精度和鲁棒性方面具有显著优势。
然而，现有方法仍存在一些问题，如对复杂背景和光照变化的适应性不足、对细微动作的识别能力有限等。
这些问题限制了人体动作识别方法的实际应用。
三、基于时空特征的人体动作识别方法（一）时空特征提取基于时空特征的人体动作识别方法主要通过提取视频中人体运动的时空信息来进行动作识别。
首先，利用背景减除、人体检测等技术获取人体运动的区域。
然后，通过计算光流、梯度直方图等方法提取时空特征。
这些特征能够有效地描述人体运动的动态变化，为后续的动作识别提供依据。
（二）特征融合与分类在提取时空特征后，需要进行特征融合和分类。
特征融合是将不同特征进行加权、拼接等操作，以获得更具代表性的特征。
分类器则根据融合后的特征对动作进行分类。
常用的分类器包括支持向量机、随机森林、神经网络等。
在实际应用中，需要根据具体任务选择合适的特征融合方法和分类器。
四、改进的基于时空特征的人体动作识别方法针对现有方法的不足，本文提出一种改进的基于时空特征的人体动作识别方法。
该方法在提取时空特征时，采用改进的光流计算方法和梯度直方图算法，以提高特征的准确性和鲁棒性。
在特征融合方面，引入注意力机制，使模型能够自动关注对动作识别重要的特征。
在分类器方面，采用深度神经网络，以提高动作识别的精度。
五、实验与分析为了验证本文提出的方法的有效性，我们在多个公开数据集上进行实验。
《2024年基于时空特征的人体动作识别方法研究》范文
《基于时空特征的人体动作识别方法研究》篇一一、引言人体动作识别作为计算机视觉领域的一个重要分支，已经逐渐在众多领域如医疗康复、人机交互、视频监控等发挥关键作用。
其中，基于时空特征的人体动作识别方法因其在捕捉动态信息和时空上下文方面的优势，已成为研究的热点。
本文将重点研究基于时空特征的人体动作识别方法，并对其技术细节和优势进行详细分析。
二、研究背景与意义近年来，随着深度学习和计算机视觉技术的飞速发展，人体动作识别技术在诸多领域取得了显著进展。
然而，由于人体动作的多样性和复杂性，如何准确、高效地识别动作仍然是一个具有挑战性的问题。
基于时空特征的方法能够有效地捕捉人体动作的动态变化和时空上下文信息，为解决这一问题提供了新的思路。
因此，深入研究基于时空特征的人体动作识别方法具有重要的理论价值和实践意义。
三、研究内容与方法（一）时空特征提取在人体动作识别中，时空特征主要包括骨骼关节点、人体姿态和运动轨迹等。
本文采用深度学习的方法，通过卷积神经网络（CNN）和循环神经网络（RNN）提取时空特征。
其中，CNN 用于提取静态图像中的空间特征，RNN则用于捕捉时间序列信息。
（二）特征融合与表示提取出的时空特征需要进行融合和表示，以便更好地描述人体动作。
本文采用多模态融合的方法，将骨骼关节点、人体姿态和运动轨迹等特征进行融合，形成具有丰富信息的特征向量。
同时，采用深度学习的方法对特征进行表示学习，以提取更高级的语义信息。
（三）动作识别与分类在得到融合后的特征向量后，需要进行动作识别与分类。
本文采用支持向量机（SVM）等分类器进行动作分类。
此外，为了进一步提高识别准确率，还采用了集成学习、迁移学习等策略。
四、实验结果与分析（一）实验数据集与评价指标本文采用公开的人体动作识别数据集进行实验，如KTH、UCF101等。
评价指标包括准确率、召回率、F1值等。
（二）实验结果与对比通过大量实验，本文所提出的方法在多个数据集上取得了优异的表现。
《基于时空特征的人体动作识别方法研究》
《基于时空特征的人体动作识别方法研究》篇一一、引言随着计算机视觉技术的飞速发展，人体动作识别已成为近年来研究的热点。
在智能监控、人机交互、体育分析、医疗康复等领域，基于时空特征的人体动作识别方法具有重要意义。
本文旨在研究并探讨基于时空特征的人体动作识别方法，以期为相关领域提供理论依据和技术支持。
二、研究背景及意义人体动作识别是计算机视觉领域的一个重要研究方向，其目的是通过分析视频或图像数据，自动识别出人体动作。
基于时空特征的人体动作识别方法，能够有效地提取人体动作的时空信息，提高动作识别的准确性和鲁棒性。
在智能监控、人机交互、体育分析、医疗康复等领域，该技术具有广泛的应用前景和实际价值。
三、研究方法1. 数据采集与预处理本研究采用公开的人体动作数据集，包括多种不同场景下的人体动作视频。
首先对视频数据进行预处理，包括去噪、归一化等操作，以便后续的特征提取和动作识别。
2. 时空特征提取时空特征提取是人体动作识别的关键步骤。
本研究采用基于深度学习的方法，利用卷积神经网络（CNN）和循环神经网络（RNN）提取视频中的时空特征。
其中，CNN用于提取静态空间特征，RNN用于提取动态时间特征。
3. 动作识别在提取出时空特征后，采用支持向量机（SVM）等分类器进行动作识别。
通过训练模型，使其能够根据提取的时空特征，自动识别出人体动作。
四、实验结果与分析1. 实验设置本实验采用公开的人体动作数据集进行训练和测试。
实验环境为高性能计算机，使用深度学习框架进行模型训练和测试。
2. 实验结果通过实验，我们发现基于时空特征的人体动作识别方法能够有效地提高动作识别的准确性和鲁棒性。
在公开数据集上的实验结果表明，该方法在多种不同场景下的人体动作识别任务中，均取得了较高的识别率。
3. 结果分析本方法能够有效地提取人体动作的时空信息，充分利用了视频数据中的时空特征。
同时，通过使用深度学习框架和分类器，提高了动作识别的准确性和鲁棒性。
《2024年基于时空特征的人体动作识别方法研究》范文
《基于时空特征的人体动作识别方法研究》篇一一、引言随着计算机视觉技术的飞速发展，人体动作识别技术已成为人工智能领域的重要研究方向。
人体动作识别在许多领域都有广泛应用，如体育训练、智能监控、医疗康复、虚拟现实等。
本文提出了一种基于时空特征的人体动作识别方法，通过对时空特征的有效提取和分类，提高人体动作识别的准确率。
二、相关工作近年来，人体动作识别技术已成为研究热点。
传统的动作识别方法主要依赖于人体关节的相对位置和角度变化来提取特征，然而这种方法对于复杂动作的识别效果并不理想。
随着深度学习技术的发展，基于深度学习的人体动作识别方法逐渐成为研究主流。
这些方法能够自动提取动作的时空特征，从而更准确地识别动作。
然而，这些方法仍存在计算量大、实时性差等问题。
因此，研究一种能够高效提取时空特征并具有较高准确率的人体动作识别方法具有重要意义。
三、方法本文提出的基于时空特征的人体动作识别方法主要包括以下步骤：1. 数据预处理：对原始视频数据进行预处理，包括去噪、归一化等操作，以便后续的特征提取和分类。
2. 时空特征提取：利用深度学习技术，从预处理后的视频数据中提取时空特征。
具体而言，通过卷积神经网络提取空间特征，通过循环神经网络提取时间特征。
3. 特征融合：将提取的空间特征和时间特征进行融合，形成具有更强表达能力的综合特征。
4. 分类器训练：利用融合后的特征训练分类器，如支持向量机、随机森林等。
5. 模型评估与优化：通过交叉验证等方法评估模型的性能，并根据评估结果对模型进行优化。
四、实验与分析本文在公开的人体动作数据集上进行了实验，并与其他主流的人体动作识别方法进行了比较。
实验结果表明，本文提出的基于时空特征的人体动作识别方法具有较高的准确率和实时性。
具体而言，本文方法的准确率比传统方法提高了约10%，比其他深度学习方法提高了约5%。
此外，本文方法在处理复杂动作时也表现出较好的鲁棒性。
五、讨论与展望本文提出的基于时空特征的人体动作识别方法虽然取得了较好的实验结果，但仍存在一些局限性。
《基于时空特征的人体动作识别方法研究》
《基于时空特征的人体动作识别方法研究》篇一一、引言人体动作识别技术作为计算机视觉领域的重要组成部分，已经在许多领域得到广泛应用，包括运动分析、智能监控、人机交互以及医疗康复等。
基于时空特征的人体动作识别方法在捕捉和解析人体运动过程中的时间和空间信息方面表现尤为突出。
本文旨在深入研究基于时空特征的人体动作识别方法，探讨其原理、应用及未来发展方向。
二、人体动作识别的基本原理人体动作识别主要依赖于计算机视觉技术，通过捕捉和分析人体在时间和空间上的运动信息，实现对人体动作的识别。
其中，时空特征是人体动作识别的重要依据，包括人体各部位在时间序列上的运动轨迹和空间位置上的姿态变化。
三、基于时空特征的人体动作识别方法1. 特征提取：首先，通过图像处理技术提取人体运动的时空特征。
这包括从连续的图像序列中提取出人体各部位的轨迹信息，以及从单帧图像中提取出人体的姿态信息。
这些特征可以有效地描述人体在时间和空间上的运动状态。
2. 特征表示：将提取的时空特征进行表示，转化为计算机可以处理的数字信号。
这一过程通常需要利用一些数学工具，如矩阵、张量等。
3. 分类与识别：利用机器学习、深度学习等算法对特征进行分类和识别。
通过训练大量的样本数据，使模型学习到人体各种动作的时空特征，从而实现对人体动作的准确识别。
四、应用领域基于时空特征的人体动作识别方法在许多领域都有广泛的应用。
在智能监控领域，可以用于异常行为检测、安全监控等；在人机交互领域，可以实现自然的人机交互方式；在医疗康复领域，可以帮助医生评估患者的康复情况。
此外，在体育训练、虚拟现实等领域也有着广泛的应用前景。
五、研究现状与展望目前，基于时空特征的人体动作识别方法已经取得了显著的成果。
然而，仍存在一些挑战和问题需要解决。
例如，如何提高识别的准确性和实时性、如何处理复杂多变的运动场景等。
未来，随着深度学习、计算机视觉等技术的不断发展，基于时空特征的人体动作识别方法将会有更广泛的应用和更深入的研究。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
电
子
与 信
息 学
报
Vol.36 No.5 May 2014
Journal of Electronics & Information Technology
基于多层运动历史图像的飞行时间相机人体运动识别
张旭东
*
杨 静
胡良梅
段琳琳
230009)
(合肥工业大学计算机与信息学院 合肥
ï î
2
运动人体检测
ï 0, 其它 ï ï î 式 中 D (x , y ) 为 检 测 到 的 运 动 人 体 的 距 离 图 像 ； D' (x , y ) 为当前帧的距离图像； tth 为预先设定的距 离阈值； Dbk (x , y ) 为背景帧的距离图像。为了构造
运动人体检测是人体运动识别的基础。 受光照、 阴影等影响，利用 2D 相机进行运动人体检测仍然 是具有挑战性的工作。本文利用距离信息，结合背 景差分法[13]进行运动人体检测，以克服上述缺点。 具体表达式如式(1)所示： ì ïD' (x , y ), D' (x , y ) - Dbk (x , y ) > tth ï (1) D (x , y ) = ï í
式中 t 为时间窗口长度，即一个运动视频序列的帧 数，表示运动的持续时间。由式(2)可知，运动历史 图像是一个标量灰度图，亮度大的区域表示了最新 发生运动的区域。随着时间推进，MHI 中旧信息的 灰度值变小，成为较暗的像素。 3.2 多层运动历史图像 由式(2)可知， MHI 是在二值轮廓图像的基础上 得到的，只记录平行于图像平面的运动所产生的运 动历史，丢失了垂直于图像平面即距离方向上的运 动信息。利用距离信息，MLMHI 根据距离的变化 量，将所有时空距离信息压缩到运动能量图 (Motion-Energy Image, MEI)，前向多层运动历史 图像 (forward-MLMHI, fMLMHI) 和后向多层运动 历史图像 (backward-MLMHI, bMLMHI) 这几个平 行的层面上。运动能量图表征运动发生的区域。 fMLMHI 表 征 前 向 运 动 历 史 ， 即 距 离 的 增 加 。 bMLMHI 表征后向运动历史，即距离的减少。根据 人体结构特征及人体运动的自遮挡特征，选择适当 的阈值，用运动能量图加上前后各两层运动历史图 像表征人体运动，记为 ML = {E t , ft1, ft2 , bt1, bt2 } 。 前向第 1 层与后向第 1 层运动历史图像 ft1 和 bt1 的 计算公式如式(4)和式(5)所示。 ì ït, D (x , y, t ) ¹ 0 (3) E t (x , y, t ) = ï í ï ï ï îmax (0, E t (x , y, t - 1) - 1), 其它
究课题，在视频监控、虚拟现实、人机交互等方面 有广阔的应用前景。基于视频的人体运动识别的关 键是如何从视频中提取可靠的特征表征人体动作。 利用 2D 相机获取运动人体信息是过去几十年的研 究重点。然而，2D 相机自身的局限性使已有的 2D 相机运动识别方法[1]仅适用于运动平行于相机的情 况，由于人体运动从本质上来说是 3D 的，距离信 息的丢失使 2D 相机的运动表征方法识别能力大大
ì t, D (x , y, t ) .. D (x , y, t 1) ï ï ï ï Î [0.1, 0.4) (4) ft1 (x , y, t ) = ï í ï ï ï max (0, ft1 (x , y, t .. 1) 1), 其它 ï ï î ì t, D (x , y, t ) .. D (x , y, t 1) ï ï ï ï b1 0.4, 0.1] Î (.. (5) t (x , y, t ) = ï í ï ï b1 ï max (0, t (x , y, t .. 1) 1), 其它 ï ï î 式(3)-式(5)中， E t (x , y, t ) 为运动能量图，可以看作 人体运动的整体运动信息。 ft1 和 bt1 分别表示前向
3
多层运动历史图像及 R 变换
3.1 传统运动历史图像 运动历史图像[14]是一种人体运动的全局描述方 法，其每个像素值是此像素点上运动时间的方程。 记 B (x , y, t ) 为运动人体的二值轮廓图像序列，则运 动历史图像 t (x , y, t ) 的计算方法如式(2)所示。 ì ï ït, B (x , y, t ) - B (x , y, t - 1) ¹ 0 (2) t (x , y, t ) = í ï ïmax (0, t (x , y, t - 1) - 1), 其它
背景模型，假设背景是静止的，采用平均背景法。 记录没有运动人体时的背景距离图像序列，计算多 幅背景距离图像的平均值作为背景距离图像 Dbk (x , y ) 。图 1 所示为提取出的运动人体的距离轮 廓图像，这里 tth 取 1.2。
图1 基于距离图像的运动人体检测
和后向距离变化在 0.1 到 0.4 之间的运动历史， 即距 离变化较小的局部运动信息。 ft2 和 bt2 的距离阈值 分别为 [0.4, ,¥) , (.¥, .0.4 ] ，表征距离变化较大的
1
引言
人体运动识别是计算机视觉领域的一个重要研
降低。同时，2D 相机运动识别易受光照和人体肤色 等的影响。 随着相机和视频技术的发展，可以采用基于飞 行时间(Time-Of-Flight, TOF)的 3D 相机[2]获取具 有 3 维信息的距离图像。距离图像可以提供垂直于 相机的运动信息，以较小的计算代价更加精确地描 述和识别人体运动[3]。这样，由于 2D 相机将 3 维运 动投影到 2 维图像平面上而产生的距离模糊就不复 存在了。 国外学者开展了利用距离图像进行运动识别的 相关研究。这种方法大概可分为 3 类：基于骨架模 型的方法，基于距离图像的方法和两者相结合的方 法。 基于骨架模型的方法 [4-7] 大多以 Shotton[8]的 3D 姿态识别为基础，对每个关节点位置提取特征，此 类方法极其依赖姿态识别的结果。基于距离图像的
Human Activity Recognition Using Multi-layered Motion History Images with Time-Of-Fligh (TOF) Camera
Zhang Xu-dong Yang Jing Hu Liang-mei Duan Lin-lin
(School of Computer and Information, Hefei University of Technology, Hefei 230009, China) Abstract: A new method extended from motion history image called Multi-Layered Mmotion History Images (MLMHI) is proposed to the representation and recognition of human activity using depth images provided by Time-Of-Fligh (TOF) camera. Firstly, the motion-energy image of the depth silhouettes is computed as the global motion information. Then, the forward-MLMHI and backward-MLMHI is computed as the local motion information based on the variable of depth. The global and local motion information constitute the MLMHI lastly. Since the Hu moments are sensitive to disjoint shapes and noise, R transform is employed to extract features from every layered-MHI and concatenated to form a feature vector. The feature vector is used as the input of Support Vector Machine (SVM) for recognition. Experimental results demonstrate the effectiveness of the proposed method. Key words: Human activity recognition; Depth image; Multi-Layered Motion History Images (MLMHI); R transform
第5期
张旭东等： 基于多层运动历史图像的飞行时间相机人体运动识别
1141
局部运动信息。 由于 TOF 相机获取的距离值会有小 幅度的波动，因此，未将距离变化量在 [0, 0.1) 之间 的信息列入多层运动历史图像中。同传统 MHI 一 样，MLMHI 中亮度大的区域表示了最新发生运动 的区域。 3.3 R 变换 传统 MHI 运动识别多选用 Hu 不变矩作为形状 描述符。然而，Hu 矩对具有噪声的形状或不连接的 形状较为敏感[15]， 因此， 本文采用 R 变换对 MLMHI 进行特征提取。R 变换是定义在 Radon 变换的基础 上的一种新的形状特征描述符，计算代价低，且能 够有效描述不连接或有空洞的形状。将一幅图像记 为 f (x , y ) ，图像上每个点都投影到一个 Radon 矩阵 中，则其 Radon 变换定义如式(6)：
摘 要：该文利用飞行时间(Time-Of-Fligh, TOF)相机提供的距离图像，在运动历史图像的基础上提出一种基于多 层运动历史图像的人体运动识别方法。计算距离轮廓序列的运动能量图作ห้องสมุดไป่ตู้整体运动信息，同时根据距离变化量， 计算前向、后向的多层运动历史图像作为局部运动信息，共同组成多层运动历史图像。为了解决 Hu 矩对不连续或 具有噪声的形状较为敏感的问题， 引入 R 变换对每层运动历史图像进行特征提取， 串联形成特征向量送入 SVM 进 行分类识别。实验结果表明，该识别方法可以有效识别人体运动。 关键词：人体运动识别；距离图像；多层运动历史图像；R 变换 中图分类号： TP391 DOI: 10.3724/SP.J.1146.2013.01003 文献标识码： A 文章编号： 1009-5896(2014)05-1139-06