A Switching Kalman Filter Model for the Motor Cortical Coding of Hand Motion
Human–Manipulator Interface Based on Multisensory Process via Kalman Filters
IEEETRANSACTIONSONINDUSTRIALELECTRONICS,VOL.61,NO.10,OCTOBER20145411Human–ManipulatorInterfaceBasedonMultisensoryProcessviaKalmanFiltersGuanglongDu,PingZhang,andDiLi
Abstract—Thispaperpresentsahuman–robotinterface,whichincorporatesKalmanfilters(KFs)andadaptivemultispacetrans-formation(AMT),totrackmovementsofthehumanhandandcontroltherobotmanipulator.Thissystememploysoneinertialmeasurementunitanda3-Dcamera(Kinect)todeterminetheorientationandtranslationofthehumanhand,andusesKFstoestimatethese.AlthoughKFscanestimatethetranslation,thetranslationerrorincreasesinashortperiodoftimewhenthesensorfailstosensehandmovement,includinghandshaking.Therefore,amethodtocorrectthetranslationerrorisrequired.Inthispaper,thechangerateofthehumanhandisusedtodeterminethepostureoftherobot.Anoverdampingstrategyisalsoemployedtoeliminatetheeffectofmovementsensingfail-ure.Giventhatahumanoperatorhasdifficultyoperatingwithhighprecisionduetoperceptiveandmotorlimitations,anAMTmethodisproposedtoassisttheoperatorinimprovingtheaccu-racyandreliabilityofdeterminingthemovementoftherobot.Thehuman–manipulatorinterfaceisthenexperimentallytestedinalaboratoryenvironment.Theresultsindicatethatthesystembasedonthehuman–manipulatorinterfacecansuccessfullycontroltherobotmanipulator.
基于LeapMotion关键点模型的沙画手提出一种基于LeapMotion采集设备的关键点模型资料
基于Leap Motion关键点模型的沙画手势识别摘要：提出一种基于Leap Motion采集设备的关键点模型的沙画手法虚拟仿真方法。
首先，利用Leap Motion获取手势信息数据并设计计算算法获取人手关键点的空间位置；然后，设计算法并利用计算出来的空间位置获取沙画手法中铺沙，捏沙这两个基础手法在运动过程中的相关数据；最后，获取的时刻变化数值波形图。
实验证明，通过该方法可实现对手部运动准确的模拟，为进行人机交互的沙画模拟奠定了基础。
关键词：Leap Motion；关键点模型；沙画手法虚拟操作人机交互过程中，采用计算机视觉获取人手信息在交互的自然性与成本上有巨大优势，是未来发展的主要趋势。
在基于视觉的人机交互中, 由于人手的信息不能直接被计算机获取, 人手姿态参数估计成为一项基础性工作，所以，手部姿态估计一直受到广泛重视。
在国外，Doliotis等[1]通过建立手势数据库，基于深度图像提取特征进行数据库索引,找到最为匹配的手势完成姿态估计。
Keskin等[2]使用随机决策森林对深度图像进行分类，计算类别中心以获取手部各关节中心位置，从而得到手部骨架信息。
这一类方法具有速度快的优点，但是需要大量的训练数据、同时有泛化能力不足、估计精度不高的缺点。
在国内，周文猛等[3]使用Kinect作为输入设备，在无标记的情况下对人体手部进行估计，跟踪恢复出人体手部的姿态信息。
这一方法优化了对手部图像处理的速度，但是Kinect传感器的精度有限，难以保证准确地估计人手姿态。
胡弘等[4]提出基于Leap Motion输入设备的关键点模型手姿态估计方法。
这一方法利用最新的该精度采集设备，准确获取信息，能够实时地估算出手各个关键点的位置，但是在手姿态估计过程存在偏差，并且精确性不足。
本文方法构建更准确的关键点模型，以关键点的空间位置作为参数进行姿态估计，设计算法再设计算法获取沙画手法中铺沙，捏沙这两个基础手法中相关数据进行虚拟仿真。
基于无味粒子滤波和交互多模型算法的多机动目标跟踪
基于无味粒子滤波和交互多模型算法的 多机动目标跟踪
何祖军, 尚明玲
( 江苏科技大学 电子信息学院, 江苏 镇江 212003)
摘 要: 闪烁噪声是一种非高斯噪声. 为了提高闪烁噪声下多机动目标跟踪的精度, 在 交互多模 型 IMM ( Interacting M u l tiple M ode ls)算法的基础上 将非 线性 非高 斯系 统滤 波算 法 粒子 滤波 与 IMM 算 法相 结合, 采用 无味 粒 子滤 波 U PF ( U nscented Partic le F ilte r) 代替 IMM 算法中各模型的 卡尔曼 滤波, 提 出了一 种 U PF _IMM 算 法, 并应 用该算 法代 替传统 IMM _JPDA 数据关联方法中的 IMM 部分, 解决了闪烁 噪声环 境下的 多目标跟 踪问题, 实 验结果 表明该算 法可以 明显地 提高跟踪精度. 关键词: 多目标跟踪; 粒子滤 波器; IMM 算法; 闪烁噪声
∃ W y (m ) [ l]
g
g t/ t- 1
t= 0
PYtYt = PX tYt =
2na
∃ W [ y - Y ] [ y - Y ] ( c) [ l]
g
g t /t- 1
[ l] t /t- 1
[ l] g t /t- 1
[ l] T t/ t- 1
t= 0
2na
∃ W ( c) g
[
t= 0
HE Zujun, SHANG M ingling
( School of E lectron ics and Inform at ion, J iangsu U n ivers ity of S cience and Technology, Zhen j iang Jiangsu 212003, Ch in a)
Leap Motion关键点模型手姿态估计方法
Leap Motion关键点模型手姿态估计方法胡弘;晁建刚;杨进;赵再骞;林万洪【期刊名称】《计算机辅助设计与图形学学报》【年(卷),期】2015(000)007【摘要】In order to solve the problems of vision-based hand pose estimation in human-computer interactive of virtual operations, this paper proposed a key point model for pose estimation based on Leap Motion. With the information obtained from Leap Motion, the proposed model calculated the positions of the key points as the parameters of hand pose. Our experiments showed that this estimation method could obtain the positions of key points in real time to drive virtual hands in virtual operation interactive based on hand gestures.%在虚拟操作的人机交互中，为解决视觉方式人手姿态估计的问题，提出一种基于Leap Motion采集设备的关键点模型手姿态参数估计方法。
该方法通过建立关键点模型，利用Leap Motion采集的少量手势信息计算模型中人手关键点的空间位置，并将其作为手姿态的估计参数。
实验结果表明，文中方法能够实时地估算出手各个关键点的位置以驱动虚拟手运动，为基于手势的虚拟操作人机交互应用奠定了基础。
【总页数】6页(P1211-1216)【作者】胡弘;晁建刚;杨进;赵再骞;林万洪【作者单位】中国航天员科研训练中心人因工程重点实验室北京 100094;中国航天员科研训练中心人因工程重点实验室北京 100094;中国航天员科研训练中心人因工程重点实验室北京 100094;中国航天员科研训练中心人因工程重点实验室北京 100094;中国航天员科研训练中心人因工程重点实验室北京 100094【正文语种】中文【中图分类】TP391.41【相关文献】1.改进型手姿态关键点估计方法在Leap Motion中的应用 [J], 雷安琪;冯玉田;唐子成2.基于Leap Motion的动态手势识别方法 [J], 高宇; 何小海; 吴晓红; 王正勇; 张豫堃3.Leap Motion手势交互层次化校正方法研究 [J], 谷学静; 王旭; 阚阔4.基于Leap Motion体感传感器的手部位置信息获取方法研究 [J], 彭淼;陈国丽;姜瑜5.VR环境下基于Leap Motion的三维模型空间位姿自适应调整方法 [J], 包文运;胡建垠;黄培德;盛步云;宋寅因版权原因，仅展示原文概要，查看原文内容请购买。
基于卡尔曼滤波的运动人体跟踪算法研究
ｒｔ ｍ ｎ ｈｅｅ ｐ ｒｍｅ ｔ ｌｒｓ ｌｓｓ ｗ ｈ ｔｔｅａｇ ｒｔ ｍ ａ ｏ ｒ ｃｌ ｓｉ ｔ ｈ ｕｍａ Ｓｍｏ ｉｎ ｔｅ ｄａ ｄｔ ｅｔａ ｋｎ ｅｕ ｔ ｎ ｅ — ｉ ｈ ａ ｄ ｔ ｘ ｅ ｉ ｎ ａ ｅｕ ｔ ｈｏ ｔ ａ ｈ ｌｏ ｉｈ ｃｎ ｃ ｒｅ ｔｙｅ ｔｍａｅｔ ｅｈ ｎ’ ｔｏ ｒ ｎ ｎ ｈ ｒ ｃ ｉｇｒ ｓ ｌｓａ ｄｐ ｒ ｆ ｒ ｎｃ ｓｂ ｔｅ ． Ｉ ｄ ｉｉｎ．ｔ ｅｇｏ ａ ｅ ｒｈｉｇｓ ｏ ｅｏ ｎｉ ｇ ｓｃ ｎ ｅｔｄ ｔ ｏ ａ ｃ ｐ 。ｔ ｓｒ ｄ ｃ ｈ ｏ ｕ ａ ｉｎ ａ ｄ ｍｅ ｔｔ ｅ ｏ ｍａ ｅｉ ｅ ｔｒ ｎ ａ ｄ ｔ ｏ ｈ ｌｂ ｌｓ ａｃ ｎ ｃ ｐ ｆａ ｍａ ｅｉ ｏ ｖ ｒｅ ｏ１ｃ １ ｏ ｅ ｈｕ ｅ ｕ ｅｔ ｅｃ ｍｐ ｔ ｔ ｎ ｅ ｈ ｓ ｏ
定 的位置 （ 即消除偏 差 的过程 ） 。然 后 由 于跟踪 目标 的运
法 ［ 等 。虽然 光流 法 可 以 比较准 确 分割 出 目标 轮 廓位 ３ ］ 置， 可计算量较大 ， 能满足实 时陛要求 。 不 摄像机 随遥控武器站转动而运动属于复 杂背景下人体
运 动 目标识别与跟踪 的问题 。要实现对遥控武 器站转动 的
基金项 目： 军队预研计划项 目资助 。 作者简介 ： ， ， 乔坤 男 硕士研究生 ， 研究方向 ： 机械 ｃ Ｄ及仿真技术 。郭朝勇 ， 硕士 ， ， Ａ 男， 教授 研究方向： 机械 ｃ Ｄ及仿真技术 。史进 伟， Ａ
男， 硕士研究生 ， 研究方 向： 机械 Ｃ Ｄ及仿真技术 。 Ａ
４ ）在 ｔ 时刻 ， 增益系数 矩阵方程 为
Ｋ —Ｐ Ｈ Ｈ ｋ ） 、 ｋ ＾ （ Ｐ（ｋ１ ＋Ｒ ） ｌ Ｈ２ ５ ）在 时 刻 ， 状态 向量 更 新 方 程 为
基于卷积神经网络的Leap Motion运动数据优化网络
第33卷第3期计算机辅助设计与图形学学报Vol.33No.3 2021年3月Journal of Computer-Aided Design & Computer Graphics Mar. 2021基于卷积神经网络的Leap Motion运动数据优化网络张欣天1), 谢文军2), 李书杰1), 刘晓平1)*1) (合肥工业大学计算机与信息学院合肥 230601)2) (合肥工业大学软件学院合肥 230601)(************.cn)摘要: 为提高Leap Motion设备的采集精准度, 解决自遮挡、采样频率不稳定等设备固有问题, 首先, 设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案, 采集了日常动作数据集; 其次, 提出了基于卷积神经网络(convolutional neural network, CNN)的Leap Motion手部运动数据优化方法, 使用日常动作数据集训练Leap Motion 数据到动作捕捉数据的映射网络; 最后, 提出手指平面约束, 确保网络输出数据保持稳定的手部骨骼结构. 通过15名志愿者采集了6类动作共967 550帧的同步运动数据集, 进行了手指平面约束有效性、动作一致性实验, 并与双向循环自编码器(bidirectional recurrent autoencoder, BRA)、双向编解码器(encoder-bidirectional-decoder, EBD)方法进行了精度对比. 结果表明, 文中方法支持使用Leap Motion获取固定采样频率且近似动捕设备精度的手部运动数据, 效果较BRA和EBD更加稳定平滑. 将文中方法应用于康复游戏中, 明显减少了交互动作识别的错误次数.关键词: 运动数据优化; Leap Motion; 卷积神经网络; 多模态数据集; 自遮挡中图法分类号: TP391.41 DOI: 10.3724/SP.J.1089.2021.18425Convolutional Neural Networks Based Motion Data Optimization Networks for Leap MotionZhang Xintian1), Xie Wenjun2), Li Shujie1), and Liu Xiaoping1)*1) (School of Computer Science and Information Technology, Hefei University of Technology, Hefei 230601)2) (School of Software, Hefei University of Technology, Hefei 230601)Abstract: It is necessary to improve the capture accuracy and precision of Leap Motion equipment, and solve its inherent problems such as finger self-occlusion and instable sampling frequency, firstly, a multi-modal synchronous hand motion capture scheme is proposed based on Leap Motion and motion capture devices, and the dataset is captured correspondingly. Secondly, a convolutional-neural-network-based hand motion data optimization method for Leap Motion is presented. The proposed network is trained to learn the map-ping from Leap Motion data domain to motion capture data domain with the synchronous dataset. Finally, a coplanar constraint for human fingers is proposed, which makes the outputs maintain stable hand skeleton structure. The 967 550 frames of synchronous hand motion data are captured in 6 categories from 15 volun-teers. Experiments are designed for validating of the finger coplanar constraint, testing the consistency of the optimized motion data, and the comparison with BRA (bidirectional recurrent autoencoder) and EBD (en-coder-bidirectional-decoder) methods. Experiments indicate that proposed method supports for capturing收稿日期: 2020-06-05; 修回日期: 2020-11-12. 基金项目: 国家自然科学基金(61877016, 61972128, 61702155); 中央高校基本科研业务经费(JZ2018HGTA0215).张欣天(1995—), 男, 硕士研究生, CCF学生会员, 主要研究方向为计算机图形与可视化; 谢文军(1984—), 男, 博士, 实验师, CCF会员, 主要研究方向为运动数据采集与交互; 李书杰(1983—), 女, 博士, 讲师, 硕士生导师, CCF 会员, 主要研究方向为运动数据处理、深度学习算法; 刘晓平(1964—), 男, 博士, 教授, 博士生导师, CCF理事, 论文通讯作者, 主要研究方向为计算机图形学、协同计算.440 计算机辅助设计与图形学学报第33卷hand motion data with fixed sample frequency and MoCap-like precision using a Leap Motion. Furthermore, the proposed method can obtain smoother and more stable results than BRA and EBD. The method is also applied in rehabilitation games, which significantly reduces the number of errors of hand interaction motion recognition.Key words: motion data optimization; Leap Motion; convolutional neural networks; multi-modal synchronous dataset; self-occlusion人手是人机交互过程中主要的交互手段[1]. 手部运动数据在计算机领域拥有诸多用途, 如识别手势动作语义[2]、分析手功能康复效果[3]、支持虚拟现实自然交互[4]等. 为了支撑这些应用, 便捷且尽可能精确地获取手部运动数据有着重要的现实意义. 现有最高精确度的方法是通过各类动作捕捉设备(下文简称动捕)采集手部运动, 但相关设备价格相对昂贵, 且需要贴身固定标记物或传感器, 使用户运动受到束缚, 影响用户体验. 近些年逐渐涌现出一批成本低、无标记、非接触的体感设备, 而面向手部的体感设备中最具有代表性的是LEAP公司出品的Leap Motion, 此类非接触式的实时手部运动采集设备“为基于手势交互的人机交互系统带来变革”[5].Leap Motion可采集范围为一个倒锥形, 采集范围距离设备中心点的垂直距离为25~600mm, 在采集数据的过程中不可避免地存在距离敏感的精度问题和自遮挡现象. 例如, 当用户手背面向红外相机做握拳动作时, 手指如图1a所示在弯曲时会被手背遮挡, 此时可能发生Leap Motion无法捕获到手, 出现如图1b所示手指变形的现象, 而如图1c所示动捕数据表现相对稳定. 一些研究者针对此问题提出了相应的精度优化策略, 如谷学静等[6]利用层次化的校正方法提高Leap Motion的识图1 遮挡状态下Leap Motion可能发生的采集错误和动捕采集的正确结果别准确性; 孙国道等[7]针对单Leap Motion交互空间局限性带来的自遮挡问题, 提出使用双Leap Motion方案, 但仍存在校正方法单一、数据融合方法复杂等问题.近年来, 深度学习方法在人体运动数据分析和优化领域展现出了出色的效果. 例如, Bütepage 等[8]使用全连接生成网络实现运动数据缺损修复; Holden等[9]提出的自编码器可以在隐变量空间中对运动数据进行编辑和修正, 在相应数据集的支撑下, 其效率和效果皆得到了提升. 虽然手部运动数据也是全身运动数据的一部分, 但目前用神经网络进行针对手部数据优化的工作还较少, 其原因主要在于有标签的手部运动数据集较少. 现有主流人体运动数据集(如CMU运动数据集[10], HDM05数据集[11]和Berkeley MHAD数据集[12]等)均不包含手部数据. 针对手部建立的数据集通常会应用于机器视觉领域研究, 以RGBD图像或视频[13-15]形式保存, 缺乏多模态的同步数据, 更缺乏适用于Leap Motion设备数据优化的专用数据集.因此, 本文设计了面向Leap Motion和动捕设备的同步采集方案, 构建了多模态同步数据集; 搭建了基于卷积神经网络(convolutional neural net-works, CNN)的深度神经网络, 对Leap Motion所采集的手部运动数据进行优化, 以期基于Leap Motion设备实现实时、非接触且有动捕精度级别运动数据采集. 本文的工作主要围绕以下3点开展.(1) 针对使用深度学习方法进行手部运动数据优化的相应数据需求, 提出一种Leap Motion与动捕设备同步采集方案, 构建多模态手部运动同步数据集.(2) 在同步数据集的基础上, 提出一种基于CNN的Leap Motion数据优化网络结构, 用于Leap Motion设备的实时数据优化.(3) 针对神经网络输出结果的微抖动问题, 结合手部结构特征, 提出一种新的手指平面约束, 用于提高精度和运动平滑性.第3期张欣天, 等: 基于卷积神经网络的Leap Motion运动数据优化网络 4411 相关工作为探索Leap Motion在精度、稳定性等方面的具体表现, 研究者进行了一系列有针对性的实验分析. Weichert等[16]通过精确度较高的机械臂分析Leap Motion采集数据的精确度与鲁棒性, 结果显示对于静态位置的测量精度可达0.2mm, 而对于动态位置的测量精度要低得多. 这一结论也在随后的实验中得到证实, Guna等[5]利用模型手进行实际评测, 得出Leap Motion还无法应用于专业的跟踪系统中这一结论. Bachmann等[17]将鼠标与Leap Motion作为选择任务的输入设备进行对比, 得出Leap Motion设备在选择识别方面表现能力有限. 近2年, 一些研究团队对Leap Motion其他方面进行评估. Niechwiej-Szwedo等[18]将Leap Motion与标准的动作捕捉设备Optotrak进行对比, 在15名实验人员的参与下分别进行了3组实验, 在评估手的时空准确性、峰值速度误差方面与动捕设备仍有差距, 这可能会限制Leap Motion在某些场景下的使用. 文献[19]指出, Leap Motion还存在采集频率不稳定的问题.为了弥补上述Leap Motion问题, 研究者提出了各类数据优化方法. 例如, Ponraj等[20]利用隐马尔可夫模型进行运动数据的合成, 其对于手势识别有所改善. 但为了克服遮挡问题, 通过双Leap Motion同时进行数据采集是更加常见的方法. Fok 等[21]为了处理用户手在实际交互过程中存在自遮挡的问题, 引入了额外的Leap Motion进行同步采集, 提高对美国手语(American sign language, ASL)的识别精度. Jin等[22]提出了一种基于双Leap Motion 的手势识别系统, 用于机器人系统中的远程控制, 在通过增加传感器的同时, 自定义当前Leap Motion 状态; 在实际应用中选择2个Leap Motion中“稳定”的作为系统的输入, 在一定程度上解决了自遮挡问题. 孙国道等[7]综合分析、比较了2个Leap Motion摆放位置, 提出了以垂直方式摆放为最佳方式, 不过在数据融合方面只是简单地对2个Leap Motion采集的数据进行平均, 在某些情况下仍然无法彻底解决自遮挡问题. 多台Leap Motion 的引入, 势必进行一系列的数据融合操作, 增加了计算复杂程度. 此外, 2个设备发出的红外光会相互影响引起测量误差[23]. Marin等[24]将Leap Motion 与Kinect设备结合, 以此提高手势识别的准确率, 但该方法增加了系统的复杂度, 不利于系统移植. Cai等[25]提出了一种基于Leap Motion和Metaio的交互式增强现实系统方法, 增强了系统的交互体验, 但是没有解决数据的精确度问题.目前, 在人体运动数据处理方面, 研究者提出了多种可行的网络模型. Fragkiadaki等[26]采用了一种双向编解码器结构(encoder bidirectional decoder, EBD)模型, 但该模型本身并非用于数据去噪且未考虑运动学约束, 训练效果不佳. Holden等[27]提出基于CNN的数据自编码器处理运动数据, 但在实际处理过程中, 网络输出的数据会出现不同程度的抖动和骨骼变形现象. Mall等[28]提出了双向编码滤波器模型(encoder-bidirectional filter, EBF), 该模型无法处理数据输入与输出对应的拓扑结构不同的情况, 即无法让Leap Motion数据精确度优化到动捕级别. Li等[29]提出双向循环自编码器(bidirectional recurrent autoencoder, BRA), 用于对带有多种噪声的骨骼数据进行优化, 得到的运动数据更加符合运动学特征, 具有更好的视觉效果. 受上述文献的启发, 本文提出利用动捕设备与Leap Motion同步采集的方式进行数据采集, 利用CNN 对Leap Motion采集的数据进行优化. 整体框架如图2所示.图2 系统框架示意图2 同步数据采集方案和数据集构建提高深度神经网络模型的准确度需要大量数据的支撑, 调研发现, 目前并没有适用于Leap Motion等手部体感设备的公开同步手部运动数据集. 因此, 本文首先利用Perception Neuron 和Leap Motion设备建立多模态手部运动同步数据采集方案.2.1 采集方案设计采集系统设计如图3所示. Leap Motion采用桌面工作模式, 平置于用户前方的桌面. 用户手部穿戴Perception Neuron运动捕捉设备, 手掌中心水平位置与Leap Motion中心重合, 垂直距离为15~20cm. 为了减少由于超出Leap Motion有效采集范围而形成长时间错误数据, 在桌面绘制参考量程边界. 其中上下边界距离设备20cm, 左右边界距离设备27cm.442 计算机辅助设计与图形学学报第33卷a. 用户与设备相对位置要求b. 实际采集场景示意图3 采集系统组成协助采集本实验数据集的志愿者共有15名, 年龄分布在20~27岁. 结合日常生活中常见手动作, 采集的动作类型有翻转、握拳、对指和食指指向, 采集手均为左手, 每人每种动作采集10次以上, 共形成6组数据, 共计训练集帧数797 325帧, 测试集帧数为170 225帧.动捕设备、Leap Motion对应的左手拓扑结构如图4所示, 采集的每一帧运动数据由所有节点三维坐标构成.图4 设备采集的手拓扑结构由于Leap Motion只可对手部进行识别[17], 直接佩戴动捕设备的传感器绑带会破坏手部特征, 导致Leap Motion识别困难. 本文实验通过佩戴棉手套将动捕传感器包裹, 减少佩戴传感器造成的手指表面跳变, 同时维持与皮肤接近的红外光反射率, 以降低引入动捕设备对Leap Motion设备采集的影响.2.2 数据预处理与时空同步2.2.1 空间同步对原始数据进行归一化处理, 统一空间尺度. 对于动捕数据, 将图4a中节点0作为根节点; 相应地, 对于Leap Motion数据, 将图4b相对位置较近的节点21作为根节点, 将其他节点坐标转换为相对坐标. 同时, 依据所采集的骨骼长度大小计算, Leap Motion与动捕数据的单位比例为1000∶1, 通过对Leap Motion数据进行缩放, 达到尺度归一化.数据归一化后, 本文以动捕数据位姿为基准, 将Leap Motion数据进行水平旋转Leap Mocap(,)R d d, 其中, Leapd和Mocapd分别为Leap Motion和动捕数据中根节点到中指指尖的向量.对Leap Motion中,x z坐标进行矩阵操作()()T TLeap Mocap(,) x y z x y z R''=⨯d d(1) 将Leap Motion数据与动捕数据空间对齐.2.2.2 时间同步本方案使用的动捕设备采样频率为稳定60Hz, 而Leap Motion采样率并不稳定, 均值约为115Hz. 因此, 以动捕设备的采样率和时间域为基准进行时间同步. 在数据采集时要求动捕设备最后打开、最先关闭, 以保证其采集时间域中一定存在对应的Leap Motion数据. 假设Mocap1T和Mocap2T分别代表动捕设备开始和结束采集时刻; Leap1T和Leap2T代表Leap Motion设备开始和结束采集时刻. 对于时域Mocap1T和Mocap2T中每一帧数据Mocap_id, 获取其时间值Mocap_it; 通过三次样条差值, 如图5所示从Leap Motion的原始数据中采样数据Leap_resample Mocap_Mocap_(,)i i if t=d d,最终形成时域同步的Leap Motion数据.图5 帧数据插值示意图3 数据优化网络3.1 数据初始化对同步后的原始数据, 采用滑动窗口的方式分别对Leap Motion和动捕数据进行分割. 设T为滑动窗口的长度, S为滑动步长, 本文取60T=, 30S=, 将数据初始化为数据段输入深度神经网络.然后, 将所有数据随机分为训练集和测试集2个部分, 其占比分别为80%和20%. 为了确保训练集和测试集中的样本在语义上同分布, 对于每个运动语义数据的划分均保持该比例.第3期张欣天, 等: 基于卷积神经网络的Leap Motion 运动数据优化网络 4433.2 网络结构设计本文提出的网络结构由编码器和解码器2个部分组成, 如图6所示. Leap Motion 源数据输入维度为m ×60×69. 其中, m 为同时输入到网络中数据文件个数; 每个数据文件包含60帧数据; 69代表LeapMotion 23个关节点, 每个关节点对应,, X Y Z 这3个通道. 编码器由卷积层、激活层和池化层组成. 其中, 卷积层的维度为25×69×256, 分别代表卷积核的宽度、输入数据列数和卷积核的数量; 卷积层的输出数据经过激活函数ReLU 输入到池化层. 本文采用的池化方法是最大池化. 在解码器部分, 包含反池化层和反卷积层2部分. 与卷积层对应, 反卷积层的维度为25×256×60; 其中, 60表示为输出数据特征数(20个节点, 每个节点对应3个通道).图6 面向多模态手部同步数据的优化网络结构在网络训练过程中, 本文引入了文献[27]对于全身运动数据优化时使用的空间位置约束、骨骼长度约束和平滑性约束, 并根据手指运动学特征, 提出了手指平面约束.3.2.1 手指平面约束人手骨骼可近似看做刚体结构, 尤其是各个手指关节. 在手运动过程中, 指尖、指端关节、指间关节和指掌关节构成的向量123,, v v v 始终处于同一平面内, 如图7所示. 现以食指为例, 设某次迭代过程中, 网络输出为0120{,,,}O O O O P P P P = . 其中, 4O P ,5O P ,6O P ,7O P 分别为食指上4个节点坐标, 则向量123,, v v v 计算公式为 145O O P P =-v (2)265O O P P =-v (3)375O O P P =-v (4) 将得到的向量单位化, 得到其对应的单位向量123,, e e e . 向量对应的混合积为index 123()F =⋅⨯e e e (5) 当向量123,, e e e 共面时, 其对应的混合积应为零; 混合积越小, 表明越符合平面约束. 因此, 引入关于手指平面约束的损失函数定义为2222ring f index middle little 1()4F L F F F =⨯+++ (6)其中, index F ,middle F ,ring F 和little F 分别为食指、中指、无名指和小拇指对应的混合积. 由于拇指结构特殊性, 相较于其他4指缺少指间关节, 因此本文未考虑对拇指的平面约束.图7 用于手指平面约束计算的向量3.2.2 空间位置约束本实验中位置的输入为相对坐标, 为保证网络输出结果尽可能与原始位置相近, 为方便后续将相对坐标转换为绝对值坐标, 本文引入了空间位置约束. 空间位置约束相关的损失函数定义为192Out_Leap_p 0112j jj P P L m =-=⨯⨯∑ (7)其中, m 的值为20, 代表输出的20个关节点; Out _j P 和Leap _j P 分别对应网络输出和源数据中编号为j 的坐标值.3.2.3 骨骼长度约束为保证数据优化前后手部骨骼长度具有一致性, 在训练过程中添加骨骼长度约束. 设某次迭代过程中网络输出集合Out Out _0Out _1Out _19{,,,}P P P P = , 则拇指远指端骨骼对应节点为Out _2P 和Out _3P , 如图4所示, 相应的长度Out2_3D 可表示为Out_3Out_2Out2_3P P D -= (8) 计算其余骨骼节点长度方法类似. 集合OutD 保存最终网络输出的手部骨骼长度, Leap D 表示Leap Motion 捕获的手部骨骼长度, 最终得到关于骨骼长度的损失函数为6019Out_Leap_b 10i i i j D D L ==-=∑∑ (9)其中, Out _i D 和Leap _i D 分别为第i 帧对应的手部骨骼长度集合.3.2.4 平滑性约束为确保相邻帧间的数据连续性, 对网络输出后444计算机辅助设计与图形学学报 第33卷的数据进行帧间平滑性约束. 其损失函数[29]定义为s 21L j ='OY (10) 其中,(2)(2)110000121000012000000210000121000011m m +⨯+-⎛⎫ ⎪- ⎪ ⎪- ⎪= ⎪ ⎪- ⎪- ⎪ ⎪-⎝⎭ O (11) 表示平滑矩阵; m 代表帧数; j 为关节点的个数;'OY 是通过在网络输出的基础上重复第1帧数据和最后1帧数据得到.网络最终采用的损失函数为p s b f L a L b L c L d L =⨯+⨯+⨯+⨯ (12)为确保p L ,s L 与b L 在同一数量级, 方便网络训练,本文中设1a d ==, b c ==0.000 2. 4 实验与分析 本文的网络模型训练和应用均在个人计算机上进行, 其中, CPU 为******************GHz, 内存为16 GB, 显卡为NVIDIA GeFoce1080 GTX, 显存为8 GB; 操作系统为Windows10, 64位, 深度学习环境为TensorFlow 1.7.0, 应用展示平台为Unity3D 引擎. 4.1 手指平面约束有效性 为验证第3节提出的手指平面约束对于手部运动特征的有效性, 本节分别选取拇指对食指、拇指对中指与拇指对无名指3种手部动作序列作为输入, 记CNN 在添加了空间位置约束、骨骼长度约束和平滑性约束后的网络输出为nf CNN , 记CNN 同时添加第3.2节中介绍的4种约束后的输出为f CNN , 各选取运动片段中对应的3帧数据作为结果展示, 如图8所示.a. 运动片段b.nf CNNc.f CNN图8 运动片段效果对比从图8可以看出, nf CNN 输出的结果中某些骨骼关节会扭曲变形; 在拇指对食指运动过程中, fCNN 无法较好地还原拇指动作; 此外, nfCNN 对应的手部运动数据实际播放会有明显的抖动现象; 从而可以验证本文提出的手指平面约束的有效性.4.2 数据优化后与实际动作一致性实验为验证本文网络在自遮挡现象发生时的处理能力, 分别选取掌心背向Leap Motion 做握拳动作(见图1)和手翻转这2种动作进行实验. 第1种动作之前已进行分析, 在手翻转过程中, 当掌心方向与Leap Motion 垂直时, 靠近Leap Motion 位置的手指会不同程度地遮挡住较远位置的手指, 使数据精确度受到影响. 在握拳过程中, 选择食指指间关节角度和指掌关节角度作为对比, 在运动过程中比较原始数据值、优化后数据和动捕数据之间大小, 实验结果如图9所示. 在手翻转和握拳过程中,选择中指(11号节点)空间运动轨迹作为对比, 其对应的实验结果如图10所示.由于在握拳的过程中, 手掌遮挡住Leap Motion探测器的视野, 发生自遮挡现象. 图9中原始数据关节角度变化幅度远没有达到实际中达到的角度范围, 优化后数据对应的角度变化趋势与动捕数据近似, 表明数据优化后可以较好地恢复原始的手部动作. 由图10可知, 不论在原始数据噪声较大(图10a)或相对平稳(图10b)的情况下, 优化后数据的空间节点位置仍能够接近动捕原始轨迹.图9 握拳动作中手指的主要关节角度结果对比第3期张欣天, 等: 基于卷积神经网络的Leap Motion运动数据优化网络 445图10 中指指尖运动轨迹对比图(单位: 1/10 mm)4.3对比实验手部动作帧之间的平滑性高低、位置误差大小等因素是衡量网络结构输出的重要指标, 因此, 本文选择数据集中握拳、拇指对中指、食指指向3种手部数据作为测试集, 比较CNN结构[27], BRA结构[29], EBD结构[28]和本文提出的优化方法各自对应的3种类型误差: 手骨骼长度误差和帧间误差、空间位置误差, 以此进行对比实验, 结果如图11所示.经过实验可得出如下结论.(1) 在空间位置误差方面, 本文方法与CNN 结构相近, EBD和BRA方法的位置误差相对略高.(2) 对于选择的3种手部动作, 本文方法得到的手骨骼长度误差均为最低值, 更为接近实际动捕数据值.(3) 所有动作对应的平滑度误差中, 本文方法误差最低, 总体稳定在0.2左右, 视觉效果更佳.综上所述, 本文提出的基于CNN的Leap Mo-tion运动数据优化网络总体表现优于其他网络模型, 且手指平面约束的引入使之能够针对性地提高优化结果的平滑性和视觉效果.4.4数据优化方法有效性分析为了验证本文所提的方法在应用场景中的实际效果, 本文选取了抓放目标物体的简单交互场景进行相关实验, 并邀请了15名年龄分布为20~27岁的志愿者来进行交互系统的任务测试. 他们中既有熟悉Leap Motion设备的研究人员, 也有了解或未接触Leap Motion设备的一般人员.图11 不同方法在3种测试动作下对应误差对比446 计算机辅助设计与图形学学报第33卷具体实验内容如下: 虚拟场景上方区域会随机刷新4个不同物体, 在60s规定时间内, 参与者通过捏合抓取、捏住移动、释放等一系列动作, 将物体放入下方盒子内. 每放置成功一次, 场景内会随机出现新的物体, 如图12所示.图12 抓放物体场景在实验过程中, 记录并保存了参与者手部全程运动数据, 并将数据通过本文方法进行优化, 随后将优化后的数据重新应用在场景中. 分别记录数据优化前后每位参与者抓取失败次数和最终成绩并计算出平均抓取失败次数.参与者的抓取失败次数统计结果如图13所示. 数据优化前后的平均抓取失败次数分别为 4.2和1.4, 可见随着数据准确度的提升, 由误判导致的抓取失败次数下降, 使判定结果更加符合真实情况.图13 各参与者抓取失败次数实验前后各参与者的最终成绩结果如图14所示. 由于运动数据优化后, 在抓取过程中手指动作更符合预期, 使整体最终得分提高了12.45%.实验结果表明, 尤其对未接触过Leap Motion设备的一般人员(P3, P6, P9, P12, P15)抓取的数据, 本文数据优化效果提升明显, 更符合用户的交互需求.图14 各参与者最终成绩结果5 结语目前对于Leap Motion设备局限性导致的数据精度下降问题, 利用深度神经网络结构对其数据进行优化的相关研究仍较少. 针对缺乏适用于Leap Motion设备数据优化的数据集, 本文设计出了同步采集方案, 建立了面向Leap Motion和动捕设备的同步数据集. 基于此, 本文提出了基于CNN的Leap Motion运动数据优化网络, 较好地解决了Leap Motion数据精度问题, 有效地提高了交互过程中识别准确性. 此外, 本文根据手部特征, 在网络训练过程中创新性地引入手指平面约束, 很好地解决了网络输出抖动问题.本文方法仍有较大的扩展空间. 首先, 通过设计和收集更加完备的同步数据采集方案, 能够使其进一步扩展到更多的应用场合; 其次, 当前的输入设备只采用单一Leap Motion设备, 未来将扩展到多个Leap Motion输入的情况, 从而扩大系统采集范围.参考文献(References):[1] Zhang Fengjun, Dai Guozhong, Peng Xiaolan. A survey onhuman-computer interaction in virtual reality[J]. Scientia Sini-ca: Informationis, 2016, 46(12): 1711-1736(in Chinese)(张凤军, 戴国忠, 彭晓兰. 虚拟现实的人机交互综述[J]. 中国科学: 信息科学, 2016, 46(12): 1711-1736)[2] Ye Sufen, Lai Jizhou, Lyu Pin, et al. An intelligent perceptionand gesture recognition technology for wearable piano-playing glove[J]. Chinese Journal of Scientific Instrument, 2019, 40(5): 187-194(in Chinese)(叶素芬, 赖际舟, 吕品, 等. 穿戴式钢琴弹奏手套智能感知与手势识别技术[J]. 仪器仪表学报, 2019, 40(5): 187-194) [3] Yi Rongwu, Wang Aimin. Design of remote rehabilitationtraining robotic system for fingers[J]. Electronic Measurement Technology, 2016, 39(9): 128-132+140(in Chinese)(易荣武, 王爱民. 手指远程康复训练机器人系统设计[J].电子测量技术, 2016, 39(9): 128-132+140)[4] Poupyrev I, Ichikawa T, Weghorst S, et al. Egocentric object。
扩展卡尔曼公式
扩展卡尔曼公式
扩展卡尔曼滤波（EKF）是一种线性化非线性系统的方法，它基于一阶泰勒展开来线性化系统模型。
在每个时间步，EKF通过计算预测值和测量值之间的卡尔曼增益，来更新状态估计值。
具体来说，扩展卡尔曼滤波使用非线性动力学方程来描述系统状态的变化，这个非线性方程在每个时间步被线性化，以便进行状态估计。
在状态更新步骤中，EKF通过计算卡尔曼增益来权衡预测值和测量值的权重，从而得到最优的状态估计值。
扩展卡尔曼滤波的公式可以表示为：
x = f(x, u)
x = x + K(z - h(x))
其中，x表示当前时刻的状态估计值，f表示非线性系统模型，u 表示控制输入，z表示测量值，h表示非线性观测方程。
卡尔曼增益K是在每个时间步计算得到的，它反映了预测值和测量值之间的置信度。
与传统的卡尔曼滤波相比，扩展卡尔曼滤波能够处理更复杂的非线性系统，因为它使用非线性方程来描述系统状态的变化。
然而，扩展卡尔曼滤波仍然存在一些挑战，例如如何选择合适的状态转移矩阵和观测矩阵，以及如何处理系统的非线性和不确定性。
转换观测卡尔曼滤波算法中转换统计量的一种改进计算方法(英文)
步预测误 差的均值 和协方差。然后 ，利用滤波器球 坐标状 态一 步预 测值 更精确地 计算 了 转换观 测误 差的统计 量。 最后 ，将 改进 的转换观 测误 差统计量用于 目 标跟踪 问题 中的转换观 测卡 尔曼滤波算法。仿 真结果表 明，本丈提 出 的方法能够改善 转换观 测卡 尔曼滤波算法的收敛性和估计精度 ，这种 改善在观 测噪声较 大时尤为显著 。
ｉ ｒ ｖ ｄ ｅ ａｕ ｔ ｎ ｍｅｈ ｄ ｆ ｒｃ ｎ ｅ ｄ ｍｅ ｓ ｒ ｍｅ ｔｅ ｏ ｔ ｔ ｔ ｓ ｗａ ｔｌ ｅ ｍｐ ｅ ｎ ｈ ｍｐ ｏ ｅ ｖ ｌ ａｉ ｔ ｏ ｏ ｏ ｖ ｎｅ ａ ｕ ｅ ｎ ｒ ｒｓａ ｉ ｉ ｓ ｕ ｉ ｚ ｄ ｔ ｉ ｌｍｅ ｔ ｅ ＣＭ ＫＦ ａｇ ｒｔ ｍ ｏ ｓｃ ｉ ｏ ｔ ｌ ｏ ｉｈ ｏ ｇ ｔ ｒ ｃ ｉ ｇ ｓ ｅ ａ ｏ Ｔｈ ｉ ｌｔ ｅ ｕ ｔ ｓ ｏ ｔ ｔ ｈ ｒ ｐ ｓ ｄ ｍｅｈ ｄ ｃ ｎ ｐ ｏ ｉ ｅ ｓ ｐ ｒ ｒｐ ｒｏ ｆ ｒａｔ ｒ ｅ ａ ｋ ｎ ｃ ｎ ｒ ． ｅ ｓｍｕ ａ ｉ ｎ ｒ ｓ ｌ ｈ ｗ ａ ｅｐ ｏ ｏ ｅ ｔ ｏ ａ ｒ ｖ ｄ ｕ ｅ ｏ ｅ ｆ ｒ ａ ｃ ｎ ａ ｔ ｉ ｏ ｓ ｈ ｔ ｉ ｍ ｎ ｅｉ ｔ ｒ ｓｏ ｏ ｖ ｒ ｅ ｃ ｎ ｓｉ ｔｏ ｃ ｕ ａ ｙ ｅ ｐ ｃａ ｌ ｅ ｃ ｓ ｆ ｉｎ ｆ ａ ｔ ａ ｕ ｅ ｎ ｏ ｓ ｓ ｅ ｍ ｆ ｎ ｅｇ ｎ ｅａ ｄｅｔ ｃ ｍａ ｉ ｎ ａ ｃ ｃ ， ｓ ｅ ｉｌ ｉ ｔ ａ ｅｏ ｇ ｉ ｃ ｎ ｒ ｙｎ ｈ ｓ ｉ ｍｅ ｓ ｒ ｍｅ ｔ ｉｅ ． ｎ Ｋｅ ｒ ｓ ｍｅ ｎ ； ｏ ａ ｉｎ ｅ ｃ ｎ ｅ ｔ ｄ ｍｅ ｓ ｒ ｍｅ ｔ Ｋａｍ ａ ｌ ｒ ｔｒ ｅ ａ ｋ ｎ ｙｗｏ ｄ ： ａ ｓ ｃ ｖ ｒａ ｃ ； ｏ ｖ ｒｅ ａ ｕ ｅ ｎ ； ｌ ｎ ｆ ｔ ； ａ ｇ ｔ ｒ ｃ ｉ ｇ ｉ ｅ ｔ
基于迭代卡尔曼滤波器的GPS-激光-IMU融合建图算法
基于迭代卡尔曼滤波器的GPS-激光-IMU融合建图算法丛明;温旭;王明昊;刘冬【期刊名称】《华南理工大学学报（自然科学版）》【年(卷),期】2024(52)3【摘要】在当前机器人导航和环境感知领域,室外大尺度场景下的三维激光SLAM 一直是一个挑战性问题。
由于GPS信号在某些环境下的不稳定性和激光SLAM的误差累积特性,传统算法在大尺度场景下表现不佳。
针对室外大尺度场景下三维激光SLAM(同步定位和地图构建)存在的误差累积严重问题,本文提出了一种基于迭代卡尔曼滤波器的GPS-激光-IMU融合建图算法。
该算法通过利用惯性测量单元(IMU)数据对机器人状态进行预测,同时以激光和全球定位系统(GPS)数据作为观测,更新机器人状态,推导出观测方程和雅可比矩阵,显著提高了建图的精度和鲁棒性。
里程计中融合GPS数据的绝对位置信息以解决长时间运行中的误差累积问题。
在特征稀疏的环境中,由于约束不足可能导致算法崩溃,GPS数据的引入可以提高系统的鲁棒性。
此外,重力对于IMU数据预测机器人状态起到关键的作用。
虽然重力是三维向量,但在不发生区域变化的情况下,其模长是不变的,因此被视为二自由度向量。
通过将重力的优化转化为旋转矩阵群上的优化,成功避免了重力过参数化的问题,提高了算法的精度。
在室外场景下与其他算法进行了性能测试对比并且验证了在大尺度场景下的鲁棒性和精度,结果表明:本文算法的均方根误差为0.089 m,与其他算法相比降低了54%。
【总页数】9页(P75-83)【作者】丛明;温旭;王明昊;刘冬【作者单位】大连理工大学机械工程学院【正文语种】中文【中图分类】TP242【相关文献】1.基于弦线法的去导迭代扩展卡尔曼滤波器2.基于环境信息的自适应卡尔曼滤波器在GPS/IMU组合导航中的应用3.基于卡尔曼滤波算法的JUWB+IMU组合精确定位系统在选煤厂中的应用4.基于变分贝叶斯双尺度自适应时变噪声容积卡尔曼滤波的同步定位与建图算法5.基于容积卡尔曼滤波的RSSI/IMU组合室内定位系统研究因版权原因，仅展示原文概要，查看原文内容请购买。
基于Camshift和Kalman滤波的仿人机器人手势跟踪
基于Camshift和Kalman滤波的仿人机器人手势跟踪
彭娟春;顾立忠;苏剑波
【期刊名称】《上海交通大学学报》
【年(卷),期】2006(40)7
【摘要】对仿人机器人MIR-1的双目视觉系统实现实时手势跟踪.通过颜色直方图反投影,将每帧RGB输入图像转换为二维的肤色概率分布图像,基于Camshift算法计算手势跟踪窗口的位置和大小,并用Kalman滤波预测手心位置,有效地解决了背景中大面积肤色干扰和手势部分被遮挡等问题.在仿人机器人MIR-1上完成的手势跟踪实验,验证了此方法的实用性和有效性.
【总页数】5页(P1161-1165)
【关键词】手势跟踪;Camshift;Kalman滤波;颜色概率分布
【作者】彭娟春;顾立忠;苏剑波
【作者单位】上海交通大学自动化系
【正文语种】中文
【中图分类】TP242.6
【相关文献】
1.基于改进CamShift融合Kalman滤波的无人机目标跟踪研究 [J], 刘亚伟;李小民;陈为元
2.基于CamShift和Kalman 滤波混合的视频手势跟踪算法 [J], 罗元;李玲;张百胜;杨红梅
3.基于Kalman滤波与Camshift算法的水面目标跟踪 [J], 卢道华;汪建秘;王佳
4.基于kalman滤波的改进的Camshift算法及其在目标跟踪中的应用 [J], 董云云;芦彩林;鲍海燕;;;;
5.基于Kalman滤波的CAMShift目标跟踪算法 [J], 马洪涛; 吴赛敏
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ASwitchingKalmanFilterModelfortheMotorCorticalCodingofHandMotion
WeiWu†MichaelJ.Black‡DavidMumford†YunGao†ElieBienenstock†∗JohnP.Donoghue∗†DivisionofAppliedMathematics‡Dept.ofComputerScience∗Dept.ofNeuroscience
BrownUniversity,Providence,RI02912
weiwu@cfm.brown.edu,black@cs.brown.edu,david
Abstract—(SKFM)foapopulatioprobabilitytimeinstanGaussianismixturecoprobabilitythenmodelMarkovchisusedtofimeasuredhthefiringramulti-electrtestsetisalgorithm.Qthetraditiomovement.timedecodprosthesisaRecentrofneuraldavoluntarproposedahandmovealinearGfilteralgorfiltermodeuoushandgenerativethattheobkinematicsarecorruponlyarouextendtheGaussianmtoneuralddifficulttomethodsarThisworkProgram,NINNationalScie
0-7803-7789-3/03/$17.00 ©2003 IEEE2083EMBC 2003t+1StSxtxxt−1t+1t−1t+1tt−1SyyyFig.1.GraphicalmodelrepresentationforSKFM:ItisamixtureofState-spacemodelandHiddenMarkovmodel.BothstatesandswitchinglabelsareassumedMarkovovertime,andgivenstatesandlabels,theobservationisalinearGaussianmodel.
firingrateforeachunitisthensubtractedtoobtainzero-meandata.IntheworkthatfollowswefitaGaussianmixturemodeltothedatainwhicheachcomponentofthemodelhasafullcovariancematrix(i.e.42×42).Giventhelargenumberofunits,correlationsbetweentheirfiringactivity,andalimitedamountoftrainingdata,fittingmultiplecovariancematricescanbecomputationallyunstable.Todealwiththis,wereducethedimensionalityoftheinputfiringratesusingPrincipalComponentAnalysis(PCA).Hereweprojectthefiringratesontoa39dimensionalsubspacewhichresultsinalossoflessthan1%oftheinformation.Forsimplicity,westillrefertothese39principalcomponentsas“cells”.Thisapproachcouldbeappliedtolargerpopulationstosignificantlycompressthefiringdatamakingitfeasibletofitfullcovariancematriceswithlimitedtrainingdata.
III.METHODS
IntheSwitchingKalmanFilterModel,thehandmovement(position,velocityandacceleration)ismodeledasthesystemstateandtheneuralfiringrateismodeledastheobservation(measurement).Letthestateofthehandatthecurrentinstantintimebext=[x,y,vx,vy,ax,ay
]Tt∈6,whichrepresents
x-position,y-position,x-velocity,y-velocity,x-acceleration,andy-accelerationattimet∆twhere∆t=70msinourexperiments.Theobservationsyt
∈Kwhichhererepresent
aK×1vectorcontainingthefiringratesattimetforKobservedneuronswithin70ms.Figure1showstheSKFMframework,wherethejointprobabilitydistributionoverstates({xt
}),observations({yt})
andswitchingvariables({St
})is
p({xt,yt,St})=
[p(S1)Tt=2p(St|St−1)][p(x1)Tt=2p(xt|xt−1)][Tt=1p(yt|xt,St)].Conditionedonthehiddenswitchingstate,theprobabilityofobservingthefiringratevectorisgivenby
p(yt|xt)=Nj=1p(St=j)p(yt|xt,St=j),(1)
inwhichp(yt|xt,St=j)=N(Hjxt,Qj),(2)
wherej=1,2,···,N,t=1,2,···,T.TisthetotalnumberoftimestepsinthetrialandNisthenumberofdifferentlinearmodelsinourmixture.N(Hjxt,Qj
)denotesaGaussian
distributionwithmeanHjxtwhereHj
∈K×6isamatrix
thatlinearlyrelatesthehandstatetotheneuralfiring.ThenoisecovariancematrixisQj
∈K×K.
WeassumethehiddenstatesS1,S2,···,STformafirstorderMarkovchainasillustratedinFigure1;thatis,
p(St=j)=Ni=1p(St=j|St−1=i)p(St−1=i),(3)
wherewedenotecij=p(St=j|St−1=i),1≤i,j≤N.(4)
WerepresentthesestatetransitionprobabilitiesasatransitionmatrixC={cij
}.
ThekinematicstateisalsoassumedtoformaMarkovchainrepresentedbythesystemmodel:
p(xt|xt−1)=N(Axt−1,W),(5)
whereA∈6×6isthecoefficientmatrixandthenoise
covariancematrixisW∈6×6.
EncodingInpractice,weneedtoestimatealltheparametersA,W,H1:N,Q1:N,Cfromtrainingdata,inwhichbothhand
kinematics{xt
}andfiringrates{yt}areknown,butthe
switchinglabels{St
}arehidden.Therefore,weestimateall
theparametersbymaximizinglikelihoodp({xt
,yt}):
argmaxA,W,H1:N,Q1:N,Cp({xt,yt})
=argmaxA,W,H1:N,Q1:N,Cp({xt})p({yt}|{xt})
=argmaxA,Wp({xt})argmaxH1:N,Q1:N,Cp({yt}|{xt})
UsingthelinearGaussianpropertyofp({xt
}),wehave
argmaxA,Wp({xt})=
argminA,WTt=2[log(detW)+(xt−Axt−1)TW−1(xt−Axt−1)].Theaboveminimizationhasaclosedformsolution:A=Tt=2xtxTt−1T
t=2xt−1xTt−1−1,
W=1
2084