基于并联机器人的主动视觉手部跟踪技术研究
机器人自主导航与目标跟踪算法研究
机器人自主导航与目标跟踪算法研究自主导航和目标跟踪是机器人领域研究的重要课题之一。
随着机器人技术的不断发展和应用的广泛推广，实现机器人的自主导航和目标跟踪能力对于提高机器人的智能化水平和应用领域的拓展具有重要意义。
本文将从机器人自主导航和目标跟踪算法的原理、方法和应用等方面进行研究和探讨。
一、机器人自主导航算法研究机器人自主导航是指机器人在不需要人为干预的情况下能够自主感知、自主决策和自主移动到指定的目标位置。
自主导航算法是实现机器人自主导航能力的关键。
1.1 环境感知：机器人在自主导航过程中需要能够感知环境信息，包括障碍物、地图信息、位置等。
常用的感知方法包括激光雷达、摄像头、超声波传感器等。
激光雷达可以提供精确的障碍物距离信息，摄像头可以获取环境中的图像信息。
1.2 地图构建：机器人需要具备地图构建的能力，能够将环境中的感知信息转化为地图信息。
常用的地图构建方法包括基于激光雷达的SLAM算法、基于视觉的SLAM算法等。
1.3 路径规划：机器人需要能够根据目标位置和环境信息生成合适的路径。
常用的路径规划算法有A*算法、Dijkstra算法、RRT算法等。
这些算法能够找到最优或近似最优的路径，使机器人能够快速且安全地到达目标位置。
1.4 运动控制：机器人需要能够通过运动控制实现自主导航。
运动控制算法可以根据机器人的特性和需求设计，包括速度控制、姿态控制等。
二、目标跟踪算法研究目标跟踪是指机器人能够自主追踪和识别环境中的目标对象，并能够实现实时的目标跟踪和定位。
目标跟踪算法是实现机器人目标跟踪能力的关键。
2.1 特征提取与匹配：目标跟踪算法首先需要提取目标的特征，如颜色、纹理、形状等。
然后通过特征匹配的方式将目标与背景进行区分。
2.2 运动估计：目标跟踪算法需要能够实时估计目标的运动状态，包括位置、速度等。
常用的运动估计方法包括卡尔曼滤波器、粒子滤波器等。
2.3 跟踪算法：目标跟踪算法有多种实现方式，包括基于模板匹配的目标跟踪算法、基于相关滤波的目标跟踪算法、基于深度学习的目标跟踪算法等。
基于MATLAB的并联机器人ISMVSC轨迹跟踪控制研究
轨迹跟踪的控制方式是 : 控制对象的运动轨迹逼 近预设的理想轨迹 0 并使对象和理想轨迹之间的误差 逐渐趋于零 O 积分滑模变结构框图如图 3 所示0 图中 I 0 为积 分控制器增益O
y 0x x a r c t a n0 0 y O 、+ 3 : a3 0 / a3 0 0 式中: a1c为 直 线 A 的 长 度 为 直 线 ; a A 1C 2c 2C的 长 度 ; a3c 为直线 A 3C的长度 ; O 1C与 x轴的夹角 ; 1 为直线 A 与 x轴的夹角 ; O 与 x轴的 O 2 为直线 A 3 为直线 A 2C 3C 夹角O
S t u d y of I S MV S Ct r ac k i n gC on t r ol f orp ar al l e l r ob ot b as e donMA t L A b
, G N I Ux ue m e i A OG uo gi n ho o i o f e i e c t r i c a i e ng i ne e r i nga nd I nf o r m a t i o n, J i a ng s uU ni v e r s i t y he nj i a ngJ i a ng s u 212013 , C hi na ( Sc ,Z )
0 引言
目前, 机器人控制研究 大 都 围 绕 串 联 机 器 人 进 行, 但 它 的 H 运 动 开 链 " 特 性 决 定 其 具 有 刚 度 小, 承载能力差等缺点, 而并联机器人恰能弥补这些 不 足, 即串并联的 H 对偶关系 " , 相对于串联机器人来 讲, 并联机器人具有如下特点 : ( 1 ) 刚度大 , 结构 稳定 ; ( 2 ) 承载能力强; ( 3 ) 精度高, 没有误差积 累和放大; ( 4 ) 运动惯性小 ; ( 5 ) 在位置求解上 , 串联机器人正解易反解难 , 并联机器人正解难反 解 易, 便于实时控制 [3] O 并联机器人以其上述诸多优点 引起了国内外学者的长期关注, 并进行了大量的 研 究O 并联机器人的应用领域有 : 装配生产线\ 医疗机 器人\ 并联机器人机床 \ 飞行模拟器 \ 空间飞行器对 接机构及其地面试验设备 \ 卫星天线换向装置\ 海军 舰艇观测台\ 天文望远镜跟踪定位系统以及动感娱乐 平台等O 现代工业机器人运动速度和精度要求越来越高 , 机器人性能的提高一方面与机械结构有关 , 另一 方 面, 机器人的控制技术也很重要 O 并联机器人本身是 一种非线性系统, 特别是它的各杆之间存在很强的耦 合, 再加上运动过程中存在大量干扰因素, 常规控制 器在完成高性能控制时明显不能满足要求, 变结构控 制作为一种有效的非线性鲁棒控制方法, 适合机器人 控制, 但是单纯的变结构控制系统的跟踪性能较差且
《基于共轴球面并联机构的手腕康复机器人研制》范文
《基于共轴球面并联机构的手腕康复机器人研制》篇一一、引言随着人口老龄化的加剧，手腕康复治疗成为了一个亟待解决的问题。
为了满足患者对于手腕康复的需求，提高康复治疗的效率与效果，我们提出了一种基于共轴球面并联机构的手腕康复机器人。
该机器人设计理念新颖，操作便捷，对于患者手腕康复治疗具有重要意义。
二、共轴球面并联机构介绍共轴球面并联机构是一种新型的机械结构，具有多方向、多角度的灵活性，能够实现多维度的精确运动。
其特点在于，各部分球面可围绕共轴线旋转，具有高度自由度和灵活度。
该机构具有运动稳定、结构紧凑、承载能力强等优点，适用于手腕康复机器人的研制。
三、手腕康复机器人设计1. 机械结构设计：根据患者手腕的生理结构及运动特点，我们设计了一款基于共轴球面并联机构的手腕康复机器人。
该机器人采用轻质材料，结构紧凑，具有良好的稳定性和舒适性。
同时，通过共轴球面并联机构的灵活运动，实现对患者手腕的全方位康复训练。
2. 控制策略设计：为确保手腕康复机器人的运动精确性和安全性，我们采用了先进的控制策略。
通过实时监测患者的运动状态和康复效果，自动调整机器人的运动参数，以实现个性化的康复治疗方案。
此外，我们还设置了多种康复模式，如主动模式、被动模式和助力模式等，以满足不同患者的需求。
3. 交互界面设计：为了方便患者与机器人进行交互，我们设计了一款友好的交互界面。
该界面具有直观、易操作的特点，患者可以通过简单的操作即可实现与机器人的互动。
此外，我们还提供了实时反馈功能，使患者能够及时了解自己的康复进度和效果。
四、实验与结果分析为了验证基于共轴球面并联机构的手腕康复机器人的效果，我们进行了多组实验。
实验结果表明，该机器人能够有效地帮助患者进行手腕康复训练，提高患者的运动功能和生活质量。
同时，该机器人具有操作简便、安全性高、舒适性好等优点，得到了患者和医护人员的一致好评。
五、结论与展望基于共轴球面并联机构的手腕康复机器人研制成功，为手腕康复治疗提供了新的解决方案。
Delta高速并联机器人视觉控制技术及视觉标定技术研究共3篇
Delta高速并联机器人视觉控制技术及视觉标定技术研究共3篇Delta高速并联机器人视觉控制技术及视觉标定技术研究1 Delta高速并联机器人视觉控制技术及视觉标定技术研究随着制造业转型升级的不断推进，机器人技术作为现代智能制造的重要组成部分，也得到了越来越广泛的应用。
Delta高速并联机器人是一种高速、高精度的机器人系统，具有诸多优点，但其中视觉控制技术及视觉标定技术的研究仍面临着一系列挑战，本文就此进行探讨。
一、Delta高速并联机器人视觉控制技术在Delta高速并联机器人系统中，视觉控制技术是非常重要的一环。
该技术的主要任务是获取机器人的关键位置信息，以优化机器人系统的控制，并确保其高速高精度的较为平滑的运动。
常用的Delta机器人视觉控制技术包括DLR、Coriolis力控制及预先建立皮肤的传感器组件，具有诸多优势：1. DLR技术DLR技术可以将机器人的移动与环境的数据捕捉相结合，以实现Delta机器人系统的高质量控制。
通过与传统的机器人控制技术的比较，发现DLR技术具有快速迭代、较低的计算需求和较短的执行时间等优点。
2. Coriolis力控制技术Coriolis力控制技术是一种基于三维运动量平衡的新型机器人控制技术。
该技术可以对机器人的位移、姿态和连续动作进行控制，并对机器人的关节速度进行动态调整，以确保其高速高精度的动作。
3. 预先建立皮肤的传感器组件预先建立皮肤的传感器组件是一种新颖的传感器组件，主要用于检测和分析机器人的接触力和位移量。
该技术可以帮助Delta机器人系统实现更加准确的移动，从而提高机器人系统的运动精度。
二、Delta高速并联机器人视觉标定技术Delta高速并联机器人视觉标定技术主要是为了确保机器人系统的高精度控制，而对机器人运动进行准确的测量。
该技术可以把机器人系统的实际运动状态与视觉传感器的测量结果进行对比，以实现对机器人系统的控制和改进。
常用的Delta高速并联机器人视觉标定技术包括传统的白点法、眼睛标定法和基于视觉标记的标定法等。
Delta并联机器人目标识别与抓取技术研究共3篇
Delta并联机器人目标识别与抓取技术研究共3篇Delta并联机器人目标识别与抓取技术研究1Delta并联机器人目标识别与抓取技术研究随着机器人技术的发展，越来越多的机器人进入到工业生产领域中，人们不断尝试将机器人的应用范围拓展到更多的领域。
其中，机器人的目标识别和抓取技术是机器人应用的重要研究方向之一。
Delta并联机器人作为一种高速、高精度的机器人，已经在工业生产中得到了广泛的应用。
本文将从Delta并联机器人目标识别和抓取技术两个方面出发，探讨Delta并联机器人在生产领域中的应用。
一、Delta并联机器人目标识别技术Delta并联机器人的目标识别技术包括三个主要部分：图像采集、图像处理和目标识别。
1. 图像采集：Delta并联机器人的图像采集主要是通过机器视觉系统实现的。
机器视觉系统一般由摄像头、图像采集卡和图像处理软件组成。
摄像头负责对被检测物体进行拍摄，图像采集卡将拍摄的图像信号输出给计算机，图像处理软件对图像进行处理，提取目标物体的特征。
2. 图像处理：图像处理主要是对图像进行预处理，包括图像去噪、图像滤波、边缘检测、二值化等操作。
预处理之后，可以将图像转化为特征向量，用来进行目标检测。
3. 目标识别：目标识别是基于特征向量对目标物体进行分类的过程。
目前，目标识别技术主要有两种方法：模板匹配和机器学习。
模板匹配是一种传统的目标识别方法，它通过对事先制作好的模板与图像进行匹配，从而识别目标物体。
机器学习是一种更加高效的目标识别方法，它将大量的样本数据输入到计算机中，通过机器学习算法从中提取特征，从而实现目标分类。
二、Delta并联机器人抓取技术Delta并联机器人的抓取技术包括两个主要部分：手眼协调和抓取控制。
1. 手眼协调：手眼协调是指机器人手臂和视觉系统之间的协作。
在抓取之前，机器人要对目标进行定位，然后根据目标的位置、姿态等信息，确定机器人手臂的运动轨迹。
因此，手眼协调技术是Delta并联机器人实现自动抓取的关键技术之一。
基于视觉伺服的手部跟踪仿真研究
关 键词 ：手部 跟踪 ； 自遮 挡 ；主 动视觉 ；Ｓｅ ａ 并 联 机器人 ；视 觉伺 服 ；图像 反馈 ｔ ｒ ｗ ｔ
Ｒｅ ｅ ｒ ｈ ａ ｄ ｓｍ ｕ ａ ｉ ｎ ｏ ｎ ｒ ｃ ｉ ｇ ｂ ｓ ｄ ｏ ｉｕ ｌｓ ｒ ｏ ｓ ａ ｃ ｎ ｉ ｌ ｔｏ ｆｈａ ｄ ｔ ａ ｋ ｎ ａ ｅ ｎ ｖ ｓ ａ ｅ ｖ
ｉ ｇ ｅ ｄ ａ ｋ ｍａ ｅ ｆ ｅ ｂ ｃ
０ 引言
传 统 的飞行模 拟器 通常采 用 与实 际座舱外 观 尺 寸一 样 的实物 座舱 来 进 行模 拟 ， 练 人 员 所 接触 的 训
的手 部人 机交互 如操作 按钮 、 旋钮 、 手柄 等 。数 据手
套虽然可较准确捕捉手部运动， 但其价格昂贵 ， 而且 通常有侵入感和束缚感 ， 不能提供逼真的力反馈和
ｃｍ ｕｅ ｔ ａｔ ｎ（ Ｃ ）ｉ ｅｖ ｕ ｌ ｅ ｉ ｃｎ ｌ ｙ ｕｒｎｌ， ｅｏｌ ｃｎ ｌ ａ ｓｔｆ ｓ ｏ ｐ ｔｒ ｎｅ ｃ ｏ Ｈ Ｉ ｎｔ ｉ ａ— ａ ｔ ｔ ｈ ｏ ｇ ．Ｃ ｒ ｔ ｔ ｎｙｔ ｈ ｏｏ ｔ ｔ ａｉ ｅ ｉ ｒ ｉ ｈ ｓ ｒｌ ｙ ｅ ｏ ｅ ｙｈ ｅ ｙ ｇｈ ｓ ｉ
供 了一种更加 自然且没有接触的方法，但 重点在 于解决手部跟踪运动过程 中的 自 遮挡 问题 。分 析 了基 于视 觉伺服 的手部 跟踪技 术 ，并针 对 Ｓｅ ａｔ 器人 的 动 力学模 型 进行 了仿 真 实验 ，结 果 ｔ ｒ机 ｗ 表 明该方 法能 够 完 成 利 用 主 动视 觉 解 决 手 部 跟 踪 运 动 过 程 中的 自遮挡 问题 ，进 行 手 部 跟 踪 的
ｈ ｄａ ｃｄｒｑ ｉ ｔ ｅ ａ ｖ ｎ ｅ ｅ ｕｒ ｍｅ ｔ ｆ ｈ ｎ — ａ ｅ ｎ ｕ ｒ ＨＣ ｓ ｇ ｏ ｅ ｂ ｓ ｄ ｓ ｎ ｉ ｇ ｅ ｎ ｓ ｏ ａ ｄ ｂ ｓ ｄ ｉｐ ｔｆ Ｉ ｉ ｌｖ — ａ ｅ ｅ ｓｎ ，ｗ ｉｈ，ｈ ｗｅ ｅ ， ｈ ｓ ｏ ｈｃ ｏ ｖ ｒ ａ ｓ ｖ ｒ ｒ ｗ— ａ ｋ ｃｕ ｉ ｇ ｔ ａ ｉ ｄ ｒ ｅ ｅ ｓ ｎ ａｕ ａｎ ｓ ｉ ｈ ｃ ｅ ｕ ｅ ａｌ ｎ ｅ ａ ｔ ｉ ｅ ｅ ａ ｄ ａ ｂ ｃ ｓｉ ｌ ｄ ｎ ｈ ｔ ｔ ｎ ｅ ｓｔ ａ ｅ ａ ｄ ｎ ｔｒ ｌ ｅ ｓｗ ｔ ｗ ｉｈ ｔ ｓ ｒ ｒ ｉ ｔｒ ｃ ｔ ｌ ｎ ｉｈ ｈ ｈ ｈ ｃ ｗｈ
机器人视觉目标跟踪技术研究
机器人视觉目标跟踪技术研究随着科技的不断发展，机器人的应用越来越广泛，其中机器人视觉目标跟踪技术起到了重要作用。
视觉目标跟踪技术可以让机器人实现对特定目标的追踪，从而使机器人能够更加高效地完成各种任务。
本文将围绕机器人视觉目标跟踪技术展开讨论，包括其原理、应用领域以及研究方向等。
一、机器人视觉目标跟踪技术原理机器人视觉目标跟踪技术的原理主要包括目标检测、目标跟踪和目标预测三个步骤。
首先，通过目标检测算法，机器人可以从图像或视频序列中识别出感兴趣的目标。
其次，目标跟踪算法可以实时追踪目标的位置和运动轨迹，不仅可以应对目标的位置变化，还可以适应光照、遮挡等变化情况。
最后，目标预测算法能够根据目标的运动特征，预测其未来可能的位置和轨迹，使机器人具备更好的追踪性能。
二、机器人视觉目标跟踪技术的应用领域机器人视觉目标跟踪技术具有广泛的应用领域。
在工业自动化领域，机器人可以用于对生产线上的物体进行定位和抓取，通过视觉目标跟踪技术，机器人可以准确追踪并捕捉移动中的目标物体，提高生产效率。
在安防领域，机器人视觉目标跟踪技术可以应用于视频监控系统中，通过自动追踪目标物体，提高安全性和监控效果。
此外，在医疗、军事、交通等各个领域，机器人视觉目标跟踪技术也有着重要的应用价值。
三、机器人视觉目标跟踪技术的研究方向目前，机器人视觉目标跟踪技术的研究方向主要包括但不限于以下几个方面。
首先，深度学习在机器人视觉目标跟踪技术中的应用。
深度学习技术在计算机视觉领域取得了显著的进展，其能够提取更加丰富和高级的特征表示，为目标跟踪算法提供更准确的数据支持。
其次，目标跟踪算法的实时性和鲁棒性的提升。
目前的目标跟踪算法在复杂场景和光照变化下的鲁棒性还不够强，同时需要在实时性上进一步改进，以满足实际应用需求。
此外，还可以探索多目标跟踪算法的研究，提高机器人对多个不同目标的跟踪能力。
最后，结合其他传感器和信息进行融合。
与其他传感器（如激光雷达等）的数据融合，可以进一步提高目标跟踪的准确性和可靠性。
基于视觉的并联机器人位姿检测方法研究
基于视觉的并联机器人位姿检测方法研究随着机器人技术的发展，机器人在制造、医疗、军事等各个领域的应用越来越广泛。
并联机器人是其中的一种重要形式，它由多个支链并联而成，具有较高的刚度和精度。
然而，在使用并联机器人时，位姿检测是一个非常重要的任务，因为位姿检测的准确性直接影响着机器人的精度和性能。
传统的位姿检测方法主要基于传感器，如编码器、陀螺仪和加速度计等。
然而，这些传感器存在一些缺点，比如精度受到环境条件的影响，易受外部干扰等。
因此，基于视觉的位姿检测方法受到了越来越多的关注。
首先，图像采集是基于视觉位姿检测方法的前提。
一般地，通过相机捕捉到的物体图像包含了物体的位置和姿态信息。
然后，特征提取是将物体图像转化为特征向量的过程，常用的特征有SURF、SIFT和ORB等。
特征匹配是将物体图像中的特征与模板图像中的特征进行匹配的过程。
通过特征匹配，可以获取到物体的姿态信息。
接下来，位姿计算是基于特征匹配结果来计算物体的位姿信息。
一般地，可以通过求解PnP问题来获得物体的位姿。
PnP问题是指根据一组已知的物体特征点和对应的图像特征点，求解出物体的位姿矩阵。
最后，为了提高位姿检测的准确性，需要对位姿进行误差校正。
常用的方法有基于滤波器的校正方法和基于优化的校正方法。
基于视觉的并联机器人位姿检测方法具有以下几个优点：首先，相比于传感器，相机能够提供更多的信息，如颜色、纹理等，从而提高位姿检测的准确性和稳定性。
其次，基于视觉的位姿检测方法无需额外的传感器装置，减少了系统的成本。
再次，相机可以实时采集物体的图像，实现实时的位姿检测。
然而，基于视觉的位姿检测方法存在一些挑战和限制。
首先，物体的形状、光照条件和纹理等因素都会对位姿检测的准确性产生影响。
其次，特征的提取和匹配过程需要较高的计算能力，对计算资源要求较高。
最后，基于视觉的位姿检测方法对相机的标定要求较高，标定不准确会导致位姿检测的误差增大。
综上所述，基于视觉的并联机器人位姿检测方法是当前研究的热点之一、随着计算能力的提高和图像处理技术的发展，基于视觉的位姿检测方法将在未来得到更广泛的应用。
并联机器人视觉引导定位工件研究
并联机器人视觉引导定位工件研究
张薇薇;李明园
【期刊名称】《机械工程师》
【年(卷),期】2024()6
【摘要】针对工业机器人对流水线上的工件进行分类识别抓取的问题,将单目视觉技术引入到工业机器人智能抓取系统设计中。
通过Halcon软件完成了视觉算法的编写,从而对工件的正面、反面、堆叠状态进行识别和定位。
利用QT软件完成了上位机的编写,通过Modbus和TCP/IP协议实现与机器人的通信。
试验得到的定位误差为0.88 mm,能够较好地完成抓取工作。
【总页数】4页(P27-30)
【作者】张薇薇;李明园
【作者单位】河海大学机电工程学院
【正文语种】中文
【中图分类】TP242.2
【相关文献】
1.新型并联机床工件坐标系定位的研究
2.搬运机器人视觉引导定位技术的研究
3.工业机器人视觉引导抓取工件的研究
4.隔离断路器金具自动化解接机器人视觉引导定位方法研究
因版权原因，仅展示原文概要，查看原文内容请购买。
基于视觉的并联机械手分拣系统的设计
基于视觉的并联机械手分拣系统的设计作者：史东强张娴来源：《科学与财富》2016年第32期摘要：DELTA并联机械手具有其结构简单、维修方便、运行速度快、精度高等优点，因此广泛的应用在食品、医药、电子等轻工业生产线上作为装配或分拣机构。
本文以三菱Q系列PLC为核心控制器，以QD75P2定位模块和三菱伺服驱动单元为运动控制部件，制作了一台DELTA机械手装置，利用SVM等视频智能分析技术，实现不同形状和不同特点物体的识别和分拣，具有很高的实用价值。
关键词：并联机械手三菱QPLC QD75 视觉分析1 引言机器人可以代替人类进行很多繁重和危险的工作，是过去数千年一贯的梦想。
人类进入二十一世纪以后，现代科技飞速发展，让机器人逐渐由梦想变为现实。
现在机器人已经成为信息和自动化行业蓬勃发展的一个重要领域。
机器人从结构上可以分为串联机器人和并联机器人两类，串联机器人具有工作空间大、操作灵活等优点，虽然在工业生产中得到了应用，但是它也存在承载能力低、动力学性能差和关节误差累积等缺点。
在实际应用中需要机器人具有高的承载能力、良好的动力学性能以及高精度等要求时，这就迫切需要有另外一种机械结构形式的机器人可供选择。
在这种情况下，并联机器人就应运而生了。
并联机器人与传统的串联机器人相比，并联机器人具有运行速度快、承载能力强、高柔性化、精度高以及惯性小等特点，因而在航天、航空、航海、机电工业、医疗器械、微型微动机械等方面得到了广泛的应用。
并联机械手由于其诸多的优点成为现在研究领域的热点，由于其运行速度快、承载能力强、高柔性化、精度高以及惯性小等特点，已在航天、航空、航海、机电工业、医疗器械、微型微动机械等方面得到了广泛的应用。
PLC的控制使得并联机械手的运动轨迹和控制更加的科学化、人性化。
可自动按程序完成工件的检测、抓取、放置、按照设定的轨迹进行工作，保证了伺服电机、主轴、从动轴等各执行构件的动作相互协调，系统运行可靠。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Nanjing University of Aeronautics and Astronautics The Graduate School College of Civil Aviation
Research of hand tracking technology based on active vision with the parallel robot
A Thesis in Vehicle operation engineering by Liu Yuyue Advised by Wu Dongsu Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering
ii
南京航空航天大学硕士学位论文
目
录
第一章
绪论 ................................................................................................................................. 1
作者签名： 日 期：
南京航空航天大着举足轻重的作用，然而价格与维护成本十分昂贵。基于虚拟现 实的轻量级模拟器是一种有效的低成本方案，在民航领域的人机交互过程中，手部动作在虚拟 视景中的重构效果至关重要，计算机视觉跟踪方案能够自然且没有接触地获取手部特征，但同 时存在着制约性的问题——手部的自遮挡问题，会影响手部重构的效果，本文在此背景下提出 了利用主动视觉技术解决手部跟踪运动过程中的自遮挡问题。 本文列举了国内外使用主动视觉技术来解决这一关键问题的例子，并指出各种解决办法的 不足之处。针对前者的不足之处，本文根据 Stewart 机器人的固有特点，利用 Stewart 机器人来 作为主动视觉的承载机构，提出了一种新型的主动视觉手部跟踪技术。 本文设计了视觉伺服系统的实际平台，包括机械，机电控制和视频采集等模块，并且实现 了主动视觉系统的基本软件部分，包括数据采集，通信，人机交互等模块，为整个主动视觉系 统提供了一个可实际运行和调试的平台。 根据视觉伺服系统的综述，原理以及分类，本文对各种视觉伺服系统进行了仿真实验和分 析，最终确定以基于图像的视觉伺服技术来实现本文中的机器人控制算法。在手部特征提取的 环节中，本文使用 Mean-Shift 方法来进行目标跟踪，并分别使用裸手和基于颜色标记的方法来 作为跟踪的特征。 最终本文分别设计了视觉伺服系统的一般视觉控制器和考虑了机器人动态特性的视觉控制 系统，并利用李雅普诺夫函数对考虑机器人动态特性后的整个视觉系统进行了稳定性分析。在 此基础上分别做了详细的目标跟踪实验，并对结果进行了分析，最终实际效果和实验数据都说 明了基于并联机器人的主动视觉能有效地解决手部跟踪过程产生的自遮挡问题。 最后一章针对本论文和实验的不足之处做了说明，指出了后续工作的研究方向。 关键词：手部跟踪，主动视觉，Stewart 并联机器人，视觉伺服，图像反馈
1.1 引言 ................................................................................................................................. 1 1.1.1 基于数据手套的手部跟踪技术 .......................................................................... 2 1.1.2 基于计算机视觉的手部跟踪技术 ...................................................................... 3 1.2 主动视觉的国内外研究现状 .......................................................................................... 5 1.3 主动视觉应用于手部跟踪所需要解决的问题 .............................................................. 5 1.4 本文提出的基于 Stewart 并联机器人的主动视觉手部跟踪方案 ................................ 6 1.5 本文中拟研究的内容...................................................................................................... 7 1.6 小结 ................................................................................................................................. 8 第二章 基于 Stewart 的主动视觉手部跟踪系统设计 ................................................................ 9
中图分类号： TP391.9、 TP273、 V216.7 学科分类号：082304
论文编号： 1028707 12-0062
硕士学位论文
基于并联机器人的主动视觉 手部跟踪技术研究
研究生姓名 学科、专业 研究方向 指导教师
刘玉月 载运工具运用工程 机电控制与自动化 吴东苏 副教授
南京航空航天大学
研究生院 民航学院
January, 2012
承诺书
本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进 行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外， 本学位论文的研究成果不包含任何他人享有著作权的内容。 对本论文所 涉及的研究工作做出贡献的其他个人和集体， 均已在文中以明确方式标 明。 本人授权南京航空航天大学可以有权保留送交论文的复印件， 允许 论文被查阅和借阅,可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或其他复制手段保存论文。 (保密的学位论文在解密后适用本承诺书)
i
基于并联机器人的主动视觉手部跟踪技术研究
ABSTRACT
Flight simulator plays a decisive role in the field of civil aviation, however, the price and maintenance costs are very expensive. Lightweight simulator based on virtual reality is an attractive and effective low-cost solution. In the process of HCI of civil aviation, how to reconstruct the hand movements in the virtual scene is critical. Computer vision tracking scheme can provide a naturalness and non-contact way to obtain hand features, but the existing constraint--self-occlusions of the hand, will affect the effect of hand reconstruction. This paper proposed using active vision technology to solve the self occlusion problem in the process of the hand tracking. This paper summarizes some examples of the solutions using active vision technology, and points out the deficiencies of those solutions. According to the inherent characteristic of parallel robot, the article proposes that the parallel robot Stewart can be used for active vision and, puts forward a new active vision hand tracking technology. In the following chapters, the paper designs the actual platform in the visual servo system, including mechanical parts, mechanical and electrical control part and the video acquisition modules. The basic software of the active vision system is realized, including data acquisition, communication, HCI module. An actual running and debugging platform for the active vision system is finished. According to the overview, principle and classification of the visual servo system, a variety of visual servo system is simulated and analyzed. The image-based visual servo technology is chosen to for the robot control algorithm. Meanwhile, Mean-Shift method is used for target tracking, and how to use the bare hands and the color marking for tracking characteristics is illustrated. Above all, general visual controller and the hybrid controller which considers the dynamic characteristics of robot for the visual servo system are designed, and stability analysis of the whole system is also carried out via Lyapunov function. On this basis, respective simulations and experiments are carried out. The results and experimental data illustrate that the active vision system basing on Stewart can effectively solve the problem of hand occlusion in the hand tracking process. Finally, the shortcomings are introduced, and the research direction of follow-up work is pointed out. Key words: Hand tracking; self-occlusion；Active vision; Stewart parallel robot; Vision servo; Image feedback