基于语音控制与视觉识别的智能假肢手及其系统和方法与制作流程
假肢运动控制系统的设计与实现

假肢运动控制系统的设计与实现第一章绪论假肢作为一种替代人体肢体功能的医疗工程产品,拥有着广阔的市场空间。
近年来,随着人工智能、机器视觉等技术的不断发展,假肢智能化已经成为了假肢技术的主要发展方向之一。
而假肢运动控制系统作为假肢智能化的核心技术,也受到了越来越多的重视。
本文将详细介绍假肢运动控制系统的设计与实现。
第二章假肢运动学和动力学模型假肢运动学和动力学模型是假肢运动控制的基础。
假肢运动学模型主要研究关节运动规律和关节角度的计算,动力学模型则研究假肢的力学特性、角速度、角加速度、力矩等相关参数。
根据假肢使用者的身体特征,可以建立相应的运动学和动力学模型,并据此设计假肢运动控制系统。
第三章传感器采集技术假肢运动控制系统需要对使用者的肌肉信号、运动姿态、环境信息等进行实时采集。
传感器采用技术是实现假肢运动控制系统的关键技术之一。
传感器的种类包括肌电传感器、陀螺仪、加速度计和力传感器等。
通过采集传感器信号,可以计算出肢体的运动状态,并据此控制假肢的运动。
第四章控制算法设计假肢运动控制系统的核心在于控制算法的设计。
传统的控制算法包括PID控制算法、模糊控制算法等。
现代控制算法则包括神经网络控制算法、遗传算法、粒子群优化算法等。
根据假肢的运动学和动力学模型,可以设计出相应的控制算法,并利用传感器对假肢的运动进行实时调整和优化。
此外,控制算法的实现过程中需要考虑到实时性和稳定性的问题,以保证假肢运动控制的准确和稳定。
第五章硬件系统设计假肢运动控制系统的硬件系统包括电机、减速器、控制器等,这些硬件设备必须能够与控制算法进行有效的协调和配合。
电机和减速器的选择需要根据假肢的运动特性和力学特性进行考虑,控制器则需要具备较高的计算处理能力和实时性。
除此之外,还需要考虑硬件系统的可靠性和安全性,以确保假肢在使用过程中安全可靠。
第六章实验结果分析通过实验验证假肢运动控制系统的性能表现和稳定性,并进行测试和数据分析。
实验结果对于假肢运动控制算法的优化和系统的后续改进都具有重要意义。
基于语音控制的智能假手系统

Vo 1 Leabharlann 2 3 No. 1 2
电 子 设 计 工 程
El e c t r o ni c De s i g n En g i n e e r i n g
2 0 1 5年 6月
J u n . 2 01 5
基亏语音控制 的智能假 手 系统
乔 杰 ,李致 金 , 郝 一 飞 ,胡鸣 蕾
d i g i t a l s i na g l w i t h o i r g i n l a c o mm a n d d a t a . F i n l a l y , ma i n c o n t r o l s y s t e m c a n g e t r e v i s e d d a t a , w h i c h c a n d i r v e i f n g e r j o i n t s e r v o m o t o r m o v i n g t o t h e c o r r e c t p o s i t i o n .Wh e n n e e d i n g t o g r a s p t h e d i f e r e n t o b j e c t s , t h i s s y s t e m c a n d e t e c t t h e i f n g e t r i p p r e s s u r e
Ab s t r a c t :I n o r d e r t o r e a l i z e t h e i n t e l l i g e n t c o n t r o l o f t h e p r o s t h e t i c h a n d,t h i s p a p e r p r o p o s e d a d e s i g n b a s e d o n s p e e c h c o n t r o 1 . S p e e c h r e c o ni g t i o n s y s t e m r e c e i v e s t h e u s e r ' s v o i c e c o mma n d,a n d c o n v e r t s t h e v o i c e c o mma n d i n t o d i g i t a l s i g n a l w h i c h c a n b e r e c o g n i z e d b y ma i n c o n t r o l s y s t e m. A te f r r e c e i v i n g t h e d i g i t a l s i na g l ,ma i n c o n t r o l s y s t e m wi l l s e n d d a t a wh i c h
人工智能假肢的原理和应用

人工智能假肢的原理和应用1. 引言人工智能(Artificial Intelligence,简称AI)技术近年来飞速发展,为各个领域带来了革命性的变革。
其中,人工智能在医疗领域的应用尤为广泛和深远。
人工智能假肢就是其中一项重要的应用之一,它利用人工智能算法和传感技术来模拟和控制肢体的运动。
2. 人工智能假肢的原理人工智能假肢的原理基于神经控制和模式识别的技术。
传感器通过采集身体的信号,如电信号和肌肉活动,将其转化为数字信号。
然后,经过信号处理和特征提取,利用人工智能算法进行模式识别,将识别后的信息转化为对肢体运动的指令。
最后,通过驱动器或电机来控制假肢的动作。
这种模式识别和控制的过程使得人工智能假肢具备了较高的智能化和灵活性。
3. 人工智能假肢的应用3.1 康复辅助人工智能假肢在康复领域起到了重要的辅助作用。
通过与患者的神经系统进行交互,假肢能够根据患者的意图进行精确的动作还原,帮助患者进行康复训练。
同时,人工智能假肢能够实时监测患者的运动状态,对异常情况进行及时的反馈和纠正,提高康复效果。
3.2 日常生活辅助人工智能假肢还可以在日常生活中为患者提供便利和支持。
例如,在患者需要进行简单的动作,如抓取物品、握手等时,人工智能假肢能够通过智能的运动识别和响应,使患者能够更加方便地完成这些动作,提高生活质量。
3.3 运动辅助对于需要进行高强度运动的患者,人工智能假肢能够提供更强大的辅助功能。
通过智能的运动控制和力反馈系统,假肢可以帮助患者进行各类运动,如举重、爬山等,提高患者的体能和运动能力。
3.4 慢性病治疗人工智能假肢在慢性病治疗中也具有很大的潜力。
例如,对于帕金森病患者,人工智能假肢能够通过智能的姿势识别和抑制技术,减轻症状,提高患者生活质量。
4. 人工智能假肢的前景和挑战人工智能假肢的应用前景广阔,有望在医疗领域发挥重要作用。
然而,人工智能假肢仍面临一些挑战和困难。
首先,技术成本较高,使得假肢难以普及。
基于SPCE061A机器人假肢语音识别控制系统

率 ,可 以采用多次训练语音命令 的方法 ,一般建议 每条语音命令训练 两 次
3.硬 件 设计
圈{墨垦璺f一 一 [ —
厂 一
I, ........
系统 的硬 件 核 心 是 凌 阳 SPCE061单 片 机 。语 音 控 制 系 统 的 硬 件 结 构主要包括凌 阳 061单 片机 、外扩 FLASH存储器 、声 音输入输 出模块 、 电源模块 、电机驱 动模 块 、电机 以及机器 人假肢 ,硬件框 图如图 2所
3.2电机 模 块
系统 采用 直流伺 服 电机和 步进 电机分别 控制 机器人 假肢相 关动 作 。其 中步进 电机采用频率控制其转速 ,直 流伺服 电机采用 PWM输 出 控制 电机 ,具体 的控制可 以通过软件编程来实现 。
4.系 统 软 件 设 计 语音识别控 制 的软件 是在集成开 发环境 “’nSPIDE2.0.0上开发设 计的。¨’nSPIDE具有 良好的交互界面下拉菜单快捷键 ,使程序 的编辑 、 编译 、链 接 、调试等操作更加方便 、高效。此外 ,它 的软件仿 真功能可以 在不连接仿真板的情况下模拟硬 件的各项功能来调试程序 。系统的主 要软件设计为主程序 、子程序 以及 中断服务程序 。软件设计流程图如图 3所示
数 字转换器 )、单通道 ADC+AGC(自动增 益 )、双通道 DAC(数 字 ,模拟 转换器 )输 出、UART(通用异步收发器 )通信接 口等模块 。SPCE061A具 有体积小 、集成度 高 、可靠性好且易于扩展 、较强的中断处理能力 、高性 能价 格 比、功 能强 、效率 高的指令 系统 、低功耗 、低 电压 、良好的语音识 别等特点 。
科技信息
博士 。专 家论 坛
基 于 SPCEO61A 栅 器 人 假 肢 语 音 iR ̄1]控 制 系统
基于手势控制与语音控制的智能机械手设计

手势控制与语音控制的智能机械手目录摘要...................................................- 0 -1整体方案.............................................- 6 -2方案论证.............................................- 6 -2.1 控制方案......................................- 6 -2.2 语音识别基本原理概述..........................- 7 -2.3 无线传输模块的选择............................- 8 -2.4 电机驱动模块的选择...........................- 8 -2.5角度传感器模块的选3 系统硬件设计........................................-8-3.1 MSP430F149单片机最小系统.....................-8-3.2语音识别模块...................................-8-3.3舵机模块........................................-9-3.4电机驱动模块....................................-9-3.5电机模块......................................-10-3.6电源模块......................................-10-3.7角度传感器模...- 8 -4软件设计...........................................-11-4.1 技术要求.............................................-11-4.2 程序流程图..........................................-12-5 设计总结.................................................-12-6参考资料...........................................-15-参考程序:..........................................-15-摘要本系统采用MSP430F149为主控芯片,通过控制电机驱动,机械臂,以及语音识别模快来实现相应的功能。
机器人手臂的制作方法

机器人手臂的制作方法
制作机器人手臂通常涉及多个步骤和材料。
首先,我们需要设
计手臂的结构。
这包括确定手臂的长度、关节数量和类型,以及材
料的选择。
常见的材料包括金属、塑料和碳纤维。
一种常见的制作方法是使用3D打印技术。
首先,我们需要使用CAD软件设计手臂的三维模型。
然后,将模型导入3D打印机,并选
择合适的打印材料。
打印完成后,我们可以组装各个零部件,安装
电机和传感器。
另一种制作方法是采用传统的金属加工工艺。
首先,我们需要
准备金属材料,如铝合金或钢材。
然后,使用铣床、车床等工具将
材料加工成所需的零部件。
接下来,我们需要进行组装,安装电机、传感器和液压系统(如果需要)。
除了机械结构,机器人手臂还需要控制系统。
这通常涉及使用
电机驱动、编码器、传感器和控制器。
控制系统的设计和制作需要
一定的电子和编程知识。
总的来说,制作机器人手臂需要综合运用机械设计、材料加工、
电子技术和编程等多个领域的知识。
在制作过程中,需要严格按照设计要求进行操作,确保手臂的结构稳定、运动灵活,并且能够准确地执行各种任务。
康复科技中的智能假肢研究与设计
康复科技中的智能假肢研究与设计随着人工智能技术的不断发展,我们的生活变得越来越便捷而高效。
而在医疗领域,智能假肢是医学科技的重要组成部分之一。
智能假肢的研发,旨在帮助失肢者恢复生活自理和社会融合能力。
本文将探讨康复科技中的智能假肢研究与设计。
1. 重要性智能假肢的研究和设计的重要性,在于通过技术手段帮助失肢者恢复生活自理能力,以及增强失肢者的社会融合和自信心。
同时,智能假肢还可以指导手术医生和康复治疗师进行治疗设计和康复治疗方案的制定。
2. 技术支持智能假肢的研究和设计需要技术支持,其中最重要的技术支持之一是智能感应技术。
智能感应技术能够帮助假肢更加精准地控制运动,并且允许失肢者进行精细的手指操作。
同时,在术后的康复治疗中,智能化后的主动修复运动训练也可以提高患者的康复效果和治疗效率。
3. 研究现状智能假肢的研究和设计已经得到了广泛的关注和重视。
在生物科学等学科的支持下,各大医学研究机构都在不断提升假肢的技术水平和准确性。
瑞典的自杀极少,但是该国有大量的发明家和科学家,而瑞典的科技公司EIT Health刚刚推出了一种智能假肢,它可以通过神经分析和电脑处理来模拟人体运动。
4. 设计考虑在智能假肢的设计过程中,需要考虑多个因素。
首先,假肢需要在适度的时间内完成识别,控制和反馈等多个功能,这无疑需要高质量的传感器。
其次,需要注意假肢与身体其他部位的舒适性和协调性,否则,假肢的作用将失去重要意义。
因此,设计师需要特意考虑假肢与人体的结合性以及各种不同的使用情况。
5. 康复治疗推广对于智能假肢的研发者来说,还需要更大力度的推广来提升智能假肢的普及率,并且通过推广智能假肢的康复治疗,让更多的失肢者早日重返社会。
只有通过广泛而持续的宣传,我们才能将关注点从机器本身转移到“帮助患者”的目标上,这也是智能假肢的研发者和康复治疗师应该始终坚持的信念。
结论:智能假肢研究与设计的发展,帮助重获自由和独立的康复患者越来越多。
生物医学工程中的智能假肢设计与控制
生物医学工程中的智能假肢设计与控制1. 引言随着科技的不断发展和人们对生活质量的不断追求,智能假肢作为一种重要的辅助工具在现代医学中得到了广泛应用。
智能假肢设计与控制技术的发展旨在实现对假肢的精确控制和更好的生理适应性,为截肢患者提供更高质量的生活。
本文将从智能假肢的设计原理、控制方式和未来发展等方面进行论述。
2. 智能假肢设计原理智能假肢的设计原理是通过采集截肢患者的生理信号,如肌电信号、神经信号等,经过信号处理和分析后控制假肢的动作。
根据截肢部位的不同,假肢设计可以分为上肢假肢和下肢假肢。
上肢假肢设计主要考虑手指的灵活度和力量,通过模拟人手的运动过程实现对物体的抓取、放置和旋转等操作。
下肢假肢设计主要考虑步态的仿真和平衡控制,通过判断身体姿势和运动意图实现真实的步行模拟。
3. 智能假肢的传感器技术智能假肢的设计离不开传感器技术的支持。
传感器可以对截肢患者的生理信号进行采集和处理,实时反馈给假肢控制系统。
在上肢假肢中,肌电传感器广泛应用于对肌肉信号的采集,通过对信号的分析可以控制假肢的灵活度。
在下肢假肢中,惯性传感器和压力传感器常用于判断身体的姿势和动作,从而实现对步态的控制。
4. 智能假肢的控制方式智能假肢的控制方式可以分为表面肌电控制和神经控制。
表面肌电控制是通过肌电信号的采集和处理,实现对假肢的控制。
这种控制方式简单、易于实现,但对截肢患者的肌肉信号要求较高。
神经控制是通过直接采集和解析神经信号,实现对假肢的精确控制。
神经控制的前提是需要具备神经植入等高风险手术,因此目前应用较为局限。
5. 智能假肢的未来发展随着科技的不断进步和智能假肢领域的发展,智能假肢的未来发展前景广阔。
首先,智能假肢的控制精确度和适应性将进一步提高,能够实现更精细的手指和脚趾动作。
其次,智能假肢将更加智能化,可以通过与人体大脑连接实现直接思维控制。
此外,材料和制造技术的进步也将使智能假肢更加轻巧、舒适和透气,提高患者的生活质量。
基于3D打印技术的智能假肢设计与制造
基于3D打印技术的智能假肢设计与制造智能假肢是近年来医疗科技领域的一项重要突破,为失去四肢的患者提供了希望与独立。
而基于3D打印技术的智能假肢设计与制造,更是为这一领域带来了巨大的进步和发展。
本文将介绍基于3D打印技术的智能假肢的设计与制造方法,并探讨这一技术对患者的益处以及未来的发展前景。
一、智能假肢的设计与制造方法基于3D打印技术的智能假肢设计与制造主要分为以下几个步骤:1.扫描:使用3D扫描仪将残肢部位进行扫描,获取详细的残肢信息,以确定假肢设计的准确度和合适度。
2.设计:通过计算机辅助设计软件,工程师可以根据患者的扫描信息进行假肢的设计。
设计过程中需要考虑患者的需求和生活习惯,以及假肢的功能和美观。
3.3D打印:将设计好的智能假肢通过3D打印机进行制造。
3D打印技术可以将设计文件转化为物理假肢模型,从而降低生产成本和周期,并且可以实现个性化定制。
4.组装:在3D打印后,假肢需要进行组装。
根据设计要求和技术规范,将制造好的各个部分组装在一起,并利用合适的连接件来确保假肢的稳定性和舒适度。
5.智能化:智能假肢通过嵌入式芯片和传感器,可以感知患者的运动和意图,并将信号传输到电机或执行器上,以实现对假肢的精确控制和运动。
二、基于3D打印技术的智能假肢的益处1.个性化定制:传统假肢需要经过多次试穿和调整,而基于3D打印技术的智能假肢可以根据患者的身体特征和需求进行个性化定制,提高了假肢的舒适度和适应性。
2.快速制造:传统假肢的制造需要耗费大量的人力和时间,而3D 打印技术可以在短时间内制造出假肢模型,大大缩短了制造周期和等待时间。
3.精确控制:智能假肢通过嵌入的传感器和芯片可以实时感知患者的运动和意图,并将信号传输到电机或执行器上,实现对假肢的精确控制和运动。
这样患者可以更加自如地进行日常活动,恢复生活中的自主性。
4.成本效益:相比传统的假肢制造方法,基于3D打印技术的智能假肢制造成本更低,并且可以根据需求进行个性化定制,避免了浪费和过度装备。
人工智能驱动的机器人手臂系统设计及评估
人工智能驱动的机器人手臂系统设计及评估现代科技逐渐发展,人工智能技术已经广泛应用于多个领域。
在制造业中,人工智能技术同样发挥着重要作用。
其中,机器人手臂系统作为制造领域中的标志性应用之一,其发展趋势和技术特点也变得越来越重要。
本文将从设计和评估两个方面来讨论人工智能驱动的机器人手臂系统。
一. 设计1.1 机器人手臂简介机器人手臂由手臂机构、末端执行器、驱动电机、控制电路和传感器组成。
手臂机构是机器人手臂的支架架构,同时也是机器人手臂工作的物理框架。
末端执行器是机器人手臂的最终工作部分,其中包括夹爪等设备。
驱动电机是机器人手臂的动力来源,控制电路用于控制各个部件的运动,传感器则用于监控机器人手臂的运动状态。
1.2 机器人手臂驱动目前机器人手臂的驱动方式主要有两种,分别为单个伺服电机和多个伺服电机。
单个伺服电机采用地盘控制方式,可以较为便捷地进行计算。
多个伺服电机采用电气设计,但是这种设计方式较为复杂,需要较高的技术水平。
1.3 机器人手臂控制机器人手臂的控制方法主要包括运动和成像两种方式。
其中,运动控制方法是指机器人手臂在运动时控制的方式,即通过控制电机的转速和方向来控制机器人手臂的运动。
成像控制方法是指通过机器视觉技术,即使用相机和图像处理算法来控制机器人手臂的运动。
1.4 机器人手臂智能化人工智能技术将机器人手臂推上了一个新的高度,赋予机器人手臂更高的自主性和智能化。
机器人手臂智能化的关键在于掌握机器人手臂和周围环境的状况,并根据实际需求进行相应的决策。
目前技术发展已经很成熟,例如在自动化流水线中实现了对产品的检测、抓取和分拣等。
二. 评估2.1 功能评估机器人手臂需要具备灵活、高效、精准的工作能力,具体表现在如下方面:(1) 精度:机器人手臂需要具备较高的精度,以保证制造品质(2) 速度:机器人手臂需要具备较高的速度,以保证生产效率(3) 稳定性:机器人手臂需要具备较高的稳定性,以保证工作质量(4) 安全性:机器人手臂需要具备良好的安全性,以保障生产场所和操作人员的安全。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
本技术公开了一种基于语音控制与视觉识别的智能假肢手及其系统和方法,属于假肢手技术领域,智能假肢手采用三自由度假肢手本体,还包括深度摄像头模块、语音交互模块、LED 触摸屏、核心处理模块及无线充电模块,其中,深度摄像头模块用于获取图像数据;语音交互模块用于与用户进行语音交互;LED触摸屏用于用户输入操作指令及显示数据;核心处理模块实现总体的任务调度和数据处理;并公开了物联网智能假肢手系统及手势动作实现方法。
本技术解了决现有主流假肢手仅依靠肌电控制、牵引控制,控制效率低、肌电信号干扰大、操作训练复杂的问题,以及语音控制功能单一、无法完成复杂手势操作、智能化低的技术问题。
权利要求书1.智能假肢手,采用三自由度假肢手本体,包括手指部件、手掌部件、残臂部件、肌电信号传感器、用于供电的电源以及存储器模块,其中,手指部件中的各手指各关节处及连接手掌部件与残臂部件的手腕处均设有电机,用于驱动各手指各关节及手腕处的转动,其特征在于,还包括深度摄像头模块、语音交互模块、LED触摸屏、核心处理模块及无线充电模块,其中,所述深度摄像头模块设置在所述手掌部件上的手掌处,用于获取图像数据,并传送至所述核心处理模块;所述语音交互模块用于与用户进行语音交互,将获取的语音数据传送至所述核心处理模块,以及播放从核心处理模块获取的指定格式的语音文件;所述LED触摸屏设置在所述手掌部件上的手背处或残臂部件上,用于用户输入操作指令及显示数据;所述核心处理模块用于将所述图像数据通过图像算法进行三维比对,拼凑出手势动作的模型,进而得出每个电机各时间节点所需要转动的角度,并输出机器指令码;还用于根据所述语音数据调用所述存储器模块内的手势动作并输出机器指令码,或者新增手势动作至所述存储器模块;还用于根据用户通过LED触摸屏输入的操作指令,输出机器指令码或者输出显示数据至LED触摸屏;所述机器指令码用于控制各电机动作,以使智能假肢手做出指定的手势动作;所述无线充电模块用于采用无线充电方式为所述电源充电;所述存储器模块用于保存数据,该数据包括手势动作、各手势动作的使用情况、图像数据、语音数据;智能假肢手的最表层材料为导体材料。
2.如权利要求1所述的智能假肢手,其特征在于,还包括定位模块和心率监测模块,所述定位模块用于获取智能假肢手当前地理位置信息并传输至所述核心处理模块;所述心率监测模块用于监测用户的心率,并将心率数据传输至所述核心处理模块;所述核心处理模块对所述地理位置信息和心率数据进行处理后传输至所述存储器模块进行存储,或在接受指令后通过所述LED触摸屏或所述语音交互模块反馈给用户。
3.基于语音控制与视觉识别的物联网智能假肢手系统,其特征在于,由通过无线方式建立连接的云服务器端、二级操作终端和智能假肢手组成,其中,所述二级操作终端包括安装在智能手机或电脑上的客户端,和/或动作捕捉手套;所述云服务器用于为所述客户端和智能假肢手提供云服务,所述云服务包括在线存储、在线技术支持和云计算。
4.基于权利要求3所述的物联网智能假肢手系统的手势动作实现方法,其特征在于,包括如下步骤:步骤1:通过智能假肢手进行信息采集,并上传至云服务器端;步骤2:通过云服务器端调用百度AI开放平台的图像识别或语言处理基础技术接口,进行识别,并将识别结果发送给智能假肢手的核心处理模块;步骤3:核心处理模块结合云服务器识别信息、此时智能假肢手的状态信息以及比对以往的各手势动作的使用情况,推断最可能被使用的手势动作;步骤4:将推断的手势动作发送至LED触摸屏供用户选择;步骤5:将用户选择数据反馈至核心处理模块,核心处理模块输出机器指令码,控制各手指各关节及手腕处的电机动作,使智能假肢手做出指定的手势动作。
5.如权利要求4所述的物联网智能假肢手系统的手势动作实现方法,其特征在于,步骤1中,信息采集的方式为:通过智能假肢手的深度摄像头组件拍摄二维场景及物品图片;相应地,步骤2中,调用接口为百度AI开放平台的图像识别接口,识别结果为相应物体及场景。
6.如权利要求4所述的物联网智能假肢手系统的手势动作实现方法,其特征在于,步骤1中,信息采集的方式为:通过智能假肢手的语音交互模块收集语音信息并进行语音降噪,转换为指定格式;相应地,步骤2中,调用接口为百度AI开放平台的语言处理基础技术接口,识别信息为命令文本信息以及语音文件。
7.如权利要求4所述的物联网智能假肢手系统的手势动作实现方法,其特征在于,步骤1中,信息采集的方式为:使用动作捕捉手套采集手势动作信息;相应地,步骤2中,识别结果为相应的手势动作信息;步骤3中,核心处理模块直接将该相应的手势动作信息作为最可能被使用的手势动作。
8.如权利要求4-6任一所述的物联网智能假肢手系统的手势动作实现方法,其特征在于,步骤1中,上传至云服务器端,替换为,上传至客户端;相应地,步骤2中,通过客户端进行识别。
9.基于权利要求3所述的物联网智能假肢手系统的手势动作远程控制方法,其特征在于,包括如下步骤:步骤S1:动作捕捉手套与客户端无线连接,客户端与智能假肢手无线连接;步骤S2:由动作捕捉手套演示手势动作,并记录手势的空间位置信息,实时传输至客户端;步骤S3:客户端将手势的空间位置信息直接传输至智能假肢手的核心处理模块,或者转化为机器控制码后或者传输至核心处理模块;步骤S3:核心处理模块将手势的空间位置信息转化为机器控制码并输出,或者直接输出机器控制码,实时控制各手指各关节及手腕处的电机动作,使智能假肢手做出指定的手势动作,实现手势动作的在线远程控制。
10.基于权利要求3所述的物联网智能假肢手系统的手势动作客户端控制方法,其特征在于,包括如下步骤:步骤P1:在客户端内设置智能假肢手的3D模型,二者无线连接;步骤P2:用户在客户端输入数据精确调整3D模型确定手势动作;步骤P3:客户端将确定的手势动作转换为机器控制码,并传输至智能假肢手的核心控制模块;步骤P4:核心控制模块输出机器控制码,控制各电机动作,实现指定的手势动作。
技术说明书基于语音控制与视觉识别的智能假肢手及其系统和方法技术领域本技术属于假肢手技术领域,更具体地,涉及一种基于语音控制与视觉识别的智能假肢手及其系统和方法。
背景技术智能假肢手可以通过直流微电机驱动假手的开闭和腕、肘关节的运动,来完成假肢的代偿功能,能为上肢缺失残疾人患者的日常生活提供便利,提高生活质量。
在康复工程领域的研究中有巨大的价值。
现有假肢手产品分为单自由度、两自由度的前臂肌电假肢和两自由度、三自由度的上臂肌电假肢。
前两种自由度低,很多场景并不适用。
三自由度肌电假肢手如在专利CN201610520941.7中公开的,虽然假肢手有了足够高的自由度,解决了制作上的问题,但其中只提及假肢手的关节由电机控制,使用者如何运用残肢肌肉运动产生肌电信号控制假肢进行复杂的运动,在专利中并没有提及。
事实上根据用户体验反馈,高自由度假肢手难以控制,肌电信号的相互干扰往往产生误动作,并且装肢前的肌力训练和装肢后的操纵训练更加复杂,肌电信号的识别效率低。
因此对于高自由度假肢手就需要肌电信号以外的其它识别方法来控制。
专利CN200710144648.6公开了基于蓝牙无线通讯的多自由度假手语音控制装置,通过蓝牙将语音控制器与假肢手连接,一方面只能语音提取关键词匹配已有的动作,产生的动作具有局限性。
另一方面,由于过于依赖无线通讯控制,在语音控制器不在身旁、周边无线电干扰较大等情况下,会导致控制失灵的发生。
仅从语音控制这一角度看,对于特定手势,语音控制存在对动作难以描述的局限。
并且,在供电方式上,现有的假肢手都是采用有线充电的方法。
一方面在充电的过程中,较长时间限制了用户的移动或假肢的使用。
另一方面,由于充电接口的暴露,限制了假肢的防水性能提升。
前沿方面,通过脑电波控制假肢手也是一个方向。
通过脑电波控制有更加直接,更接近人手的优点。
但目前脑电波领域只能识别控制情绪、开闭等简单指令,尚不适用于手部的复杂操作。
且成本高、复杂指令识别率低、操作设备复杂、个体脑电波差异度大。
所以在脑电波控制技术成熟前,需要有更加智能化的假肢手控制系统帮助残疾用户更好地使用假肢手。
技术内容针对现有技术的以上缺陷或改进需求,本技术提供了一种基于语音控制与视觉识别的智能假肢手及其系统和方法,其目的在于,提供将语音控制与视觉识别功能相结合的智能假肢手,以及基于物联网的假肢手三级操作控制系统及其实现方法,由此解决现有主流假肢手仅依靠肌电控制、牵引控制,控制效率低、肌电信号干扰大、操作训练复杂的问题,以及现有假肢手语音控制系统功能单一、无法完成复杂手势操作、智能化低的技术问题。
为实现上述目的,按照本技术的一个方面,提供了一种智能假肢手。
智能假肢手,采用三自由度假肢手本体,包括手指部件、手掌部件、残臂部件、肌电信号传感器以及用于供电的电源,其中,手指部件中的各手指各关节处及连接手掌部件与残臂部件的手腕处均设有电机,用于驱动各手指各关节及手腕处的转动,其特征在于,还包括深度摄像头模块、语音交互模块、LED触摸屏、核心处理模块、存储器模块及无线充电模块,其中,所述深度摄像头模块设置在所述手掌部件上的手掌处,用于获取图像数据,并传送至所述核心处理模块;所述语音交互模块用于与用户进行语音交互,将获取的语音数据传送至所述核心处理模块,以及播放从核心处理模块获取的指定格式的语音文件;所述LED触摸屏设置在所述手掌部件上的手背处或残臂部件上,用于用户输入操作指令及显示数据;所述核心处理模块用于将所述图像数据通过图像算法进行三维比对,拼凑出手势动作的模型,进而得出每个电机各时间节点所需要转动的角度,并输出机器指令码;还用于根据所述语音数据调用所述存储器模块内的手势动作并输出机器指令码,或者新增手势动作至所述存储器模块;还用于根据用户通过LED触摸屏输入的操作指令,输出机器指令码或者输出显示数据至LED触摸屏;所述机器指令码用于控制各电机动作,以使智能假肢手做出指定的手势动作;所述存储器模块用于保存数据,该数据包括手势动作、各手势动作的使用情况、图像数据、语音数据;所述各手势动作的使用情况包括使用时间、场景、频次;所述无线充电模块用于采用无线充电方式为所述电源充电;智能假肢手的最表层材料为导体材料,如此能够操作电容屏。
优选地,上述智能假肢手还包括定位模块和心率监测模块,所述定位模块用于获取智能假肢手当前地理位置信息并传输至所述核心处理模块;所述心率监测模块用于监测用户的心率,并将心率数据传输至所述核心处理模块;所述核心处理模块对所述地理位置信息和心率数据进行处理后传输至所述存储器模块进行存储,或在接受指令后通过所述LED触摸屏或所述语音交互模块反馈给用户。