手势识别开题报告.ppt
合集下载
手势识别开题报告答辩ppt模板共53页文档
46、我们若已接受最坏的，就再没有什么损失。——卡耐基 47、书到用时方恨少、事非经过不知难。——陆游 48、书籍把我们引入最美好的社会，使我们认识各个时代的伟大智者。——史美尔斯 49、熟读唐诗三百首，不会作诗也会吟。——孙洙 50、谁和我一样用功，谁就会和我一样成功。—。
2、要冒一次险!整个生命就是一场冒险。走得最远的人，常是愿意 去做，并愿意去冒险的人。“稳妥”之船，从未能从岸边走远。-戴尔．卡耐基。
梦 境
3、人生就像一杯没有加糖的咖啡，喝起来是苦涩的，回味起来却有 久久不会退去的余香。
手势识别开题报告答辩ppt模板 4、守业的最好办法就是不断的发展。 5、当爱不能完美，我宁愿选择无悔，不管来生多么美丽，我不愿失 去今生对你的记忆，我不求天长地久的美景，我只要生生世世的轮 回里有你。
手势礼仪文明礼仪培训课件PPT
• 一般是指胜利，如果掌心向内，则是贬低人，侮 辱人。
• 在希腊，即使掌心向外，如手臂伸直，也是对人 不恭。
了解各种手势的含义。
OK手势的含义：
我国和其他国家：零或三。 泰国：没有问题。 日本、缅甸、韩国：金钱。 印度：正确、不错。
美国、英国：赞同、了不起。 法国：零或没有。 突尼斯：傻瓜。 巴西：侮辱男人、引诱女人。
• 向远距离的人打招呼时，伸出右手，右胳膊 伸直高举，掌心朝着对方，轻轻摆动。不可 以向上级和长辈招手。
常用的引导手势。
中位手势：
• 横摆式——小请（用于介绍或指示方向）。 以右手为例：将五指伸直并拢，手心不要凹陷，手与 地面呈45度角，手心向斜上方。腕关节与肘关节成 45度夹角，以肘关节为轴向右摆动，到身体右侧稍 前的地方停住。同时，双脚形成右丁字步，左手下垂， 目视来宾，面带微笑。这是在门口处常用的谦让礼的 姿势（请、请进）。
高位手势：
• 直臂式——大请（请往前走）。 将右手由前抬到与肩同高的位置，前臂伸直， 用手指指向来宾要去的方向。
高位手势：
双臂横摆——多请，（引 导手势——大家请）。
将双手由前抬起到腹部再向 两侧摆到身体的侧前方，这 是面向来宾时的手势。若是 站在来宾的侧面，则两手从 体前抬起，同时向一侧摆动， 两臂间保持一定的距离。
Part Five
感知练习
感知练习。
分小组根据设定的场景演练各种手势。
• 您好，欢迎光临！（在门口行鞠躬礼、基本站姿微笑目视来宾）。 • 请。（引导手势——中位手势横摆式——小请）。 • 请坐。（低位手势指向座位——中请）。 • 右边第三个门。（高位手势指向来宾所去地点。——大请）。 • 大家请。（双臂横摆——多请）。
• 掌心向上的手势有一种诚恳、恭敬的意义 掌心向下则意 味着命令、安排和指标。
• 在希腊，即使掌心向外，如手臂伸直，也是对人 不恭。
了解各种手势的含义。
OK手势的含义：
我国和其他国家：零或三。 泰国：没有问题。 日本、缅甸、韩国：金钱。 印度：正确、不错。
美国、英国：赞同、了不起。 法国：零或没有。 突尼斯：傻瓜。 巴西：侮辱男人、引诱女人。
• 向远距离的人打招呼时，伸出右手，右胳膊 伸直高举，掌心朝着对方，轻轻摆动。不可 以向上级和长辈招手。
常用的引导手势。
中位手势：
• 横摆式——小请（用于介绍或指示方向）。 以右手为例：将五指伸直并拢，手心不要凹陷，手与 地面呈45度角，手心向斜上方。腕关节与肘关节成 45度夹角，以肘关节为轴向右摆动，到身体右侧稍 前的地方停住。同时，双脚形成右丁字步，左手下垂， 目视来宾，面带微笑。这是在门口处常用的谦让礼的 姿势（请、请进）。
高位手势：
• 直臂式——大请（请往前走）。 将右手由前抬到与肩同高的位置，前臂伸直， 用手指指向来宾要去的方向。
高位手势：
双臂横摆——多请，（引 导手势——大家请）。
将双手由前抬起到腹部再向 两侧摆到身体的侧前方，这 是面向来宾时的手势。若是 站在来宾的侧面，则两手从 体前抬起，同时向一侧摆动， 两臂间保持一定的距离。
Part Five
感知练习
感知练习。
分小组根据设定的场景演练各种手势。
• 您好，欢迎光临！（在门口行鞠躬礼、基本站姿微笑目视来宾）。 • 请。（引导手势——中位手势横摆式——小请）。 • 请坐。（低位手势指向座位——中请）。 • 右边第三个门。（高位手势指向来宾所去地点。——大请）。 • 大家请。（双臂横摆——多请）。
• 掌心向上的手势有一种诚恳、恭敬的意义 掌心向下则意 味着命令、安排和指标。
手势识别调研报告
手势识别调研报告手势识别是一种通过识别人类手势动作来实现交互的技术。
随着人机交互的需求不断增加，手势识别技术得到了广泛的关注。
本调研报告将对手势识别技术的应用领域、原理、挑战和前景进行调研。
一、手势识别技术的应用领域手势识别技术广泛应用于许多领域，如虚拟现实、游戏、智能家居、医疗等。
在虚拟现实领域中，手势识别可以实现与虚拟环境的交互，让用户更加身临其境。
在游戏领域中，手势识别可以替代传统的游戏手柄，提供更加直观的游戏体验。
在智能家居领域中，手势识别可以用于控制家电设备，使用户可以通过手势来调节灯光、调整音量等。
在医疗领域中，手势识别可以用于康复训练和手术操作辅助等。
二、手势识别技术的原理手势识别技术主要基于计算机视觉的方法。
首先，需要通过摄像头或传感器捕捉到用户的手势动作。
然后，对手势图像进行预处理，如图像的去噪、边缘检测等。
接下来，通过特征提取算法，将手势图像转化为特征向量。
最后，利用分类器对特征向量进行分类，从而实现手势的识别。
三、手势识别技术的挑战手势识别技术在实际应用中面临一些挑战。
首先，不同人的手势习惯、手型差异等因素会导致手势特征的差异，从而影响手势识别的准确性。
其次，光线条件、背景干扰等环境因素也会影响手势识别的效果。
此外，手势识别技术对硬件设备的要求较高，需要具备高分辨率的摄像头或传感器。
此外，手势的多样性和复杂性也给手势识别算法带来了很大的挑战。
四、手势识别技术的前景尽管手势识别技术面临一些挑战，但其前景仍然非常广阔。
随着智能设备的普及和人们对人机交互方式多样性的需求，手势识别将成为一种重要的交互方式。
同时，随着计算机视觉和机器学习算法的不断发展，手势识别技术的准确性和稳定性也将得到大幅提升。
未来，手势识别技术将在更多领域得到应用，为人们带来更加智能、便捷的交互方式。
总结：手势识别技术在虚拟现实、游戏、智能家居、医疗等领域有广泛的应用。
其原理基于计算机视觉的方法，通过摄像头或传感器捕捉手势动作，并将其转化为特征向量进行识别。
Android之手势识别PPT课件
获取第pointerIndex个触控点的x位置
getY(int pointerIndex)
获取第pointerIndex个触控点的y位置
LCD可以感应出用户的手指压力，当然具体的级别由驱动和物理硬件 getPressure(int pointerIndex)
决定的
getDownTime()
按下开始时间
onShowPress(MotionEvent e) onScroll(MotionEvent e1, MotionEvent e2, float distanceX, float distanceY) onFling(MotionEvent e1, MotionEvent e2, float velocityX, float velocityY)
两种方式的区别：
第一种情况适用于对当前屏幕 第二种情况适用于对单个组件
2021/3/10
7
1.3 小结
主要讲解了Android中手势的开发及应用。
触摸屏手势开发比较简单，容易掌握。
2021/3/10
8
1.4 课后练习
在布局中使用ImageView组件
为ImageView组件添加setOnTouchListener方法实现 触屏控制ImageView的图片变化，如：移动，旋转等 操作
3
1.1.1 GestureDetector
OnDoubleTapListener处理双击类消息
接口方法
方法说明
onDoubleTap(MotionEvent e)
双击，手指在触摸屏上迅速点击第二下时触发
onDoubleTapEvent(MotionEvent e) onSingleTapConfirmed(MotionEvent e)
手势礼仪培训PPT模板
常用手势礼仪
Gestures are information conveyed through hand and finger movement. Different gestures convey different information.
常用的手势礼仪
举手致意手势
• 举手也叫挥手致意，用来向他人表示问候、 致敬、感谢
常用的引导手势
中位手势
• 曲臂式－（里边请） 以右手为例：五指伸直并拢，从身体的侧前 方，向上抬起，至上臂离开身体的高度，然 后以肘关节为轴，手臂由体侧向体前摆动， 摆到手与身体相距20厘米处停止，面向右侧， 目视来宾。
常用的引导手势
低位手势
斜臂式（斜摆式）—中请（请坐） 以肘关节为轴由上而下摆动，指向斜下方（客人落座的地方)，距身体45度处，
Part Two
掌握手势礼仪 的要求
Gestures are information conveyed through hand and finger movement. Different gestures convey different information.
掌握手势礼仪的要求
手势的具体要求
手势的礼仪要求
• 请客人做某事时，应掌心向上，手指自然并 拢，以肘关 节为轴指示目标， 同时上身稍向前倾，以示敬重，切忌 伸出食指来指点。
• 掌心向上的手势有一种诚恳、恭敬的意义 掌心向下则意 味着命令、安排和指标。
• 招手、欢呼、鼓掌都属于手势的范围，应根 据不同场合 和目的恰当运用。
Part Four
手臂向下形成一条斜线。并微笑点头示意来宾。
常用的引导手势
高位手势
• 直臂式——大请（请往前走） 将右手由前抬到与肩同高的位置，前臂伸直， 高位手势
Gestures are information conveyed through hand and finger movement. Different gestures convey different information.
常用的手势礼仪
举手致意手势
• 举手也叫挥手致意，用来向他人表示问候、 致敬、感谢
常用的引导手势
中位手势
• 曲臂式－（里边请） 以右手为例：五指伸直并拢，从身体的侧前 方，向上抬起，至上臂离开身体的高度，然 后以肘关节为轴，手臂由体侧向体前摆动， 摆到手与身体相距20厘米处停止，面向右侧， 目视来宾。
常用的引导手势
低位手势
斜臂式（斜摆式）—中请（请坐） 以肘关节为轴由上而下摆动，指向斜下方（客人落座的地方)，距身体45度处，
Part Two
掌握手势礼仪 的要求
Gestures are information conveyed through hand and finger movement. Different gestures convey different information.
掌握手势礼仪的要求
手势的具体要求
手势的礼仪要求
• 请客人做某事时，应掌心向上，手指自然并 拢，以肘关 节为轴指示目标， 同时上身稍向前倾，以示敬重，切忌 伸出食指来指点。
• 掌心向上的手势有一种诚恳、恭敬的意义 掌心向下则意 味着命令、安排和指标。
• 招手、欢呼、鼓掌都属于手势的范围，应根 据不同场合 和目的恰当运用。
Part Four
手臂向下形成一条斜线。并微笑点头示意来宾。
常用的引导手势
高位手势
• 直臂式——大请（请往前走） 将右手由前抬到与肩同高的位置，前臂伸直， 高位手势
手势语言--基本手势与手势礼仪 ppt课件
10
ppt课件
引领时，应走在宾客的侧前方，距离保持2至3步，随着宾客的步伐轻松地 前进 (如果接待的客人为老人或特殊人群，搀扶、或帮助客人拿东西，但一定 得都客人的允许） ；当位置和场所有所改变时，都需以手势事先告知；在门 前引领时，如果是内推门，自己先进，宾客后进；如果是外拉门，宾客先进， 自己后进。
ppt课件 36
准确 手势和语言的内容要一致，不能让人产生费解和误解
简练 手势和语言的内容要一致，不能让人产生费解和误解 每个手势都力求简单、精炼、清楚、明了 自然
手势不要太机械、不要太僵硬
协调
手势与讲话内容要统一、和谐
ppt课件
37
ppt课件 6
手势：手不是完全张开的，虎口微微并拢，平时手放在腰间。 在引导过程中，女性的标准礼仪是手臂内收，然后手尖倾斜上推“请往里面 走”，显得很优美；男性服务员要体现出绅士风度，手势要夸张一点，手向 外推。同时，站姿要标准，身体不能倾斜。
ppt课件
7
以下是几种引导手势~
横摆式 屈臂式
27
Nose Brush(摸鼻子) 含义：我想跟你有浪漫的交流！
适用区域：约旦 ppt课件
28
Papo Furado 意思：扯淡！ 适用区域：巴西
这个手势通常要在聊天中的一个主题之后使用。 在美洲的一些地方，它表示“受够了”。
ppt课件 29
Pepper Mill（胡椒磨） 意思：你疯了？
赏 夸奖
英国 斯里兰卡 墨 西哥 荷兰 祈祷幸
运
日本 韩国 男人 你
ppt课件
的父亲 老头子
23
ppt课件
24
世界各地粗鲁手势
在世界各地，不同的手势有着不同的含义，其中 自然也包括那些低俗粗鲁的骂人手势。当你身处异国 他乡，有些当地人一脸坏笑的对你做着奇怪的手势， 你却不解其意，有时候被人骂了也浑然不知。由罗曼 娜·勒弗菲尔编著、丹尼尔·卡斯特罗摄影的《世界粗鲁 手势大全》就图文并茂教你识别世界各地的不同骂人 手势。这本书的目的自然不是教人们去骂人，而是要 让人们别因为一个不经意的手势惹上麻烦。 来看一些手势吧，以免出门在外被人欺负，但也一 定要记得，别随便对人做骂人手势，如果因此引发冲 突或者被驱逐出境，那在下就概不负责了！
ppt课件
引领时，应走在宾客的侧前方，距离保持2至3步，随着宾客的步伐轻松地 前进 (如果接待的客人为老人或特殊人群，搀扶、或帮助客人拿东西，但一定 得都客人的允许） ；当位置和场所有所改变时，都需以手势事先告知；在门 前引领时，如果是内推门，自己先进，宾客后进；如果是外拉门，宾客先进， 自己后进。
ppt课件 36
准确 手势和语言的内容要一致，不能让人产生费解和误解
简练 手势和语言的内容要一致，不能让人产生费解和误解 每个手势都力求简单、精炼、清楚、明了 自然
手势不要太机械、不要太僵硬
协调
手势与讲话内容要统一、和谐
ppt课件
37
ppt课件 6
手势：手不是完全张开的，虎口微微并拢，平时手放在腰间。 在引导过程中，女性的标准礼仪是手臂内收，然后手尖倾斜上推“请往里面 走”，显得很优美；男性服务员要体现出绅士风度，手势要夸张一点，手向 外推。同时，站姿要标准，身体不能倾斜。
ppt课件
7
以下是几种引导手势~
横摆式 屈臂式
27
Nose Brush(摸鼻子) 含义：我想跟你有浪漫的交流！
适用区域：约旦 ppt课件
28
Papo Furado 意思：扯淡！ 适用区域：巴西
这个手势通常要在聊天中的一个主题之后使用。 在美洲的一些地方，它表示“受够了”。
ppt课件 29
Pepper Mill（胡椒磨） 意思：你疯了？
赏 夸奖
英国 斯里兰卡 墨 西哥 荷兰 祈祷幸
运
日本 韩国 男人 你
ppt课件
的父亲 老头子
23
ppt课件
24
世界各地粗鲁手势
在世界各地，不同的手势有着不同的含义，其中 自然也包括那些低俗粗鲁的骂人手势。当你身处异国 他乡，有些当地人一脸坏笑的对你做着奇怪的手势， 你却不解其意，有时候被人骂了也浑然不知。由罗曼 娜·勒弗菲尔编著、丹尼尔·卡斯特罗摄影的《世界粗鲁 手势大全》就图文并茂教你识别世界各地的不同骂人 手势。这本书的目的自然不是教人们去骂人，而是要 让人们别因为一个不经意的手势惹上麻烦。 来看一些手势吧，以免出门在外被人欺负，但也一 定要记得，别随便对人做骂人手势，如果因此引发冲 突或者被驱逐出境，那在下就概不负责了！
手势礼仪培训课件PPT课件(PPT37页)
管理培训课件安全培训讲义工作培训 教材工 作汇报 课件PPT 服务技 术手势 礼仪培 训课件 (PPT37 页)
招手：向远距离的人打招呼时， 伸出右手，右胳膊伸直高举， 掌心朝着对方，轻轻摆动。不 可以向上级和长辈招手。
打招呼(greeting)手势语言：英 语国家人在路上打招呼，常常 要拿帽子表示致意。现一般已 化为抬一下帽子，甚至只是摸 一下帽沿。
双手递送 （或右手递送） 如传递带有文字性的书籍或物 品时，必须正面朝上，以便对方接过去 之后阅读。
在递接带尖、带刃的物品时，应使尖、刃对着自己
手势的含义
主要用以表扬他人
伸出右手 翘起拇指 指尖向上 腹面向被夸奖的人
将右手拇指竖起来反向指向别人 就意味着自大和藐视
将拇指指向自己的鼻尖 就是自高自大，不可一世的意思
双臂横摆
－（大家请）
适用于对面 人多时，做 “诸位请”的 手势。
动作：双手 从身体前，向 两侧抬起，再 以肘关节为轴， 与胸同高，上 身略微前倾。
低位手势
斜臂式（斜摆式） （请坐）源自用于“请 坐”时的手势。动作：一只 手由前抬起， 再以肘关节为 轴，前臂向右 下，到于大腿 中部齐高，上 身前倾，目光 兼顾客人和椅 子，座位在哪， 收应该指到哪。
另外，如果背手伴 以俯视踱步，则表 示沉思
塔尖式手势
自信的表现 身体后仰，则显得
高傲
双臂交叉在胸前
暗示一种敌意的态 度
自我放松或置身事 外、袖手旁观、看 他人笑话之意。
举大拇指的含义
在拇 行大美 厌指 。利国 恶向
亚、 和下 ，英 坏一 表国 蛋般 示和 ；表 好澳 示 、
对 方 希 意 起我 “腊大 国 滚：利 ： 蛋够： 好 ”了表 、
课件《柯尔文手势》课件
《柯尔文手势》课件一、引言在当今社会，随着科技的发展，人们对生活品质的追求逐渐提高，对手势识别技术的需求也日益增强。
柯尔文手势作为一种新兴的手势识别技术，凭借其独特的设计理念和高识别率，受到了广泛关注。
本课件旨在介绍柯尔文手势的原理、应用领域及其优势，以期为相关领域的研究和实践提供参考。
二、柯尔文手势原理1.手势图像采集：利用摄像头捕捉用户在特定背景下的手势图像。
2.手势图像预处理：对采集到的手势图像进行去噪、二值化、形态学处理等操作，以便更好地提取手势特征。
3.手势特征提取：从预处理后的手势图像中提取出手势的形状、纹理、颜色等特征。
4.手势识别：将提取到的手势特征输入到模式识别算法中，识别出手势。
三、柯尔文手势应用领域柯尔文手势识别技术具有广泛的应用前景，目前已成功应用于多个领域，包括：1.人机交互：柯尔文手势识别技术可以用于实现虚拟现实、增强现实等场景中的自然交互，提高用户体验。
2.智能家居：通过柯尔文手势识别技术，用户可以实现对家居设备的远程控制，提高生活品质。
3.智能交通：柯尔文手势识别技术可以用于辅助驾驶员识别交通标志、手势信号等，提高行车安全。
4.医疗康复：柯尔文手势识别技术可以用于辅助医生进行康复训练，提高治疗效果。
5.教育：柯尔文手势识别技术可以用于辅助教师进行课堂互动，提高教学质量。
四、柯尔文手势优势1.高识别率：柯尔文手势识别技术采用多种特征提取方法和模式识别算法，提高了手势识别的准确率。
2.实时性：柯尔文手势识别技术可以实现实时手势识别，满足实际应用场景的需求。
3.抗干扰性：柯尔文手势识别技术具有较强的抗光照、抗噪声等干扰能力，保证了手势识别的稳定性。
4.易用性：柯尔文手势识别技术无需用户佩戴任何设备，操作简便，易于普及。
五、结论本课件对柯尔文手势的原理、应用领域及其优势进行了详细介绍。
作为一种新兴的手势识别技术，柯尔文手势具有广泛的应用前景，有望为人们的生活带来更多便利。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
都不变矩
小波描绘子
物体边界点 集合，进行 傅立叶变换
研究方案——分类方法
手势分类:通过特定的方法将提取的被识别对象的特征信息归为某一类别，
从而实现手势识别。
随着维数的增大，计算量会
欧式距离分类方法
增大，准确度也会下降
模板匹配方法 分类方法
最大最小距离 （ Hausdorff距离）
学习时间过长，甚至可能达 不到学习的目的；体系结构
通用性差；推广性差
基于统计理论方法
神经网络方法
Boosting以及 AdaBoost算 法
可能出现过分配
支持向量机 （SVM）
避免过学习、维数灾难、 局部极小等问题
研究方案——控制部分
UP-Voyager IIA移动机器人
行为层
控制操作
传感器数据
协议解析层
将硬件指令解析 换算成控制算法 中数据变量；调 用控制函数生成 对应的硬件控制
预期成果
➢ 在VC++环境中编写程序，能够实时对采集的视频图像完成手势分割及特 征提取；
➢ 利用手势模板库应用支持向量机方法完成对手势特征的学习，实现对视 频实时手势识别，达到“速度快，精度高”；
➢ 在不同实际环境下，能够利用定义的手势控制移动机器人的七种运动状 态；
➢ 发表一至二篇EI学术论文。
国内： ➢天津大学研究了汉语语音识别系统并用来控制机器人。 ➢上海大学研究识别手势系统并将其成功地用于远程机器人控制系统。 ➢天津大学实现了依据操作者的体态动作图像信息控制机器人的状态。 ➢清华大学研究了一个手势识别系统，选择其中识别率较高的十种手势 类别作为人机互动信号应用于电脑游戏中代替手柄。
选题背景与研究现状
研究内容
• 本课题以轮式移动机器人为实验平台，通过单个摄像头对 手势进行识别，进而完成对移动机器人的运动状态控制。 主要的研究内容可分为如下三个部分：
（1）建立本课题手势模板库分为训练集和测试集两类，在VC++环 境下调用OpenCV机器视觉库实现对模板库中不同背景下图片手势 分割。 （2）编写可视化软件界面，并根据手势轮廓、形状或者纹理等提取 手势特征，应用模式识别分类方法实现对手势的分类及识别，并达 到实时性，识别率达到95%以上。 （3）应用移动机器人平台，选取手势模板库中识别率最高的七种手 势作为移动机器人的运动状态控制信号，分别控制移动机器人的前 进、后退、直线加速、直线减速、左转、右转和停止七种状态。在 不同实验环境（如光照、背景）下，对系统进行整体调试。
简单易行 选择合适的颜色空间
肤色建模方法 皮肤纹理检测
参数化
所需存储空间小
（高斯密度函数估计）
非参数化 （统计直方图）
需要考察所选颜色空 间中肤色分布的形态
学习速度快
需要大量统计样本
基于统计模型方法
需要存储空间大
（局部二值模式，LBP）
是一种表述灰度图像某像素
基于信号处理方法
点与周围像素点大小关系的
指令
控制指令
硬件信息
软件
硬件通讯层
硬件
控制指令
485总线
总线主控板
硬件信息
硬件通讯层完成软 件与硬件之间的数 据交互工作
电子罗盘
……
电机驱动模 超声传感器
块
采集板
UP-Voyager系统数据流
实验方案设计
第一步：获取手势图像，建立手势模板库，并分为训练集及测试集两个大类 第二步：利用肤色信息和纹理特征完成手势分割 第三步：利用不变矩和傅里叶描述子方法得到特征向量 第四步：利用训练集应用支持向量机的方法进行训练，然后测试手势识别效果 第五步：应用轮式移动机器人平台进行实验，验证手势识别的实时控制性能
硕士论文开题报告
基于手势识别的移动机器人 控制研究
开题报告主要内容
选题背景与研究现状
人-机器人交互方式：随着智能机器人技术的发展，自然的、 符合人类习惯的人机交互方式逐渐成为人们研究的热点。
传统方式 鼠标 键盘 手柄
数据手套
新型方式 视觉 语音 力觉 触觉
这些在灵活性 和实现精确控制 方面存在限制
人-机器人交互方式实例
选题背景与研究现状
语音方式： 适应性差（语音学上的差异、生理上的差异及发音习惯的差异）、强 噪声干扰环境下语音技术面临较大困难，很难将控制信号识别出来。
视觉方式：手势、体态、人脸姿态 手势适应性强，最为直观、方便、自然
研究难点： ➢手势本身具有多样性、多义性及时间和空间上的差异性； ➢人手是复杂变形体； ➢背景复杂时，很容易将非手势区域误认为手势区域，如何去除非 手部分。
（傅里叶变换或者小波变换） 二进制描述
研究方案——特征提取方法
手势特征:能刻画手势的本质特征，要求对目标的位移、旋转及尺度缩放 具有不变性。
形状特征
全局几何特征 变换域几何特征
面积 紧密度 区域形状偏心率 区域形状实心率
矩函数 傅里叶描述子
对几何矩进行非线性组 合，得到一组对于图像 平移、旋转、尺度缩放
符合人类交流习惯
方便、直接、 易于使用
缺乏灵活性
选题背景与研究现状
国外： ➢英国Essex大学通过识别人脸，比较当前人脸形状和模板人脸形状来估 计人脸方向，从而控制智能轮椅。 ➢美国CMU机器人实验室实现了一种能够按人体手势及手臂动作做出简 单动作的清扫机器人。 ➢2007年，Md.Al-Amin Bhuiyan等人研究的通过人脸及人脸角度控制机 器人AIBO的动作或者姿势。 ➢2010年印度学者已经实现应用手势远程控制机器人的运动状态为前进、 后退、左转、右转和停止五个状态。
研究方案 系统构成图
视频流
摄像机
手势分割
特征分析
模型参数
手势识别
手势描述 移动机器人 控制信号
用户
势模板库
研究方案——手势分割方法
手势分割:把图像中的人手区域（前景）与其他区域（背景区域）划分开。 基于肤色信息检测方法——主要步骤是颜色空间变换和肤色建模。
阈值化 （肤色范围）
研究基础
➢ (1) 本人对VC++运行环境和C++语言都有一定的基础； ➢ (2) 本人曾学习过相关图像处理知识，写过相关图像处理程序； ➢ (3) 实验室在图像处理方面的研究已取得相当多的积累与成绩；
简单背景阈值分割手势
研究基础
✓利用傅里叶变换得到的相关 特征参数：
0.034551; 0.070123; 0.038968; 0.042986; 0.003900; 0.017425; 0.010688; 0.007627; 0.010348; 0.007532;
小波描绘子
物体边界点 集合，进行 傅立叶变换
研究方案——分类方法
手势分类:通过特定的方法将提取的被识别对象的特征信息归为某一类别，
从而实现手势识别。
随着维数的增大，计算量会
欧式距离分类方法
增大，准确度也会下降
模板匹配方法 分类方法
最大最小距离 （ Hausdorff距离）
学习时间过长，甚至可能达 不到学习的目的；体系结构
通用性差；推广性差
基于统计理论方法
神经网络方法
Boosting以及 AdaBoost算 法
可能出现过分配
支持向量机 （SVM）
避免过学习、维数灾难、 局部极小等问题
研究方案——控制部分
UP-Voyager IIA移动机器人
行为层
控制操作
传感器数据
协议解析层
将硬件指令解析 换算成控制算法 中数据变量；调 用控制函数生成 对应的硬件控制
预期成果
➢ 在VC++环境中编写程序，能够实时对采集的视频图像完成手势分割及特 征提取；
➢ 利用手势模板库应用支持向量机方法完成对手势特征的学习，实现对视 频实时手势识别，达到“速度快，精度高”；
➢ 在不同实际环境下，能够利用定义的手势控制移动机器人的七种运动状 态；
➢ 发表一至二篇EI学术论文。
国内： ➢天津大学研究了汉语语音识别系统并用来控制机器人。 ➢上海大学研究识别手势系统并将其成功地用于远程机器人控制系统。 ➢天津大学实现了依据操作者的体态动作图像信息控制机器人的状态。 ➢清华大学研究了一个手势识别系统，选择其中识别率较高的十种手势 类别作为人机互动信号应用于电脑游戏中代替手柄。
选题背景与研究现状
研究内容
• 本课题以轮式移动机器人为实验平台，通过单个摄像头对 手势进行识别，进而完成对移动机器人的运动状态控制。 主要的研究内容可分为如下三个部分：
（1）建立本课题手势模板库分为训练集和测试集两类，在VC++环 境下调用OpenCV机器视觉库实现对模板库中不同背景下图片手势 分割。 （2）编写可视化软件界面，并根据手势轮廓、形状或者纹理等提取 手势特征，应用模式识别分类方法实现对手势的分类及识别，并达 到实时性，识别率达到95%以上。 （3）应用移动机器人平台，选取手势模板库中识别率最高的七种手 势作为移动机器人的运动状态控制信号，分别控制移动机器人的前 进、后退、直线加速、直线减速、左转、右转和停止七种状态。在 不同实验环境（如光照、背景）下，对系统进行整体调试。
简单易行 选择合适的颜色空间
肤色建模方法 皮肤纹理检测
参数化
所需存储空间小
（高斯密度函数估计）
非参数化 （统计直方图）
需要考察所选颜色空 间中肤色分布的形态
学习速度快
需要大量统计样本
基于统计模型方法
需要存储空间大
（局部二值模式，LBP）
是一种表述灰度图像某像素
基于信号处理方法
点与周围像素点大小关系的
指令
控制指令
硬件信息
软件
硬件通讯层
硬件
控制指令
485总线
总线主控板
硬件信息
硬件通讯层完成软 件与硬件之间的数 据交互工作
电子罗盘
……
电机驱动模 超声传感器
块
采集板
UP-Voyager系统数据流
实验方案设计
第一步：获取手势图像，建立手势模板库，并分为训练集及测试集两个大类 第二步：利用肤色信息和纹理特征完成手势分割 第三步：利用不变矩和傅里叶描述子方法得到特征向量 第四步：利用训练集应用支持向量机的方法进行训练，然后测试手势识别效果 第五步：应用轮式移动机器人平台进行实验，验证手势识别的实时控制性能
硕士论文开题报告
基于手势识别的移动机器人 控制研究
开题报告主要内容
选题背景与研究现状
人-机器人交互方式：随着智能机器人技术的发展，自然的、 符合人类习惯的人机交互方式逐渐成为人们研究的热点。
传统方式 鼠标 键盘 手柄
数据手套
新型方式 视觉 语音 力觉 触觉
这些在灵活性 和实现精确控制 方面存在限制
人-机器人交互方式实例
选题背景与研究现状
语音方式： 适应性差（语音学上的差异、生理上的差异及发音习惯的差异）、强 噪声干扰环境下语音技术面临较大困难，很难将控制信号识别出来。
视觉方式：手势、体态、人脸姿态 手势适应性强，最为直观、方便、自然
研究难点： ➢手势本身具有多样性、多义性及时间和空间上的差异性； ➢人手是复杂变形体； ➢背景复杂时，很容易将非手势区域误认为手势区域，如何去除非 手部分。
（傅里叶变换或者小波变换） 二进制描述
研究方案——特征提取方法
手势特征:能刻画手势的本质特征，要求对目标的位移、旋转及尺度缩放 具有不变性。
形状特征
全局几何特征 变换域几何特征
面积 紧密度 区域形状偏心率 区域形状实心率
矩函数 傅里叶描述子
对几何矩进行非线性组 合，得到一组对于图像 平移、旋转、尺度缩放
符合人类交流习惯
方便、直接、 易于使用
缺乏灵活性
选题背景与研究现状
国外： ➢英国Essex大学通过识别人脸，比较当前人脸形状和模板人脸形状来估 计人脸方向，从而控制智能轮椅。 ➢美国CMU机器人实验室实现了一种能够按人体手势及手臂动作做出简 单动作的清扫机器人。 ➢2007年，Md.Al-Amin Bhuiyan等人研究的通过人脸及人脸角度控制机 器人AIBO的动作或者姿势。 ➢2010年印度学者已经实现应用手势远程控制机器人的运动状态为前进、 后退、左转、右转和停止五个状态。
研究方案 系统构成图
视频流
摄像机
手势分割
特征分析
模型参数
手势识别
手势描述 移动机器人 控制信号
用户
势模板库
研究方案——手势分割方法
手势分割:把图像中的人手区域（前景）与其他区域（背景区域）划分开。 基于肤色信息检测方法——主要步骤是颜色空间变换和肤色建模。
阈值化 （肤色范围）
研究基础
➢ (1) 本人对VC++运行环境和C++语言都有一定的基础； ➢ (2) 本人曾学习过相关图像处理知识，写过相关图像处理程序； ➢ (3) 实验室在图像处理方面的研究已取得相当多的积累与成绩；
简单背景阈值分割手势
研究基础
✓利用傅里叶变换得到的相关 特征参数：
0.034551; 0.070123; 0.038968; 0.042986; 0.003900; 0.017425; 0.010688; 0.007627; 0.010348; 0.007532;