手势识别智能小车创意书

2014年重庆大学生

“合泰杯”单片机应用设计竞赛参赛

作品创意书

作品名称：手势智能小车

参赛学校：重庆工商职业学院

系名称：电子信息工程学院

指导老师：刘旭飞老师

参赛学生1：易虹羊

参赛学生2：胡照华

参赛学生3：姚正兰

2014年12月26日

作品创意书

一、摘要

智能小车作为现代的新发明，是以后的发展方向，他可以按照预先设定的模式在一个环境里自动的运作，不需要人为的管理，可应用于科学勘探等等的用途。智能小车能够实时显示时间、速度、里程，具有自动寻迹、寻光、避障功能，可程控行驶速度、准确定位停车，远程传输图像等功能。手势控制智能小车的移动，小车具有自动循迹、避障等功能。提供一种更有趣、更方便的服务。

二、作品介绍

基于目前的普遍情况来看，多数智能小车遥控方式包括无线电遥控、红外线遥控和超声波遥控等。随着计算机的广泛应用，人机交互（Human Computer Interaction，HCI）已成为人们日常生活中的重要部分。人机交互的最终目标是实现人与机器自然的交流，因此手势识别研究顺应了发展需求。

1、国外手势识别研究状况

目前，手势识别已被广泛研究，尤其是基于视觉的手势识别。韩国Inda大学和Korea Polytechnic大学的JongShill Lee、YouongJoo Lee 等人用熵分析法从背景复杂的视频流中分割出手势区域并进行手势识别。使用链码的方法检测手势区域的轮廓，最后计算出从手势区域的质心到轮廓边界的距离。该系统课识别6种手势，平均识别率超过95%；6个人分别做每个手势的识别率平均达到90%—100%。印度研究者Meenaskshi Panwar在视觉手势识别的基础上提出了一种基于结

构特征的手势识别算法，通过背景去除、方向检测、拇指检测和手指数量检测，来最终识别手势。Chenglong Yu等人采用基于视觉的组合特征进行手势识别，将手的面积、周长、重心、面积比和长宽比等特征结合，使得识别率得以提高。上海大学DING Youndong、PANG Haibo等人运用改进的LBP算法，利用AdaBoost分类器进行手势识别，建立了多种手势数据集，其中包括一些大角度变化的手势图像。实验表明该方法可较好的对手势进行分割和分类。

此外，许多大型电子企业也将手势识别研究列入其开发项目中，并且成果显著。2012年，三星推出智能电视新品ES8000，该款电视机将面部识别，手势识别和语言识别结合，无论是语言还是简单的手势，用户不仅可完成开关机、调节音量、换台等基本操作，还可以实现上网浏览或关键字搜索等复杂功能。微软研发机构的微软研究院（Microsoft Research，MSR）与华盛顿大学合作，开发出可利用笔记本电脑内置麦克风和扬声器进行手势识别的技术；该项技术被称为Sound Wave，利用了多普勒效应识别接近计算机的任何动作和手势。

2、国内手势识别研究状况

国内的手势识别研究主要集中在各大高校和研究院等。清华大学计算机科学与技术系祝远新等人提出了一种新的基于表观的手势识别技术。提出一种基于运动分割的帧间图像运动估计方法，并指出了一条如何将运动、形状、颜色和纹理等信息统一起来进行手势识别的途径；且实现了对12种手势进行在线识别的实验系统，识别率超过90%。王凯等人提出了基于AdaBoost算法和光流匹配的实是手势方

案：只需连接计算机摄像头读取二维手势视频段便可对手势作出较为准确的识别。其中，采用AdaBoost算法遍历图像，完成静态手势的识别工作。而在动态手势的识别过程中，运用了光流法结合模板匹配的方法。中国科学技术大学和哈尔滨工业大学的腾达，刘岩等人研究了基于“大小手”的徒手手势识别，将双手分划成大手和小手，双手重叠按照一只手处理。应用背景差分法将背景去除，利用文中的大小手特征提取算法检测出手势，最终利用动态时间进行手势识别，该系统对17个常用手势实验识别率可达94.1%。

3、智能小车发展

智能小车可以分为三部分——传感器部分、控制器部分、执行器部分。

控制器部分：接收传感器部分传递过来的信号，并根据事前写入的决策系统（软件程序），来决定机器人对外部信号的反应，将控制信号发给执行器部分。好比人的大脑。

执行器部分：驱动机器人做出各种行为，包括发出各种信号（点亮发光二极管、发出声音）的部分，并且可以根据控制器部分的信号调整自己的状态。对机器人小车来说，最基本的就是轮子。这部分就好比人的四肢一样。

传感器部分：机器人用来读取各种外部信号的传感器，以及控制机器人行动的各种开关。好比人的眼睛、耳朵等感觉器官。

二、应用价值

二十一世纪电子行业发展迅猛，人们对电子产品的依赖越来越

强，科技给我们带来了高效率的工作与学习环境。随着生活质量的提高，我们对工具的使用趋于制动化和智能化，并使人们从直接控制到远程控制，远程控制又从有线控制到无线控制。对于无线控制来说，现在市场上主流的方式是以wifi、bluebooth和IR，这次要介绍的是手势控制。

1、手势控制运用

手势控制早在1982年就有科学家开始研究，其目的是实现简单的人机交互，如控制汽车、控制天气预报的进程以及后来的基于视频的手势识别技术。但是都有一定的缺陷，比如手势识别精的准度。

2、市场前景

2012年《horizon report》指出：“基于手势控制的计算机利用鼠标和键盘来控制电脑，转变到通过新输入设备利用身体运动、面部表情和语音识别来控制电脑，是的交互更加灵活。”

前不久，苹果公司开发了一款手势控制设备，该设备只有口香糖的大小，能感应设备有效感应距离为一个半径为一米的半球，并支持双手同时控制，无论是惊险刺激的3D游戏，还是网页浏览都能完美控制，其用户体验远超于传统的鼠标控制。

Google在2013年10月10日表发了一个专利，《用手势控制汽车》：比如在车速感应装置上用手示意改变车速到时速多少公里，或者在车窗边把手抬高示意升上玻璃。Google在智能汽车的研究上可谓是领头者，现目前的无人驾驶汽车在实验以来，还没出现过一次事故。

在一些沼泽地带，人是很难在此作业的，可以是用一部的智能小车进行现场勘察，人的双手可以完全释放出来控制小车，不再受限按钮开关与滑动开关。比起体积过大的遥控器来讲，手势控制器只有很小的体积，不仅美观，可谓是一件艺术品。

来看看智能家具方面。2012年出现了一个新的名词，那就是物联网。物联网其实说的就是物物相联，比如汽车、衣服、书籍、家具、电视等等一系列的物品都与网络联在一起，我们有手机可以控制周围几乎所有的物品。智能家具就是物联网的一个产物。用手机控制家里面的所有物品固然很好，但这里有个缺点就是我们的手指长时间在手机屏幕上滑动，会是我们的手指被磨平，甚至变形和手指处的皮肤加速衰老。很多爱玩切水果之类的手游时，就一根手指在屏幕上不停地滑动，而且一滑就是一个小时甚至更久，这对我们的手指很不好。为什么我们的手不能从狭小的手机屏幕上解放出来呢？将手机利用由器把手机屏幕投射到电视上，然后将手势控制器连接到路由器，这样就可以在客厅享受体感操作的乐趣，不仅可以用手操作，而且你身体的各个部位都可以控制，就像古装剧里的武林高人一样。再来看看对家具的控制。比方说家里的窗帘，直接用手势控制窗帘也就以可制动拉上。如果窗户的玻璃是可以变色的，那个更好，想变暗就暗。

家里面的任何东西只要能连上网，只需挥一挥手，一切尽在掌控中。

3、安全控制

越开放的东西，安全性必然越差。当然也没有绝对的安全行，只

要是放在网上的东西都没有绝对的安全行可言，只有不停的跟新漏洞。对于手势控制来将，既然自己能使用控制，那么别人也可以控制，甚至跳过手势控制器直接通过网络来控制我们身边的所有设备，甚至毁掉一个设备也是可能的。

在2014年中国互联网安全大会上，暴露出很多物联网安全问题，说得最多的就是汽车方面的问题。很多知名品牌的汽车遥控锁一旦被他人用射频卡接收后，就能控制车主的车，并且可以更该控制频率，这时真正的车主就不能打开车锁了。这种事情在我们的生活中是真实存在的。盗贼并没有用车主的钥匙就打开了车门，并更改了锁控的频率。现在的著名品牌奥迪、特斯拉等都被人做过实验，可以很轻松的破解控制车锁，这些安全性问题还有很多需要改进的。现在又一个解决方法就是利用类似CDMA无限扩频技术，对指令加密。（随便也看一下海蒂拉玛的杰出成就）。

四．工作原理

1.本智能玩具小车采用MCU ht32f1765作为主控制CPU，系统可以划分为几个基本模块：

一、直流电机驱动模块

二、电源模块

三、寻迹模块

四、红外对接模块

五、超声波测距模块

六．摄像头手势采集模块

七、信息显示模块

该智能小车能够实时显示时间、速度、里程，具有自动寻迹、寻

光、避障功能，可程控行驶速度、准确定位停车，远程传输图像等功能。并且造价低廉，相信在如今这社会，大多数家庭都能够买得起。2，主要硬件部分

（1）.电机部分

采用普通直流电机。直流电动机具有优良的调速特性，调速平滑、方便，调整范围广；过载能力强，能承受频繁的冲击负载，可实现频繁的无级快速启动、制动和反转；能满足各种不同的特殊运行要求。如下图所示采用四个大功率晶体管组成H桥电路，四个大功率晶体管分为两组，交替导通和截止，用单片机控制使之工作在开关状态，进而控制电动机的运行。该控制电路由于四个大功率晶体管只工作在饱和与截止状态下，效率非常高，并且大功率晶体管开关的速度很快，稳定性也极强，是一种广泛采用的电路

我们通过单片机进行周期信号控制，对控制电压的占空比进行设定，我们采用频率为30Hz的周期信号对个控制端进行控制，实现对

电动机转速的调节，并通过对输入电压高低电平的切换来控制电动机的正转与反转。

（2）路面黑线的检测

当检测到黑线时，红外光管接收到反射回来的红外光，其输出立即发生高低电平跳变，该信号经放大整形后送单片机分析处理。为保证小车延黑线行驶，采用了两个检测器并行排列。在小车行走过程中，若向左方向偏离黑线，则右侧的探头就会检测到黑线，把信号传给单片机。，单片机控制车头向右转。路面黑线检测电路如下图所示

（3）障碍物探测方案

脉冲调制的反射式红外发射接收器。由于采用该有交流分量的调制信号，则可大幅度减少外界干扰；另外红外发射接受管的最大工作电流取决与平均电流，如果采用占空比小的调制信号，在平均电流不变的情况下，瞬时电流很大（50~100mA），则大大提高了信噪比。并

且其反映灵敏，外围电路也很简单。

（4）.红外避障电路

红外避障传感器基本原理，和循迹传感器工作原理基本相同，利用物体的反射性质。在一定范围内，如果没有障碍物，发射出去的红外线，因为传播距离越远而逐渐减弱，最后消失。如果有障碍物，红外线遇到障碍物，被反射到达传感器接收头。传感器检测到这一信号，就可以确认正前方有障碍物，并送给单片机，单片机进行一系列的处理分析，协调小车两轮工作，完成一个漂亮的躲避障碍物动作，红外避障电路如下：

（5）路程检测方案的选择

采用光电码盘进行检测。旋轴转动，带动码盘转动，码盘上刻有许多狭缝，码盘转动时发射光透过狭缝被接受元件接受。用计数器对接受到的信号进行计数。用这种方案能很精确的算出小车已经走过的距离。将光栅安装在电机轴上，当电机转动时，光栅也随之转动，同时安装在光栅一侧的红外发光二极管点亮，在光栅的另一侧设有红外三极管，用于接收红外发光二极管发出的红外线信号。由于光栅随电机高速转动，则红外线三极管接收到的就是一系列脉冲信号。将该信号传输到ht单片机的内部计数器计数，根据预先实测的数据换算关系即可计算出电动车的行车距离。路程检测电路如下：

（6）手势控制方案的选择

手势识别技术在近些年发展迅速，从微软的Kinect，到后来的LeapMotion，虽然采用的是不同的技术，但目的都是为了给用户提供良好的操作体验。就目前的技术而言，大都采用计算机视觉技术，比如Kinect采用的是结构光的原理，通过设备发出红外光斑，对三维空间进行标记，进而通过摄像头采集图案与现有图案进行匹配，得到深度图像。而LeapMotion采用的是双目匹配成像的原理得到三维深度。前者对设备要求高；后者对技术要求高，要达到一定的用户操作体验，必须要很高的处理速度，这不仅增加了算法的复杂程度，也对PC的资源有较高的占用。（文档分享来自华瑞凯琳

https://www.360docs.net/doc/2a8762595.html,/

https://www.360docs.net/doc/2a8762595.html,/hyzx/jyqj/20150212/3981523.html 我们采用的基本原理也是双目原理，但对摄像机采集的数据进行了预处理，只留下感兴趣的信息。

前景处理，通过和预先得到的背景进行对比，取出和背景差别差别超过一定阀值的像素作为前景。

预处理，预处理的核心是对手掌进行分割，得到手掌部分和手指部分。

分割采用的是图像的腐蚀和膨胀：

1.图像的腐蚀，采用一个腐蚀核，如5x5的矩阵，和图像卷积，处于腐蚀核中心的像素取矩阵中的最小值。

2.图像的膨胀，采用一个膨胀核，和图像卷积，处于膨胀核中心的像素取矩阵中的最大值。

分割处理的步骤：

1.首先对图像进行开操作，即先进行一次腐蚀，再进行一次膨胀操作。这样可以去除图像中的噪点；

2.再进行一定次数的腐蚀操作，腐蚀掉手指部分，留下手掌部分，由于腐蚀操作会把原区域变小，所以要再进行同样次数的膨胀操作。经试验，使用5x5的核，操作10次，效果最好。

3.用第2步骤得到的图像与前景图像进行异或操作，得到前景图像的手指部分。

4.对得到手指图像进行腐蚀操作一次，使得到的图像平滑，避免边缘的不平滑像素对指尖定位造成波动。手指信息提取：手指提取的信息包括手指的指尖和手指的根部。为了得到手指信息具有稳定性，我们取每个手指图像的前1/4的重心为指尖，后1/4的重心为手指的根部。手指信息的匹配：

为简化匹配过程，提高运算速度，我们根据手指在图像的x轴坐标值得大小排序，进行匹配。由于两摄像机的视角不同，会出现图像中得到的手指数量不同的现象，若出现此现象，可根据前一次匹配的数据，得出此次新出现的手指并将其列为待定手指并在此次匹配忽略此次手指。匹配过程：

1.摄像机的标定，采用张正友标定方法，得到摄像机的内参和外参。

2.深度信息的获取，采用三角计算法，Z=fT/（x1-x2）；三维显示：

在OpenGL开源库，绘制指尖，指根及之间的连线，可以看出手指的位置及朝向。控制系统：

采用单手控制，由于我们控制的对象是前端安有机械臂的小车，小车驱动由双向马达组成，控制简单，我们采用单指的深度表示前后，单指的左右表示左右。而机械臂的机动系统采用360度/180度舵机，需要控制舵机的转向和转速，我们采用指尖位置在视图中心的方位表示正反转，离中心的距离表示转速。

（7）路程显示

我们采用数码管静态串行显示，显示小车路程。

3,软件设计思想

在进行微机控制系统设计时，除了系统硬件设计外，大量的工作就是如何根据每个生产对象的实际需要设计应用程序。因此，软件设计在微机控制系统设计中占重要地位。对于本系统，软件更为重要。

在单片机控制系统中，大体上可分为数据处理、过程控制两个基本类型。数据处理包括：数据的采集、数字滤波、标度变换等。过程控制程序主要是使单片机按一定的方法进行计算，然后再输出，以便控制生产。

为了完成上述任务，在进行软件设计时，通常把整个过程分成若干个部分，每一部分叫做一个模块。所谓“模块”，实质上就是所完成一定功能，相对独立的程序段，这种程序设计方法叫模块程序设计法。

模块程序设计法的主要优点是：

1、单个模块比起一个完整的程序易编写及调试；

2、模块可以共存，一个模块可以被多个任务在不同条件下调用；

3、模块程序允许设计者分割任务和利用已有程序，为设计者提供方便。

本系统软件采用模块化结构，由主程序﹑定时子程序、避障子程序﹑中断子程序显示子程序﹑调速子程序﹑摄像头控制程序、算法子程序构成。