基于Android平台的手势与语音转换技术系统的实现
基于Android的智能手机语音识别系统设计
基于Android的智能手机语音识别系统设计第一章：引言随着智能手机技术的快速发展，越来越多的移动应用在市场上得到广泛应用。
其中，基于Android手机的语音识别系统是非常热门的一种应用。
语音识别系统基于声音处理技术，对人类的语音进行分析和识别，并将其转化为机器可理解的代码。
它能够极大地方便人们的生活，提高生产效率和办公效率，得到了广泛应用。
本文将重点介绍基于Android的智能手机语音识别系统的设计方法和技术要点。
第二章：Android平台原理和技术在介绍基于Android的智能手机语音识别系统的设计之前，需要深入了解Android平台原理和技术。
Android是一种基于Linux的开源操作系统，由谷歌公司推出的移动设备操作系统。
其核心技术包括Java语言、Linux操作系统内核、Dalvik虚拟机和丰富的应用程序接口等。
其中，应用程序接口(API)是Android操作系统的重要组成部分，是开发Android应用程序的基础。
第三章：语音识别技术原理语音识别（Speech Recognition）技术是指将人类的语音输入，利用计算机对声音波形进行分析，提取特征参数，进行模式匹配和分类，从而实现将语音转化为文字的技术。
它是人工智能领域的一项重要技术，也是移动互联网时代下的热门应用之一。
语音识别技术主要包括两个方面：语音信号前端处理和语音数据分析处理。
前者主要包括预处理和特征提取；后者包括声学建模和统计模式匹配。
第四章：基于Android的语音识别系统设计基于Android的语音识别系统设计，主要可以分为以下几个方面：1. 界面设计：语音识别系统需要提供清晰明了的用户界面，包括输入框、按钮等。
2. 录音功能：系统需要提供录音功能，支持语音文件的保存和播放。
3. 语音识别库：系统需要集成优秀的语音识别库，提供高质量的语音识别服务。
4. 前端信号处理：系统需要对语音信号进行预处理和特征提取，以保证识别准确率。
基于机器学习的手语翻译系统设计与实现
基于机器学习的手语翻译系统设计与实现随着科技的不断发展，我们发现人工智能(AI)的应用在我们的生活中越来越多，从智能手机到无人驾驶车辆，从语音助手到医学诊断系统，AI的应用已经深入到我们的生活方方面面。
其中，机器学习是人工智能中最具有潜力和前途的分支之一，它尤其在语音识别和自然语言处理领域得到了广泛的应用。
手语是聋哑人士沟通的主要手段，但是不是所有人都懂得手语，这给聋哑人士的交流造成了很大的困难。
因此，设计一款基于机器学习的手语翻译系统，可以将聋哑人士的手语转化为自然语言，将文字转化为手语，有巨大的实用价值。
本文将详细介绍基于机器学习的手语翻译系统的设计和实现过程1. 系统架构首先，我们需要明确的是，基于机器学习的手语翻译系统需要两个部分：识别部分和翻译部分。
在识别部分中，系统需要学习以一种无需人工干预的方式从输入的手语视频流中提取特征，然后将其与预先训练好的模型进行比对，以找出对应的文字或词语。
在翻译部分中，系统需要将这些文字或词语自动翻译成指定的手语，产生输出。
为实现这一目标，我们设计了如下的系统架构：- 输入层：手语视频流- 特征提取层：实现对手语视频流的空间和时间特征提取，并对其进行预处理，进一步转换成可处理的数据格式。
- 训练层：使用学习算法和训练数据，训练出特定的手语识别模型。
同时，该层也会构建一些标注好的手语翻译对，这些对形成了模型训练的标准。
- 推理层：将输入的手语信息和预测模型进行匹配，产生相应的输出。
- 翻译层：将推理阶段产生的文字或词语翻译成人类可读的手语图像。
2. 数据集的准备训练机器学习模型至关重要的是准备数据集。
对于手语翻译这一任务，数据集应该包含大量聋哑人士的手语视频以及相应的文本标签。
手语数据集的建立通常是由聋哑人士参与的，但是这样的数据集规模相对较小。
因此，我们采用了一个多余50,000帧手语图像和词语对应的标签的数据集，并将数据集分配为训练集、验证集和测试集。
Android开发中的手势识别和动作识别技术(六)
Android开发中的手势识别和动作识别技术在Android应用开发中，手势识别和动作识别技术起到了重要的作用。
通过这些技术，用户可以通过触摸屏幕或进行特定动作来与应用进行交互，增加了用户体验和操作便捷性。
本文将讨论Android开发中的手势识别和动作识别技术的一些应用和实现方式。
手势识别是一种通过分析用户在触摸屏上的触摸模式来识别用户意图的技术。
Android系统内置了GestureDetector类，可以用于手势的检测和识别。
通过GestureDetector类，开发者可以监听用户在触摸屏上的滑动、长按、双击等手势，并根据不同手势执行相应的操作。
例如，在一个图片浏览应用中，可以通过监听用户的双击手势来实现放大或缩小图片的功能。
另外，GestureDetector类还可以结合GestureOverlayView类进行手势绘制的识别，实现手写输入等功能。
这些手势识别的功能为Android应用的操作提供了更多选择和便利。
除了手势识别，动作识别技术也在Android应用中得到了广泛应用。
动作识别是通过分析用户的运动模式来识别用户的意图和动作。
在Android开发中，通过使用加速度传感器、陀螺仪等硬件设备获取设备在空间中的位置和动作信息，在此基础上进行分析和识别。
例如，一个健身应用可以通过陀螺仪获取用户进行俯卧撑、深蹲等动作的姿势和频率，从而实时监测用户的运动状态和提供相应的反馈。
此外，动作识别技术还可以应用于游戏开发中，通过分析用户的摇晃、倾斜等动作来操控游戏角色的行为。
在实际应用中，手势识别和动作识别技术经常会结合使用，以实现更复杂的用户操作和反馈。
例如，在一个音乐播放应用中，用户可以通过手势来控制歌曲的播放、暂停、切换等操作，也可以通过特定的动作来进行音效的调节或创作。
这种结合应用可以提供更多的交互方式，增强用户对应用的控制和参与感。
手势识别和动作识别技术的实现可以基于不同的算法和库。
常用的手势识别库有Google的GestureBuilder和LibGDX等，开发者可以通过这些库来进行手势数据的录制和识别。
Android开发中的手势识别和动作识别技术(三)
Android开发中的手势识别和动作识别技术在当今的移动应用开发领域，手势识别和动作识别技术成为了非常重要的部分。
随着移动设备的普及和功能的不断增强，用户对于交互体验的需求也越来越高。
而手势识别和动作识别技术的应用，则能够为用户提供更加便捷、灵活的操作方式。
一、手势识别技术手势识别是指通过对用户手部或身体的运动姿态进行分析和识别，获取用户意图，并将其转化为相应的操作指令。
在Android开发中，手势识别技术已经得到了广泛的应用，并且由于其灵活性和直观性而备受开发者和用户的喜爱。
Android平台上最常用的手势识别库是GestureDetector。
GestureDetector可以对屏幕上的各种手势进行识别，包括单击、长按、滑动、双击等。
通过注册监听器，我们可以在应用中捕捉用户的手势动作，并根据不同的动作来触发相应的操作。
除了GestureDetector，Android还支持自定义手势识别。
通过GestureOverlayView和Gesture类，开发者可以自己录制并保存手势，并在应用中进行识别。
这种方式可以实现更加个性化的手势识别，满足特定应用场景的需求。
手势识别技术在Android应用中的应用非常广泛。
比如，在地图应用中，我们可以通过手势来缩放地图或者移动地图的视角；在图片浏览应用中，我们可以通过手势来放大、缩小或者旋转图片；在游戏应用中，我们可以通过手势来控制角色的移动和攻击等等。
二、动作识别技术动作识别技术是指通过对用户的身体动作进行分析和识别，从而获取用户的动作意图，并转化为相应的响应动作。
与手势识别不同的是，动作识别通常需要利用加速度传感器、陀螺仪等传感器来采集用户的运动数据，并进行分析和识别。
Android平台上的动作识别技术主要是通过传感器API来实现的。
先通过SensorManager获取对应的传感器对象，然后注册监听器，即可实时获取传感器的数据。
通过分析这些数据，我们可以推测用户的运动状态，并根据需要进行相应的处理。
基于Android的手语动画自动生成软件设计
基于Android的手语动画自动生成软件设计王卫民;金力【摘要】For solving these problems, we proposed an integrated program of Natural Sign Language resources construction、service platform development and mobile terminals APP implementation. The solution, based on the electronic nature of sign language resources and integrated with the process of natural language, mobile internet, 3D animation modeling, Android Application development and so on, designs and constructs the sign language electronic resources Application platform and framework, develops the Application of sign language electronic resources platform for mobile phones.The program is economical, practical, widely used, and easy to use with vast prospects. It can be used for banks, hospitals, telecommunications and other service sites. It can also be used for the Internet and help with the communication between the deaf and the normal which will promote the construction and development of the harmonious society.%为了解决聋人与正常人的沟通困境,本文提出了一套聋人自然手语资源建设、服务平台开发和手机终端APP实现的综合方案.该方案在电子化自然手语资源的基础上,综合运用了自然语言处理、知识管理、3D动画建模、移动互联技术、Android开发等技术,开发了基于Android的手语翻译器.该系统经济实用,应用广泛,使用便捷,前景广阔,可用于银行、医院、电信等客服场所,也可用于互联网,有利于促进聋人与正常人的沟通交流,促进和谐社会的建设与发展.【期刊名称】《电子设计工程》【年(卷),期】2017(025)018【总页数】5页(P42-45,49)【关键词】语音识别;自然语言处理;智能交互;手语合成【作者】王卫民;金力【作者单位】江苏科技大学计算机科学与工程学院,江苏镇江 212003;江苏科技大学计算机科学与工程学院,江苏镇江 212003【正文语种】中文【中图分类】TN02根据第六次全国人口普查我国总人口数以及第二次全国残疾人抽样调查我国残疾人数占全国总人口数的比例和各类残疾人数占残疾人总人数的比例，推算2014年末我国聋人总人数2700万人。
基于Unity的手语交流平台的设计与实现
基于Unity的手语交流平台的设计与实现手语是一种重要的沟通方式，尤其对于聋哑人士来说，手语是他们与外界交流的桥梁。
随着科技的发展，现代的聋哑人士面临的问题不仅仅是语言沟通，更是社交交流和信息获取的问题。
本文将介绍一个基于Unity的手语交流平台的设计与实现，帮助聋哑人士更好地融入社会。
一、需求分析1.1 用户需求聋哑人士需要一种简单、直观的方式来进行沟通。
他们需要一个能够准确识别手势并进行翻译的系统，同时也需要一个能够将他们的手势传达给对方的系统。
1.2 社交需求聋哑人士也需要进行社交交流，因此手语交流平台需要提供社交功能，包括聊天、添加好友、创建群组等功能，以便于他们与其他聋哑人士交流。
1.3 信息获取需求聋哑人士同样需要获取社会信息，包括新闻、公告等，因此手语交流平台也需要提供信息获取的功能。
二、设计与实现2.1 技术选型本手语交流平台选用Unity作为开发平台，主要原因有以下几点：1）Unity是一款跨平台的游戏引擎，支持Windows、Mac、Android、iOS等多个平台，可以满足多种设备的需求。
2）Unity具有强大的3D渲染能力，能够实现手势识别和翻译的功能。
3）Unity有丰富的社交功能和网络功能，能够满足用户的社交和信息获取需求。
2.2 功能设计2.2.1 手势识别与翻译采用计算机视觉技术，使用摄像头捕获用户的手势，然后通过图像识别算法识别手势并进行翻译。
为了提高准确度，可以结合深度学习算法进行训练。
2.2.2 社交功能包括添加好友、聊天、创建群组、发送消息等功能，让用户可以方便地与其他用户进行交流。
2.2.3 信息获取整合社会各种信息源，包括新闻、公告等，让用户可以方便地获取社会信息。
2.3 系统架构设计采用MVC（模型-视图-控制器）架构，将系统分为模型层、视图层和控制器层，实现数据和用户界面的分离。
2.4 界面设计采用简洁直观的界面设计，方便聋哑人士使用。
为了适应不同的设备，界面要做好自适应设计。
基于手势识别技术的语音指令识别研究
基于手势识别技术的语音指令识别研究随着智能家居、智能音箱等智能化设备的普及，人们对于语音识别技术的需求越来越高。
然而，在某些环境下，如嘈杂的公共场所、静音环境等，语音指令识别可能会受到干扰或无法适用。
因此，基于手势识别技术的语音指令识别成为了一个备受关注的研究方向。
手势识别技术目前已经非常成熟。
通过在设备上安装相应的传感器，可检测用户的手势动作，并将其转换为指令输入。
与传统的按钮控制相比，手势识别控制更加智能，更加直观。
实现手势识别的传感器种类繁多，如摄像头、光电传感器、超声波传感器等。
将手势与语音指令相结合，不仅能够提高语音指令识别的准确率，同时也能够增强用户的交互体验。
手势识别技术在语音指令识别中的应用十分广泛。
例如，用户可以通过对设备挥手表明开启、关闭、暂停、播放等指令。
此外，也可以通过手势向上滑动、向下滑动等方式切换音乐播放模式或者调整音量大小。
这种方式不仅能够实现更加自然的交互形式，也能够大大提高使用的方便性和体验。
除此之外，基于手势识别技术的语音指令识别在医疗、工业等领域也有着广泛的应用。
例如，在繁忙的医院环境中，医生可以通过手势控制床位的升降、患者的进出等操作，提高了医疗工作的效率和安全性。
在工业领域，通过手势识别技术控制机器的开关、调整机器的工作状态，可以减少工人的身体负担和工作难度，提高生产效率。
尽管手势识别技术在语音指令识别中有着广泛的应用前景，但是其仍然面临着一系列的技术挑战。
最主要的问题之一是识别准确率的问题。
由于手势语言的多样性和复杂性，识别准确度难以保障。
此外，受制于传感器的精度和灵敏度，手势识别的反应速度也存在较大的差异。
如何提高手势识别技术的精度和速度，是目前该领域需要着重研究的问题。
总之，基于手势识别技术的语音指令识别是未来智能交互的重要研究方向。
借助于手势识别技术的优势，未来的智能设备将实现更加自然、直观、便捷的用户交互方式。
尽管目前该技术仍存在着众多的挑战和难题，但相信随着各种技术手段的不断推陈出新，手势识别技术必将得到快速地发展和推广。
基于Android手机手势和语音控制的人机交互系统设计
ＤＯＩ：１０．１３８７８／ｊ．ｃｎｋｉ．ｊｎｕｉｓｔ．２０１９．０２．０１３郭慧敏１㊀孟游１㊀迟少华１㊀丁培甫１基于Ａｎｄｒｏｉｄ手机手势和语音控制的人机交互系统设计摘要针对普通遥控器控制智能小车的局限性，结合移动互联网的应用，提出了一种新的人机交互智能小车控制系统的研究方案 一种基于Ａｎｄｒｏｉｄ手机方向（重力）传感器和语音控制的蓝牙小车控制系统．以Ａｎｄｒｏｉｄ手机作为上位机，包括语音系统㊁方向（重力）传感器系统，利用蓝牙通信技术与单片机总控制中心㊁蓝牙模块㊁电机驱动模块㊁蜂鸣器和ＬＥＤ模块㊁避障模块等组成的下位机进行通信，实现对蓝牙智能小车的实时控制．通过实物制作和测试，验证了系统的可操作性和实用性，同时也为智能轮椅㊁仓库管理等领域的实际应用奠定了一定的技术基础．关键词方向（重力）传感器；语音控制系统；Ａｎｄｒｏｉｄ手机；无线智能控制；智能小车．中图分类号ＴＮ７９；ＴＰ３１１ ５文献标志码Ａ收稿日期２０１８⁃１０⁃２９资助项目江苏省大学生创新创业训练计划（２０１８１３６５５００７Ｙ）作者简介郭慧敏，女，副教授，主要研究方向为网络通信和电子电路等．ｍｉｎｍｉｎｅｒ５＠ｑｑ．ｃｏｍ孟游（通信作者），男，研究方向为单片机原理和电路系统等．１３９０４２８３６８＠ｑｑ．ｃｏｍ１南京航空航天大学金城学院信息工程学院，南京，２１１１５６０㊀引言㊀㊀人机交互技术的飞速发展，促使遥感技术蓬勃发展，人们的生活方式将渐趋智能化．让机器了解你的言语㊁表情和肢体语言，将给人们带来更加轻松㊁舒适和便捷的生活方式［１］，而传统的人机交互系统远远满足不了人们的需求．目前市场上的一些遥控车都是一个产品对应着一个遥控设备，即使可以通用的遥控设备也需要手动按键去控制［２⁃３］，操作起来十分不便．Ａｎｄｒｏｉｄ设备以本身独特的开源性和可操作性的优势，迅速成为最大的智能手机操作平台，无论高端机还是低端机，大多集成了方向传感器㊁语音和蓝牙系统，为本系统的研究提供了便利［４⁃５］．相对于传统的遥控器控制技术，基于Ａｎｄｒｏｉｄ手机手势和语音技术的智能小车的控制方式更加方便快捷，适用于多种带有方向传感器和语音功能的Ａｎｄｒｏｉｄ手机．１㊀系统结构本设计着眼于无线智能设备的传感器控制［６］，如Ａｎｄｒｏｉｄ手机㊁智能手表等．抛弃了传统的遥控器技术，利用ＡｐｐＩｎｖｅｎｔｏｒ［７］作为手机软件的开发平台，通过智能手机携带的方向传感器［８］和语音系统，根据翻转手机或语音识别便可实现小车停止㊁前进㊁后退和左右转等，从而达到人机交互的目的．通过设计带有方向感应器㊁语音系统和蓝牙功能的Ａｎｄｒｏｉｄ手机软件，与带有ＨＣ⁃０５蓝牙模块㊁ＳＴＣ８９Ｃ５２ＲＣ主控制芯片㊁Ｌ９１１０Ｈ电机驱动模块和红外避障模块等硬件电路组成的智能小车控制系统，共同实现了一种新型无线控制智能小车的方法 通过摇晃手机或语音便可对小车进行控制．同时，还在下位机增加了环境检测系统．本设计框架如图１所示．２㊀下位机硬件电路设计小车设计的硬件电路由单片机总控制中心㊁电机驱动模块㊁避障模块㊁电源供电电路㊁蜂鸣器和ＬＥＤ控制电路等模块组成．２ １㊀电机控制模块设计智能小车最基本的功能是行走，利用单片机驱动直流电机带动㊀㊀㊀㊀图１㊀系统的总体框架Ｆｉｇ １㊀Ｇｅｎｅｒａｌｆｒａｍｅｗｏｒｋｏｆｔｈｅｓｙｓｔｅｍ车轮的转动，但是由于单片机驱动能力有限，无法驱动大功率的直流电机，所以需要在直流电机与单片机之间加一个驱动模块Ｌ９１１０Ｈ．Ｌ９１１０Ｈ连接电机的正负极，由两个输出端，直接控制电机的正反转．原理如图２所示．图２㊀直流电机与Ｌ９１１０芯片电路原理Ｆｉｇ ２㊀ＣｉｒｃｕｉｔｄｉａｇｒａｍｏｆＤＣｍｏｔｏｒａｎｄＬ９１１０ｃｈｉｐ２ ２㊀蜂鸣器模块设计设计过程中，考虑到单片机Ｉ／Ｏ口驱动能力不能让蜂鸣器发声，需要利用８５５０三极管放大驱动电流让蜂鸣器发出声音．当输入为低电平时，三极管导通，集电极电流通过蜂鸣器，蜂鸣器发出声音；当输入为高电平时，三极管截止，无电流通过蜂鸣器，蜂鸣器不发声．设计原理如图３所示．２ ３㊀ＨＣ⁃０５蓝牙模块本设计选用ＨＣ⁃０５蓝牙串口通信模块．它是主从一体的蓝牙串口模块，简单地说，就是当蓝牙设备与蓝牙设备配对成功后，可以忽视蓝牙内部的通信协议，直接将蓝牙当串口用．当建立连接时，两个设备共用一个通道也就是同一个串口，一个设备发送图３㊀蜂鸣器模块电路原理Ｆｉｇ ３㊀Ｂｕｚｚｅｒｍｏｄｕｌｅｃｉｒｃｕｉｔｓｃｈｅｍａｔｉｃ数据到通道中，另一个设备便可以接收通道中的数据．但是，建立这种通道连接是有一定条件的，需要先对蓝牙模块进行ＡＴ指令参数设置．２ ４㊀红外避障模块该模块具有一对红外发射器和接收器，通过发射管发出红外线，当检测到前方障碍物时，发射光被接收器接收，经过电路处理，发送给主控制中心．避障距离可以利用电位器进行调节，具有装配方便和干扰小的特点，如图４所示．图４㊀红外避障模块Ｆｉｇ ４㊀Ｉｎｆｒａｒｅｄｏｂｓｔａｃｌｅａｖｏｉｄａｎｃｅｍｏｄｕｌｅ３㊀下位机硬件程序设计本控制系统需要小车的硬件系统作为支撑．下面分别对蓝牙接收信息传递给单片机和单片机接收信息后对电机㊁蜂鸣器以及ＬＥＤ做出相应的控制进行介绍．程序设计采用的是Ｋｅｉｌ４ｆｏｒ５１作为单片机程序的编程软件．３ １㊀蓝牙接收系统程序通过蓝牙模块对接收手机端发送过来的控制指令信息进行接收处理，如停止㊁前进㊁后退㊁左右转等，程序流程如图５所示．利用蓝牙模块与５１单片机进行连接，串口通信进行数据传输．接收时，中断标志ＲＩ＝０，置允许接收位ＲＥＮ＝１，数据进入移位寄存器，装载到ＳＢＵＦ缓冲寄存器，置ＲＩ＝１；由缓冲接收器ＳＢＵＦ通过总线发送给ＣＰＵ．串行通信在数据传输㊁人机交互设计等７１２学报（自然科学版），２０１９，１１（２）：２１６⁃２２０ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ），２０１９，１１（２）：２１６⁃２２０方面起着重要作用［９］．设计要求串口通信晶振为１１ ０５９２ＭＨｚ，波特率９６００ｂｐｓ，设置计数器１的工作方式（ＳＭ０＝０，ＳＭ１＝１，即ＳＣＯＮ＝０ｘ０５），Ｔ１的初值为２５３（Ｘ值为ＦＤＨ）．３ ２㊀电机㊁蜂鸣器及ＬＥＤ控制系统程序小车运动状态的控制方式如下（蓝牙接收控制指令流程如图５所示）：１）小车运动：控制电机的转动；２）灯：控制ＬＥＤ１及ＬＥＤ２灯的亮灭；图５㊀蓝牙接收控制指令流程Ｆｉｇ ５㊀Ｂｌｕｅｔｏｏｔｈｒｅｃｅｉｖｅｃｏｎｔｒｏｌｃｏｍｍａｎｄｆｌｏｗｃｈａｒｔ４㊀上位机ＡＰＰ设计４ １㊀软件界面设计Ａｐｐ中添加的控件有：１）Ｂｕｔｔｏｎ按键（前进㊁后退㊁停止㊁左转㊁右转㊁灯㊁喇叭㊁方向传感器以及语音开关键）：按下后通过蓝牙发送相应的数据；２）连接选择框：按下它，会访问到一个列表，用来存储蓝牙信息；３）水平布局㊁垂直布局：使按钮在水平控件框内呈水平或垂直分布；４）蓝牙客户端：蓝牙配对㊁连接以及通信，通过蓝牙设备选择框组件来显示蓝牙列表；５）对话框：显示警告信息，当蓝牙连接失败时，显示错误信息；６）方向传感器：设置通过翻转手机可以实现对小车发送相应的数据；７）语音识别器：设置通过识别语音可以实现对小车发送相应的数据．４ ２㊀蓝牙连接系统建立蓝牙连接时，Ａｎｄｒｏｉｄ手机需要获取小车ＨＣ⁃０５蓝牙模块的地址．点击连接时，出现选择蓝牙设备的界面，如图６所示（列表中的蓝牙设备是手机在设置中心已经配对成功的蓝牙设备），点击小车地址，将小车与手机之间建立连接．如果连接成功，界面将会跳转到控制界面；如果配对失败，弹出错误的警示窗口，则小车的蓝牙模块没有打开或者没有正常工作．点击断开连接按钮时，关闭蓝牙连接，同时用户界面发生变化，如图７所示．蓝牙设备选择框会重新出现，而用户界面上的其余组件将被隐藏．图６㊀选择蓝牙设备手机界面Ｆｉｇ ６㊀ＳｅｌｅｃｔＢｌｕｅｔｏｏｔｈｄｅｖｉｃｅｐｈｏｎｅｉｎｔｅｒｆａｃｅ图７㊀断开蓝牙连接手机界面Ｆｉｇ ７㊀ＤｉｓｃｏｎｎｅｃｔＢｌｕｅｔｏｏｔｈｃｏｎｎｅｃｔｉｏｎｐｈｏｎｅｉｎｔｅｒｆａｃｅ４ ３㊀按键控制系统Ａｐｐ软件主要通过上下左右４个按键控制小车的前进㊁后退㊁左转㊁右转，中间的停止键让小车紧急停止．另外，为了增加真实性，还增加了小灯以及喇叭控制的功能（图８）．按下不同的按钮，手机就会通过蓝牙发送相应的数据．４ ４㊀方向传感器控制系统在按键的基础上，增加了方向传感器的控制，利用手机内的方向传感器，通过倾斜角和翻转角的角度变化发送数据．在程序软件的界面上，增加了一个方向传感器的开关（图８），在必要时可以关闭方向传感器．首次打开软件，方向传感器是不工作的，点击一次，方向传感器开始工作，再点击一次，方向传８１２郭慧敏，等．基于Ａｎｄｒｏｉｄ手机手势和语音控制的人机交互系统设计．ＧＵＯＨｕｉｍｉｎ，ｅｔａｌ．Ｄｅｓｉｇｎｏｆｈｕｍａｎ⁃ｍａｃｈｉｎｅｉｎｔｅｒａｃｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎＡｎｄｒｏｉｄｍｏｂｉｌｅｐｈｏｎｅｇｅｓｔｕｒｅａｎｄｖｏｉｃｅｃｏｎｔｒｏｌ．图８㊀软件界面设计Ｆｉｇ ８㊀Ｓｏｆｔｗａｒｅｉｎｔｅｒｆａｃｅｄｅｓｉｇｎｄｒａｗｉｎｇｓ感器停止工作，可通过除２取余的算法来辨识．点击方向传感器按钮，翻转角和倾斜角数据随手机的晃动发生改变，表示方向传感器开始工作．因为人无法保证手机在手中时，翻转角和倾斜角都为０，所以翻转角和倾斜角的大小在ʃ２０ʎ范围内都规定手机为水平放置．手机发送数据０３，智能小车为停止状态．另外，设定倾斜角和翻转角同时变化时，为无法识别状态，令小车停止，确保其安全性．手机状态发送数据如表１所示（可根据实际需求进行角度判断的设定）．表１㊀方向传感器的角度判别Ｔａｂｌｅ１㊀Ａｎｇｌｅｄｉｓｃｒｉｍｉｎａｔｉｏｎｏｆｄｉｒｅｃｔｉｏｎｓｅｎｓｏｒ手机状态倾斜角／（ʎ）翻转角／（ʎ）发送的数据智能小车运动状态水平ʃ２０ʃ２０００停止左翻转ʃ２０＞２００２左转右翻转ʃ２０＞－２００４右转前倾斜＞２０ʃ２００１前进后倾斜＜－２０ʃ２００５后退其他０３停止为了增加Ａｎｄｒｏｉｄ遥控小车手机方向传感器的可辨识度，可在界面显示倾斜角和翻转角的数据．４ ４㊀语音控制系统在软件设计上增加手机语音系统，通过调用手机内部的语音识别器，但手机本身没有识别语音和文字转换的功能，需要调用讯飞语记软件的语音识别功能．设置软件可识别到的语音中包含 前进 ㊁后退 ㊁ 左转 等命令，软件可通过蓝牙发送相关的控制数据，具体的数据可参考方向传感器设计部分．使用时通过按住话筒按钮，发出命令语音，如 前进 ㊁ 后退 ㊁ 左转 ㊁ 右转 ㊁ 停止 等命令，松开后，界面显示小车相应的运动状态，同时会通过蓝牙对已连接设备发送相应的控制数据（０１㊁０２㊁０３等）．５㊀实验测试与分析为了测试系统的安全性和准确性，分别对设计进行了软硬件供电调试．调试包含对下位机小车能否接收数据和接收数据的准确性，以及上位机是否可以发送控制数据和数据发送的准确率．对于下位机，首先检查与单片机的连线是否正确，接通电源，烧录单片机程序测试驱动电机是否可以正常运转以及电机的运动方向是否正确：当Ｒｉｇｈｔ－Ｎｅｇａｔｉｖｅ＝０，Ｒｉｇｈｔ－Ｐｏｓｉｔｉｖｅ＝１，Ｌｅｆｔ－Ｎｅｇａｔｉｖｅ＝０，Ｌｅｆｔ－Ｐｏｓｉｔｉｖｅ＝１是否前进，另外分别测试左转㊁右转㊁后退㊁停止等状态是否正确．在小车下载单片机程序后，首先要对通信方面进行测试．通信测试分为３步：１）第１步是使用单片机串口监视器测试．通过ＵＳＢ串口给小车发送００，０１，０２，０３，０４，０５，０６，０７，０８等几个控制数据，查看小车的运动状态的准确性．２）第２步是使用手机蓝牙串口工具测试．首先ＵＳＢ接口连接蓝牙，插入电脑，利用手机连接蓝牙模块后，通过按键看是否发送相应的数据．按键测试成功后，测试手机方向传感器是否工作．观察手机界面上的翻转角和倾斜角数据是否发生变化，以及手机前翻转时，手机是否发送数据０１；手机左倾斜时，手机是否发送数据０２；当手机右倾斜时，手机是否发送数据０４；手机后翻转时，手机是否发送数据０５；手机平放时，手机是否发送数据００等．３）第３步是对手机语音控制的测试．在第２步测试成功后，按下语音按钮，通过语音 前进 ㊁ 后退 ㊁ 左转 ㊁ 右转 ㊁ 亮灯 等命令分别测试手机发送的数据是否正确．为采集不同型号手机的实验数据，分别采用了ＯＰＰＯ⁃Ａ５７㊁小米ｎｏｔｅ１㊁小米５㊁华为Ｍａｔｅ９进行测试．通过多次数据统计分析得出，无线控制距离在空旷地带可达２０ｍ，在０ １５ｍ内可发送的数据正确率在９９ １％ ９９ ５％，在１５ ２０ｍ内收到数据的正确率会随距离的增加逐渐减小，距离超过２０ｍ时会断开连接，软件提示 无法连接到蓝牙设备 ．测试结果表明，本设计的手机方向传感器㊁语音和按键３种方式同时控制智能小车行走的软硬件设备中，下位机的小车硬件以及软件系统工作正常，上９１２学报（自然科学版），２０１９，１１（２）：２１６⁃２２０ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ），２０１９，１１（２）：２１６⁃２２０位机Ａｎｄｒｏｉｄ手机软件程序正常，可通过方向传感器㊁语音和按键３种控制方式控制小车，并实现灵活地前行㊁后退㊁左转㊁右转㊁停止㊁亮灯㊁鸣笛等功能．６㊀结束语本设计有效利用现有通信设备完成了基于Ａｎ⁃ｄｒｏｉｄ手机方向传感器㊁语音系统和蓝牙技术控制的智能小车系统．本设计可以无障碍地在１５ｍ范围内进行通信，从而降低了智能化设备的成本．该控制系统的相关技术能直接应用到智能电动轮椅的研究中，使电动轮椅更加智能化㊁功能化．参考文献Ｒｅｆｅｒｅｎｃｅｓ［１］㊀刘少军，王瑜瑜．基于Ａｎｄｒｏｉｄ手机蓝牙控制的智能小车设计与实现［Ｊ］．电子测量技术，２０１６，３９（９）：１１４⁃１１７ＬＩＵＳｈａｏｊｕｎ，ＷＡＮＧＹｕｙｕ．ＤｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｉｎｔｅｌｌｉｇｅｎｔｖｅｈｉｃｌｅｃｏｎｔｒｏｌｂａｓｅｄｏｎｔｈｅｃｏｎｔｒｏｌｏｆｔｈｅＡｎ⁃ｄｒｏｉｄｍｏｂｉｌｅｐｈｏｎｅｂｌｕｅｔｏｏｔｈ［Ｊ］．ＥｌｅｃｔｒｏｎｉｃＭｅａｓｕｒｅｍｅｎｔＴｅｃｈｎｏｌｏｇｙ，２０１６，３９（９）：１１４⁃１１７［２］㊀朱丹峰，葛主冉，林晓雷．基于Ａｎｄｒｏｉｄ平台的无线遥控智能小车［Ｊ］．电子器件，２０１３，３６（３）：４０８⁃４１２ＺＨＵＤａｎｆｅｎｇ，ＧＥＺｈｕｒａｎ，ＬＩＮＸｉａｏｌｅｉ．Ａｎｄｒｏｉｄ⁃ｂａｓｅｄｉｎｔｅｌｌｉｇｅｎｔｃａｒｗｉｔｈｗｉｒｅｌｅｓｓｒｅｍｏｔｅｃｏｎｔｒｏｌ［Ｊ］．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＥｌｅｃｔｒｏｎＤｅｖｉｃｅｓ，２０１３，３６（３）：４０８⁃４１２［３］㊀李毅，党长青，张行．基于安卓手机重力感应小车［Ｊ］．电子世界，２０１４（１１）：９４ＬＩＹｉ，ＤＡＮＧＣｈａｎｇｑｉｎｇ，ＺＨＡＮＧＸｉｎｇ．Ｇｒａｖｉｔｙｓｅｎｓｏｒｃａｒｂａｓｅｄｏｎａｎｄｒｏｉｄｍｏｂｉｌｅｐｈｏｎｅ［Ｊ］．ＥｌｅｃｔｒｏｎｉｃｓＷｏｒｌｄ，２０１４（１１）：９４［４］㊀聂茹．基于Ａｎｄｒｏｉｄ手机蓝牙控制的智能小车设计与实现［Ｊ］．微型电脑应用，２０１５，３１（９）：６８⁃６９，７４ＮＩＥＲｕ．Ｄｅｓｉｇｎａｎｄｒｅａｌｉｚａｔｉｏｎｏｆｉｎｔｅｌｌｉｇｅｎｔｖｅｈｉｃｌｅｂａｓｅｄｏｎａｎｄｒｏｉｄｍｏｂｉｌｅｐｈｏｎｅｂｌｕｅｔｏｏｔｈｃｏｎｔｒｏｌ［Ｊ］．Ｍｉ⁃ｃｒｏｃｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓ，２０１５，３１（９）：６８⁃６９，７４［５］㊀马惠兰．基于单片机的蓝牙搜救小车设计［Ｊ］．工业仪表与自动化装置，２０１６（３）：１１１⁃１１４ＭＡＨｕｉｌａｎ．ＤｅｓｉｇｎｏｆＢｌｕｅｔｏｏｔｈｓｅａｒｃｈａｎｄｒｅｓｃｕｅｖｅｈｉｃｌｅｂａｓｅｄｏｎｓｉｎｇｌｅｃｈｉｐｍｉｃｒｏｃｏｍｐｕｔｅｒ［Ｊ］．ＩｎｄｕｓｔｒｉａｌＩｎｓｔｒｕ⁃ｍｅｎｔａｔｉｏｎ＆Ａｕｔｏｍａｔｉｏｎ，２０１６（３）：１１１⁃１１４［６］㊀ＹｉｎＱ，ＺｈａｎｇＪ，ＷａｎｇＸ，ｅｔａｌ．Ｔｈｅｖｉｄｅｏｉｎｔｅｌｌｉｇｅｎｔｃａｒｂａｓｅｄｏｎｗｉｒｅｌｅｓｓｓｅｎｓｏｒ［Ｊ］．ＣｌｕｓｔｅｒＣｏｍｐｕｔｉｎｇ，２０１７（６）：１⁃１６［７］㊀ＤａｖｉｄＷ，ＨａｌＡ．Ａｐｐｉｎｖｅｎｔｏｒ２快速入门与实验［Ｍ］．北京：人民邮电出版社，２０１６ＤａｖｉｄＷ，ＨａｌＡ．Ａｐｐｉｎｖｅｎｔｏｒ２ｑｕｉｃｋｉｎｔｒｏｄｕｃｔｉｏｎａｎｄｅｘｐｅｒｉｍｅｎｔ［Ｍ］．Ｂｅｉｊｉｎｇ：ＰｏｓｔｓａｎｄＴｅｌｅｃｏｍＰｒｅｓｓ，２０１６［８］㊀林明标，莫金海．基于安卓手机的无线重力感应控制智能小车［Ｊ］．计算机测量与控制，２０１５，２３（４）：１１７５⁃１１７８ＬＩＮＭｉｎｇｂｉａｏ，ＭＯＪｉｎｈａｉ．Ｗｉｒｅｌｅｓｓａｃｃｅｌｅｒｏｍｅｔｅｒｓｅｎｓｏｒｃｏｎｔｒｏｌｓｍａｒｔｃａｒｂａｓｅｄｏｎａｎｄｒｏｉｄｍｏｂｉｌｅ［Ｊ］．ＣｏｍｐｕｔｅｒＭｅａｓｕｒｅｍｅｎｔ＆Ｃｏｎｔｒｏｌ，２０１５，２３（４）：１１７５⁃１１７８［９］㊀卢嘉川，冯云姣，郑丹晨，等．数字化反应堆人机交互功能需求的研究［Ｊ］．科技视界，２０１８（８）：１９⁃２１，１８ＬＵＪｉａｃｈｕａｎ，ＦＥＮＧＹｕｎｊｉａｏ，ＺＨＥＮＧＤａｎｃｈｅｎ，ｅｔａｌ．Ｒｅ⁃ｓｅａｒｃｈｏｎｈｕｍａｎ⁃ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎｆｕｎｃｔｉｏｎａｌｒｅｑｕｉｒｅ⁃ｍｅｎｔｆｏｒｄｉｇｉｔａｌｒｅａｃｔｏｒｓ［Ｊ］．Ｓｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＶｉｓｉｏｎ，２０１８（８）：１９⁃２１，１８Ｄｅｓｉｇｎｏｆｈｕｍａｎ⁃ｍａｃｈｉｎｅｉｎｔｅｒａｃｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎＡｎｄｒｏｉｄｍｏｂｉｌｅｐｈｏｎｅｇｅｓｔｕｒｅａｎｄｖｏｉｃｅｃｏｎｔｒｏｌＧＵＯＨｕｉｍｉｎ１㊀ＭＥＮＧＹｏｕ１㊀ＣＨＩＳｈａｏｈｕａ１㊀ＤＩＮＧＰｅｉｆｕ１１ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＪｉｎｃｈｅｎｇＣｏｌｌｅｇｅ，ＮａｎＪｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＡｅｒｏｎａｕｔｉｃｓａｎｄＡｓｔｒｏｎａｕｔｉｃｓ，２１１１５６㊀ＮａｎＪｉｎｇＡｂｓｔｒａｃｔ㊀Ａｉｍｉｎｇａｔｔｈｅｌｉｍｉｔａｔｉｏｎｏｆｔｈｅｃｏｍｍｏｎｒｅｍｏｔｅｃｏｎｔｒｏｌａｎｄｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｍｏｂｉｌｅｉｎｔｅｒｎｅｔ，ａｎｅｗｒｅ⁃ｓｅａｒｃｈｓｃｈｅｍｅｆｏｒａｈｕｍａｎ⁃ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎｄｒｉｖｅｎｉｎｔｅｌｌｉｇｅｎｔｖｅｈｉｃｌｅｃｏｎｔｒｏｌｓｙｓｔｅｍｉｓｐｒｏｐｏｓｅｄ：ａｂｌｕｅｔｏｏｔｈｂａｓｅｄｖｅｈｉｃｌｅｃｏｎｔｒｏｌｓｙｓｔｅｍｕｔｉｌｉｚｉｎｇａｎｄｒｏｉｄｍｏｂｉｌｅｐｈｏｎｅｄｉｒｅｃｔｉｏｎｓｅｎｓｏｒ（ｇｒａｖｉｔｙｓｅｎｓｏｒ）ａｎｄｖｏｉｃｅｃｏｎｔｒｏｌｉｓｄｅｓｉｇｎｅｄ．Ｔｈｅｄｅｓｉｇｎｕｓｅｓａｎｄｒｏｉｄｍｏｂｉｌｅｐｈｏｎｅａｓｈｏｓｔｃｏｍｐｕｔｅｒ，ｉｎｃｌｕｄｉｎｇｔｈｅｖｏｉｃｅａｎｄｄｉｒｅｃｔｉｏｎｓｅｎｓｏｒｓｙｓｔｅｍｓａｎｄｕｓｅｓｂｌｕｅｔｏｏｔｈｃｏｍｍｕｎｉｃａｔｉｏｎｔｅｃｈｎｏｌｏｇｙｔｏｃｏｍｍｕｎｉｃａｔｅｗｉｔｈｔｈｅｌｏｗｅｒｃｏｍｐｕｔｅｒ，ｗｈｉｃｈｉｓｃｏｍｐｏｓｅｄｏｆｔｈｅＭＣＵｃｏｎｔｒｏｌｃｅｎｔｅｒ，ｂｌｕｅｔｏｏｔｈｍｏｄｕｌｅ，ｍｏｔｏｒｄｒｉｖｅｍｏｄｕｌｅ，ｂｕｚｚｅｒ，ｌｅｄｍｏｄｕｌｅ，ａｎｄｏｂｓｔａｃｌｅａｖｏｉｄａｎｃｅｍｏｄｕｌｅ．Ｔｈｅｏｐｅｒａｂｉｌｉｔｙａｎｄｐｒａｃｔｉｃａｂｉｌｉｔｙｏｆｔｈｅｓｙｓｔｅｍｉｓｖｅｒｉｆｉｅｄｔｈｒｏｕｇｈｐｈｙｓｉｃａｌｐｒｏｄｕｃｔｉｏｎａｎｄｔｅｓｔｉｎｇ．Ｔｈｉｓｒｅｓｅａｒｃｈａｌｓｏｌａｙｓａｔｅｃｈｎｉｃａｌｆｏｕｎｄａｔｉｏｎｆｏｒｔｈｅｐｒａｃｔｉｃａｌａｐｐｌｉｃａｔｉｏｎｏｆｉｎｔｅｌｌｉｇｅｎｔｃｏｎｔｒｏｌｓｙｓｔｅｍｓｉｎｗｈｅｅｌｃｈａｉｒｄｅｓｉｇｎａｎｄｗａｒｅｈｏｕｓｅｍａｎａｇｅｍｅｎｔａｍｏｎｇｏｔｈｅｒｆｉｅｌｄｓ．Ｋｅｙｗｏｒｄｓ㊀ｄｉｒｅｃｔｉｏｎ（ｇｒａｖｉｔｙ）ｓｅｎｓｏｒ；ｖｏｉｃｅｃｏｎｔｒｏｌｓｙｓｔｅｍ；Ａｎｄｒｏｉｄｐｈｏｎｅｓ；ｗｉｒｅｌｅｓｓｉｎｔｅｌｌｉｇｅｎｔｃｏｎｔｒｏｌ；ｓｍａｒｔｃａｒ０２２郭慧敏，等．基于Ａｎｄｒｏｉｄ手机手势和语音控制的人机交互系统设计．ＧＵＯＨｕｉｍｉｎ，ｅｔａｌ．Ｄｅｓｉｇｎｏｆｈｕｍａｎ⁃ｍａｃｈｉｎｅｉｎｔｅｒａｃｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎＡｎｄｒｏｉｄｍｏｂｉｌｅｐｈｏｎｅｇｅｓｔｕｒｅａｎｄｖｏｉｃｅｃｏｎｔｒｏｌ．。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2019.25科学技术创新基于Android 平台的手势与语音转换技术系统的实现赵少芳（西北民族大学，甘肃兰州730030）1概述1.1背景。
手语是聋哑人士接触“有声世界”、获取信息、表达想法等实现有效沟通的“桥梁”。
据国家统计局统计，中国聋哑人人口数量大概已达2500多万，如今，已成为一个人口数目相当庞大的特殊群体。
而我国在手语方面的发展比较缓慢、一些手语学校师资力量的薄弱、手语翻译标准和质量无法满足聋人群体需求等因素下，导致大部分聋哑人士受教育程度不高，他们获取信息途径单一，在与人交往中只能使用手语，因此他们在与正常人交流中存在极大不便。
1.2手势识别技术的发展现状。
随着计算机图像处理技术的日益成熟，以人机交互为主要目标的手势识别技术已成为当今社会的普遍研究方向。
手势识别技术其实又可以细分为基于可穿戴设备的手势识别和基于视觉传感器的手势识别。
其中，基于可穿戴设备的手势识别不仅可以达到优化手势识别算法，提高其在执行过程中稳定性的目的，还可以减小可穿戴设备的体积，给用户更好的体验感和舒适度，该技术的理论思想是希望借助于惯性传感器来采集手势的相关数据，将所收集到的手势数据信息与手势识别算法进行结合，最终通过上位机将执行的结果进行显示。
由于该控制器操作简单、易于上手，并且可以满足用户任意输入，还可以达到人机交互的目的。
而基于视觉传感器的手势识别，这一技术是通过特征融合的方式达到手势识别的目的。
在技术的实现过程中是通过规定特定背景、肤色信息比对、立体视觉感知等多个特征融合的方法进行手势识别，这一技术在识别较为复杂、难懂的手势时，相较于可穿戴设备的手势识别具有独特优势。
但在该系统的研究以及开发过程中，我们主要考虑静态手势的识别，因为动态手势识别是在静态手势识别的基础上实现的，其运算也相较于静态手势识别更加复杂。
2软件设计在客户端模块的设计上，我们划分了五个模块：小课堂模块：在该模块中有大量关于手语学习的视频，用户可在该模块浏览感兴趣的话题视频，也可进行自学。
交流圈模块：在该交流圈的模块中，用户不仅可以实现与其他用户进行在线文字交流，还可以实现语音或视频的交流，极大地方便了用户的需求，还为用户提供更好的便利。
互译模块：该模块可以实现汉字与手语实时互译，在该模块我们主要采用的技术是通过智能手机的摄像头录入手势，系统将该手势与数据库内已有数据进行匹配，匹配成功后系统将以语音或文字形式将手势含义展示给用户；用户还可以通过键盘输入文字信息或通过手机话筒录入语音信息，系统会将用户录入的信息与数据库内已有数据进行匹配，匹配成功后系统以视频或图片形式进行输出。
探索模块：在该模块中，为用户提供关于手语的论坛、新闻、娱乐、文化等方面的内容，丰富聋哑人士的学习生活。
个人模块：在该模块中，用户不仅可以看到自己是否登录，还可以看到登录后的个人账号信息，以及支持用户在原有信息的基础上进行修改。
在该模块中，用户还可以查看自己的浏览记录和相关收藏的情况。
3技术实现在系统的前端功能设计实现上，我们将运用HTML5结合JavaScript ，再辅以CSS 技术加以美化，在UI 设计方面我们将采用MUI 技术，因为MUI 技术具有很高的灵活性和可配置性，这是其他平台所无法比拟的，因此这也是我们所看重的优势。
由于后台系统所需维护的数据十分庞大，综合考虑了系统的稳定性和开发维护成本，这里采用SQLite 作为后台数据库管理系统。
SQLite 不仅是一款轻型的数据库，还是遵守ACID 的关联式数据库管理系统。
它的设计目标是嵌入式的，这一独特优势也是当今社会不少生产厂商所看重的，因而有很多产品都运用了这一数据库技术，这款轻型的数据库占用资源非常的低，在很多嵌入式设备中，往往只需要几百K 的内存就足够支持这款数据库的运行了。
3.1通过摄像头识别手势，将其转化为文字或语音通过手机终端输出。
智能手机内置的CMOS 图像传感器为手势识别提供了基础，将获取到的视频图像进行格式转换后，提取视频图像的关键帧，将视频中的每帧图像进行检测，判断是否有特定手势，再将提取到的图片信息与数据库系统中存储的目标手势进行匹配，匹配成功后将数据库系统中相对应的语音或文字信息进行输出。
3.2通过手机识别语音或文字，将其转化为手势通过手机终端输出。
通过将获取到的语音信息进行预处理、特征提取、模式匹配和后处理后，转换为文字信息，再将得到的文字信息与数据库系统中已有的手势信息进行匹配，将匹配度最高的手势视频，进行输出。
流程图如图1所示。
4软件测试在研究和开发系统的过程中，我们自然会面对各种复杂的问题，因为软件开发就是不断发现并解决问题的过程。
在软件生存周期的每个阶段都不可避免会产生错误，只有不断发现问题才能予以解决，使该系统具有更好的实用性，极大的方便用户的使用。
测试目的不仅在于及时发现该系统的问题，并予以改正，更重要的是编写测试用例。
按照软件工程的观点，软件测试共包括3个层次。
4.1单元测试。
在单元测试过程中所用到的测试的用例是从单元的详细设计中导出的，因为这些测试用例会使测试结果更具有普遍性。
其实在单元测试中我们不仅可以采用功能性测试，还可以采用结构性测试，这两种测试摘要：现如今，我国聋哑人群体庞大，他们与正常人的交流存在障碍，而且他们获取信息的途径单一，有时由于缺乏手语翻译人员，并不能掌握实时信息。
与此同时，伴随着图像处理技术的日益成熟，希望通过图像处理技术和语音识别技术来实现手势与语音(文字)之间的双向转换，即对聋哑人的手势进行识别、对输入的语音或文字在数据库进行检索，并输出相应的手势含义。
研究解决正常人与聋哑人之间存在的交流障碍，获取信息的途径单一等的问题。
关键词：手势识别；图像处理；聋哑人；APP中图分类号:TP391.41文献标识码:A 文章编号:2096-4390(2019)25-0101-02（转下页）101--科学技术创新2019.25基于线路检修作业数据云平台智能管理王伟刚高坤梁波刘雄（云南电网有限责任公司红河供电局，云南蒙自661100）1大数据对线路运检专业发展意义随着科技的进步，每一项作业任务活动，或者每个作业任务在执行过程中的某一环节，所产生的数据信息经过处理产生的价值对线路专业发展具有非凡的意义，具体体现在大数据是经营决策基础依据，是应急指挥临时策略的经验借鉴，是大安全观建立的基础，从某种意义上大数据的处理技术是智慧型电网的雏形。
大数据在线路设备运检中的应用，是采集、存储、整合、分析挖掘业务开展或生产活动中的巨量数据，获取某一领域或某一生产行为最有价值的信息反馈，所以，大数据对于线路运检专业的发展的意义作用不在于有多大，而在于已储存的数据如何应用，最大的挑战在于从海量的数据中如何智能的提取对某一生产行为有价值的信息并智能的进行正确方向份反馈。
2匹配智慧型电网的大数据特点智慧型电网是云南电网致力打造的电网模式，是未来五年计划的发展方向。
大数据技术将在智慧型电网中发挥不可替代的作用。
2.1智慧型输电网的特点具备“互联网+”智慧能源、“云大物移智”等前沿技术，谋划改造升级传统电网，这是南方电网未来五年规划的战略发展方向。
所谓智慧型输电网，反应的是输电网有一定的自主思考摘要：十四五输电网战略发展规划之初，能够为线路运检专业发展出谋划策，从输电网作业任务的角度，诠释智慧型输电网的发展特点，分析匹配智慧型输电网大数据的特点，找到基于作业任务的大数据收集方法的可行性，从而实现智慧型输电网发展的核心目标，创建输电网科学发展大安全观的全新模式。
关键词：战略发展；作业任务；智慧型；输电网；大数据；收集方法；大安全观中图分类号:TM755,TP311.52文献标识码:A 文章编号:2096-4390(2019)25-0102-02（转下页）方式都可以达到测试目的。
4.2集成测试和确认测试。
这一阶段的任务，是通过将单元测试的各个模块逐步组装起来，通过不断的进行单元测试与纠错，最终得到一个满足需求的目标软件，为用户提供更好的体验感。
4.3系统测试。
在系统测试这一步骤中，往往发现的问题是需求规格说明中的问题和错误。
一般来说，系统测试是功能性测试，而不是结构性测试。
因此，在进行系统测试的过程中，最重要的是要从用户的角度在系统的安全性和可用性方面进行测试，以保证系统能够安全正确运行，切实保护用户信息。
测试流程图如图2所示。
图2测试流程图5结论鉴于目前聋哑人群体庞大，他们无法与正常人实现有效沟通的背景下，我们希望借助计算机技术的飞速发展，为他们提供一个接触“有声世界”，实现与正常人进行有效沟通的平台，以此丰富他们的学习生活。
该系统充分利用智能手机内置的CMOS 图像传感器，通过摄像功能获取手势，并通过对每帧图像进行手势识别的检测，并将获取到的手势数据信息与数据库中原有已存储的手势信息进行比对，继而将该手势的实际含义进行显示。
参考文献[1]赵亚飞.基于视觉的手势识别技术研究[D].杭州：浙江大学，2011.[2]毛晓洁.基于Android 平台的手势识别技术的研究与应用[D].成都：电子科技大学,2015,3.[4]刘春花.基于可穿戴控制器的手势识别技术研究[D].哈尔滨：哈尔滨理工大学，2017，3.基金项目：西北民族大学国家级大学生创业创新训练计划资助项目（项目编号：201910742035）。
图1流程图102--。