机器人视觉大作业

合集下载

高空作业机器人的机器视觉技术研究

高空作业机器人的机器视觉技术研究

高空作业机器人的机器视觉技术研究高空作业机器人是一种能够在高空环境中完成各种任务的机器人系统。

机器视觉技术在高空作业机器人中起着至关重要的作用。

它能够为机器人提供靶标识别、路径规划、障碍物检测等功能,从而实现更安全、更高效的高空作业。

一、高空作业机器人的应用领域和需求高空作业机器人广泛应用于建筑、电力、航空等领域。

在这些领域中,高空作业往往需要人工登高、悬挂等特殊环境下进行。

由于高空作业的高度、风力等因素对人的安全造成了巨大的威胁,因此开发一种能够代替人工进行高空作业的机器人系统具有重要的意义。

高空作业机器人需要具备稳定性、高精度、高效率等特点,而这些特点可以通过机器视觉技术来实现。

二、高空作业机器人的机器视觉技术研究进展1. 靶标识别技术高空作业机器人在进行作业时,往往需要对特定靶标进行识别。

通过机器视觉技术,可以实现对靶标的自动识别和定位。

传统的方法常常使用特定颜色或形状的标志物作为靶标,通过图像处理算法进行识别。

近年来,深度学习技术的发展使得机器视觉在靶标识别上取得了突破性进展。

通过训练神经网络,高空作业机器人可以准确、快速地识别靶标,实现自动化的高空定位。

2. 路径规划技术高空作业机器人在进行作业时,需要根据任务要求规划合理的路径。

机器视觉技术可以实现对高空作业环境的感知和建模,从而为机器人提供路线规划的信息。

传统的方法使用激光雷达、摄像头等传感器对环境进行感知,根据建模结果进行路径规划。

近年来,随着视觉SLAM和深度学习技术的发展,高空作业机器人可以通过摄像头获取环境图像,结合传感器数据进行环境建模,从而实现更精确的路径规划。

3. 障碍物检测技术在高空作业环境中,障碍物的检测对于保障机器人和工作人员的安全至关重要。

机器视觉技术可以通过对高空环境图像的处理和分析,检测出潜在的障碍物。

传统的方法使用形态学滤波、边缘检测等算法进行障碍物检测,但存在灵敏度低、误检率高的问题。

深度学习技术的应用可以解决这些问题,通过训练神经网络,机器人可以准确地检测出各种障碍物,避免发生事故。

大工20秋《生产实习(人工智能专业)》大作业及要求

大工20秋《生产实习(人工智能专业)》大作业及要求

大工20秋《生产实习(人工智能专业)》大作业及要求一、背景介绍《生产实(人工智能专业)》是大工20秋学期的一门重要课程,旨在帮助学生将所学知识应用到实际生产中。

本课程将为学生提供一个机会,通过完成大作业来展示他们在人工智能领域的能力和实践经验。

二、大作业要求大作业的主要目的是让学生能够综合运用所学的人工智能知识,解决实际问题并提出创新性的解决方案。

具体要求如下:1. 选择一个与人工智能相关的实际问题或挑战,并提出明确的研究目标和问题陈述。

2. 设计和实施一个合适的人工智能算法和模型来解决所选择的问题。

学生可以使用现有的开源框架或自行开发算法。

但请确保学术诚信,不得抄袭他人成果。

3. 收集和整理相关的数据集,并对数据进行预处理和分析。

确保数据集的合法性和准确性。

4. 设计一个实验方案,验证所提出的算法和模型的有效性和性能。

合理选择评价指标,并进行实验结果的分析和讨论。

5. 撰写一份详细的实报告,并呈现在实践展示会上。

报告需要包含问题陈述、算法设计、数据处理和分析、实验设计和结果分析等内容。

三、评分标准大作业将根据以下标准进行评分:1. 问题的挑战性和创新性:是否选择了一个具有一定难度和挑战性的问题,并提出了创新的解决方案。

2. 算法和模型的设计和实现:算法和模型是否合理且有效地解决了问题,是否使用了合适的数据集和评价指标。

3. 数据处理和分析:是否正确地收集、整理和预处理了数据,并对数据进行了合理的分析。

4. 实验设计和结果分析:实验方案是否严谨,结果是否具有说服力,分析是否深入。

5. 实报告和实践展示:报告是否完整、详细,并能清晰地表达研究过程和结果,展示会演示是否准备充分并能回答问题。

四、提交要求大作业的提交包括以下内容:1. 一份完整的实报告,包含问题陈述、算法设计、数据处理和分析、实验设计和结果分析等内容。

2. 代码实现和相关文档。

3. 选定的实际问题的相关背景介绍和数据集说明。

请在规定时间内将大作业提交到指定的邮箱或平台,并按照要求命名文件和邮件主题。

机器人技术基础大作业格式

机器人技术基础大作业格式

《机器人技术基础》大作业题目:班级:姓名:成绩:一、机器人功能描述(200字)具有供人观赏,娱乐为目的,具有机器人的外部特征,也可以像人,像某种动物等。

同时具有机器人的功能,可以行走或完成动作,有语言能力,会唱歌,有一定的感知能力,可以自主的连续表演事先编好的多套动作。

二、机器人系统的功能构成(框图+文字说明)驱动:电动传动机械结构系统:感受系统:智能传感器基本思路:通过对人类动作的深入了解,分析人类的动作特性,并且与控制对象跳舞机器人的工作原理、动作过程进行比较,从而确定机器人的基本构成并选择合适的机械构件,组装完成机器人的造型。

分析机器人动作的局限性与优势,设定机器人的舞蹈动作,按动作编写程序,完成作品设计。

跳舞机器人的结构完全模仿真人,并实现了双腿分立走路,双臂有很强的自由度,可以完成多种高难度动作。

机器人的双脚为轮式结构,这样不仅可以实现转身和滑步,更突出的优点是在走路时减少了重心的调整,从而减少了机器人的倾斜度,实现了类似真人的走路及跳舞模式。

舞蹈机器人的控制方式是将uC/OS-Ⅱ操作系统嵌入Atmega128处理器中,采用PID算法,对电机、舵机进行实时可靠的控制,进而对机器人主动轮的速度、方向进行有效的控制,使机器人的动作定位更加准确,动作过程更加优美协调。

机器人的双脚为轮式结构,此结构可以很完美地实现转身和滑步。

更突出的优点是在走路时减少了重心的调整,同时也克服了塑料构件机械强度不够高的局限性。

跳舞机器人完全实现了智能化运行,可以用相应软件通过编程实现对舵机的控制,做出各种不同的动作,带给人们另类娱乐。

它可以走进各种不同的场合,如:在学校用于科技教育学习;在家庭用于提供丰富的生活享受;用于社会可以增加更多的新型娱乐项目等。

随着社会对服务业的需求不断扩大,可以代替人的机器人将会有更广阔的前景从近几年世界范围内推出的机器人产品来看,机器人技术正在向智能化、模块化和系统化的方向发展。

其发展趋势主要为:结构的模块化和可重构化;控制技术的的开放化;PC化和网络化;伺服驱动技术的数字化和分散化。

人工智能大作业(一)2024

人工智能大作业(一)2024

人工智能大作业(一)引言:人工智能(Artificial Intelligence,简称AI)是近年来备受关注的热门领域。

随着计算能力的提高和算法的进步,人工智能正在日益渗透到各个行业和领域中。

本文将探讨人工智能大作业的相关内容,着重分析了其中的五个重要方面。

正文:一、机器学习(Machine Learning)1.1 监督学习(Supervised Learning)的基本概念及示例1.2 无监督学习(Unsupervised Learning)的基本概念及应用领域1.3 强化学习(Reinforcement Learning)的基本原理和算法1.4 深度学习(Deep Learning)的基本结构和典型应用1.5 机器学习在人工智能大作业中的实践与挑战二、自然语言处理(Natural Language Processing)2.1 词法分析和语法分析的基本原理和任务2.2 语义分析和语义关系的理论基础和实践应用2.3 文本分类和情感分析的相关技术和方法2.4 机器翻译和语音识别的高级应用和发展趋势2.5 自然语言处理在人工智能大作业中的应用与挑战三、计算机视觉(Computer Vision)3.1 图像处理和特征提取的基本原理和方法3.2 目标检测和图像识别的常用算法和技术3.3 图像分割和场景理解的相关研究和实践3.4 视频分析和行为识别的进展和应用领域3.5 计算机视觉在人工智能大作业中的应用案例和前景展望四、数据挖掘(Data Mining)4.1 数据预处理和数据清洗的基础知识和常用技术4.2 数据集成和数据转换的数据挖掘流程和方法4.3 关联规则和聚类分析的基本概念和算法4.4 分类和预测分析的实践案例和评价指标4.5 数据挖掘在人工智能大作业中的应用与发展趋势五、智能决策系统(Intelligent Decision System)5.1 知识表示和推理的基本方法和知识表示语言5.2 不确定性建模和决策制定的技术和策略5.3 专家系统和推荐系统的典型特征和实现方法5.4 异常检测和智能优化的相关研究和应用5.5 智能决策系统在人工智能大作业中的实践案例和展望总结:人工智能大作业(一)涵盖了机器学习、自然语言处理、计算机视觉、数据挖掘和智能决策系统等五个重要方面。

EFORT工业机器人基于视觉系统的应用介绍

EFORT工业机器人基于视觉系统的应用介绍
每次进 删
! 动 』 ℃ 』 l 2 人动作述 J 尘 J 1 轴
J 2 } l

^ ( : 倒服 动 I 5 7 1 ’ a I I / s f 1 O 0 。 / s 1
1 . 5 7 , - a d /  ̄ ( 9 0 。 1
换 的时 候 r 1 动 蒯整 , 如果批 , } - I ' , 不
2项 目主要设备构成
2 . 1 工业机 器人
安 装 地面 一 l - ,利刚 觉 定化抓 取 州
2 . 1 . 1 机 器人 选
选用 E F O I { I , I k , F  ̄ L 器人 E R 1 6 5 C - C I O( 负载 为 l 6 5 k)
3 4 I 机器人技术与应用 2 0 1 6 ・ 6
位 亿辊 道线 I .人 T 九放好 州 f 泡 ( 用 来放 置空 州 的 和泡 沫 ,对窄 州运 输钉 减 效 果 )和珍 珠棉 ,然 将

立 榆洲 合格 的空 州m 1 托 盘经辊 道 线输 送刮 位 ,人 空托 艟经 辊 道升 降机 构进 行托
相 机、 步进电 机和 线导 轨
I 3斩 l J
I . 6 6 t a d / s ( 9 5 。Al
J 4轴 J 5轴 J 6轴 最 人功 f t - 7  ̄ : … J 1 轴
技术 应 用
J 5 轴回装申,
图2 E R 1 6 5 C — C 1 0机器 人本体
I f
图3 E R 1 6 5 C — C1 0机器 人最 大工 作半 径
2 . 1 . 2 E l { I 6 5 C — C 1 0机 器人性 能 参 数 川{ 1 6 5 1 " 一 C1 0机 人性 能 参数 1

PUMA机器人正逆运动学推导及运动空间解算-机器人技术大作业全

PUMA机器人正逆运动学推导及运动空间解算-机器人技术大作业全

PUMA机器人正逆运动学推导及运动空间解算求解:①建立坐标系;②给出D-H参数表;③推导正、逆运动学;④编程得工作空间1.建立坐标系根据PUMA机器人运动自由度,在各关节处建立坐标系如图2所示。

图1 PUMA560机器人坐标系图2.D-H参数表D-H 参数表可根据坐标系设定而得出,见表1。

(1)i θ为绕1i Z -轴从1i X -到i X 的角度; (2)1i α-为绕i X 轴从1i Z -到i Z 的角度;(3)1i a -为沿i X 轴从1i Z -与i X 交点到i O 的距离; (4)i d 为沿1i Z -轴从1i Z -与i X 交点到1i O -的距离。

表1 PUMA 机器人的杆件参数表3. 正运动学推导由坐标系图及各杆件参数可得个连杆变换矩阵。

111101000001100001c s s c T θθθθ-⎡⎤⎢⎥⎢⎥=⎢⎥-⎢⎥⎣⎦ 22222222122000010001c s c a s c s a T d θθθθθθ-⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦3333333323000100001c s c a s c s a T θθθθθθ-⎡⎤⎢⎥--⎢⎥=⎢⎥⎢⎥⎣⎦ 444434400000100001c s s c T d θθθθ-⎡⎤⎢⎥⎢⎥=⎢⎥-⎢⎥⎣⎦5555450000010001c s s c T θθθθ⎡⎤⎢⎥-⎢⎥=⎢⎥⎢⎥⎣⎦ 66665660000001001c s s c T d θθθθ-⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦根据各连杆变换矩阵相乘,可以得到PUMA560的机械手变换矩阵,其矩阵为关节变量的函数。

()()()()()()00123456112233445566T T T T T T T θθθθθθ=将上述变换矩阵逐个依次相乘可以得到06T 。

601x x x x yy y y z z z z n o a p n o a p T n o a p ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦()()()()()()()()6514142315236411234651442311523614231446236235452365141423152364112346514423115236x y z x y n c c s s c c c c s s s c s c c s n c c c s c c s s s s s c c c s s n s s s c c s c c s o s c s s c c c c s s c c s c c s o s c c s c c s s s s c =--+-+⎡⎤⎣⎦=+-+-⎡⎤⎣⎦=-+=-+-+⎡⎤⎣⎦=-+-+⎡⎤⎣⎦()()()()()()()()142314623545236423152351414235123514423152345231223232165141423152314231223231265144231z x y z x y c c c s s o s c s c c s c s s a c c s s s s c c c a c s s s c s c c s a a c c s s p c a c a c d s d s s s c c c c c s c d s p s a c a c c d d s c s c c s c -=++=--=++=-=-----+⎡⎤⎣⎦=-++++()512341232342232365234523z s s d s s p c d a s a s d c c c s s ⎫⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎬⎪⎪⎪⎪⎪⎪⎪⎪+⎡⎤⎣⎦⎪=-++-⎪⎭上式中()()23232323cos ,sin c s θθθθ=+=+。

机器人视觉系统设计作业指导书

机器人视觉系统设计作业指导书

机器人视觉系统设计作业指导书一、引言机器人视觉系统是指通过摄像头或其他图像采集设备获取环境中的影像信息,并通过图像处理和分析算法,从中提取出实时的、有用的图像特征用于机器人的感知与决策。

本作业指导书旨在帮助学生了解机器人视觉系统的设计原理和方法,并指导他们完成相关的作业任务。

二、背景知识在开始设计机器人视觉系统之前,学生需要对以下背景知识有所了解:1. 机器人的感知和定位技术;2. 图像采集设备的原理和类型;3. 图像处理与分析的基本概念;4. 常见的计算机视觉算法和库。

三、作业任务1. 确定项目需求:学生需要确定机器人视觉系统的具体应用场景和功能需求。

例如,机器人导航、目标检测或人脸识别等。

在此基础上,设计系统的整体框架。

2. 图像采集与传输:学生需要选择合适的图像采集设备,并了解其工作原理和技术参数。

在此基础上,完成图像采集和传输的模块设计,并实现图像数据的传递和接收。

3. 图像处理与分析:学生需要学习并运用适当的图像处理算法,如边缘检测、特征点提取等。

根据项目需求,设计并实现相应的图像处理和分析模块。

4. 目标检测与跟踪:学生需要了解目标检测与跟踪的基本原理和方法。

选择适当的目标检测算法,并根据项目需求完成目标检测和跟踪模块的设计与实现。

5. 系统集成与测试:将以上所有模块进行集成,并测试系统的功能和性能。

根据测试结果,优化系统设计,并解决可能出现的问题。

6. 文档撰写:学生需要按照规定的格式,编写系统设计报告。

报告内容包括项目需求、系统设计、算法原理、实验结果和总结等。

四、作业要求1. 学生需要独立完成作业,并在规定时间内提交设计报告和相关源代码。

2. 学生需要使用合适的编程语言和开发工具,如Python、OpenCV 等。

3. 学生需要保证设计的系统能够良好运行,并在报告中说明系统的功能和性能。

4. 报告中需要包含详细的算法原理和实验结果,以及对系统存在问题的分析和改进方法。

五、评分标准根据学生的作业报告和代码,评分标准如下:1. 报告完整度:包括项目需求描述、系统设计、算法原理、实验结果等。

机器人视觉识别实习报告

机器人视觉识别实习报告

实习报告实习岗位:机器人视觉识别工程师实习单位:XX科技有限公司实习时间:2021年6月1日至2021年8月31日一、实习背景及目的随着科技的飞速发展,人工智能和机器人技术得到了广泛的关注和应用。

作为人工智能的重要组成部分,机器视觉识别技术在工业生产、物流运输、医疗保健等领域发挥着重要作用。

本次实习旨在通过在XX科技有限公司的机器人视觉识别岗位实习,了解并掌握机器视觉识别技术的原理和应用,提高自己的实际工作能力和专业技能。

二、实习内容及收获1. 实习内容(1)参与公司机器人视觉识别项目的开发和实施,包括图像采集、处理和分析等环节。

(2)学习和应用各种机器视觉算法,如特征提取、目标识别和跟踪等。

(3)与团队成员合作,进行机器视觉系统的调试和优化,提高系统的准确性和稳定性。

(4)参与项目讨论和技术交流,分享经验和心得,提升自身技术水平。

2. 实习收获(1)掌握了机器视觉识别技术的基本原理和常用算法,如YOLO、SSD、Faster R-CNN等。

(2)学会了使用OpenCV、TensorFlow、PyTorch等开源工具和框架进行机器视觉项目的开发和实施。

(3)通过实际项目的操作,提高了自己的问题解决能力和团队合作能力。

(4)了解了机器人视觉识别技术在工业生产、物流运输等领域的应用和挑战。

三、实习总结与展望通过为期三个月的实习,我深刻体会到了机器视觉识别技术在实际应用中的重要性和挑战。

在实习过程中,我学到了很多专业知识和技能,也锻炼了自己的团队合作和沟通能力。

同时,我也认识到自己在某些方面还存在不足,需要继续努力学习和提高。

展望未来,我相信机器人视觉识别技术将在人工智能领域发挥更大的作用。

作为一名机器人视觉识别工程师,我将不断学习和探索新的技术,为我国机器人视觉识别技术的发展贡献自己的力量。

同时,我也希望能够有更多的机会和平台,与同行们共同交流和进步,共同推动人工智能技术的发展。

最后,感谢XX科技有限公司给我提供的实习机会和指导,感谢实习期间同事们的帮助和支持。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

机器人视觉论文论文题目:基于opencv的手势识别院系:信息科学与工程学院专业:信号与信息处理姓名:孙竟豪学号:21160211123摘要文中介绍了一种易于实现的快速实时手势识别算法。

研究借助计算机视觉库OpenCV和微软Visual Studio 2008 搭建开发平台,通过视频方式实时提取人的手势信息,进而经二值化、膨胀腐蚀、轮廓提取、区域分割等图像处理流程甄别出当前手势中张开的手指,识别手势特征,提取出人手所包含的特定信息,并最终将手势信息作为控制仪器设备的操作指令,控制相关设备仪器。

0、引言随着现代科技的高速发展及生活方式的转变,人们越发追求生活、工作中的智能化,希望享有简便、高效、人性化的智能操作控制方式。

而伴随计算机的微型化,人机交互需求越来越高,人机友好交互也日益成为研发的热点。

目前,人们已不仅仅满足按键式的操作控制,其目光已转向利用人体动作、表情变化等更加方便、友好、直观地应用智能化交互控制体系方面。

近年来,国内外科学家在手势识别领域有了突破性进展。

1993 年B.Thamas等人最先提出借助数据手套或在人手粘贴特殊颜色的辅助标记来进行手势动作的识别,由此开启了人们对手势识别领域的探索。

随后,手势识别研究成果和各种方式的识别方法也纷然出现。

从基于方向直方图的手势识别到复杂背景手势目标的捕获与识别,再到基于立体视觉的自然手势识别,每次探索都是手势识别领域内的重大突破。

1 手势识别流程及关键技术本文将介绍一种基于 OpenCV 的实时手势识别算法,该算法是在现有手势识别技术基础上通过解决手心追踪定位问题来实现手势识别的实时性和高效性。

基于 OpenCV 的手势识别流程如图 1 所示。

首先通过视频流采集实时手势图像,而后进行包括图像增强、图像锐化在内的图像预处理,目的是提高图像清晰度并明晰轮廓边缘。

根据肤色在 YCrCb 色彩空间中的自适应阈值对图像进行二值化处理,提取图像中所有的肤色以及类肤色像素点,而后经过膨胀、腐蚀、图像平滑处理后,祛除小块的类肤色区域干扰,得到若干块面积较大的肤色区域; 此时根据各个肤色区域的轮廓特征进行甄选,获取目标手势区域,而后根据目标区域的特征进行识别,确定当前手势,获取手势信息。

图 1 基于OpenCV的手势识别流程此识别过程有三个关键流程: 肤色分割、区域分割和手势识别。

1.1肤色分割完成图像的预处理后,将其色彩空间由RGB 转化到YCrCb。

“Y” 代表亮度( Luminance) ,也就是灰阶值; 而“Cr” 和“Cb” 分别表示色调与饱和度,二者统一起来共同代表色度( Chrominance) 。

YCrCb转换到RGB 的公式如下 ( RGB 取值范围均为0 ~255) :Y = 0.299R + 0.587G + 0.114BCr = -0.147R -0.289G + 0.436BCb= 0.615R -0.515G -0.100B本文采用YCrCb色彩空间的原因是其亮度信号Y 和色度信号Cr、Cb是分离的。

把RGB 转为YCrCb空间后,因该空间受亮度影响较小,其亮度Y的影响则可忽略,由此将三维空间模型便可转换为二维空间模型,肤色将会产生较好的类聚。

通常,当Cr 和Cb满足: 133≤Cr≤173,77≤Cb≤127 时,即可认为是肤色区域; 而此时在事先设定的自调节阈值基础上,通过对当前时刻的Cr 和Cb阈值进行经验性调整,便可更加精确地确定肤色区域。

之后,若将肤色区域像素点的像素分量调为255,非肤色区域像素点的像素分量调为0,即可得到肤色区域的二值化图像。

其原视频图像与二值化图像对比结果示例如图 2 所示。

图 2 图像二值化前后对比1.2 区域分割区域分割的主要目的是为剔除与手势无关的脸部、另一只无效手部、以及其它类肤色背景的干扰,进而精确定位有效的目标手势区域。

使用cvFindContours 函数对已获取的二值化图像进行轮廓查找,可得到二值化图像中的轮廓总数,继而通过统计每一个轮廓区域占肤色区域总面积的百分比,并判断其百分比的大小( 如是否小于10% ) ,来认定其是否为干扰区域。

剔除所有干扰区域后,即可得到若干块较大面积的肤色区域。

而后为了在此若干块肤色区域中确定目标手势区域,根据仿生学原理,本研究尝试性地提出“周积比” 的概念并以此作为有效手势区域的判别标准。

“周积比” 即某孤立区域的周长与面积的比值,生态学特征理念之中,生物表面积与体重的比值越大,说明延展度越大。

“周积比”概念正是以此为借鉴,来用以确定张开手指的手势区域。

经实际测试,在肤色区域块正常识别的情况下,此种方法可以精确地将伸出手指的手势区域与脸部区域区分开来,从而有效确定出手势区域。

其区域分割对比结果示例如图 3 所示。

图 3 区域分割的结果对比1.3 手势识别手势识别是整体设计中最关键的一环,手势识别的方法有很多种,不同的识别方法所建立的模型不尽相同。

相对于常见且较为耗时的神经网络法以及传统的模板匹配法,本文将采用“手心定位法”。

“手心定位法” 是将定位目标设定为手势的手掌中心,同时由于正常人的五指指根到手掌中心之间的距离基本相等,因而可以手掌中心为圆心,以大于指根与手心间距的半径做圆,使圆周曲线有效地交割于所有手指,由此进行张开手指个数的识别。

继而根据手指交割的相对角度进一步确定是哪根手指张开,由此判定相应的手势信息。

此种方法最大的优点是适用性强,可准确识别出多种手势信息。

2 手势识别算法的探究本文为实现手势识别的高效与实时性,特在具体识别算法中加以深入探究。

本研究中手势识别所采用的“手心定位法” 关键在于如何高效地确定手心位置。

手心定位的主要思路为: 确定手掌最宽位置及手掌上下沿位置,并分别确定此三条平行线段的中点; 由于掌心处于三个中点所构成的圆弧上,故可在此弧线上等分若干点,以此作为备选手心点; 为确定手心位置,将对各备选手心点做手掌最大内接圆,并选取半径最大者对应的备选点定为手心位置。

如若旨在精确定位手心,将需在中点圆弧线上反复优化迭代以选取相应的手心点。

而本研究的主要目的是为确定张开的手指个数及其位置,故无需极其精确定位手心,因而在不影响精度的前提下,以 10等分划分来确定备选手心点。

2.1 算法流程本研究算法流程如图 4 所示。

图 4 手心定位算法流程2.2 算法实现方法本算法具体实现方法如下。

①确定手掌最宽及上下沿位置对手势所在区域进行初次扫描,确定区域之中最宽一行记为 CD,并记录最宽像素个数 Lmax、所在行数 iCD,而后再一次扫描,找出手掌上边沿 AB 和手掌下边沿 EF。

其定位示意图如图 5 所示。

在此,本文对手掌上下边沿的界定方法如下。

手掌上沿: 手势区域中首次满足行数不大于 iCD且连续肤色像素点个数大于 2* Lmax /3 的像素行,记为 AB,行数为 iAB。

手掌下沿: 手势区域中满足行数不小于 iCD且连续肤色像素点个数大于 Lmax /2 的像素行中肤色像素点变化率最大的一行,记为 EF,行数为 iEF。

其中,系数 2 /3、 1 /2 分别为正常人手五指张开时上沿与最宽部位、下沿与最宽部位的近似比值。

图 5 手心定位方法示意图②中点圆弧曲线的确定确定AB、CD、EF 后,分别取其中点,记为M、K、N,其坐标依次为: M( XM,YM ) 、K( XK,YK ) 、N( XN,YN) 。

根据三角函数方法可求出经由三个中点的圆弧曲线中心及半径。

即:首先求得直线MK 和NK 的直线方程:进而求得直线MK、NK 的中垂线方程L1、L2:(2)随后求得L1 与L2 的交点O,此交点即为由M、K、N 三点确定的唯一圆O( XO,YO ) 的圆心,其圆心坐标及半径R 的表达式分别如下:③备选点及最大内接圆的确定在圆O 的圆弧M ———N中均匀选取若干备选手心点(本文在此选取十个备选点) 。

设其中某备选点为P,而后分别计算P 点到手掌的上、下、左、右四个边缘的距离Lp1、Lp2、Lp3、Lp4,并取其中最小值Lp =MIN( Lp1,Lp2,Lp3,Lp4) 作为P 点在有效手势区域内的最大内接圆半径的近似值。

通过对十个备选点分别计算近似最大内接圆的半径,而后取其最大者Rmax作为所需的手掌内最大内接圆半径,并令对应的圆心为Q。

Q 点即为所需确定的手心位置近似点。

④手指交割圆的确定以近似手心位置的Q 点为圆心,以 2 倍Rmax为半径做圆,并通过逐一检测此圆上像素点的突变情况,来判定是否交割于手指,由此得出具体伸出的那几根手指,进而获得该手势的实际含义。

图 6 为基于此算法的手心定位示例。

图 6 手心定位结果对比参考文献:[1]翁汉良,战荫伟.基于视觉的多特征手势识别[J].计算机工程与科学,2012,34( 2) : 123 -127.[2]曹雏清,李瑞峰,赵立军.基于深度图像技术的手势识别方法[J].计算机工程,2012,38( 8) : 16 -21.[3]姜丽,许杰,等.基于YCbCr空间的自适应肤色分割方法[J].科技传播,2010( 14) : 235 -236.[4]张晓宇,彭四伟.基于OpenCV的运动目标识别算法与实现[J].现代电子技术,2009,22: 99 -101.[5]韩旭,于小亿.OpenCV在体感遥控中的应用[J].黑龙江工程学院学报,2012,26( 1) : 74 -77.[6]Zhou H,Ruan Q Q.A Real-Time Gesture Recognition Algorithm on Video Serveillance[C].ICSP2006.Beijing: IEEE,2006,II:1754 -1757.[7]姜丽,许杰,等.基于YCrCb空间的自适应肤色分割方法[J].科技传播,2010( 14) : 235 -236.。

相关文档
最新文档