人机交互论文—视线跟踪技术
眼动技术在人机交互中的应用

眼动技术在人机交互中的应用随着数字化时代的到来,人机交互成为了人们日常生活中不可缺少的一部分。
而眼动技术,则是其中一种逐渐崭露头角,并受到越来越多关注的交互方式。
眼动技术是指通过检测人眼的运动轨迹和瞳孔大小等信息,从而获取用户的意图和行为的一种技术手段。
它不仅可以帮助人们更加便捷地进行诸如浏览网页、交互游戏、操作电脑等常规活动,同时也正在逐渐应用于更广泛的领域,如医疗、安防等,成为人工智能时代的重要组成部分。
在人机交互中,眼动技术可以具体有哪些应用呢?一、更高效的信息交流对于大多数人来说,通过眼睛传达信息是最基本的沟通方式。
而眼动技术的应用,可以使人们以比传统方式更快、更直接的方式与计算机系统进行交流,从而提高了信息传递的效率。
举个例子,眼动技术可以帮助聋哑人士与外界进行直接的交流,展开更为广阔的社交网络。
此外,也可以通过眼动技术对患有疾病的人群,如帕金森病患者、脑瘫患者等进行有效的交流,使得这些人群更加便利地与外界沟通和获取信息。
二、交互游戏在传统的游戏中,人们要通过操纵鼠标、键盘等控制器来掌控游戏进程。
而通过眼动技术,人们可以更为深入地探索游戏的世界,将眼睛视为游戏中最佳的交互设备。
例如,眼动技术可以应用于游戏中人物的头部移动,而不是通过键盘或鼠标控制人物行动;还可以在游戏中通过视线控制更加真实的交互场景和物品。
三、电脑输入操作和控制眼动技术还可以在电脑的输入操作和控制方面有很多应用。
我们可以通过眼动技术来实现目视输入,对于那些身体有残疾或者缺失的人,这种方式可以很好地代替对键盘的操作。
此外,对于与计算机长时间交互(如研发人员、文职人员等)的人群来说,使用眼动技术可以帮助他们降低肌肉劳损,减轻眼睛疲劳,提高工作效率。
四、智能家居和健康医疗眼动技术在智能家居和健康医疗方面的应用也具有广泛的前景。
通过人的视线来控制大型电器设备(如:家庭影院等)和其他智能家居设备,可增加对孙辈、老者和身体残障人士的亲情关爱。
《2024年视觉跟踪技术综述》范文

《视觉跟踪技术综述》篇一一、引言视觉跟踪技术,即利用图像处理与计算机视觉等手段对运动目标进行定位与追踪的技术,近年来在人工智能、智能监控、无人驾驶等领域中得到了广泛的应用。
本文旨在全面概述视觉跟踪技术的原理、方法及应用,为相关研究与应用提供参考。
二、视觉跟踪技术原理视觉跟踪技术主要基于图像处理与计算机视觉原理,通过实时捕捉、分析目标对象的图像信息,实现对目标的定位与追踪。
其核心在于特征提取与匹配,通过提取目标对象的特征信息,在连续的图像帧中寻找相似的特征,从而实现对目标的跟踪。
三、视觉跟踪技术方法1. 基于特征的方法:该方法主要通过提取目标的特征信息进行跟踪,如颜色、形状、纹理等。
其优点是对于复杂背景下的目标跟踪具有较好的鲁棒性,但需要较高的计算资源。
2. 基于模型的方法:该方法通过建立目标的模型进行跟踪,如利用三维模型进行目标匹配。
其优点是能够处理目标的部分遮挡问题,但需要较为精确的模型信息。
3. 基于学习的方法:该方法利用机器学习、深度学习等技术对目标进行训练与学习,实现目标的自动跟踪。
其优点是能够适应复杂的场景与目标变化,但需要大量的训练数据与计算资源。
四、视觉跟踪技术应用1. 智能监控:视觉跟踪技术可应用于智能监控系统中,实现对目标的实时追踪与监控,提高监控系统的智能化水平。
2. 无人驾驶:视觉跟踪技术可应用于无人驾驶系统中,实现对车辆周围环境的感知与判断,保障行车安全。
3. 机器人导航:视觉跟踪技术可应用于机器人导航中,实现对目标的精准定位与追踪,提高机器人的自主性与智能化水平。
4. 人机交互:视觉跟踪技术还可应用于人机交互领域,如虚拟现实、增强现实等,提高人机交互的自然性与便捷性。
五、视觉跟踪技术挑战与展望尽管视觉跟踪技术在许多领域取得了显著的成果,但仍面临诸多挑战。
如目标遮挡、光照变化、背景干扰等问题对视觉跟踪的准确性提出了更高的要求。
此外,计算资源的限制、实时性要求等也是视觉跟踪技术需要解决的问题。
人机交互:眼动追踪和手势识别的比较

人机交互:眼动追踪和手势识别的比较人机交互技术是指通过人与计算机之间进行信息交互的技术,其本质是让计算机接受和理解人类语言,人类行为的交互方式,以实现更加自然、高效、人性化的人机交互。
眼动追踪和手势识别是人机交互技术中的两种重要手段,本文将对两种技术进行比较与分析。
一、眼动追踪技术眼动追踪技术基于人们观看物体时视线的变化特点进行设计。
通过将一个专用的摄像机放在屏幕前方,可以跟踪用户眼睛的运动轨迹,从而实现用户对计算机的控制。
优点:1.非接触式操作:使用者不需要接触任何物理设备,仅通过眼动即可实现交互。
2.精准度高:眼动追踪技术可以精确识别使用者目光所在的位置和移动方向,因此可以实现精细的操作。
3.便捷性:眼动追踪技术可以在任何环境下运行,并且可以实现无需键盘和鼠标的交互模式,从而提高了操作的便捷性和效率。
缺点:1.适应性差:由于该技术需要跟踪使用者的眼睛运动轨迹,因此它对于一些存在视觉障碍、眼球运动不同的人可能产生偏差和误判。
2.技术实现复杂:眼动追踪技术需要使用比较高精度的设备进行跟踪,并需要针对使用者的眼睛背景、分辨率、识别算法等进行适应性调整,技术实现较为复杂。
二、手势识别技术手势识别技术是一种利用摄像机和深度学习算法实现的人机交互方式。
它可以通过对使用者做出的手势、头部姿势等进行识别,从而实现操作计算机的目的。
优点:1.触控最少:该技术只需要用户通过做出相应的手势然后被摄像机捕捉即可完成交互,无需接触任何物理设备。
2.互动性强:该技术可以实现较为自然的人机交互方式,让使用者更好地沉浸于使用中。
3.实现多方位:相比于眼动追踪技术,手势识别技术可以实现更多维度的交互,从而更好地满足使用者的需求。
缺点:1.灵敏度降低:在多人共用同一摄像头的情况下,由于光线、角度、距离等因素的影响,手势识别系统可能会出现灵敏度降低的问题。
2.用户习惯不同:对于不同的用户来说,手势可能有着不同的识别方式,因此需要训练使用者按照一定的方式执行特定的操作。
!基于机器视觉的人眼跟踪系统的设计和实现

西安电子科技大学硕士学位论文基于机器视觉的人眼跟踪系统的设计和实现姓名:钟笑冬申请学位级别:硕士专业:环境科学指导教师:牛中奇20100101第一章绪论第一章绪论随着人们对人机交互技术研究的不断深入,多通道的人机交互备受关注…。
人机界面更强调“以人为中心的原则",使用户能运用各种感觉通道,以最自然的方式和计算机交互。
现有的人机交互输入绝大多数通过鼠标、键盘等实现,这些输入需要视觉或听觉接收输出信息相配合。
此外,语音识别输入技术在逐渐成熟,而对身体姿势的理解、触觉的输入输出等技术在智能虚拟现实环境中得到了较多的研究。
人们在观察外部世界时,眼睛总是与其它人体活动自然协调地工作,并且眼动所需的认知负荷很低,人眼的注视包含着当前的任务状况以及人的内部状态等信息,因此人眼注视是一种非常好的,能使人机对话变得简便、自然的候选输入通道。
目前对于人眼视线的人机交互的研究还处于起步阶段,虽然有多种方法可以对人眼视线进行检测,但是由于人眼在观察时移动的速度较快,范围较小,大多数的检测方法精确度不够,并且对人眼的影响较大。
目前研究的人眼跟踪系统存在两个方面的问题:一方面对人的影响较大,如头盔式和眼电式人眼跟踪系统;另一方面,硬件成本较高。
本文尝试性的将机器视觉技术与虚拟仪器相结合,利用市场上常见的摄像头、个人电脑及虚拟仪器软件LabVIEW、VisionAssistant和IMAQVision搭建简单、有效的人眼跟踪的人机交互平台。
在通过机器视觉对人眼眼球进行图像检测识别的基础上,晟终在LabVIEW平台上完成鼠标移动控制的人机交互。
1.1研究的目的与意义本研究将机器视觉技术和虚拟仪器应用到人眼跟踪上,利用机器视觉对人眼进行图像采集和处理,达到人眼跟踪的目的,最终达到人眼眼动对电脑鼠标进行移动操作。
该系统基于机器视觉技术、美国NI公司的软件开发平台LabVIEW8.5和图像处理软件包IMAQVISION等软件及普通摄像头和个人电脑进行系统的开发。
人机交互项目论文1—实时的手在胸前的查找方法和追踪定位doc

人机交互项目论文1—实时的手在胸前的查找方法和追踪定位doc余靖摘要: 基于自适应聚类算法,依照实际目标个数聚类。
达到一边聚类,一边排除对噪音点和杂点的目的。
关键词: KMEANS聚类法; 分类; 噪声点的去除; 二次聚类; 阈值半径引言深度图像的目标的特点信息不明显,色彩和躯体部分混成在一起,没有明显的界限。
通常的目标分割方法基于KMEANS聚类方法和Dbscan扩展形式,需要事先人为地给定一些参数如聚类个数、初始聚类中心等,而在没有先验知识的情形下,人为确定这些参数既是专门主观的,也是十分困难的。
同时由于样本数据的随机性,如何能精确的描述人体所需要的数据样本,并去掉阻碍观测的对聚类奉献较小的大部分边缘化点。
并能保证运算量可不能随样本空间维数的增加呈指数增长,即掉入存在“维数灾难”问题。
本文基于SOMA的思想,结合KMEANS算法以合适的阈值距离来聚类数据对目标的状态进行动态区分建模,由此,在不需要明白目标聚类个数的基础上,依照一定的规则完成目标要紧特点提取和相似类型合并,并排除边缘杂点。
与一般查找算法相比,仅选用有效的样本数据即可实现实时的对人体手臂在胸前时进行可靠定于识别,运算量专门小,有专门好实时性。
1 KMEANS算法的简介那个算法2改良型KMEANS算法模型的建立2.1 系统构架流程模型页 1本系统的流程为:一开始人体深度图像,通过得到孤立点集合,平均深度阈值,再次归类特点样本数据点集合等流程。
进入聚类流程。
先利用区域划分來为各个输入样本像素点归类所属区域,并通过适当的阈值条件来消去边缘杂点,再通过判别所属区域是否邻接來增减特点点,以符合输入样本所需的骨架特点点。
如此手臂在胸前是的,手臂骨架即形成。
然而,现在所形成的骨架仅仅是无分支的骨架,为了要完整表达出图像的形狀,必需将这些骨架点利用线段來连接。
最终的手臂骨架线信息形成。
2.1 预处理由于图像数据量大,同时由于样本数据的随机性,如何能精确的描述人体所需要的数据样本,并去掉阻碍观测的对聚类奉献较小的大部分边缘化点。
面向多设备交互的眼动跟踪方法

面向多设备交互的眼动跟踪方法面向多设备交互的眼动跟踪方法随着移动设备和智能家居的快速普及,人们对于多设备交互的需求越来越高。
在这种场景下,人们需要在不同设备之间自如地切换和交互,这需要一种高效可靠的交互手段。
眼动跟踪技术作为一种生物特征识别技术,可以通过跟踪用户的眼动信息,实现对于用户的交互识别。
本文将介绍一种面向多设备交互的眼动跟踪方法。
一、传统眼动跟踪方法的不足传统的眼动跟踪方法主要采用外置式眼动仪,即通过将眼动仪设备放置在用户眼前来进行眼动跟踪。
这种方法能够有效地跟踪用户的眼动信息,但由于设备需要放置在用户眼前,使得用户的交互受到了很大的限制。
这种形式的交互方式不但没有便携性,也对用户造成了不必要的负担。
另一方面,外置式眼动仪设备的昂贵价格也使得其难以被广泛使用。
二、基于深度学习的眼动跟踪方法近年来,随着深度学习技术的快速发展,以及移动设备计算能力的提升,基于深度学习的眼动跟踪方法逐渐成为了一种新的研究方向。
该方法基于深度神经网络模型,通过对训练数据的学习,得到一个高效准确的眼动跟踪模型。
该方法的主要特点包括以下几个方面:1. 无需外置式眼动仪:该方法可以通过普通的摄像头来捕捉用户的眼动信息,无需额外的外置式眼动仪设备。
这使得该方法具有了更好的便携性和易用性。
2. 高效准确:该方法基于深度学习技术,通过对训练数据的学习,得到了一个有效准确的眼动跟踪模型。
该模型不但可以保证高质量、鲁棒性良好的跟踪效果,而且可以实现实时跟踪,以保障用户的交互体验。
3. 多设备适应:该方法可以适应于多种设备,包括手机、平板、电脑等各种设备。
这使得该方法可以成为一种面向多设备交互的通用手段,满足了用户在不同场景下的交互需求。
4. 个性化适配:该方法可以通过不同用户的训练数据进行个性化适配,以进一步提高跟踪效果。
这对于一些需要高度个性化定制服务的场景非常有意义。
三、基于深度学习的眼动跟踪方法的应用场景基于深度学习的眼动跟踪方法可适用于多种应用场景,例如:1. 移动设备上的交互:该方法可以作为一种移动设备交互的手段,用户可以通过手机、平板等移动设备来完成各种任务,包括浏览网页、打电话、发信息等。
基于3D人眼模型的视线跟踪技术综述

第29卷 第9期 计算机辅助设计与图形学学报Vol.29 No.9 2017年9月Journal of Computer-Aided Design & Computer GraphicsSep. 2017收稿日期: 2016-09-01; 修回日期: 2017-01-09. 基金项目: 国家自然科学基金(61403342, 61103140, 11302195); 湖北省水电工程智能视觉监测重点实验室开放基金(2014KLA09). 周小龙(1986—), 男, 博士, 副教授, 硕士生导师, CCF 会员, 主要研究方向为视线跟踪、目标跟踪、三维重建; 汤帆扬(1992—), 女, 硕士研究生, 主要研究方向为单目标跟踪、视线跟踪、人脸对齐; 管 秋(1972—), 女, 博士, 教授, 博士生导师, 论文通讯作者, 主要研究方向为计算机视觉、医学图像处理; 华 敏(1993—), 女, 硕士研究生, 主要研究方向为机器学习.基于3D 人眼模型的视线跟踪技术综述周小龙1,2), 汤帆扬1), 管 秋1)* , 华 敏1)1)(浙江工业大学计算机科学与技术学院 杭州 310023)2) (湖北省水电工程智能视觉监测重点实验室(三峡大学) 宜昌 443002) (gq@)摘 要: 针对基于3D 人眼模型的视线跟踪技术进行了综述. 首先对视线跟踪技术及其常见应用进行了概述; 然后简单阐述了现有视线跟踪方法及其分类; 重点分析基于3D 人眼模型的视线跟踪方法, 并根据硬件配置的不同, 将基于3D 人眼模型的方法分为单摄像头无光源、单摄像头单光源、单摄像头多光源、多摄像头多红外光源及基于RGB-D 摄像机5类进行概述, 对比分析了现有的基于3D 人眼模型的视线跟踪技术; 最后对基于3D 人眼模型的视线跟踪技术的难点及发展趋势进行了简单的分析与总结.关键词:视线跟踪; 3D 人眼模型; 头部姿态估计; RGB-D 摄像机 中图法分类号:TP391.41A Survey of 3D Eye Model Based Gaze TrackingZhou Xiaolong 1,2), Tang Fanyang 1), Guan Qiu 1)*, and Hua Min 1)1) (College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023)2)(Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University, Yichang 443002)Abstract: In this paper, recent development on 3D eye model based gaze tracking technology is reviewed. Firstly, the basic conception of gaze tracking and its common applications are introduced. Secondly, related work and general classification are briefly reviewed. Thirdly, gaze tracking methods based on 3D eye model are reviewed and discussed in detail. Specifically, five kinds of hardware configuration based methods are classified, which include single camera with no light based method, single camera with single light based me-thod, single camera with multi-light based method, multi-camera with multi-light based method and RGB-D camera based method. Moreover, leading methods of 3D eye model based gaze tracking in the state-of-the-art are compared and discussed in terms of the hardware configuration, tracking accuracy as well as the head movement tolerance. Finally, the challenges and potential development of 3D eye model based gaze tracking technology are briefly summarized.Key words: gaze tracking; 3D eye model; head pose estimation; RGB-D camera 近年来, 随着计算机视觉技术如火如荼的发展, 其应用已广泛遍布于军事、制造业、医疗、交通安全等方方面面. 伴随着研究的深入, 视线跟踪技术也日益成为倍受关注的研究课题, 并被广泛应用于人机交互、疲劳驾驶检测、心理分析、虚拟现实等领域. 眼睛是人体一个极为重要的器官, 通过1580 计算机辅助设计与图形学学报第29卷人眼可以获取外界的图像文字信息和传达情感; 同时, 眼睛也包含了丰富的内容, 通过眼睛可以了解到一个人的很多信息, 如情绪、身份等. 视线跟踪是一种追踪人眼视觉方向、眼视觉注意力的技术, 用于司机疲劳驾驶检测、注意力分析、身份识别、视线操控设备等诸多应用中, 具有极大的研究价值.1 视线跟踪技术的应用随着计算机视觉技术的飞速发展, 视线跟踪技术已被广泛应用于诸多领域. 最早是关于眼动的研究, 集中在神经学、心理学和行为学等领域. 后来, 随着机器学习以及图像处理技术的发展, 眼动的研究被带入视觉信息领域, 通过结合机器学习、图像处理技术形成了现在的视线跟踪技术, 成为当前一大研究热点. 下面简单介绍视觉跟踪技术常用的几个应用.1.1人机交互计算机的普及让人们能够通过计算机来提高工作效率, 通过网络来进行知识共享及搜索. 人机交互作为人与计算机的交互方式, 已成为计算机研究领域一个非常重要的内容. 然而, 对于一些弱势群体, 如残障人士, 由于受到行动、语言能力的困扰, 被隔绝于计算机和网络之外. 视线跟踪技术作为一种使用时只需要眼睛的技术, 为行动障碍人群提供了一种全新的有效地与计算机交互的方式. 在这样的人机交互中, 视线跟踪的作用类似于鼠标的选择功能, 而借助视线注视某点来实现点击操作, 即利用视线落点选择或点击目标, 无疑是一种比较便捷的方式.视线跟踪技术在人机交互中最典型的一种应用就是利用视线跟踪进行文字输入[1], 视线输入法极大地方便了老年人和残疾人在使用计算机时进行数据输入. 在虚拟环境中, 利用视线进行操控也可使交互更加舒适真实. 同时, 视线触发的控制比受控的鼠标点击操作更高效, 尤其在目标较大时优势更加明显. 然而视线控制的稳定性和精确度较难保证, 也是基于视线跟踪技术的人机交互应用中的一大难点及挑战.1.2疲劳驾驶检测交通安全关系到人的生命财产安全, 一直都是各国政府十分重视的问题之一. 随着道路交通事业的飞速发展, 我国的汽车保有量开始呈现迅猛增长的趋势, 随之而来的交通安全问题也日趋严重. 国外很早就开始研究通过分析眼动来判断驾驶人的疲劳状态[2], 目前车载视觉辅助技术已成为一大研究热点, 特别是基于视线跟踪的疲劳驾驶检测系统的研发.疲劳与清醒状态的驾驶员的区别主要有头部前倾、眼睑眨动或是闭合、视线涣散等, 故头部倾斜度、眨眼频率、方向盘操控力度等都可作为判断是否疲劳驾驶的依据. 欧洲e-Safety项目开发的AWAKE驾驶诊断系统[3]利用方向盘操纵力传感器以及视觉传感器来判断驾驶员的驾驶状态. 该系统通过头部运动、瞳孔直径变化以及眨眼频率来判断驾驶员是否处于疲劳驾驶. 当人清醒的时候瞳孔直径最大, 而疲劳时直径会变小, 昏睡时最小, 故瞳孔的直径大小可以成为判断驾驶疲劳的有效依据之一.1.3心理学与生理学检测视线跟踪技术早期应用于心理和生理学检测中, 19世纪出现了通过眼动分析人的心理活动的研究, 现广泛地应用于视觉神经科学、视觉搜索机制、阅读心理学、犯罪心理学等领域[4]. 人们通过心理学和神经科学研究视线跟踪技术, 反过来视线跟踪技术又对心理学和神经科学具有巨大的应用价值.眼动轨迹、眼跳频率、瞳孔大小等都可以作为分析人的心理的依据. 在阅读过程中, 可以通过人眼注视的次数、频率和持续时间实时记录眼球运动数据, 判断人阅读的真实过程和效果.2 视线跟踪技术视线跟踪技术是利用机械、电子、光学等各种检测手段获取受试者当前“视觉注意”的方向的技术[4]. 如图1所示, 眼球非常接近于一个球体, 半径约12~13mm, 虹膜和巩膜的交界处被称为异色边缘, 瞳孔位于虹膜中间, 它可以通过扩大和收缩控制进入人眼的光线量, 角膜是眼睛表面上一层透明的保护膜, 位于虹膜前约7.8mm. 晶状体通过变形改变眼睛的焦距. 在视网膜上有一个特殊的小区域叫小凹, 上面集中了绝大多数对颜色敏感的细胞, 人对外界景物细节的感知全依赖于它. 眼球中心到瞳孔中心方向的直线称为光轴, 也就是视线. 从小凹到瞳孔中心方向的直线称之为视轴, 也称视觉线. 视觉注视点是由视觉线来决定的而非视线, 故视线跟踪的目的是找到视轴所在的方向或是视轴落点位置.第9期周小龙, 等: 基于3D人眼模型的视线跟踪技术综述 1581图1 眼球结构简图以人机交互为例, 视线跟踪即估计出每一时刻人眼视轴在计算机屏幕上的落点位置. 如图2所示, 用户与计算机相对而坐, 通过安装在特定位置的视觉传感器(如摄像机等)获取用户人脸图像信息; 然后利用机器学习或图像处理方法对人脸图像进一步处理, 以获取头部姿态信息和人眼特征信息; 最后通过回归算法或3D人眼模型估计出人眼视轴方向和视轴落点位置. 视线跟踪的性能一般通过计算所估计视轴方向与实际视轴(或基准视轴)方向的夹角进行评价, 角度越小, 跟踪精度越高; 反之, 跟踪精度越小.图2 人机交互视线跟踪示意图当对人进行视线跟踪时, 其视线由头部姿态以及眼球方向来决定. 当头部固定时, 眼球的运动可以改变视线的方向; 同样, 当眼球位置不动时, 头部运动也可以改变视线方向. 因此, 在视线跟踪时必须同时考虑头部姿态以及瞳孔位置, 这也是视线跟踪的一大技术难点及挑战. 头部的姿态可以通过不同的硬件配置或先验的几何知识来获得, 但一般不会直接用在视线模型中, 大多以一些参数的形式结合映射函数或是对角膜反射情况进行处理.眼睛运动的测量方式有很多, 早期的视线跟踪是侵入式的, 需要佩戴特定的装置, 如在人眼表面安置接触镜[5], 或者在人眼边缘贴上一些电极[6]等. 头部的运动则可以通过带有磁性的头部跟踪器[7]、额外的摄像头或光源来获得. 随着基于光学的视线跟踪方法的普及, 出现了接触镜法(反光镜)[5]、角膜反射法[8]、双普金野法[9]等. 其分类也有很多种: 按照人与系统的关系, 可以分为侵入式和非侵入式; 按照系统的图像获取方式, 可以分为单摄像机系统和多摄像机系统; 同样也可按照光源配置进行分类. 早期的视线跟踪方式大多是侵入式的, 如通过在人眼边缘布置电极获取电位差估计眼球运动的眼电图法[6], 金欢等[10]通过虹膜识别使用户只需在第一次使用设备时进行一次标定, 极大地降低了系统使用复杂度. 侵入式的视线跟踪方法的优点在于检测精度较高, 且不受头部运动影响; 缺点在于长时间使用会使人产生不适, 且存在信号不稳定的问题. 该类方法主要应用于心理学、眼动力学和行为学等领域. 非侵入式装置大多通过摄像头获取人脸图像进行处理和分析, 利用得到的人眼特征及参数建立映射模型, 从而估计视线方向, 对人的干扰较小, 在虚拟现实、人机交互等领域都有广泛的应用前景. 一个理想的跟踪方法应该是一个非侵入式的, 允许头部自由运动且能保证较高精确度, 配置简单、灵活且低成本的方法. 本文只针对非侵入式的视线跟踪方法进行论述.非侵入式的视线跟踪方法大多是基于特征的, 需要提取眼睛的一些显著或具有一定不变性的局部特征, 如瞳孔轮廓、虹膜和巩膜的异色边缘、眼角和角膜反射(红外光照射产生)等. 在标定好的光模型下, 瞳孔和反射光斑相对比较容易找到, 而且上述特征一般与视线估计参数相关, 故此类方法被广泛应用.基于特征的视线跟踪方法大致可以分为2类[11]: 基于2D回归的视线跟踪方法, 基于3D人眼模型的视线跟踪方法. 前者建立了一个从人眼图像的特征点到2D注视点的映射[12-16], 后者则直接通过建立3D人眼模型来估计3D坐标下的视线方向.基于2D回归的视线估计方法最普遍使用的特征是瞳孔中心和角膜反射[17-22], 其中大多数需要保持头部静止. 虽然这种方法可以获得较高的精确度, 但不能很好地处理头部的偏移带来的误差, 而误差会随头部偏离原始标定位置增加而增大, 且需要高分辨率的摄像头和仔细的标定来连接红外光和摄像头. 头盔类的装置或许有用, 但不同于1582 计算机辅助设计与图形学学报第29卷在眼部安装的人眼跟踪器, 其在校准后仍然可能由于头部的运动而发生微小移动, 从而影响精度. Kolakowski等[16]提出一组启发式规则来适应头部装置的微小移动. 熊春水等[17]提出一种在单摄像机单光源的情况下基于单点标定的视线估计方法, 平均误差为1.05°, 且能允许约100mm×100mm×100mm 空间范围内的头部运动. 许多基于2D回归的方法开始尝试用头部的运动来弥补这些误差. 张闯等[18]通过头部多姿态单点标定计算视线落点误差, 采用训练得到的数据估计由头部运动引起的全屏视线估计误差, 在之后的视线追踪中对视线进行补偿. 此方法在单相机单光源的配置下允许头部在300mm范围内(沿相机光轴方向)运动, 平均精度达1.8°. Zhu等[19]合并了3D人眼位置来进行补偿, 但需要额外的硬件配置.基于3D人眼模型的视线估计方法的一个显著优势是, 在进行头部的3D建模时, 考虑头部的运动状态. 当然, 此类方法大多还需要对红外线光源、屏幕、摄像头的位置进行标定.由于大多数基于3D人眼模型的视线估计方法的视线方向来自角膜中心和瞳孔中心, 通过红外线照射产生的光斑可以得到角膜中心, 通过视觉图像可以提取瞳孔/虹膜轮廓, 所以很多传统的基于3D人眼模型的视线估计方法仍需要限制头部的运动范围. 这个问题也可以通过多摄像头或可旋转摄像头来解决[23]. 一般地, 依据特征的不同, 基于3D人眼模型的视线跟踪方法可分为基于PCCR 特征的方法[24-25]和基于轮廓特征的方法[23, 26].本文对基于3D人眼模型的视线跟踪技术进行综述. 此类方法首先确定人脸的3D坐标, 然后通过二维的特征信息进行眼球定位, 最后根据3D几何信息进行视线估计. 图3所示为基于3D人眼模型的视线跟踪方法的简要流程.图3 基于3D人眼模型的视线跟踪方法简要流程与传统基于特征分类不同, 本文依据硬件的配置对基于3D人眼模型的视线跟踪方法进行分类概述.3 基于3D人眼模型的视线跟踪方法基于3D人眼模型的视线跟踪方法通过建立人眼的3D结构模型来估计3D坐标下的视线方向; 通过得到的视线方向向量和场景中的信息来估计人眼的注视点, 即视线落点就在视线方向上离人眼最近的场景中的物体上.在构建人眼的几何模型时需要外在的参数, 人眼固有的参数及可变参数. 外在的参数包括眼球中心和光轴, 固定的参数有角膜半径、视轴和光轴间的偏角、玻璃体的折射率、虹膜半径、瞳孔中心到角膜中心的距离, 可变参数来自眼球结构的变形如瞳孔半径. 基于3D人眼模型的视线跟踪方法大多数依赖于测量得到的信息, 因此大多需要进行相机标定、获取光源的整体结构模型、摄像头和显示屏的位置及朝向. 现有的大多数方法通过计算估计3D空间下的角膜中心位置和光轴向量; 但视轴不能直接通过图像算出, 除非对屏幕上至少一个固定的点进行标定来弥补视觉偏差[24]. 视轴和屏幕的焦点就是待测的视觉注视点.在已知角膜曲率的情况下, 可以通过一个摄像头和2个点光源找到角膜中心. 当人眼固有参数未知时, 则需要双摄像头双光源[27]. 为了简化问题, 角膜曲率的大众平均值被广泛使用, 角膜平均曲率半径约为7.5mm.本节将根据摄像头和光源的配置对基于3D人眼模型的视线跟踪方法进行分类概述, 图4所示为一个基本的摄像头、眼球、点光源位置结构图.图4 摄像头、眼球、点光源位置结构图3.1单摄像头无光源只使用一个摄像头是目前视线跟踪方法中最简单的配置, 而这类方法大多需要通过用户标定第9期周小龙, 等: 基于3D人眼模型的视线跟踪技术综述 1583来获得所需的参数.如图5所示, Yamazoe等[28]提出一种利用单摄像头基于人脸特征的3D视线跟踪方法, 利用人脸的特征点, 同时结合3D人眼模型来估计3D眼球中心、瞳孔中心和视轴, 并通过一次校准来得出视线点; 然而该方法未考虑视轴和光轴之间的偏角, 并要求人眼与摄像头的距离已知且固定, 此方法的精度约为水平5°, 垂直7°左右; 此外, 该方法在执行之前需要用户事先注视给定标定点来获取眼睛参数. Chen等[29]则用一个3D人眼模型来确定视线方向, 考虑了视轴和光轴的偏角, 眼球中心与瞳孔中心的距离被固定为一个大众的平均值, 此方法的精确度达到水平2.18°、垂直2.53°; 但由于眼睛图像质量不够, 虹膜中心需要通过手工标注. 2016年, Jeni等[30]通过一幅人脸图像, 利用一个可变形的人脸模型来重建部分正脸模型, 再利用重建出来的部分模型的眼部特征来计算3D视线方向, 此方法平均精度可达3°.图5 单摄像头无光源视线跟踪系统硬件配置图[28]基于单摄像头的视线跟踪方法在配置上较为简单, 单摄像头在3D模型重建方面, 大多都是基于2D回归的方法来实现的, 且需要通过标定来获得需要的参数. 例如, Wang等[31]基于一个普通的摄像头实现了视线跟踪, 但需要2次标定来获取视线相关参数.3.2单摄像头单光源无光源的视线跟踪方法虽然简单且成本低, 但特殊光源的照射产生的生理效果(如普尔钦斑及亮瞳现象)可以非常好地辅助对图像中对瞳孔的识别和检测. 当红外光源离摄像机光轴很近时, 发出的红外光和摄像机光轴几乎平行, 大部分照向瞳孔的光线都被反射回摄像机, 由此会出现亮瞳现象; 反之, 当光源离摄像机光轴很远时, 照射到瞳孔上的光大部分都没有反射回摄像机, 则会出现暗瞳现象. 远离摄像头的光源在角膜上的反射点就是普尔钦斑.单摄像头单光源在早期的视线跟踪中非常普遍, 如Ohno等[25]提出了基于3D人眼模型且使用单摄像头单光源的方法, 该方法利用已知的平均角膜曲率半径、已知的瞳孔和角膜之间的距离以及已知的折射率来计算光轴向量的估计值, 其硬件配置图如图6所示. Shih等[27]证明了这种单摄像头单光源的配置限制了头部的运动, 操作系统时头部必须固定位置才能保证一定的精确度; 文中指出在单光源的情况下, 需要额外的设备, 如额外的摄像头来获取头部姿态进行补偿, 使用固定的人眼平均参数或球体状人眼模型来获取光轴, 与文献[25]的方法相同. Guestrin等[32]进行了总结归纳, 表示视线方向可以通过单光源、已知的人眼到屏幕的距离或保持头部姿态固定来得到, 且大多基于几何模型的理论都需要充分的标定.图6 单摄像头单光源视线跟踪系统硬件配置图[25]利用单摄像头来确定头部及眼球位置、利用单光源的反射现象来建立眼球模型的视线跟踪方法虽配置相对简单, 但始终存在较大的误差, 且需要进行标定来获取参数. 故大多方法都开始增加额外的设备, 如多摄像头或多光源, 以提高检测精确度.3.3单摄像头多光源多光源的配置为计算眼部生理特征提供了便利, 因此在单摄像头单光源的基础上, 单摄像头多光源的系统也得到了快速发展. 伴随而来的问题是, 多光源的系统需要对硬件之间的位置关系进行合理的调整配置, 使得系统更加复杂化.如文献[27,32]所述, 角膜中心甚至视线方向可以通过已知的角膜曲率、双或多光源的充分标定来计算获得. 文献[32]方法只允许较小的头部运动, 但若换一个高分辨率的摄像头, 其方法可以允许更大幅度的头部运动. 之后又出现了许多在其基础上进行改进的方法[24,33-35]. 如图7所示, Ohno[36]通过单摄像头双光源进行视线估计, 并只在屏幕1584 计算机辅助设计与图形学学报第29卷选取了2个固定点用于用户标定. 实际上, 使用2个点光源, 通过一个标定点就可以得到角膜曲率、角膜中心以及视轴[37]. 单摄像头多光源的这类方法较精确, 但大都需要初始标定和长期的维护, 且对于光源、摄像头以及显示屏之间几何位置关系的改变较不灵活.图7 单摄像头多光源视线跟踪系统硬件配置图[36]Hennessey等[38]通过一个固定的高分辨率的摄像头来定位眼球, 并通过多光源来建立眼部模型, 可适应头部一定范围内的自由运动, 并在14cm× 12cm×20cm的视野范围内达到1°的精确度.基于单摄像头的系统对于头部的运动都还是存在一定的局限性, 对于大角度的头部运动会存在较大的误差, 故多摄像头开始被普遍应用于获得头部运动的补偿.3.4多摄像头多光源基于单摄像头的视线跟踪方法大多对用户头部运动有较严格的限制, 多摄像头则可以很好地解决这个问题. 通过多摄像头可以获取眼球的3D 特征, 计算得到3D坐标下的眼球视线参数, 进而通过眼球的3D几何结构模型估计视线方向.如图8所示[39], 在单摄像头系统的基础上, 增加一个摄像头可以共同采集用户的头部运动数据, 进而对算法进行补偿, 减轻甚至消除头部运动给视线估计带来的误差; 也可以通过2个相同的摄像头组成的视觉系统来检测眼部特征并计算视线方向.图8 多摄像头多光源视线跟踪系统硬件配置图[39]当眼睛离开窄角摄像机的视场范围时, 一些系统通过云台或倾斜头机械地调整摄像头的朝向[40]. 在这种情况下, 可以通过多摄像头来获取头部运动补偿. 基于回归的视线跟踪方法大多对头部运动较为敏感, 最直接的解决方法就是用一个摄像头来获得头部运动补偿, 另一个获取针对眼睛的图片, 然后结合2个摄像头获取的信息进行视线估计[12,14,41]. 然而这样的方法更复杂且需要额外的几何标定, 眼睛的图像还是只通过一个摄像头进行获取分析, 并没有很好地利用几何约束信息.通过2个摄像头的标定可以获得立体摄像机系统, 立体摄像机系统可以直接构建3D眼部模型, 标定获得系统参数后, 在摄像机视场内的任意一点都可以通过它在2个摄像机上的点进行重构来得到其3D坐标, 直接计算获得光轴; 但要获取视轴, 还需要进行至少一个屏幕固定点的标定. Hen-nessey[42]利用双目视觉进行3D空间的人眼建模来估计角膜中心及视线方向, 可以获得较高的精度且允许头部较大范围的运动. Xiong等[43]建立了一个立体摄像机系统重建3D脸部结构, 提出一种基于3D虹膜轮廓信息而非角膜反射特征的视线估计方法. 基于3D人脸特征进行精确的头部姿势的估计能够容忍更自由的头部运动, 具有较高的稳定性. Shih等[24]提出的方法使用多个摄像头和多个点光源的配置, 利用角膜反射特征估计角膜中心的3D坐标, 通过凝视屏幕上的一个固定点2~3s 计算视轴与光轴的偏角, 可以实时跟踪视线方向且平均误差小于1°. Lai等[23]使用双摄像头多光源的配置提出一种基于瞳孔轮廓特征的3D视线跟踪方法, 其中同时考虑了视轴和光轴之间的偏角, 精度达到1°. 最近, Lai等[39]又利用反光和轮廓特征进行视线跟踪, 将这2种特征融合, 使得系统更加稳定和灵活.文献[44-45]利用头戴式的2个摄像头来获取信息, 一个相机获取眼睛图像, 另一个相机获取场景信息, 这样的方式可以较好地减小设备间的标定误差, 且可以较好地适应头部的运动. 2016年, Mansouryar等[44]直接在标定好的相机坐标空间用2D瞳孔姿态去拟合3D视线方向, 相对于直接进行眼球3D重建的方法来说, 该方法要简单许多, 但仍然需要至少2次的标定来减小视觉误差, 且需要头部与2个相机的位置相对静止.多摄像头多光源的系统可以较方便地获得头部的运动补偿, 并建立更精准的眼球模型, 但多个。
基于视线追踪技术的目标识别和跟踪算法研究

基于视线追踪技术的目标识别和跟踪算法研究近年来,随着科技的发展和应用范围的不断拓展,基于视线追踪技术的目标识别和跟踪算法得到了广泛的关注和研究。
视线追踪技术是一种利用摄像头和计算机算法来获取并分析用户视线信息的技术,可以实现对用户的注视目标进行追踪和识别。
本文将就基于视线追踪技术的目标识别和跟踪算法进行深入探讨。
一、基本原理视线追踪技术的基本原理是基于眼睛运动的特性,由摄像机实时采集眼睛在视频中的位置和方向,然后通过相应的算法处理,计算出用户当前注视的目标,并实时跟踪这个目标。
在这个过程中,需要用到一系列的技术手段,比如人脸检测、眼部检测、瞳孔定位、视线方向测量等。
二、应用场景基于视线追踪技术的目标识别和跟踪算法可以应用于很多领域。
在交通安全领域,可以用于驾驶员疲劳检测、远光灯自动控制等方面;在医疗领域,可以用于眼部疾病诊断、康复训练等方面;在虚拟现实领域,可以用于交互式游戏、增强现实等方面。
在实际应用中,视线追踪技术还可以与其他技术手段相结合,如语音识别、手势识别等,来实现更加智能化的交互。
三、目标识别和跟踪算法目标识别和跟踪算法是基于视线追踪技术的关键环节。
主要分为以下几种算法。
1、模板匹配算法:通过计算模板与目标区域的相似度来确定目标位置,简单易懂,但对于复杂场景下的目标识别和跟踪效果较差。
2、Haar特征分类器算法:该算法利用Haar小波函数对目标进行分析,有效解决了环境光线变化和姿态变化等问题,但在目标边缘处容易出现检测误差。
3、HOG+LBP特征分类器算法:该算法结合了局部二值模式和方向梯度直方图特征,优化了Haar特征分类器算法的缺陷,具有更好的性能和准确度。
4、卡尔曼滤波算法:针对目标跟踪时出现的误差问题,该算法通过递归估计目标状态并根据预测值和实际值的偏差进行调整,提高了目标跟踪的准确度和稳定性。
四、算法优化目标识别和跟踪算法的优化是基于视线追踪技术进行应用的重要环节。
针对不同的应用场景和需求,可以采用不同的优化策略,如特征选择、模型训练、参数调整等。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
目录 1引言 ....................................................... 1.. 2视线跟踪技术概述 ............................................ 2. 3 视线跟踪的基本原理 ............................ 2. 4视线跟踪技术分析 ........................................... 3. 4.1常见视线跟踪技术 ..................................... 3. 4.1.1眼电图法 ........................................ 3. 4.1.2巩膜接触镜/搜寻线圈法 .......................... 3 4.1.3照片图像法(POG)、视频图像法(VOG ) ............... 4 4.1.3.1角膜-巩膜异色边缘反射法 .................. 4 4.1.3.2角膜反射法 ............................... .4. 4.1.3.3双普金野象法 ............................. 4 4.1.3.4基于视频结合瞳孔和角膜反射的方法 ......... 4 4.2各种方法的比较 ........................................ 5. 5视线跟踪技术在人机交互通道中的特点 ......................... 6 6视线跟踪方法的研究趋势 ..................................... 6. 7视线跟踪技术在人机交互领域中的应用及前景 ................... 7 8小结 ....................................................... 9.. 9参考文献 .................................................... 9. 视线跟踪技术及其应用 摘要:本文介绍了研究、应用视线跟踪技术的必要性,回顾了视线跟 踪技术的研究历程,概述了主要的视线跟踪技术及其原理,比较各种 视线跟踪技术的优缺点。重点探讨了当前常用的基于视频的瞳孔 -角 膜高光向量法的原理和技术,并介绍了视线跟踪技术的研究方向和发 展趋势。最后对视线跟踪技术在人机交互、 智能机器等领域的应用前 景进行了介绍和展望。 关键词:视线跟踪研究方向人机交互
1引言
随着对人机交互技术研究的不断深入,多通道的交互备受关注, 人机界面更强调“以人为中心”的原则,使用户能运用各种感觉通道 以最自然的方式和计算机交互。 现有的人机交互输入绝大多数通过鼠标、键盘等实现 ,这些输入 需要视觉或听觉接收输出信息相配合。此外,语音识别输入技术在逐 渐成熟;而对身体姿势的理解、触觉的输入输出等技术在智能虚拟现 实环境中得到了较多的研究。 人们在观察外部世界时眼 睛总是与其它人体活动自然协 调地工作,并且眼动所需的认 知负荷很低,人眼的注视包含 着当前的任务状况以及人的内 部状态等信息,因此眼注视是 一种非常好的能使人机对话变 得简便、自然的候选输入通道。 由于常见的上下文信息还隐藏于我们的视线中,视线反应了我们感兴 趣的对象、目的和需求,具有输入输出双向性特点。视线检测使得抽 取对人机交互有用的信息成为可 能,从而实现自然的、直觉的和有效 的交互,因此,对视线跟踪技术及其在人机交互中应用的研究具有特 殊的价值。 目前,视线跟踪技术和对视线所蕴含信息的理解还处在实验研究 阶段。 2视线跟踪技术概述
视线追踪是利用机械、电子、光学等各种检测手段获取受试者当 前“注视方向”的技术。按照系统构成和采用的检测方法可以粗略划 分为侵入式和非侵入式两种。在人机交互和疾病诊断两个领域有着广 泛的应用,如助残、虚拟现实、认知障碍诊断、车辆辅助驾驶、人因 分析等。用于诊断的视线追踪系统可以采用侵入式以达到更高的精度 用于交互的视线追踪系统除了对精度、鲁棒性、实时性的要求以外
, 需要最大程度地减少或消除对使用者的干扰。 随着数字化技术、计算 机视觉、人工智能技术的迅速发展,基于眼睛视频分析 (Video oculographic,VOG)的非侵入式视线追踪技术成为当前热点研究方 向。 目前用户界面所使用的任何人机交互技术几乎都有视觉参与。 早 期的视线跟踪技术首先应用于心理学研究(如阅读研究),后被用于人 机交互。眼动在人的视觉信息加工过程中,起着重要的作用。它有三 种主要形式:跳动(Saccades),注视(Fixations)和平滑尾随跟踪 (Smooth Pursuit)。在正常的视觉观察过程中,眼动表现为在被观 察目标上一系列的停留及在这停留点之间的飞速跳动, 这些停留一般 至少持续100ms以上,称为注视。绝大多数信息只有在注视时才能获 得并进行加工。注视点间的飞速跳跃称为眼跳动。 眼跳动是一种联合 眼动(即双眼同时移动),其大小为1到40度视角,持续时间为30 到120ms最高运动速度为400-600度/秒。
3视线跟踪的基本原理
视线跟踪技术及装置有强迫式(in trusive ness )与非强迫式 (non-intrusiveness) 、穿戴式与非穿戴式接触式(如 Eyeglass-mounted )与非接触式(Remote)之分;其精度从0.1 °至1 ° 或2°不等,制造成本也有巨大差异。在价格、精度与方便性等因素 之间作出权衡是一件困难的事情,例如视线跟踪精度与对用户的限制 和干扰就是一对尖锐的矛盾。有关视觉输入的人机界面研究主要涉及 两个方面:一是视线跟踪原理和技术的研究; 二是在使用这种交互方 式后,人机界面的设计技术和原理的研究。 眼睛能平滑地追踪运动速度为1到30度/秒的目标,这种缓慢、 联合追踪眼动通常称为平滑尾随跟踪。平滑尾随跟踪必须有一个缓慢 移动的目标,在没有目标的情况下,一般不能执行这种眼动。在人机 交互中,主要表现为跳动和注视两种形式。 视线追踪的基本工作原理是利用图象处理技术, 使用能锁定眼睛 的特殊摄象机。通过摄入从人的眼角膜和瞳孔反射的红外线连续地记 录视线变化,从而达到记录分析视线追踪过程的目的。 在人机交互中 对视线追踪的基本要求是: (1) 要保证一定的精度,满足使用要求; (2) 对用户基本无干扰; (3) 定位校正简单; (4) 可作为计算机的标准外设。
4视线跟踪技术分析
一般而言,存在两种类型的眼睛运动跟踪技术:第一种方法测量 相对于头部的眼睛位置,第二种是测量空间中眼睛关注点。人机交互 系统主要关注的是交互场景中用户所关注的对象,这通常使用后一种 测量方法。
4.1常见视线跟踪技术 最广泛使用的测量关注点是基于瞳孔 -角膜反射向量的视线跟 踪方法。目前存在四大类的眼睛运动测量方法:眼电图法,巩膜接触 镜/搜寻线圈,POG法或VO(法和基于视频的结合角膜反射。
4.1.1眼电图法
眼电图法出现在70年代,曾被广泛应用,它使用电极测量眼窝附 近皮肤的电压差来实现对眼睛运动的测量人的眼球存在着电压差 ,角 膜表现为正极,眼底为负极,一般为1毫伏到数毫伏。在眼睛附近皮肤 贴上电极,当眼睛运动时,电极会产生不同信号,大约可以识别出3度 的眼球水平转动和5度的眼 球竖直转动。眼电图法会产生 不适的感觉,不适合长期使用 和用于人机交互。另外,仪器 制造材料要求较高且需要稳 定的照明条件和调节标定程 序,而使用者的变化也可能造 成信号的不稳定,比如,皮肤 电阻会因为皮角质的不断分 泌而改变。
4.1.2巩膜接触镜/搜寻线圈法
巩膜接触镜/搜寻线圈法是最精确的眼睛运动测量方法之一 ,它 将一个机械的或者光学的元件连接到直接佩戴到眼睛的接触镜上。 早 期的记录仪将熟石膏圈附加到角膜上,通过机械铰链连接到纪录笔 上。随着技术的发展,现代的接触镜通常附有安装杆。接触镜的尺寸 需要足够大,将角膜和巩膜同时覆盖,以免镜头滑动。常用的附加装置 有:反射镜、搜寻线圈等。其原理是通过测量由于眼睛的转动而决定 的附加装置的方位来确定眼睛的方位。 使用反射镜可以将固定光束反 射到不同方向,从而获得眼睛的运动状态。使用搜寻线圈时在眼 睛周 围加上固定的磁场,当眼睛转动时会牵动搜寻线圈,使线圈中的磁通 量发生变化而产生感生电动势,而依据电压的变化可以分析眼球的 运动。接触镜法是比较精确的眼睛运动测量方法,在5度的测量范围 内可以精确到8 - 1 0 分,但这是一个最具侵入性的方法,通常会滴 入人工泪液以减轻这种不舒。接触镜的双层构造会影响使用者的视力 不适合于测量注意点。
4.1.3照片图像法(POG)、视频图像法(VOG ) 照片、视频图像法指测量眼睛的可区分特征的一类眼睛运动测量 技术,这些特征包括瞳孔的外观形状,虹膜和巩膜的异色边缘,眼睛 附近的光源的角膜反射等。 4.131角膜-巩膜异色边缘反射法 角膜-巩膜异色边缘反射法利用红外线光在角膜-巩膜边缘 反射的差异来测量眼睛运动状况。该方法以数个红外线LED以固定的 角度照射在虹膜周围,经虹膜和巩膜反射的红外光被对应的红外光敏 管接受;由于深色虹膜的反射能力差,大部分光线被吸收,而白色巩 膜部分的红外线几乎被完全反射;眼睛转动的时候,光敏管接收到的 红外线会随之变化,利用这些变化的红外线信号,可以检测眼球的运 动。 4.132角膜反射法 角膜能反射落在它上面的光,当眼球 运动时,光以变化的角度射 到角膜,得到不同方向上的反光。角膜表面形成的虚像因眼球旋转而 移动,
实时检测出图像的位置,经信号处理可得到眼动信号。 4.1.3.3双普金野象法 普金野图像是由眼 睛的若干光学 界面反射所形成的图像。角膜 前表面、晶状体后表面所反射的图像是第一和第四普金野图像。 双普 金野方法使用红外光照射形成的第一和第四普金尔野反射,测量这两 个反射的相对位置并分析图像数据,可以计算眼睛在相对于头部的朝 向。Generation-V眼睛跟踪器就是双普金野象视线跟踪器。 4.1.3.4基于视频结合瞳孔和角膜反射的方法 上面提及的技术适合于对眼睛运动的测量,但如果需要测量“注 意点”,可以固定住头部以保持眼睛相对于头的相对位置不变 ,或者测 量眼睛的多个特征来消除头部运动引起的歧义,比如角膜的高光反射 和瞳孔的中心。基于视频结合瞳孔和角膜反射的方法 ,是目前最广泛 应用于测量关注点的方法。 角膜反射为瞳孔附近的小白点,它是角膜表面的反射高光,由于 红外光源是相对于眼睛的固定位置放置的,眼球在眼眶里面转动的时 候,