人眼数据采集方法
人脸识别人眼区域提取鉴别
人脸识别人眼区域提取鉴别作者：蔡宗吟罗国平来源：《智富时代》2019年第07期【摘要】人脸识别技术在人工智能、机器识别、机器学习等领域具有广泛的应用。
人脸识别技术的基础是人脸区域的识别和提取，难点在于人眼区域提取及鉴别，本文重点介绍人眼区域提取及鉴别程序实现。
【关键词】人脸识别；感知识别技术；人眼区域计算机识别是目前人工智能领域研究的重点，人脸识别是计算识别的重要内容之一，而人眼区域提取及鉴别人脸识别的难点，本文重点探讨如何实现人眼区域提取及鉴别。
1.采用VC++设计人脸识别程序基本组成人脸识别系统通过图像采集系统捕捉图像，然后通过计算相似度、二值化处理、垂直直方图、水平直方图、然后标记人脸区域，边缘提取等步骤，才能实现人脸识别，过程是比较复杂的。
因此，能否正确标记出人眼睛区域是人脸识别的难点。
2.人脸识别人眼睛区域提取人眼睛区域提取具体算法比较复杂，需要确定人脸面部区后，才能正确提取。
在人脸区域确定后，先进行边缘检测，确定左右两个眼睛的水平区域，并统计计算眼睛区域个数。
然后进行眼睛区域鉴别。
眼睛区域鉴别算法是人眼区域提取的关键，具体程序算法如下：//眼睛区域鉴别的关键算法VC程序。
CList myList1（sizeof（CPoint））；CList myList2（sizeof（CPoint））；int flag = 0；CPoint tPoint（-1，-1）；for（i = 0； i{if（tempArray[i] > 0 && flag ==0）{tPoint.x = i；flag = 1；}if（tempArray[i] == 0 && flag ==1）{tPoint.y = i；myList1.AddTail（tPoint）；flag = 0；}}delete tempArray；//去掉长度太小的候选者for（i=0； i{CPoint temp（-1，-1）；temp = myList1.GetAt（myList1.FindIndex（i））；int minVal = （m_rFaceRegion.right - m_rFaceRegion.left）/20； if（（temp.y-temp.x）>=minVal）myList2.AddTail（temp）；}myList1.RemoveAll（）；//合并相鄰很紧的区域bool quit = 1；while（quit）{bool doJoin = false；for（int i=0； i{CPoint temp1（-1，-1），temp2（-1，-1）；temp1 = myList2.GetAt（myList2.FindIndex（i））；temp2 = myList2.GetAt（myList2.FindIndex（i+1））；if（（temp2.x-temp1.y）{temp1.y = temp2.y；myList2.RemoveAt（myList2.FindIndex（i））；myList2.RemoveAt（myList2.FindIndex（i））；if（i == 0） yList2.AddHead（temp1）；else myList2.InsertAfter（myList2.FindIndex（i-1），temp1）； doJoin = true；break；}}if（！doJoin） quit = 0；}通过人眼区域鉴别后，可能会出现没有找到眼睛区域，或只捕捉到一只眼睛，或两只眼睛捕捉完整，然后根据这三种情况分别处理，确认出两个眼睛的水平区域。
眼球追踪技术的原理
眼球追踪技术的基本原理眼球追踪技术是一种用来确定人眼准确注视位置的技术。
它可以通过分析眼球运动的轨迹来推测用户的兴趣点，从而用于用户界面设计、广告效果评估、心理学研究以及医学诊断等领域。
眼球追踪技术的基本原理是通过眼动仪等设备进行眼动数据的采集和分析。
眼动仪通常包括一个摄像机和红外光源，用于观察和记录眼球在视觉场景中的运动。
下面将详细介绍眼球追踪技术的原理。
1. 眼球运动的类型在理解眼球追踪技术之前，我们首先需要了解眼球的运动类型。
眼球运动主要包括以下几种类型：1.1 瞥视运动（Saccades）瞥视运动是眼球在转动中快速跳跃的运动，用于把视线从一个位置移动到另一个位置。
瞥视运动通常在视线聚焦之前发生，其速度可以达到1000度/秒。
1.2 定视运动（Fixations）定视运动是眼球在注视一个区域时的稳定运动。
在注视期间，眼球会保持在一个相对稳定的位置上，以获取详细的视觉信息。
定视运动的时长通常在100到400毫秒之间。
1.3 跟踪运动（Smooth Pursuits）跟踪运动是眼球快速而平滑地跟踪运动目标的运动。
在跟踪运动期间，眼球会持续地追踪运动目标，以保证目标始终在视野中心。
2. 眼动数据的采集眼动数据的采集是眼球追踪技术的第一步。
这个过程通常需要使用专业的眼动仪设备，例如高速摄像机和红外光源，以获取准确、精细的眼动数据。
2.1 红外反射原理眼动仪通常是通过红外光源和反光红外摄像机来实现眼动数据的采集。
红外反射原理是利用红外光在眼睛角膜和晶状体上的反射来确定眼球的注视位置。
具体来说，红外光源会发出红外光，照射到眼睛的角膜上后，会被角膜和晶状体反射回来。
眼动仪中的摄像机会捕捉这些反射光，并计算出眼球的位置和运动轨迹。
2.2 眼动数据的精确度眼动数据的精确度是影响眼球追踪技术的重要因素之一。
眼动仪的采样率和眼动仪的精度都会影响到眼动数据的准确性。
采样率是指眼动仪每秒对眼动数据的采样次数，通常以赫兹（Hz）为单位。
一种在红外图像中定位人眼的方法
Ｋｅ ｏｄ ：ｅｅ ｃ ｉ ｔ ｎ ｉ ｒ ｅ ａｅ ｒ ｋｄｏ ｅ ａａｔｅｍ ｄ ｌｒ ｇ Ｒ ＭＦ ；ｎ ｇａ ｐｏ ｃｏ ｙｗ ｒ ｓ ｙｓｏａｚ ｉ ；ｎ ￣ ｄｉ ｇ ；ａ ｅ— ｄｒ ｄｐ ｖ ｅｉ ｆｔ ｎ （ Ａ ） ｉｔ ｌ ｒ ｅｔ ｎ ｌ ｌ ａｏ ｆ ｍ ｎ ｒ ｉ ｎ ａ ｉｅ ｉ ｅ ｊ ｉ ｒ
ａａｔ ｅ ｄ ｎｆｔ ｎ （ Ａ ）ｍ ｔｏ ｎ ｅ ｔ ｅｔｒ ｈｌ ａ ｏ ｔｍ Ｆｎｌ ， ｅｅｅ ｏｉｏ ｂａ ｅ ｄｐｉ ｉ ｌ ｒ ｇ Ｒ ＭＦ ｅ ｄａｄｉｒ ｉ ｅ ｏ ｌ ｒｈ ． ｉ ｌ ｔ ｙｓｐｓｉ ｉ ｏｔｉ ｄ ｖ ｍｅ ａ ｉ ｅ ｉ ｈ ｔ ａ ｖ ｈ ｓ ｄ ｇｉ ａｙ ｈ ｔｎ ｓ ｎ
ｉ ｒｖｄｉｒｔ ｅｔ ｅｈｌ ｌ ｒｈ ｎ ｔ ｒｌ ｒ ｅｔｎｆｎｔｎ Ａ ｃｒｉｇｔ ｔ ｙｓａｄｆ ｅｇｏ ｅ ｙ ｍｐｏｅ ｅ ｉ ｒｓｏ ａ ｏｉ ｍ ａｄｉ ｅ ａ ｐｏ ｃｏ ｕｃ ｏ． ｃｏｄｎ ｅｅｅ ｎ ｃ ｅｍ ｔ ｔａｖ ｈ ｄ ｇ ｔ ｎｇ ｊ ｉ ｉ ｏｈ ａ ｒ
６ ２
传感器与微系统（ ｒｎｄ ｃｒ ｎ ｃｏｙｔ ｅｈ ｏ ｇ ｓ Ｔａｓｕｅ ｄＭｉ ｓｓ ｍ Ｔ ｃｎｌ ｉ ） ａ ｒ ｅ ｏｅ
２１ ０ ０年 第 ２ ９卷 第 ４期
一
种在 红 外 图像 中定 位 人 眼 的方 法
陈宇波 ，陈新林 ，陈 守明
（． １ 中南大 学 信息物理工程学 院， 湖南 长沙 ４ ０ ８ ； １０ ３ ２ 河南农 业职业学院 电子信息工程 系， ． 河南 郑州 ４ １５ ； ５ ４０ ３ 中南大学 信 息科学与工程学院 ， ． 湖南 长沙 ４ ０ ８ ） １０ ３
眼部追踪方案
眼部追踪方案眼部追踪一直被广泛应用于众多领域，例如市场研究、人机交互和医学诊断等。
通过分析和追踪人眼的运动轨迹，可以有效获取用户的注意力、兴趣和行为。
本文将详细介绍眼部追踪的原理、应用和未来发展方向。
一、眼部追踪原理眼部追踪技术利用红外光或摄像机等设备来记录和追踪人眼的运动。
主要包括以下几个步骤：1.采集图像：通过红外摄像机或其它传感器来获取受测者眼部的动态图像。
2.处理图像：对采集到的图像进行预处理，例如去除噪声、增强对比度等。
3.定位瞳孔：利用图像处理算法来定位瞳孔的位置，通常可以借助于瞳孔的灰度值和形态特征等进行识别。
4.跟踪眼动：根据瞳孔的位置变化，使用相应的追踪算法来估计眼球的运动轨迹，以获取眼动参数。
二、眼部追踪应用1.市场研究：通过眼部追踪技术可以获取用户在观看广告、购物行为等方面的眼动数据。
这些数据可以帮助市场研究人员了解用户的注意力集中点，从而优化广告宣传策略和产品设计。
2.人机交互：眼部追踪可应用于人机交互界面的设计，通过追踪用户的注视位置和眼球运动，可以精确获取用户的意图和需求，进而提供更好的交互体验。
3.医学诊断：眼部追踪在医学诊断中有广泛的应用。
例如，通过追踪受试者在观看医学图像时的眼球运动，可以提供更准确的早期疾病诊断和治疗建议。
4.驾驶安全：眼部追踪技术可以用于驾驶员的行为分析和状态监测，通过实时追踪驾驶员的视线和瞳孔变化，可以判断注意力分散、疲劳驾驶等情况，并提供相应的警示和提醒。
5.虚拟现实与增强现实：眼部追踪被广泛应用于虚拟现实和增强现实技术中，通过追踪用户眼球的注视点，可以实现更准确的交互控制和沉浸式体验。
三、眼部追踪的未来发展方向1.精确度提升：随着计算机视觉和机器学习技术的快速发展，未来眼部追踪系统的精确度将进一步提升。
借助更高分辨率的传感器和更智能的算法，能够更准确地捕捉眼球运动的细微变化。
2.多模态应用：眼部追踪技术可以与其他传感器或设备进行结合，例如生物信号传感器、脑电图等，以获得更全面的用户信息。
人眼特征提取技术研究综述
人眼特征提取技术研究综述段萍;杨龙;刘祥楼【摘要】基于语义的图像检索是目前人脸图像检索领域研究发展的新趋势,所谓语义化人脸图像检索,通常是指根据待检索人脸图像的特征,去语义数据库中搜索最为匹配的人脸图像的过程,眼睛是人脸部特征的重要组成部分,眼睛的检测对于人脸信息的处理具有重要的意义；当前学术领域关于眼部特征提取的研究有很多,目前还没有一种眼部特征提取技术是公认快速有效的,主要讨论了人眼特征提取技术的一些主要方法,对现有的人眼定位,人眼区域分割,人眼特征提取的方法进行分析和讨论；最后对基于眼部特征语义化图像检索的发展和应用做一个简单的展望.【期刊名称】《重庆工商大学学报（自然科学版）》【年(卷),期】2013(030)002【总页数】4页(P42-44,50)【关键词】人脸图像检索;人眼定位;特征提取;语义化【作者】段萍;杨龙;刘祥楼【作者单位】东北石油大学电子科学学院,黑龙江大庆市163318;东北石油大学电子科学学院,黑龙江大庆市163318;东北石油大学电子科学学院,黑龙江大庆市163318【正文语种】中文【中图分类】TP3721 概述随着信息化技术、计算机技术、网络技术的迅速发展，可视化的人脸图像资源将变得越来越多。
建立快速高效的人脸图像检索机制，己经成为电子信息领域内亟待解决的问题。
人脸图像检索在公安(罪犯识别等)、安全验证系统、、医学、档案管理、人机交互系统等方面有巨大的应用前景，是当前模式识别和人工智能领域的一个研究热点和极富挑战性的课题。
基于语义描述的人脸图像检索方法，吸取了人脸分割、特征分类、语义检索等方法的优点，通过对面部器官的几何特征点检测来设定不同的面部器官形状特征参数，建立语义化的图像特征数据库，使之建立的语义人脸图像检索系统，具有快速、高效、实用的特点。
而眼睛作为脸部特征的重要组成部分，是人脸上最显著，最稳定的特征，对于人脸信息的处理具有重要的意义，不仅可以提高人脸识别和检测的速度，而且能够降低识别算法的复杂度。
三维人脸图像的数据采集精品资料
三维人脸图像的数据采集1三维人脸图像数据的采集采集设备进行三维扫描的过程是一个实时曲面配准的过程。
尽管这一过程有一定的鲁棒性，但是扫描对象的姿态变化很容易干扰配准的准确度[7]。
因此在采集三维人脸图像前应和被采集人进行必要的沟通，防止采集过程中因被采集人说话或移动导致配准失效而中断操作。
为了在保证数据质量的同时减少重复数据量，使用手持式3D扫描仪时，需要按照一定的移动顺序对人脸图像进行撷取[8,9]。
采取的扫描顺序（见图2）是从被采集人的一侧耳部开始，上下S型经鼻面部向另一侧耳部移动，然后向下采集下巴被遮挡部位的图像，最后回到开始的部位完成扫描（单帧曲面范围90mm×70mm~180mm×140mm）。
这样做的好处，一是不会遗漏采集部位；二是符合人脸面部结构特点，如果采用横向S型扫描则要多次经过鼻翼两侧，这就增加了扫描难度；三是固定了采集顺序，在预处理时可以快速找到需要修改或删除的某一帧或几帧图像。
对耳朵、鼻翼两侧、下唇至下巴中间结构比较复杂的曲面，在采集时，可以采取小角度变换扫描仪打光角度。
对下巴的采集，可以将扫描仪从下方尽量接近被采集人身体并向上打光，以减少由于遮挡形成的空洞。
因手持式3D扫描仪的便携特点（≤1kg），采集现场只要具备交流电，在明视照度下即可进行操作，所以非常方便在非实验室环境进行采集。
2对采集数据的预处理采集到的原始数据是一个曲面帧集合，根据采集时间、帧速率的不同包含400~1500个曲面帧数据。
将这些数据合成一个完整的三维人脸图像之前需要一系列的模型处理。
主要包括：整体配准、光顺合成、补洞、小型对象过滤、简化网格以及纹理映射等步骤[7,10]。
对于大部分一次性采集完成且自动配准较好的数据，使用上述自动处理都能够取得良好效果。
但由于光照条件的细微变化、脸部皮肤的光滑程度不同，或者曲面结构相互遮挡等因素，一些模型自动处理的结果并不理想，如图3左所示，自动配准造成了明显的裂纹。
人机交互系统中的眼动数据分析技术的使用方法
人机交互系统中的眼动数据分析技术的使用方法人机交互系统是指通过人与计算机之间的信息交流和操作来实现人对计算机系统的控制。
在人机交互的过程中，眼动数据分析技术起着重要的作用。
眼动数据分析技术可以通过分析人眼在特定任务中的注视点和眼动路径，帮助研究人员了解用户的注意力、兴趣、思考过程以及界面设计的效果。
本文将介绍人机交互系统中眼动数据分析技术的使用方法。
首先，眼动数据采集是使用眼动仪来获取用户的眼动信息。
眼动仪可以通过红外光或者摄像头等方式来追踪眼球运动，并生成相应的眼动数据。
在进行眼动数据采集前，需要对被试者进行眼动仪的校准，使得眼动仪能够准确地追踪眼球的运动。
接下来，可以让被试者完成指定的任务，如阅读文章、观看视频、完成界面交互等，同时记录眼动数据。
完成采集后，需要对眼动数据进行预处理。
眼动数据的预处理包括数据清洗、滤波和校正，以提高数据的可靠性和准确性。
对于数据清洗，可以去除因眨眼或其他干扰引起的异常数据点。
滤波则可以平滑眼动数据，减少噪声的影响。
此外，校正是为了校准眼动数据，使得不同被试者的眼动数据具有可比性。
完成眼动数据的预处理后，可以进行眼动数据分析。
眼动数据分析的主要目标是了解被试者在人机交互过程中的注意力流动和眼球运动规律。
常见的眼动数据分析方法包括注视点分析、扫视路径分析和热度图分析。
注视点分析是指根据眼动数据中的注视点来分析用户的注意力。
注视点是指眼球停留在一个特定位置超过一定时间的情况。
通过分析被试者的注视点，研究人员可以了解用户对界面中不同元素的关注程度，从而评估界面的可用性和用户体验。
常见的注视点分析方法包括注视点聚类和注视点序列分析。
扫视路径分析是指分析眼球在界面上移动的路径。
通过分析扫视路径，可以了解用户在界面上是如何搜索信息的。
扫视路径通常由一系列的注视点和扫视路径段组成。
通过研究扫视路径，可以评估界面设计的效果以及用户对界面中不同区域的注意力分配情况。
热度图分析是通过在界面上绘制用户眼球的注视热度图来反映用户的关注点和兴趣区域。
瞳孔测量技术操作流程
瞳孔测量技术操作流程1.引言1.1 概述文章概述部分旨在简要介绍瞳孔测量技术操作流程的背景和重要性。
以下是一个示例概述：瞳孔测量技术是一种用于测量人类瞳孔大小和反应的非侵入性方法。
这项技术的应用领域广泛，包括眼科学、神经科学、心理学等等。
通过实时监测和测量瞳孔的大小变化，可以获取有关人的认知状态、情绪变化、生理反应等方面的宝贵信息。
瞳孔测量技术的操作流程是实施这项技术的必要步骤。
它包括设备准备、实验环境设置、参与者的准备以及数据采集和分析等阶段。
正确的操作流程对于获取准确可靠的测量结果至关重要。
因此，熟练掌握瞳孔测量技术的操作流程对于保证研究的可信度和可重复性具有重要意义。
本文将详细介绍瞳孔测量技术的操作流程，包括涉及的步骤和技术要点。
通过阅读本文，读者将能够了解如何正确地进行瞳孔测量实验，并能够根据特定研究目的的不同进行相应的操作调整。
同时，我们也将对当前瞳孔测量技术所面临的挑战和未来的发展进行讨论。
总之，瞳孔测量技术操作流程是实现瞳孔测量的关键步骤。
通过掌握正确的操作流程，我们能够获得准确和可靠的测量结果，并在更广泛的研究领域中应用这项技术，为人类认知和情绪研究做出更多贡献。
1.2文章结构1.2 文章结构本文将以瞳孔测量技术操作流程为主题，分为引言、正文和结论三个部分。
引言部分将在1.1小节概述瞳孔测量技术的背景和意义，并介绍本文的结构和目的。
正文部分将从2.1小节开始详细介绍瞳孔测量技术，包括其原理、应用领域和操作流程。
其中，2.2小节将重点介绍瞳孔测量技术的操作流程，包括具体的步骤和操作注意事项。
2.2小节将进一步分为2.2.1步骤一和2.2.2步骤二，以确保读者能够清晰地了解瞳孔测量技术的操作细节。
结论部分将在3.1小节总结本文的主要内容，强调瞳孔测量技术的重要性和应用前景。
3.2小节将展望未来，探讨瞳孔测量技术可能的发展方向和潜在的研究方向。
通过以上结构，本文将全面介绍瞳孔测量技术的操作流程，帮助读者更好地理解该技术的原理和应用，并为相关研究和实践提供指导。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• Smith B A, Yin Q, Feiner S, et al. Gaze locking: passive eye contact detection for human-object interaction[C]. User Interface Software and Technology, 2013: 271-280.
EYEDIAP (ETRA 2014)
• 采集工具：深度相机Kinect + RGB相机 • 采集方法：志愿者坐在深度相机前，要求眼睛一直盯着运动的乒
乓球，同时用RGB相机记录这一过程。在采集到的视频中人工标 注眼睛中心点与乒乓球的2D坐标，映射到点云中得到对应的三维 坐标，做差得到三维视线向量 • 规模：94段视频，16位不同人种的样本 • 适用场景：视线估计 • 局限性：需要深度摄像头，数据量较少
合成数据集
• 采集工具：手动合成或自动合成 • SynthesEyes (ICCV 2015) • UnityEyes (ETRA 2016)
• 直接提供了自动生成工具 • 使用Unity引擎制作 • 可以自定义视线、头部姿态等
• SimGAN (CVPR 2017) 用GAN做视线迁移 • Unsupervised Representation Learning (CVPR 2020) 视线重定向
• RT-GENE（眼动仪+深度+RGB） • 视线追踪
• SynthesEyes（合成）
• GazeFollow
• UnityEyes（合成）
• VideoGaze
MPIIGaze (CVPR 2015)
• 采集工具：参数已知的单个RGB相机 • 采集方法：利用相机参数和镜面算法计算并校准人眼的3D位置，
• Mora K A, Monay F, Odobez J, et al. EYEDIAP: a database for the development and evaluation of gaze estimation algorithms from RGB and RGB-D cameras[C]. Eye Tracking Research & Application, 2014: 255-258.
RT-GENE (ECCV 2018)
• 采集工具：眼动仪眼镜 + 深度相机 + 多个运动捕捉相机 • 采集方法：眼动仪眼镜用于获取眼球凝视方向；深度相机获取头
部姿态；其他运动捕捉相机用于获取面部信息，用于生成语义信 息和在最终生成的图像中去除眼镜 • 规模：12.2万张图片，15位不同人种的样本 • 适用场景：大范围视线估计 • 局限性：需要设备太多，需要GAN网路清除照片中的眼动仪眼镜 • 扩充：RT-BENE (ICCV 2019) 添加了眨眼数据
• Recasens A, Vondrick C, Khosla A, et al. Following Gaze Across Views[J]. arXiv: Computer Vision and Pattern Recognition, 2016.
• Radford A, Metz L, Chintala S, et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[J]. arXiv: Learning, 2015.
• Fischer T, Chang H J, Demiris Y, et al. RT-GENE: Real-Time Eye Gaze Estimation in Natural Environments[C]. European Conference on Computer Vision, 2018: 339-357.
TabletGaze (MVA 2017)
• 采集工具：三星平板 S Tab 的前置摄像头 • 采集方法：每次采集过程中，平板会以随机顺序显示35个红点，
并保证每个红点只显示一次，要求被采集者必须注视出现的红点。 每个被采集者分别以站立，坐下，弯腰，平躺姿势采集四段视频 数据。 • 规模：816段视频，51位不同人种的样本 • 适用场景：较大屏幕的注视点估计 • 局限性：大部分视频中的人脸都是不完整的，无法获得有效的头 部姿态信息
列表
• Sugano Y, Matsushita Y, Sato Y, et al. Learning-by-Synthesis for Appearance-Based 3D Gaze Estimation[C]. Computer Vision and Pattern Recognition, 2014: 1821-1828.
人工标注面部特征点用于求解头部姿态，考虑复杂光照和角度 • 规模：21.3万张图片，15位不同人种的样本 • 适用场景：野外视线估计 • 局限性：部分数据，尤其是头部姿态的误差极大，很多后续工作
在用这个数据集的时候需要进行额外清理和矫正 • 扩充：MPIIFaceGaze 数据集在此基础上添加了全脸图，适用于以
GazeCapture (CVPR 2016)
• 采集工具：iphone 的前置摄像头（普通RGB相机） • 采集方法：在手机屏幕上随机出现红点，被采集者需要一直盯着
不断出现的红点，并且需要在不同的背景、光照、头部姿态等干 扰条件下重复采集 • 规模：约210万张图片，1500位不同人种的样本 • 适用场景：手机屏幕上的注视估计 • 局限性：应用场景单一
• Zhang X, Sugano Y, Fritz M, et al. MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(1): 162-175.
全脸图像数据作为输入的视线估计
UTMultiview (CVPR 14)
• 采集工具：8个RGB相机，头部姿态支架，LCD屏幕 • 采集方法：被采集者需要盯着LCD上显示的视觉目标，在目标消
失时会触发相机拍照，每次采集会获得（160个点*8个相机）张 图片。此外，需要手动标注6个面部关键点用于计算头部姿态。 • 规模：100万张图片，50位不同人种的样本 • 适用场景：大角度视线估计 • 局限性：需要手动标注6个面部关键点
人眼数据ቤተ መጻሕፍቲ ባይዱ集方法
2020-05-09
数据集种类
• 3D视线估计
• 视点估计
• MPIIGaze（单相机）
• GazeCapture（单相机）
• MPIIFaceGaze（单相机）
• TabletGaze（单相机）
• UTMultiview（多相机）
• ColumbiaGaze（单相机多视点）
• Eyediap（单相机 + 深度相机）
视线+视点数据集
• 采集工具：手动在图片中标注，Mechanical Turk • GazeFollow (NIPS 2015) 图片中标注 • VideoGaze (CVPR 2016) 电影中标注，跨帧标注 • 规模：两个数据集共45万张图片 • 局限性：都是第三人称视角下的数据，需要语义理解
Columbia Gaze (UIST 2013)
• 采集工具：单个RGB相机，多个采集点，头部姿态支架 • 采集方法：被采集者需要盯着黑布上的激光点，每次采集共五种
头部姿态，每个姿态采集21张不同视线。 • 规模：5880张图片，56位不同人种的样本 • 适用场景：视线估计 • 局限性：头部姿态的角度是离散的 • 只有预设的几个角度