基于深度学习技术的驾驶员疲劳驾驶检测方法研究

基于深度学习技术的驾驶员疲劳驾驶检测方法研究摘要：本文针对疲劳驾驶对交通安全的严重影响，介绍了现有的驾驶员疲劳检测产品和技术。

首先介绍了车企实施的驾驶员疲劳检测系统，与第三方商业产品，如丰田、大众和日产等汽车公司的相关研究成果。

接着，本文详细介绍了基于车辆传感特征的疲劳检测方法和基于传统计算机视觉的疲劳检测方法，并分析了它们存在的缺陷。

最后，本文探讨了基于深度学习的疲劳检测方法，并对深度学习在驾驶员疲劳检测中的未来发展方向进行了展望。

通过对现有产品和技术的介绍与分析，为进一步研究和改进疲劳检测方法提供了参考。

关键词：疲劳驾驶检测；计算机视觉；深度学习；传感器1导论驾驶员在驾驶过程中对路况的观察预感，以及快速准确的决策是保证安全行驶的关键因素之一。

由于疲劳驾驶导致的注意力不集中，反应速度降低，驾驶员在这中状态下很可能无法做出正确的判断和决策，增加了发生交通事故的风险。

据统计，疲劳驾驶发生交通事故占我国交通事故总量的21%，并且疲劳驾驶发生交通事故死亡率高达83%。

疲劳驾驶严重影响了驾驶员的注意力和专注力，致使其无法正确感知周围的交通情况和道路标志，这种注意力不集中的状态下驾驶员很可能无法及时采取措施应对突发情况，增加事故发生的风险。

疲劳可分为主动疲劳、被动疲劳和睡眠相关疲劳[1]，主动疲劳是由于长时间参加某一任务而引起精神消耗。

被动疲劳是由单调的工作或注意力不集中引起的，Thiffault等人的研究表明，由于在高速公路等单调的直线道路上驾驶容易产生被动疲劳[2]，长时间的驾驶会使司机失去兴趣，导致驾驶员分心，致使交通事故的发生率提高。

睡眠相关疲劳是由于生物钟等因素的影响，在昼夜节律的同一周期，人往往会感到困倦。

对于成年人来说在午夜和正午最易感到困倦，如果在这两个时间段驾驶则易发生睡眠相关疲劳。

可见，造成疲劳驾驶的原因多种多样，如何有效地检测驾驶员的疲劳状态，并及时进行疲劳预警是目前研究的一大重点。

本文首先介绍了现有驾驶员疲劳检测产品，并分析了当前常用的疲劳检测人工智能技术，分别介绍了基于车辆传感特征、基于传统计算机视觉以及基于深度学习的疲劳检测方法，阐述了传统方法中存在的问题，解释了基于深度学习方法的优势，为进一步研究和改进疲劳检测方法提供了参考。

2 现有驾驶员疲劳检测产品2.1车企实施的驾驶员疲劳检测许多知名的跨国汽车公司，如丰田、大众、日产等，目前都在针对驾驶员的疲劳驾驶检测系统进行研究。

在2008年的Crown车型上，丰田安装了首个疲劳检测模块，可以根据眼睑活动来检测睡意。

日产2016年日产Maxima车型采用了驾驶员注意警报系统，该系统可以跟踪驾驶员的转向模式，一旦检测到任何异常偏离模式，就会产生警告信号，以便在需要刹车时提醒驾驶员。

大众汽车的Rest Assist提供车道跟踪系统、踏板使用和方向盘不稳定的运动来判断驾驶员的疲劳程度。

一旦检测到疲劳，系统会以视觉信息、声信号和方向盘振动的形式警告驾驶员。

目前，许多汽车公司实施的疲劳检测方法都是基于车辆的特征，而第三方商业产品则是多基于驾驶员的身体特征。

2.2第三方商业产品许多第三方公司已经设计、开发和实施了疲劳识别产品。

Smart Eye AB专门为驾驶员疲劳实时检测设计了AntiSleep系统。

AntiSleep采用眼睛凝视等功能，根据头部运动、眼位和眨眼检测驾驶员疲劳，通过眼睑活动和凝视方向来检测驾驶员是否存在疲劳和注意力不集中的问题。

Care Drive的驾驶员疲劳监测器MR688采用红外摄像传感器来检测疲劳，并跟踪瞳孔变化和头部运动，输出视频连接到客户的MDVR，并通过GPS将疲劳信号发送给客户，以便实时监控驾驶员的状态。

GuardVant设计了OpGuard，这是一种可安装的驾驶员疲劳检测系统，其红外摄像头可以监控司机的眼睑闭合、头部和面部运动和行为。

第三方公司大多专注于利用驾驶员的身体特征，包括打哈欠、眨眼频率、眨眼持续时间和头部运动等行为进行疲劳检测。

尽管驾驶员监控技术已经取得了很大的进步，但要实现高度精确的系统还需要进一步的研究。

3疲劳检测技术3.1基于车辆传感特征的疲劳检测方法在大多数情况下，这些测量是在模拟环境中通过在各种车辆部件上放置传感器来确定的，包括方向盘和加速踏板，然后对传感器发出的信号进行分析，以确定困倦程度。

Liu等人发表了对当前基于车辆的措施的综述[3]，研究人员发现，疲劳驾驶会导致驾驶速度的较大变化。

使用安装在转向柱上的角度传感器测量驾驶员的转向行为，是一种广泛用于检测驾驶员困倦程度的方法[4,5]。

研究人员研究了疲劳驾驶与方向盘微修正间的关系，为了消除正常变道的影响，研究人员只考虑调整车道内的横向位置的方向盘微小运动，研究表明与正常驾驶相比在疲劳状态下，方向盘上的微修正次数将会减少。

因此，该方法可以一定程度确定驾驶员的疲劳状态，从而在需要时提供警报。

日产和雷诺等汽车公司已经采用了该类方法，但它的使用情景非常有限[6]。

这是因为该类方法只能在特定的环境中可靠地发挥作用，并且过于依赖于道路的几何特征，而在较小程度上依赖于车辆的动力学特征。

3.2基于传统计算机视觉的疲劳检测方法在进入疲劳驾驶状态时，驾驶员会表现出一些面部动作特征，包括快速而持续的眨眼、点头或摇头，以及频繁的打哈欠[7]。

该类方法被广泛用于测量驾驶员的异常行为来确定驾驶员的困倦程度[8]。

已有的用于判断疲劳驾驶的研究大多集中在眨眼上[9]，这种测量方法是预测困倦的可靠方法[10]，并已被用于商业产品。

一些研究者使用多种面部动作，包括内眉上升、外眉上升、嘴唇伸展、下颌下垂和眨眼来检测睡意。

目前也有使用其他行为测量方法，如打哈欠和头部或眼睛位置取向来确定困倦程度[11, 12]。

该类方法在以30 FPS左右的速度获取图像。

在捕获视频后，对人脸、眼睛或嘴巴进行检测并提取眼部状态、打哈欠频率和头部角度等特征。

然后通过使用支持向量机等分类方法对行为进行分析，在测试数据上具有较好的检测效果。

然而使用基于视觉的方法的主要限制是照明。

普通摄像机在夜间表现不佳。

此外，大多数方法都是在模拟驾驶员疲劳驾驶的数据上进行测试的，而不是在真实视频数据上进行测试，这对该类方法的鲁棒性造成了限制。

3.3基于深度学习的疲劳检测方法近年来深度学习的大力发展，越来越多的研究人员尝试利用深度学习技术检测驾驶员的是否疲劳驾驶的情况。

Choi等人利用深度学习模型开发了一种基于卷积神经网络的注视区域检测算法[13]，基于卷积神经网络的模型能够学习驾驶员的特征，然后将这些特征馈送给支持向量机来检测驾驶员的困倦状态，实现了较好的效果。

Dwivedi等人在中提出的工作使用深度学习来检测面部特征[14]，其使用了3层卷积神经网络来检测驾驶员的面部特征，并将其作为输入输入到下一个卷积神经网络网络中。

在这三层卷积神经网络中，神经计算和应用逐层提取输出，最后一层的输出为最终输出，然后将该输出传递给SoftMax分类器，以便根据需要进行分类。

Park等人提出了一种新的方法[15]，其使用了三个特征，并使用3-CNN模型来检测这三个特征，所使用的特征包括行为特征、环境和背景特征以及面部特征，这些模型的输出分为四类，输出通过两种架构馈送到SoftMax进行分类。

然而，深度学习技术在应用中也存在一些挑战。

深度神经网络的训练需要大量的数据和计算资源，这对于一些实际应用来说可能会造成困难。

其次，深度学习模型的可解释性相对较差，很难解释模型的判断依据。

因此，在应用深度学习技术进行驾驶员疲劳检测时，需要权衡这些挑战和限制。

4 总结总的来说，深度学习技术在驾驶员疲劳检测中具有很大的潜力。

通过利用深度学习模型来提取驾驶员的特征信息，可以实现更准确和可靠的疲劳检测，从而提高驾驶安全性。

未来，随着深度学习技术的不断发展和完善，相信在驾驶员疲劳检测领域会取得更加令人满意的结果。

参考文献：[1] May J F, Baldwin C L. Driver fatigue: The importance of identifying causal factors of fatigue when considering detection and countermeasure technologies[J]. Transportation research part F:traffic psychology and behaviour, 2009, 12(3): 218-224.[2] Thiffault P, Bergeron J. Monotony of road environment and driver fatigue: a simulator study[J]. Accident Analysis & Prevention, 2003, 35(3): 381-391.[3] Liu C C, Hosking S G, Lenné M G. Predicting driver drowsiness using vehicle measures: Recent insights and future challenges[J]. Journal of safety research, 2009, 40(4): 239-245.[4] Liu C C, Hosking S G, Lenné M G. Predicting driver drowsiness using vehicle measures: Recent insights and future challenges[J]. Journal of safety research, 2009, 40(4): 239-245.[5] Thiffault P, Bergeron J. Monotony of road environment and driver fatigue: a simulator study[J]. Accident Analysis & Prevention, 2003, 35(3): 381-391.[6] Vural E. Video based detection of driver fatigue[D]. , 2009.[7] Fan X, Yin B C, Sun Y F. Yawning detection based on gabor wavelets and LDA[J]. J Beijing Univ Technol, 2009, 35(3): 409-413.[8] Vural E, Cetin M, Ercil A, et al. Drowsy driver detection through facial movement analysis[C]//Human–Computer Interaction: IEEE International Workshop, HCI 2007 Rio de Janeiro, Brazil, October 20, 2007 Proceedings 4. Springer Berlin Heidelberg, 2007: 6-18.[9] Fan X, Yin B C, Sun Y F. Yawning detection based on gabor wavelets and LDA[J]. J Beijing Univ Technol, 2009, 35(3): 409-413.[10] Fan X, Yin B C, Sun Y F. Yawning detection based on gabor wavelets and LDA[J]. J Beijing Univ Technol, 2009, 35(3): 409-413.[11] Smith P, Shah M, da Vitoria Lobo N. Determining driver visual attention with one camera[J]. IEEE transactions on intelligent transportation systems, 2003, 4(4): 205-218.[12] Murphy-Chutorian E, Trivedi M M. Head pose estimation and augmented reality tracking: An integrated system and evaluation for monitoring driver awareness[J]. IEEE Transactions on intelligent transportation systems, 2010, 11(2): 300-311.[13] Choi I H, Hong S K, Kim Y G. Real-time categorization of driver's gaze zone using the deep learning techniques[C]//2016 International conference on big data and smart computing (BigComp). IEEE, 2016: 143-148.[14] Dwivedi K, Biswaranjan K, Sethi A. Drowsy driver detection using representation learning[C]//2014 IEEE international advance computing conference (IACC). IEEE, 2014: 995-999.[15] Park S, Pan F, Kang S, et al. Driver drowsiness detection system based on feature representation learning using various deep networks[C]//Asian Conference on Computer Vision. Cham: Springer International Publishing, 2016: 154-164.。