视频图像中的视觉疲劳实时检测方法研究_兰婷_普杰信

Computer Engineering and Applications 计算机工程与应用 _______________________________________ 基金项目：河南省科技攻关计划(092102210293)；河南省基础与前沿计划(102300410113)。 作者简介：兰婷（1983-），女，硕士，主研方向：人工智能与模式识别；普杰信，教授、博士生导师

视频图像中的视觉疲劳实时检测方法研究 兰婷，普杰信 LAN Ting，PU Jie-xin 河南科技大学 电子信息工程学院，洛阳 471003 College of electronic and Information Engineering，Henan University of Science and Technology，Luoyang 471003，China

LAN Ting，PU Jie-xin．Visual fatigue in video image in real time detection method Abstract：Put forward a new visual fatigue analysis algorithm which is applicable to detect face location and eyes state in driving at real time. Firstly, the differential method is quickly used to find the target area of video. Face is positioned by skin color segmentation combining YCbCrcolor space. Then the eyelid is detected using the gray

integral projection and Hough transform in the area of face. The detected data of eyelid is analysed, and the condition of eyes is got. Value of EOD is to judge whether the driver is fatigue combined with blink analysis. The experimental result shows that the method can locate face quickly in complex background. The value of EOD is detected when the eyes open, and real-time test of visual fatigue is improved. Key words：driving fatigue; Video; Skin color segmentation; Hough transform; Blink cycle

摘 要：提出一种新的适用于驾驶中视觉疲劳实时检测的人脸定位及眼睛状态分析算法。首先采用差分法快速找到视频图像中的目标运动区域，结合YCbCr色彩空间进行肤色分割定位人脸。然后对脸部区域进行灰度积分投影并结合Hough变换检测眼睑。对检测到的眼睑进行数据分析，得到眼睛开闭情况，结合眨眼分析，获得EOD值来判断驾驶员是否疲劳。实验结果显示本方法能在复杂背景下快速定位人脸，检测到眼睛睁开时的EOD值，满足视觉疲劳检测的实时需要。 关键词：疲劳驾驶；视频；肤色分割；Hough变换；眨眼周期

1 引言 近年来，随着机动车保有量的猛增，恶性交通事故呈逐年上升趋势，采用一种非接触的、实时的疲劳检测方法及时发现并有效遏制由疲劳驾驶引发的交通事故刻不容缓。在驾驶过程中，驾驶员是否疲劳可以通过眼睛的状态反映出来，因此利用驾驶员的视觉信息来判断驾驶员的疲劳状况是一种行之有效的方法[1-2]。

视觉疲劳的检测首先要定位眼睛。目前，最具代表性的人眼状态检测方法包括模板匹配、Hough变换圆检测、瞳孔检测等。这些方法各有优势，但也存在一些不足。模板匹配法需要预存多个模板，存储信息量大，不易推广；Hough变换圆检测方法定位准确但计算量较大；瞳孔检测则只能确定睁眼的情况[3]。针对以上问题，本文根据驾驶员疲劳检

测系统实时性要求高的特点，提出一种结合肤色信息的快速识别眼睛张开和闭合状态的方法，主要分为四步：人脸的检测、眼睛的定位、眼睛状态的识

别和疲劳状态的分析。 2 视频图像中的人脸检测 人脸检测问题最初来源于人脸识别（face recognition），是自动人脸识别系统中的一个关键环节[4]。人脸检测的定义是采用一定的策略对给定图片或视频进行搜索，从而判断其中是否存在人脸，如果存在则定位出每个人脸的位置、大小以及姿态。 常用的人脸检测方法有：不变特征法、变形模板法和特征脸法。分别针对不同的检测对象，但普遍存在算法复杂、收敛速度慢、计算时间偏长的缺陷。本文采取先定位目标运动区域，忽略视频图像中固定背景，再用肤色模型快速定位人脸，大大节省了运算时间，提高了疲劳监控中人脸检测与定位的准确率，为驾驶员疲劳检测系统的实时性提供可靠保障。 为了提高基于图像的疲劳检测系统的准确性

网络出版时间：2012-06-15 17:27网络出版地址：http://www.cnki.net/kcms/detail/11.2127.TP.20120615.1727.045.html和实时性，要在视频流提取出的图像中检测和定位人脸，为进一步获取面部特征提供图像数据。与静止图像中人脸检测不同的是，本文处理的是视频序列。前后各帧之间有非常大的相关性，除了静止图像中可利用的特征外，还有运动方向估计、前帧参考等更加丰富的信息。综合利用这些信息，简化算法的复杂度，提高性能。 帧间差分法[5-7]是指用连续的图像序列中两个相邻帧直接相减进行目标检测的方法，来提取图像中较小的时间间隔内的图像变化部分，即运动区域。 运动信息是视频或图像序列中一个不可忽略的信息。针对本文摄像机与背景的位置相对固定，图像中只有一个人在运动这一特殊的应用背景，可以用差分图像的方法检测出图像中的目标运动区域。该区域中即包含有人脸，再在此区域中，运用肤色模型定位出图像中的人脸。使用差分法后，图像中静止的背景被排除在主要研究区域的范围之外，背景中的一些类肤色区域将不会干扰人脸检测，从而降低了运算量，以保证检测的速度。 160.2570.5040.0981280.1480.2910.4391280.4390.3680.071YRCbGCrB⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=+−−×⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥−−⎣⎦⎣⎦⎣⎦⎣⎦ (1)󰀁(,)mCrCb= (2) 11NiCrCrN==∑ (3) 11NiCbCbN==∑ (4) ,,,,CrCrCrCbCbCrCbCbVσσσσ⎡⎤=⎢⎥⎣⎦ (5)󰀁其中，Cr、Cb 为Cr、Cb 相应的平均值，V为协方差矩阵。通过建立的肤色模型，将一幅彩色图像转变为灰度图像，灰度值对应于该点属于皮肤区域的可能性，然后通过选取合适的阈值，可以将灰度图像进一步转变为二值图像，其中0表示非皮肤区域，1为皮肤区域。 3 虹膜检测及可变模板定位眼睛 为了减小搜索计算量，采用分级检索的方法，先粗定区域，对不能通过粗定的区域不再继续检测工作，然后精确定位，可将运算量减小4至6倍[8]，并且检测效果更好。 3.1人眼粗定位 由于虹膜区域的灰度值和眼部其他区域的灰度值相差较大，因此，可以对人脸图像的灰度积分投影曲线进行分析，以找出虹膜区域的轮廓，即对人眼图像分别进行水平灰度积分投影和垂直积分投影，根据波峰波谷的分部信息确定出虹膜区域的轮廓线，再在所确定的虹膜区域使用Hough变换来检测眼睛。 3.2人眼精确定位算法 在上述过程中，已经找到了真实的人脸区域，并找到了双眼所在的大致位置。以下将使用一种Hough 变换椭圆检测算法精确动态生成整个眼部曲线形状。 Hough变换在检测圆曲线方面能力很强，但用Hough变换检测曲线时，它的计算量会随着曲线参数个数的增加呈指数增长， 因此在实际应用中，要尽量减少曲线参数的个数。 对于任意一个椭圆，给定中心点为P0(x0,y0)，

长半轴长a，短半轴长b，长轴所在直线与x轴的夹角为α，这个椭圆将被唯一确定(x0,y0,a,b,α)。

()000

Y,

XP

)(111Y,XP

)(222Y,XP

图1 一般椭圆的参数关系 如果能确定该椭圆的两个长轴端点P1(x1,y1)和

P2(x2,y2)，上述五个参数中的四个x0,y0,a,α即可确

定：

120

120

2

2

xxxyyy+⎧=⎪⎪

⎨+⎪=

⎪⎩

(6)

222121()()

2xxyya−+−

= (7)

2121arctan()

yy

xxα−

=− (8)

这样，需要通过Hough变换累积确定的参数仅剩下b一个。 因长度和角度属于平移和旋转变换的不变量，可将图1的一般椭圆通过平移和旋转变换到图2所示的标准形式，再利用椭圆标准方程来分析长度和角度之间的关系。考虑到人眼睑的生理形状，直接