基于图像识别的地铁司机疲劳检测方法研究

基于图像识别的地铁司机疲劳检测方法研究

王思绮，王奋*，李欣怡，沈宇豪，崔奕松，束怡文

（上海工程技术大学 城市轨道交通学院，上海市  201620）

摘要：近年来，地铁运行安全越来越引起社会的广泛关注，及时地识别驾驶员的疲劳状态并预警，是提高地铁运行的安全性的有效路径之一。本文针对地铁司机工作环境和功能需求开发基于图像识别技术的地铁司机疲劳监测系统。该系统通过摄像头捕捉驾驶员的面部特征，利用图像处理技术和Dlib人脸识别技术，计算眨眼频次，判断驾驶员疲劳状态，利用可视化界面实现对驾驶员的及时预警。可应用于城市轨道交通领域驾驶员疲劳状态的实时监测。

关键词：轨道交通；疲劳驾驶；面部特征；眼部识别

0引言

驾驶员是地铁列车正常运行的第一责任人，当列车在正线运行出现故障或突发情况时，驾驶员能否快速、有效的进行处置是线路运营质量的关键，故其工作状态对作业绩效有着非常重要的影响。随着现代城市规模地的扩大，地铁里程越来越长，驾驶员的工作负荷也逐渐加大；同时地铁夜间运营的特殊性使驾驶员常常面临着作息调整频繁的难题，一定程度上影响了驾驶员的工作状态；疲劳驾驶已成为地铁运营的重大安全隐患。

国内外研究显示，驾驶员疲劳检测方法主要有2种：1）基于生理信号判断驾驶员的疲劳状态主要依靠脑电信号[1]、心电信号[2]和肌电信号[3]开展。基于生理信号检测方法需要驾驶员佩戴接触性设备，在行车过程中会对驾驶员的操作产生影响，并且极易受到环境干扰，所以该种检测方法的检测精度较差。2）通过检测面部特征如瞳孔直径、眼部运动、头部位移等判断驾驶员的疲劳状态[4]。打瞌睡驾驶员侦探系统DDDS，利用多普勒雷达技术，结合多种信号分析技术，获得司机的情绪波动、眨眼频率、眨眼时长等多种疲劳特征，从而判断驾驶员是否处于疲劳状态[5]，具有非接触性、实时性和检测精度高等优点。

本文提出一种基于图像识别的地铁司机疲劳状态监测系统，通过识别驾驶员面部表情来准确判断驾驶员的疲劳状态，从而进行实时预警的效果。

1 基于视频识别的疲劳检测方法

1.1基于面部特征的疲劳检测算法

本文基于面部特征疲劳驾驶检测方法主要是通过Dlib人脸识别算法，提取驾驶员的面部特征，获取眨眼次数。当眨眼频次超过设定值，则判定进入疲劳状态。本论文基于Opencv-Dlib人脸识别，提取驾驶员的面部特征，获取眨眼次数。当眨眼频次超过设定值，则系统发出警告。

图1算法主要思路

1.2人脸特征点坐标获取

首先，初始化Dlib的人脸分类器，然后创建面部标志物预测。引入Dlib内置函数dlib.get_frontal_face_detector()和dlib.shape_predictor(predictor_path)，前者使用HOG pyramid定位人脸区域，后者检测区域内的人脸68个特征点并输出坐标。

打开摄像头，利用OpenCV读写视频流，循环出图像帧，并对图像做维度扩大进行灰度化。通过对脸部位置检测，获取脸部特征位置信息，将脸部特征信息转为数组array的格式；使用drawContours画出轮廓位置，进行画图操作，用矩形框标注人脸。引入开源模型shape_predictor_68_face_landmarks.dat，从而输出68个特征点位置的坐标。

1.3人眼信息识别

当人进入疲劳状态时，眨眼频次会增加。本文利用眼睛长宽比（Eye Aspect Ration，EAR）来判断驾驶员的眼睛开合度。根据得到68个特征点位置的坐标，分别获取左右眼面部标志的索引，计算EAR值（如式1所示）。

                 （式1）

当地铁司机在眼睛正常睁开时，EAR值接近某个值；当眼睛闭合时，EAR会迅速下降，理论上为0。由于检测模型存在误差，本文认为当EAR低于某个阈值时，则记为一次眨眼。为检测眨眼次数，需要设置同一眨眼的连续帧数，人在正常情况下眨眼速度较快，一般1-3帧就可以完成一次眨眼动作，当连续3帧EAR都小于阈值则记为一次眨眼。单位时间内，驾驶员眨眼次数超过设定的值时则系统判定处于疲劳状态。

2.数据采集及分析

2.1 实验方案

实验全程使用列车模拟驾驶台来模拟驾驶员连续驾驶的场景，用装有高清摄像头并且安装了本系统的电脑进行固定拍摄，由此来获取实验所需的眨眼次数的原始数据。

受到实验环境的限制，用被试人员连续上课来模拟驾驶员连续驾驶作业导致的疲劳。在不同光照环境（白天/黑夜）下，以1.5h为间隔增加连续上课时长，随后让被试人员进行0.5h的模拟驾驶作业，并拍摄视频。

2.2 数据分析

将实验采集到的视频按照每秒三帧的格式进行算法预处理，输出图片，通过算法，提取被试人员的眨眼次数（Blinks）。实验结果如图2所示。

图2眨眼次数与连续驾驶时间的关系

以上数据显示，在不同环境下，随着模拟驾驶时间的增加，驾驶员的眨眼频次也增加，驾驶员的疲劳状态更加明显。在相同驾驶时长下，黑夜环境下的驾驶员的眨眼频次更高，说明对于被试人员来说，在夜晚驾驶列车比白天驾驶列车更容易进入疲劳。

3疲劳监测系统设计

3.1 功能需求分析

为满足乘务管理的实际需求，地铁司机疲劳监测系统应满足实时监测，自主判断司机疲劳状态和及时预警的需求。本系统主要分为电脑端后台和显示界面两部分，可以实现数据采集-判断疲劳状态-显示结果或警告的完整的工作流程。

3.2疲劳监测系统界面设计

显示界面窗口主要分为四个模块，登录模块、信息模块、影像模块和预警模块。激活系统后，出现登录窗口，显示用户名和密码输入窗口，提高了系统的安全性。

激活系统后，出现登录窗口，输入用户名和密码，进入系统。系统界面的左侧显示驾驶员的个人信息；右侧显示眨眼次数和警告次数。系统警告时底部会出现弹窗，弹窗的大小和颜色有强烈的视觉刺激效果。

4.结论

本文利用摄像头等设备和Dlib人脸识别技术，采集驾驶员的眨眼次数，进行实时的疲劳检测。论文通过设计不同场景下的模拟驾驶实验，获取被试对象的面部视频信息，通过算法得到驾驶员眨眼频次变化，并进行疲劳差异分析。通过系统功能分析，构建司机疲劳监测系统可视化界面，实现对驾驶员疲劳监测和提示的目的。本文所提出的系统构成简单，可以用于对地铁驾驶员的疲劳监测，为提升地铁行车安全和管理提供技术支持。

参考文献：

[1]张光远,王亚伟,王灿,李婧,邓龙 .基于脑电信号特征的高铁调度员作业疲劳分析评价研究[J].综合运输,2022,44(11):106-111+150.

[2]焦泽轩,贾兴利,刘帅锋. 基于驾驶人心率指标的沙漠高速公路疲劳警示标志设置方法研究[C]//中国科学技术协会,交通运输部,中国工程院,湖北省人民政府.2022世界交通运输大会(WTC2022)论文集（公路工程篇）.人民交通出版社股份有限公司,2022:389-395.DOI:10.26914/c.cnkihy.2022.019049.

[3]熊运霞,苗德华,马林昌等.汽车驾驶员疲劳监测技术研究现状及发展趋势[J].天津工程师范学院学报,2009,19(02):15-18.

[4]张光远,文原劲,王亚伟,胡悦,李婧.基于眼动特征的高速铁路调度员工作状态识别干预方法研究[J].铁道运输与经济,2023,45(04):78-85.DOI:10.16668/j.cnki.issn.1003-1421.2023.04.11.

[5]王磊. 基于计算机视觉的驾驶员疲劳/瞌睡检测方法的研究[D].山东大学,2005.

作者简介：王思绮（2000—），女，浙江衢州人，上海工程技术大学本科生，研究方向：轨道交通运营管理；

通讯作者：王奋（1986-），女，河南三门峡人，上海工程技术大学，讲师，博士，研究方向：轨道交通运营安全。