自动驾驶人机交互 [五]：驾驶员状态监控

作者 | HYZY

来源 | 焉知

知圈 | 进“HMI社群”请加微信15221054164，备注HMI

一、基本概念

驾驶员状态监控系统DMS（Driver Monitor System）属于自动驾驶人机交互的一部分，其使用摄像头获取的图像及其它车身传感器输入的数据，通过视觉跟踪、动作识别等技术监测驾驶员的驾驶行为和生理状态，当判断驾驶员不在场或处于非正常驾驶状态时（疲劳、分心等），自动驾驶系统向驾驶员发出报警或执行其它安全策略，以确保车辆运行安全。

图 1  驾驶员状态监控DMS

从技术原理上，驾驶员状态监控系统DMS可分为直接监控和间接监控两种类型：

• 直接监控：通过传感器获取驾驶员头部运动、面部运动、眼部运动、心电或脑电等直接表征驾驶员状态的信号，用以判断驾驶员的状态；

• 间接监控：通过获取驾驶员的驾驶行为信号及相关车辆状态信号，间接判断驾驶员状态。

直接监控方式可获取更多的驾驶员状态信息，且随着相关视觉技术的进步，其判断结果可信度也不断提升，多用于自动驾驶系统的人机交互。间接监控方式可获取的驾驶员状态信息有限，通常可用于驾驶员驾驶风格判断及整车驾驶模式匹配。

二、驾驶员状态定义

驾驶员状态监控系统DMS可识别的驾驶员状态见下图2。

图 2  驾驶员状态

1、正常驾驶状态

驾驶员处于正常驾驶状态包括了驾驶员在场和保持了注意力两方面的判断，相关判定条件为：

• 驾驶员在场判定
  参考UNECE ALKS法规要求，以下两项条件任意一条满足时，都可判定为驾驶员不在场：
  ‒ 检测到驾驶员不在驾驶座持续时间＞1s；
  ‒ 主驾安全带松开。
• 驾驶员保持注意力判定
  驾驶员保持注意力的判定条件可参考以下四条，当检测到其中一条或两条满足时即可认为驾驶员保持了注意力：
  ‒ 驾驶员对驾驶操控装置有输入；
  ‒ 确认驾驶员视线主要在看前方道路；
  ‒ 确认驾驶员视线有在关注后视镜；
  ‒ 确认驾驶员头部移动主要为了驾驶任务。

2、非正常驾驶状态

非正常驾驶状态通常包括疲劳驾驶、分析驾驶和极端异常驾驶三种类型。

图 3 非正常驾驶状态

三、实现原理

1、功能架构

如下图4所示，驾驶员状态监控系统DMS可分为三个主要功能模块：驾驶员状态感知传感器、驾驶员姿态信息识别和驾驶员接管能力判断，车身传感器提供相关车辆状态信号输入。

图 4 驾驶员状态监控系统DMS功能架构

2、驾驶员姿态信息识别

驾驶员状态监控系统DMS进行的驾驶员姿态信息识别主要包括：人脸识别、手部动作识别和坐姿识别三类：

人脸识别

可利用摄像头的人脸识别技术识别驾驶员面部表情和头部动作（包含动作/状态及持续时间），以判断驾驶员当前疲劳程度以及注意力分散程度。

图 5 人脸识别

具体识别姿态有：

‒ 疲劳：①瞌睡/打盹，伴随眼睛闭合、轻微点头、揉眼等动作；②打哈欠；③目光呆滞。

‒ 注意力偏移：①转头（左转/右转）；②低头（看手机/看书、捡东西）；③抬头；④目视前方但注意力不集中（打电话）。

手部动作识别

课通过方向盘传感器判断驾驶员手握方向盘情况。驾驶员是否手握方向盘可作为驾驶员保持强接管能力的判定依据，也可以作为驾驶员进行了有效接管的判定依据。

图 6  手部动作识别

具体可识别以下姿态：

‒ 双手紧握/轻握：保持强接管能力/有效接管；

‒ 单手紧握/轻握：保持强接管能力/有效接管；

‒ 双手/单手随意放置；

‒ 双手离开方向盘

坐姿识别

‒ 可通过座椅传感器判断驾驶员是否在驾驶位上；

‒ 通过安全带信号判断主驾安全带是否系上。

3、驾驶员接管能力判断

疲劳驾驶状态的判定和分级是驾驶员状态监控系统的一个难点，目前疲劳等级的评价方法可分为主观评价与客观评价两种方法：

• 主观评价
  主观评价方法是基于驾驶员主观的感受、驾驶员反应时间以及面部特征将驾驶员主观感受进行分类量化。
  主观评价方法分为主观自评方法与主观他评方法，主观自评通常采用KSS(Karolinska Sleepiness Scale)、SSS（Stanford Sleepiness Scale）和VAS（Visual Analog Scales）的方法来测试被试验者的状态；主观他评法一般选取基于驾驶员面部、眼部信号根据KSS标准对驾驶员当前状态进行打分。
• 客观评价
  客观评价法则通过驾驶员的生理信号（心电信号、脑电信号）判断驾驶员的疲劳程度。