dms(dms驾驶员状态监控)新鲜出炉

一 前言随着社会发展和人们生活水平不断提高，机动车保有量和公路总长不断扩大。具有驾驶资质的人员数量不断增加，

 

一 前言随着社会发展和人们生活水平不断提高，机动车保有量和公路总长不断扩大具有驾驶资质的人员数量不断增加，驾驶车辆等已成为主流出行方式的一部分我国已是名副其实的汽车大国，然而汽车保有量的增加给人们生活带来便利的同时由于各种不安全驾驶行为诱发的交通事故不断增多，造成了大量生命及财产损失，交通安全逐渐成为社会广泛关注的热点问题。

汽车年销售量稳步上升，因疲劳和分心导致的交通事故数量不容小觑日常行车当中，睡眠不足、道路环境单一等情况都有可能导致疲劳驾驶，引发交通事故各国家的政府机构都曾统计过因驾驶疲劳导致的交通事故数量，并得到一致的结论：驾驶疲劳引起的。

交通事故数量居高不下，而且是诱发重大交通事故的重要因素。

大陆集团与和众泽益联合发布《2018-2020中国青年注意力分散与交通事故白皮书》对青年驾驶员注意力分散行为的调研结论也进一步验证了国内外的多项相关研究，即在驾驶中使用电话（包括使用免提功能），驾驶员视觉搜索的范围、准确性、速度和频率都会下降，而事故发生的可能性则大约上升了4倍。

驾驶员注意力分散问题不容小觑，和众泽益指出这需要国家相关标准与法规的持续完善，此外相关的宣传教育工作亦有待加强在调研中发现，尽管近年青年驾驶员对驾驶时注意力分散行为的危险性的认知度、交通事故发生率程度整体都呈现向好趋势。

然而仍有部分青年驾驶员认为注意力分散行为是不可避免，这就导致青年驾驶员容易将注意力分散行为归为外在因素，由此可见青年驾驶员的规避意识仍有提升的空间

疲劳驾驶这件事是真的非常非常常见，虽然不总是引起事故驾驶员的疲劳驾驶是造成交通事故的重大原因，在重大交通事故诱因中一直占有较大比例，在实际行车中经常发生，因此驾驶员疲劳状态监测系统对于提高行车安全具有重要作用。

如果能有效监测驾驶员是否疲劳，并在疲劳时发出警告甚至主动控制车辆运动，那么驾驶员和乘员的安全将得到显著提高，还能够大大降低引发交通事故的可能性驾驶员不良情绪或健康状态异常而导致突发公共安全事件时有发生，因此驾驶员群体的健康状况，尤其是情绪监测对司乘安全、行人安全乃至社会公共财产安全都尤为重要。

如果在车上有人能够提示驾驶员分神了，发生事故的概率可以降低30%~43%注意力不集中、酒驾等因无法有效监管车辆导致的事故，甚至更多，这也是驾驶员监控系统能够发挥用途的场景之一随着汽车智能化程度的增加，为了减少由于驾驶员疲劳驾驶带来的事故隐患，为了确保行车安全，驾驶员监控系统DMS应运而生。

很多车辆都开始装备被统称为“驾驶员状态监测”，即DMS的系统，以期望能够利用技术手段减少因为驾驶员状态不佳引起的事故这些系统在驾驶员状态监测这件事情上现阶段主要针对一件事情：疲劳驾驶

因此车辆驾驶员和乘员感应系统在预防事故方面的重要性是全球的关注重点，这对汽车制造商来说也越来越重要在驾驶过程中，对司机行为规范的监管也提出了新的更高要求一种基于驾驶员行为监管的智能系统应运而生，AI智能识别成为了这种解决方案的首选。

以我国的公路货运为例，截止2019年我国公路货运事故数为3.7起/百万公里，而美国公路货运事故数早在2014年就已经降到了0.1起/百万公里左右就货车上安装AI摄像头来说，根据数据统计，摄像头安装后，在超过200万英里的运输路线上试用后，事故减少了48% ，违章停车的行为减少了20% ，不系安全带的行为减少了60% ，分心驾驶减少了45%。

一直以来驾驶辅助系统被认为是提高汽车行驶安全的技术，自动驾驶被认为能够改善此类事故的高发生率NHTSA数据统计预测，到 2040年自动驾驶技术将会减少80%的交通事故汽车制造商希望自己的高级驾驶员辅助系统(ADAS)能够给用户带来更强大的安全保障，但行驶安全归根结底还是驾驶员本身，对此类系统的过度依赖反而造成了不少事故因此提高驾驶员的安全行为，例如监控他们的驾驶状态，在分神或瞌睡时予以警示是提高汽车安全的根本。

目前汽车行业发现了一项可怕的事实：驾驶员使用部分自动化功能的时间越长，其对于驾驶本身就变得越是漫不经心现阶段的L2-L3级自动驾驶中，很多事故的发生或许都有驾驶员太信任自动驾驶而放弃或减弱对驾驶过程的掌控而导致的原因在里面。

因此站在安全至上的角度，驾驶人监控功能有其必要性，尤其是具备自动驾驶功能车辆，在车辆行驶前应判断驾驶是否有能力随时接管汽车，或是驾驶人处于酒醉、神智不清等情况根本不该发动车辆对L2-L3智能驾驶汽车来说，DMS是一项必不可少的重要功能。

当下从车企到行政机构都在寄希望于DMS-驾驶员监控系统的引入而减轻这一问题对驾驶的影响智能驾驶开发既期望于更多的解放驾驶员双手双脚，又不得不关注ADAS系统控制整车所带来的行车安全问题在真正做到完全的自动驾驶之前，驾驶过程都要求驾驶员在系统中处于在环控制，也即人机共驾。

这就对驾驶员在车内的状态提出了较高的要求，即系统控制整车的前提是驾驶员具备接管能力而这种极不稳定的人机关系中间，正是DMS发挥作用的舞台这就带来了新的问题：DMS能不能在人机操控之间，找到新的平衡点

随着汽车智能化等级的提高，疲劳监测技术逐渐成熟，该技术预计在中高端车上将得到大规模应用然而对驾驶人来说，使用该系统等同暴露个人行为与状态，且报警等行动在部分情况下也非驾驶人乐见；另外要如何提醒，才不会二次刺激情绪不佳的驾驶人等，都是这类驾驶人监视系统导入后需考虑的问题。

二 概述1.分析了目前各种驾驶员疲劳状态监测技术的工作原理、优点与不足，并梳理了研究驾驶员疲劳状态的技术路线，提出了建立疲劳数据库的方法、监测驾驶员疲劳状态的方法以及如何应用疲劳监测结果，最后预测驾驶员疲劳状态监测技术未来的发展趋势。

2.阐述了一种人机协作智能增强的驾驶员状态监控系统的实现方法该系统可以对驾驶员的疲劳状态（打呵欠、频繁闭眼等）、不良驾驶行为（长时间不目视前方、接打手持电话、抽烟、双手同时脱离方向盘、跟车过近等）进行实时监测与报警。

其特点在于：驾驶员面部视觉感知、驾驶员身体姿态视觉感知与车辆运行状态信息、道路信息融合，并利用人机协作认知的演进模型实现智能增强的驾驶员状态预测，弥补了仅利用驾驶员面部特征进行驾驶员状态判别方法的不足三 定义

DMS是英文Driver Monitor System的缩写，即驾驶员监控系统DMSMonitoring——监视、控制两层含义，行业认知需要提升：从监视层面到控制层面主要是实现对驾驶员的身份识别、驾驶员疲劳驾驶以及危险行为的检测功能。

是一种基于人体生理反应特征的驾驶员疲劳监测预警系统，通过车内搭载的各类先进传感器，通过车载摄像头对驾驶员面部、眼部、头部的信息监测，能够从眼睑闭合、眨眼、凝视方向、打哈欠及头部运动等方面对驾驶员的注意力、疲劳状态甚至危险驾驶行为及驾驶状态进行监测，如对方向盘控制的频率、握力变化等信息，是基于驾驶员生理图像反应，利用驾驶员的面部特征、眼部信号、头部运动性等推断驾驶员的疲劳状态，当驾驶员发生疲劳、困倦、分心、打电话、抽烟、未系安全带等危险情况时在系统设定时间内报警，通过声音、震动进行报警提示，让驾驶员可以对驾驶状态做出调整，并在必要时找到地方进行休息，或采取相应措施的装置，对驾乘者给予主动智能的安全保障，能有效规范驾驶员的驾驶行为以避免事故发生，大大降低交通事故发生的几率。

 DMS属于自动驾驶人机交互的一部分，其使用摄像头获取的图像及其它车身传感器输入的数据，通过视觉跟踪、目标检测、动作识别等技术监测驾驶员的驾驶行为和生理状态，当判断驾驶员不在场或处于非正常驾驶状态时（疲劳、分心等），自动驾驶系统向驾驶员发出报警或执行其它安全策略，以确保车辆运行安全。

        驾驶员状态监控DMS整体来说，驾驶员监控系统DMS是一种高级辅助驾驶技术，是高级驾驶辅助系统ADAS中重要组成部分，旨在帮助增加驾驶安全性以及提升驾驶舒适性。

DMS系统最开始的应用是监控驾驶员的状态，以防止驾驶员疲劳，分神等危害驾驶过程的行为发生随着计算机视觉技术的发展，现在DMS系统基本涵盖了整个车载视觉解决方案随着图像传感器的发展，基于摄像头图像采集的DMS正逐渐成为ADAS的标配。

驾驶员状态监测系统不等于疲劳监测系统，它们是一个包含与被包含的关系具体来说驾驶员状态监测系统理论上可以监测更多的事情，比如分心驾驶、高认知负荷只是由于技术和实际应用的问题，大部分DMS系统主要是针对疲劳驾驶，。

所以有时也称为驾驶员疲劳预警系统、防疲劳预警系统、疲劳识别系统、注意力警示辅助系统、驾驶员安全警告系统等四 组成驾驶员疲劳预警监测系统主要是由信息采集单元、电子控制单元和预警显示单元三部分组成，如下图

信息采集单元主要利用传感器采集驾驶员信息和汽车行驶信息，驾驶员信息包括驾驶员的面部特征、眼部信号、头部运动性等；汽车行驶信息包括转向盘转角、行驶速度、行驶轨迹等，这些信息的采集取决于系统的设计电子控制单元ECU接收信息采集单元传送的信号，进行运算分析，判断驾驶员疲劳状态，如果经计算分析发现驾驶员处于一定的疲劳状态，则向预警显示单元发出信号，通过声音、光照闪烁及安全带振动等方式预警。

DMS系统主要包含：抽烟监测、接打电话监测、分心驾驶监测、未系安全带监测、喝水监测、打哈欠监测、闭眼监测、异常状态监测等基础功能1.人机协作智能增强驾驶员状态监控系统智能驾驶辅助系统都没有把人的因素考虑进去，系统假设驾驶员都是千篇一律的。

事实上驾驶员的精神状态在不在线，有时是驾驶安全起决定性的甚至它们没有考虑到

人的状态，只是粗暴地接管车辆控制权，有时可能会起来适得其反的作用人机协作智能增强驾驶员状态监控系统是一个将人的作用或人的认知模型引入的人工智能系统，具备混合智能增强范式由信息感知、融合预测、协作增强、反馈预警等子系统组成。

（1）信息感知子系统由三个视觉感知摄像头、一个车辆CAN总线采集模块组成：①一个位于驾驶员前方仪表台上的朝向驾驶员的940纳米红外摄像头（适用于各种光照条件，可大幅降低强光及弱光环境对摄像画面成像质量的影响）。

用于采集驾驶员面部特征及上半身部分视觉图像信息，通过深度神经网络模型推理图像中存在打呵欠、闭眼、接打手持电话、抽烟、不系安全带、长时间不目视前方等驾驶员疲劳以及不良驾驶行为画面的置信度;②一个位于驾驶员上方朝向驾驶员的广角短焦摄像头，用于采集驾驶员姿态与动作和方向盘转动信息，通过深度神经网络模型结合传统计算机视觉算法推理画面中存在驾驶员异常坐姿、较长时间不转动方向盘、异常速度转动方向盘、驾驶员双手脱离方向盘等疲劳和不良驾驶行为现象的置信度;

③一个贴于挡风玻璃内侧中央，朝向道路方向天际线的摄像头，用于采集前方车辆、行人、车道线等目标信息，通过深度神经网络模型结合传统计算机视觉算法检测前方车辆、行人、车道线等目标，并计算本车与前方的车辆、行人的距离以及本车与两侧车道线的距离;

④一个车辆CAN总线信息采集模块，通过车辆自身的CAN总线采集车辆的车速、转速、油门开度、刹车状态、横摆角速度等信息，用于辅助判断驾驶员是否处于正常驾驶状态（2）融合预测子系统将来自信息感知子系统的多种感知信息进行融合，而后对驾驶员是否存在疲劳驾驶行为或者不良驾驶行为进行预测。

如预测结果置信度低于指定的阈值，则将通过信息感知子系统采集到的当前时间点前的指定时间段内的视频及车辆总线数据和预测结果一并提交到协作增强子系统，并由协作增强子系统作进一步处理融合预测的主要步骤为：①以100毫秒为单位时间对各感知信息进行配准后组成特征向量。

②以1000毫秒为周期，100毫秒为间隔进行滑窗操作将采集到的5组特征向量组成特征矩阵③将特征矩阵连续的送入基于LSTM（Long short-term memory）结合CNN构建的神经网络得到切片预测结果向量

④将1000毫秒内的10个切片预测结果向量组成预测结果矩阵，利用可演进评分模型对结果矩阵进行评分得到最终预测结果向量及其置信度;⑤如置信度小于指定阈值则将预测结果及相关感知信息提交至协作增强子系统进一步处理，如置信度大于指定阈值则将预测结果提交至反馈预警子系统做进一步处理

（3）协作增强子系统将人的作用引入到对驾驶员疲劳及驾驶员不良驾驶行为的认知模型，形成人机协作智能增强的形态将融合预测子系统预测结果中置信度低于阈值的场景通过视觉方式还原现场，由人工来判断驾驶员是否存在疲劳或者不良驾驶行为的情况。

并将人工判断的依据及判断过程按照预先设计的演进模型进行记录并转换成用于感知和预测模型训练的素材自动送入训练素材库当新入库素材达到指定阈值时，启动新的感知和预测模型训练，促使模型在人的协助下不断的演进，提高感知和预测模型对驾驶员疲劳和是否存在不良驾驶行为判断的准确率。

（4）反馈预警子系统由声光报警模块、报警事件记录模块组成接收来自融合预测子系统的报警信息通过声光提醒的方式按照不同的报警级别进行不同的声光提醒，同时将报警事件在本地记录并通过无线网络传输到云端服务平台2.前视ADAS控制器中集成驾驶员监控系统及智能座舱视觉感知

致力基于AI算法的驾驶员监控系统（DMS）与以提高交通安全的先进计算机视觉技术公司）达成合作，向全球汽车行业推出整体方案，在高级驾驶辅助系统ADAS控制器中集成驾驶员监控系统DMS及智能座舱视觉感知系统OMS。

系列视觉AI芯片CV2x，让OMS和DMS解决方案如虎添翼。CV2x系列芯片执行DMS视觉感知算法，将其与前视 ADAS 功能进行融合，为市场提供一套完整的ADAS+DMS一体化解决方案。

CV2x系列SoC可用于设计分体式的DMS、OMS和前视ADAS系统，也可以将所有功能集成到一体为驾驶员监控打造了深度优化的e-DME算法，可运行在CVflow AI视觉感知引擎上这使得基于CVflow的前视ADAS系统可无缝添加 现有的OMS和DMS技术。

通过车内外多传感器的融合感知，获得全方位的驾驶信息是一直关注的重点领域将雷达感知算法融合进产品中，在前向传感方面取得了重大的发展参考设计平台安装在汽车前挡风玻璃的最高处，这里是DMS/OMS的ECU和传感器安装的关键点。

把e-DME算法搭载在CV2x系列芯片上，并与专注于汽车舱外感知的公司进行深度合作，将彼此的技术优势融合一体提供最先进的前视ADAS摄像头+DMS集成解决方案凭借CVflow系列AI视觉SoC能效比，以及先进的驾驶员和舱内感知算法，将打造准确和可靠的汽车主动安全系统。

产品技术涵盖AI算法、机器视觉嵌入式处理及监控引擎、为车辆驾驶员提供可靠实时数据其FOVIO机器学习平台可通过AI分析驾驶员头部、脸部、眼睛所有关键测量点，对其注意力状态进行识别与预警，及时解决影响事故风险的潜在风险，让驾驶员监控系统（DMS）技术最终达到真实的驾驶员状态。

广泛应用于人工智能计算机视觉、视频图像处理、视频录制等领域，包括视频安防、高级驾驶辅助系统（ADAS）、电子后视镜、行车记录仪、驾驶员及舱内智能监控、智能汽车无人驾驶和机器人应用等高性能、低功耗处理器可用于智能摄像机设计，支持超高清图像处理、视频压缩、深度神经网络加速，可从高分辨率视频中提取有价值的数据。

3.基于3D识别和人眼追踪技术的驾驶员状态监测系统（DMS）演示模型用于监测汽车驾驶员疲劳驾驶和注意力分散情况该演示模型基于主动立体视觉ASV技术，采用泛光和点阵照明器提供稳定的照明，可有效抵御阳光和墨镜反射的光干扰。

辅以Eyeware Tech SA的先进人眼追踪软件，利用专有算法分析驾驶员眼睛和头部姿态的深度图，进而实时计算驾驶员的视线方向3D图像和3D头部姿态预测支持精准监测瞌睡问题，能够及时监测到2D系统无法识别的驾驶员疲惫状态。

此方案还能监测驾驶员的视线是否离开道路——例如查看手机短信，这是导致道路交通事故的一个主要诱因驾驶员状态监测系统DMS演示模型包括3D光学传感和面部识别技术可监测驾驶员视线方向的Eyeware人眼追踪软件。

3D图像和3D头部姿态预测支持精准监测瞌睡问题，能够及时监测到2D系统无法识别的驾驶员疲惫状态汽车制造商可以借此演示模型打造疲劳和注意力分散警报，以及平视显示（HUD）等应用的概念验证设计

提到面部识别，第一个想到的便是名为3D结构光的面部解锁功能，一种红外光的技术应用 采用近红外光的3D光学传感技术可以构建驾驶员头部“深度图”，通过“深度图”可以精准的分析驾驶员的独特面部特征，性能远超2D技术。

该演示模型还支持下一代平视显示器（HUD），监测驾驶员的视线方向，以控制挡风玻璃上的信息定向投影，从而推进基于增强现实技术的车内可视化应用基于主动立体视觉评估套件，使用了人脸图像处理库和Eyeware的人眼追踪软件。

客户可以采用Eyeware提供的专用软件开发套件，该套件与3D传感元器件完全兼容在开发驾驶员和座舱监测系统时，汽车制造商可借助此演示模型打造概念验证设计，设计人员可以使用该演示模型的输出结果来构建复杂的安全功能，监测驾驶员是否处于疲劳驾驶状态。

3D全景行车监控影像系统在车内对于驾驶者的行为进行监控分析，通过了解车内驾驶员的状态来对其进行疲劳或是分心检测，再结合车外所得到的信息构成一个完整的系统着重于软件及算法功能的提升，不需要特殊硬件，CPU占用率小于8M。

专注于计算机视觉技术与人工智能，研发涵盖图像处理、人脸追踪与识别、手部及肢体的跟踪、3D重构、AR/VR 内容创建、自然人机交互等DMS中使用的系统和组件必须极为可靠，而这恰恰是软件的一项关键优势：与3D传感技术相结合，软件能够在所有照明和使用条件下工作并提供准确的数据，而OEM可以根据这些数据构建疲劳警报等应用。

利用车内的3个镜头采用影像处理技术，对驾驶员的面部、瞳孔和肢体进行检测、追踪以及识别，从而可以实现对驾驶员的疲劳分心检测、司机身份的识别、甚至可以实现属性分析进行一系列个性化设置等功能这里不仅用了最擅长的脸部、眼球、头部追踪，其实也有用到 skeleton 的定位分析，比如开车讲电话这样危险的动作就通过skeleton的分析轻松判定出来。

是辅助和自动驾驶的必备技术，智能驾驶集成方案车内的3个摄像头协同工作实现对驾驶员行为的监测分析，进而判断驾驶员是否走神、疲劳、偏离开车焦点并在第一时间发出警报确保行车安全汽车行业一直在积极评估将3D光学传感技术应用于驾驶员状态监测，因为3D技术能够比2D技术更准确可靠地提供驾驶员头部和眼睛的位置与活动信息。

本方案性能远超目前基于2D技术的相似解决方案3D光学传感技术还可以构建驾驶员头部深度图，并通过深度图分析驾驶员的独特面部特征，从而识别驾驶员通过开发人眼追踪3D演示系统，展示了整合3D传感硬件和人眼追踪软件的方案，借此提供了监测疲劳和注意力分散问题的可靠方法。

高性能3D传感概念验证系统支持驾驶员状态监测功能ICARUS概念验证系统，展示了驾驶员状态监测系统（DMS）设计升级方案，提供了支持驾驶员状态监测的3D传感系统工作演示，以支持增强现实抬头显示（AR-HuD）、驾驶员脸部识别身份验证、先进的驾驶员疲劳检测等高价值的新兴功能。

ICARUS对近红外驾驶员状态监测硬件进行了经济、简易的升级，增设点阵投影器，可实现深度传感ICARUS可对安装在仪表板或A柱上的先进DMS进行概念验证3D传感系统采用结构光方案，从而提供高分辨率深度图（在45-70cm范围内，深度精度<±0.5%），同时通过深度提取算法，为支持定制产品开发的客户提供了未来提高性能的空间。

该系统由汽车垂直腔体表面发射激光VCSEL近红外NIR泛光和点阵投影器实现

 ICARUS场景演示客户可以利用DMS软件结合驾驶员脸部的精确深度图，以便确定驾驶员眼睛和头部姿态的3D位置，在此基础上实现AR-HuD、驾驶员身份验证等高价值的驾驶员状态监测功能此外ICARUS系统对驾驶员头部3D位置的精确测量支持软件实现，以便检测对道路安全构成危险的“瞌睡”及其它疲劳先兆。

ICARUS向汽车OEM厂商展示了一种简单直观的低成本方法，可从使用2D近红外传感的DMS设计升级至功能全面的高价值3D传感系统该升级仅需添加近红外点阵投影器，并支持深度提取软件结构光传感技术已在消费电子市场中得到验证，例如用于手机的脸部识别身份验证。

然而此前在汽车领域中，3D传感仅通过专用的间接飞行时间iToF摄像头实现ICARUS系统表明，汽车行业可利用3D传感经验，并且只需添加一个激光器元器件，即可简单轻松地以低成本方式将其用于升级现有的2D近红外DMS系统。

4.DMS硬件方案智能座舱全舱感知系统SCSS新型车载信息显示技术ARHUD高精定位模块LMU电动后尾门控制器PLGM底盘域控制器CDC

主要是安装在方向盘或仪表台板位置，相应的硬件架构包括摄像头、控制器、补光灯、LVDS、仪表、转向柱上壳体结构、方向盘、仪表外壳体等边界元素如下图某DMS硬件布置方案，通过布置在驾驶员方向盘位置，可以通过摄像头直接检测到驾驶员当前状态。

（1）DMS摄像头以驾驶员为中心的DMS的摄像头都要用到红外，确保在夜间、通过隧道或阴暗道路行驶时准确检测面部表情和头部运动，但如果要拓展到乘员的部分对摄像头的要求也会提高，比如对FoV、分辨率、动态范围和帧速率等性能上都提出了更高要求。

1）布置位置根据目前各车型的DMS案例分析，DMS摄像头主要是在车灯、A柱、方向盘等位置。

车内摄像头

2）更宽的FoVDMS的广角摄像头（HFoV至少为90°）可以cover驾驶员和整个前排，安装在中央仪表板的正中间上方，可以监控乘客是否分散了驾驶员的注意力。

对于乘员监控，如果仅使用1-2个摄像头，则FoV可能需要进一步朝着back-up和环摄像头的水平增加，HFoV可能需要达到180°3）更高的分辨率目前DMS中使用的摄像头使用大约2MP分辨率的图像传感器。

更高的分辨率可以在DMS中实现更高的准确性和功能，并且可以在更宽的FoV内实现乘员监控。

但建议DMS采用以驾驶员为中心的定位摄像头使用0.3MP VGA，甚至是单色的传感器融合摄像头，这样可以降低系统成本，使DMS迅速在大众市场中得到推广随着对汽车摄像头的需求和生产规模的扩大，与增强的性能相结合，意味着高清等效彩色成像器的成本也会很快进入合理区间。

更高分辨率的摄像头已开始进入市场，比如前风挡的ADAS应用上4）动态范围和帧速率其它性能领域包括动态范围，以便在范围更广的光照变化和灵敏度下工作，包括非常低的光照条件帧速率也可以增加，使DMS更具响应性。

许多汽车图像传感器可以在0.1lux的环境光下工作（相当于月光），因此敏感图像传感器对DMS的红外照射需求较少，这将降低系统成本和功耗。

ToF摄像头凭借较低的百万像素分辨率，基于CPU的常规处理器也足以用于DMS尽管ToF摄像头的亚百万像素分辨率较低，但REAL3集成了图像传感器和处理芯片可以每秒100次记录超过100,000像素距离数据的深度图像可以使ToF摄像头识别驾驶员脸部超过49个预定点，并且采用LED照明的调制可在最高30MHz的频率下运行。

5）全局快门为降低近红外光LED的功耗，卷帘快门可能会更多被全局快门所取代卷帘快门需要10倍的红外光，曝光时间长10倍（8,000μs）使用3.2μm全局快门时，只需曝光800μs或900μs，从而实现像素内HDR模式和背景消除，不会影响帧速率，也不需要外部处理。

新的全局快门设计使传感器的快门效率比上一代图像传感器高4倍这款传感器除了暗电流较低（低10倍），还可以在低光、明亮场景及高温环境下产生清晰、低噪声的图像

6）多摄像头配置为了cover座舱更广的范围而不仅仅是驾驶员，就可能需要增加摄像头来扩展系统的FoV多摄像头概念的示例如使用了五个传感器：前风挡顶部的三个摄像头、一个面向驾驶员、另一个位于车舱顶部中间位置。

该系统可以从最多六个摄像头来进行乘员监控

提供可扩展的平台，可以添加额外的摄像头以扩大FoV进行乘员监控，例如可以添加额外的摄像头以更清楚地观察后座乘客或增加脚部空间的视野7）LED要cover车舱，可能还需要安装额外的近红外LED来扩展系统的FoV。

目前的DMS开发灵活地满足了客户的要求，并且根据车舱的尺寸和形状，可以在不同的位置安装不同数量的LED，红外发光LED，用于驾驶员和乘员监控应用3D ToF 摄像头用于DMS的其它传感器中还包括ToF摄像头，经常使用脉冲近红外LED与摄像头一起测量在不同帧处拍摄的图像之间的距离的变化。

1）性价比分析3D将使系统能够以更高的准确度和稳定性识别眼部、面部和头部运动但使用ToF摄像头的系统成本至少比常规2D单目的成本高50％高出的成本部分是因为需要将近红外光脉冲到场景，管理不同帧的采集及分析驾驶员面部和头部运动的要求。

也正是出于这个原因，汽车行业其实尚未真正在DMS中采用ToF摄像头，因为2D摄像头的成本要低得多3D ToF传感器使用PMD（Photonic Mixer Device）调节红外照明，通常在20-80MHz之间，并采用了针对相应频率敏感的图像传感器。

这增加了整个系统的复杂性，并且连续红外照明也在很大程度上提高了功耗ToF的原理意味着它可以几乎完全抵消环境光，并在较高温度下以较低漂移工作，环境温度甚至可以达到105˚C然而一些最新的2D摄像头的增强性能也可以实现。

ToF传感器通过3D检测驾驶员的面部特征，系统将跟踪驾驶员面部上的49个预定点，例如眼睛、眉毛、嘴巴和鼻尖，但该系统始终没有正式推出。

ZF的IOS摄像头在实际的DMS应用中3D ToF摄像头要走的路还很远。

2）QVGA图像传感器大多数ToF概念产品使用了QVGA（320x240像素）图像传感器，但是QVGA的分辨率低于现在部署在2D摄像头上的分辨率，并且无法通过更宽的FoV执行乘员监控及更精确的监控系统所需的附加功能。

（2）处理器-加速器、GPU1）基于FPGA的加速器大多数基于CPU的SoC都自带ISP，可以从CPU卸载图像处理功能，从而为CPU上的DMS提供足够的处理能力ISP提供了让摄像头图像进行分析的重要功能，DMS可以加以采用。

这些功能包括生成彩色图像、除雾、信号滤波、图像去扭曲、重新调整大小和稳定，以及降噪和LED闪烁缓解等

2）专用的GPU一些DMS开发厂家现在正在与能够提供更强大的处理器的供应商合作由于座舱领域正在向着域控制的整合方向发展，因此将DMS功能集成到具有强大的基于GPU的SoC的同一驾驶舱域控制器中也是有意义的。

客户对系统中增加的功能和增强的性能的要求也可能导致对额外处理能力的需求，并导致对现有SoC上添加FPGA和GPU的需求为诸如环视系统的应用程序提供摄像头图像和图形显示处理，但也可以加速其他应用程序（例如DMS）的处理。

DMS开发厂家会尝试通过优化其神经网络架构来限制使用更昂贵、耗电的GPU通过使用有效的架构，使用额外的摄像头不一定需要增加处理能力

3）高效的处理处理更多图像数据的挑战在于，如果根据以往的热处理的成本预算，不设计出一个更有效的处理硬件或在控制单元中使用主动冷却，它将会达到现有处理设备无法实现的水平目前行业正在设计新的处理架构，以便最终的设备能够满足性能要求，提供比专用GPU计算机更高的效率。

随着驾驶员和乘员监控需要实现越来越多功能，并要提高准确性和可靠性，使用多个摄像头并同时并行处理图像。

针对眼动追踪定制的硬件加速模块进行了优化，可以使用不同的传感器和照明组合。

4）雷达的SoC该SoC具有DSP，可以实时处理边缘的复杂成像算法和后端雷达信号，无需外部CPU。与CPU和GPU处理器相比，它有着小巧的外形和高效的性能，并且可根据客户要求进行定制。

（3）处理器—CPU部分目前前装主流方案DMS通常使用基于CPU的SoC和MCU，而这块一直以来也是几家芯片供应商竞争比较激烈的领域，从另一方面也有利于降低系统的成本然而，正如一直以来所强调的那样，随着DMS向乘员监控的拓展，可能需要额外的摄像头，这就带来额外计算能力的需求。

目前的DMS可以运行在任何常规的基于CPU的SoC或带有ARM IP内核的MCU上

（4）软件要求 — DL与图像库DMS检测驾驶员困倦、注意力分散和注意力不集中的大部分功能来自用于检测驾驶员的眼睛、面部特征和头部运动的物体识别算法1）人工智能AI与深度学习DL这样的软件开发很复杂，需要开发AI和DL架构，以便系统能够自己学会识别必要的特征迹象（驾驶员的困倦、分心和失能），而不是依赖于需要存储量非常庞大的rules-based算法。

否则系统成本将会因额外存储器的费用升高而通过优化神经网络架构可以降对处理和存储数据的要求，这也是为什么自动驾驶系统也同样非常倚重于AI和DL在上述传感属性中，开发人员一直在关注感知眼睛、面部和头部运动的细节。

一些开发人员还添加了其它属性，这些都将进一步依赖AI和DL例如个性化匹配和安全性，以及提高系统性能的准确性和可靠性方面开发出高效且可扩展的神经网络架构，可以考虑配合额外的传感器，与不同类型的传感器融合，并为解决方案添加更多传感属性，但不一定需要额外的数据处理和存储能力。

许多公司使用开源软件来生成他们的DL算法。

2）图像库为了支持AI和DL，开发人员收集了大量图像数据以支持他们的DMS开发，系统通过这些图像数据学习识别特征迹象。

五 原理1.工作原理驾驶员状态监控系统DMS可分为三个主要功能模块：驾驶员状态感知传感器、驾驶员姿态信息识别和驾驶员接管能力判断，车身传感器提供相关车辆状态信号输入。如下图，

 驾驶员状态监控系统DMS功能架构系统运用车规级摄像头捕捉人脸特征，通过高性能双核处理器来分析与确认司机是否出现疲劳或分心驾驶(左顾右盼、吸烟、打手机、玩微信等)导致的不良驾驶行为系统先进的非接触模式尖端算法，使无论在什么情况下(白天、黑夜、司机戴眼镜或墨镜)，都能准确的检测出司机的疲劳状态，并发出精准的报警提醒司机，确保生命财产安全。

DMS通过安装于驾驶席前方的摄像头追踪驾驶员眼睑的开闭及头部运动方向的方式或者将传感器收集的脉搏等重要信息通过各公司的算法分析后，判断驾驶员是否处于可以驾驶的状态，这已经成为主流系统判断驾驶员不能驾驶时，通过声音或者振动等方法提醒驾驶员，或者自动将汽车停靠在路边。

通过摄像头拍摄的画面识别人脸并基于脸色的微妙变化连续检测出脉冲，驾驶员的面部无论处于什么位置均可一直识别，提出追踪视线式DMS方案提出了使用摄像头装配识别眼睑和追踪功能的DMS方案，作为即使戴着口罩和墨镜等也可以识别的高精度技术进行提案。

该系统监测驾驶员的心跳，并利用解析计算方法和睡意预兆检测技术以及通过振动促进清醒的技术 通过内置于座椅及方向盘的传感器，检测驾驶员的心跳和自律神经的变化等生物体信息，推测驾驶员的身体状态运用开发的算法模型开发可以尽早检测出睡意预兆的技术。

若检测到处于睡意较浅阶段，通过振动座椅对驾驶员进行振动刺激，提醒驾驶员改善保持觉醒状态将振动刺激导致的身体状态变化的数据反馈给系统，根据储备的数据和驾驶员的个性，调整优化检测睡意算法和提醒刺激觉醒的时机等。

显示驾驶员检测系统的睡意检测信息的智能手机界面为了进一步提高检测精度，加快摄像头与传感器相整合的系统开发，致力于驾驶员监视系统所需的从传感器到应用软件系统整体的技术开发，开发出能尽快检测驾驶员睡意并进行改善的驾驶员监视系统。

 睡意检测元件非接触脉冲感应技术可应用于驾驶员监视系统的非接触脉冲感应技术驾驶员状态检测技术为实现自动驾驶的安全应用，开发出了检测驾驶员状态的技术开发出了在车载环境下高精度检测脉搏的非接触脉搏感应器

2.驾驶员状态定义随着智能驾驶的迅猛崛起，人们对汽车的期待值也逐渐上升，安全性、智能化、GPS精准导航等功能颇受期待，另一方面感测驾驶员的身体状态更成为保障安全的第一关为了解释市面上五花八门的疲劳驾驶监测系统具体是什么，就需要简单聊一聊疲劳驾驶和驾驶安全、驾驶员状态的一些话题了。

DMS可识别的驾驶员状态见下图，

驾驶员状态DMS系统判定驾驶员驾驶状态的认知维度表，分别从任职工作负荷（Cognitive workload）、驾驶习惯（Driving style）、物理位置（Physical position）、身体状况（Medical condition）四个维度判断。

如下图，

（1）正常驾驶状态包括了驾驶员在场和保持了注意力两方面的判断，相关判定条件为：1）驾驶员在场判定参考UNECE ALKS法规要求，以下两项条件任意一条满足时，都可判定为驾驶员不在场：①检测到驾驶员不在驾驶座椅持续时间＞1s；

②主驾安全带松开2）驾驶员保持注意力判定判定条件可参考以下四条，当检测到其中一条或两条满足时即可认为驾驶员保持了注意力：①驾驶员对驾驶操控装置有输入②确认驾驶员视线主要在看前方道路③确认驾驶员视线有在关注后视镜。

④确认驾驶员头部移动主要为了驾驶任务（2）非正常驾驶状态通常包括分心驾驶、疲劳驾驶和极端异常驾驶三种类型。

非正常驾驶状态3.分心驾驶是一个不断发展的问题，在分心驾驶方面，智能手机并非唯一的原因汽车提供了大量娱乐功能，在设计不当的情况下，这些娱乐功能可能让驾驶员分心，制造商不会轻易抛弃消费者喜爱的高科技，而驾驶员也普遍缺乏自律精神。

在这种情况下，汽车或许应该增加新的安全配置（1）注意力分散检测是通过头部转向角度分析驾驶员视线角度从而判断驾驶员是否处于注意力分散状态其重要的部分是根据当前驾驶工况提前定义安全区，当驾驶员头部转向角度超越安全区后，认为驾驶员注意力分散，发出相应的分散信号。

整车上电后，DMS开始检测驾驶员头部、头部姿态、眼部状态检测，并根据检测结果，判断驾驶员注意力分散状态，相应的检测判断机制如下：若未检测到头部，则发出注意力分散未知信号；若驾驶员注意力超越非安全视线区域持续一定时间t1，则发出驾驶员注意力分散状态；

若驾驶员注意力回到安全视线区域持续一定时间t2，则发出驾驶员注意力未分散状态；

注意力分散检测原理需注意的是在高速和低速或弯道驾驶工况下，安全区和非安全区的定义会有所不同。如下图以驾驶员横向朝向范围定义两种区域：测视区和正常脸部朝向范围；且分高低速分别说明两者定义范围区别。

高速时：侧视范围变宽，驾驶员正常脸部朝向范围变窄，驾驶员偏转头部集中度更高。

低速或转弯时：测试范围变窄，驾驶员正常脸部朝向范围变宽，驾驶员更多的可以观测横向驾驶范围内物体。

随着汽车智能网联的水平逐渐升高，DMS已成为监控驾驶员注意力和防止分心驾驶的必备技术虽然Infotainment系统里各项花哨的功能提升了驾驶员们的车内体验，但它们也成为了分心的主要原因，进而有可能导致严重的事故。

DMS可以成为一种有效的技术，遏制驾驶员分心，从而避免事故它会持续监控驾驶员的状态并向驾驶员发出任何危险警报该技术在开始使用车载摄像头监控驾驶员之后成为主流4.疲劳驾驶（1）定义疲劳是一种主观不适感觉，但客观上会在同等条件下，失去其完成原来所从事的正常活动或工作能力。

引起疲劳驾驶的原因是多方面的其中主要有两个方面的原因， 一方面是缺乏足够的睡眠质量或者睡眠数量， 一方面是在平时睡觉的时间驾驶车辆驾驶员疲劳驾驶的原因还有许多因素如：已经清醒的时间 (特别是超过17小时)、 身体和大脑清醒和困倦时间的生物钟、 上一次睡眠的数量和质量、 体力和脑力活动的水平， 没有人能够免于驾驶疲劳的影响。

什么是“疲劳驾驶”，需要纠正一个定义上的错误，即：疲劳(fatigue)驾驶不等于开车犯困 (drowsiness/sleepiness)。

疲劳可以描述的状况要多于犯困，疲劳可能是躯体上的肌肉上的疲劳，可能是注意力长时间集中后开始涣散的状况，也可能表现为低的警觉度和厌恶行动（俗称犯懒），但是疲劳的直接后果之一就是犯困严格来说主要针对的是“犯困驾驶”，所以除开特别指明，“疲劳驾驶”都代指“犯困驾驶”。

（2）疲劳驾驶的成因总的来说，除开健康因素，疲劳（不仅仅是疲劳驾驶）主要是由三个原因造成的：①工作（开车）时间过长即开车时间过长，容易犯困比如研究表明连续开车超过8个小时，事故风险翻倍（Jones and Stein, 1987）。

②任务发生的时间在一天中的某些时间段里，犯困的概率会比其它时间高很多。人类在一天内是有生理周期的。即人在24小时内，生理学活动是会有高峰和低谷的。

人类的体温曲线与之对应的，人的注意力和思维活动在一天内也会有波动，由此会造成一些任务表现上的变化。比如：

这个实验中，受试者要求读一个油表的指数，结果表明受试者在每天下午3点左右和半夜3点左右的错误率达到了顶峰。

这张图就清晰地表明了事故风险随着时间的分布(Smiley, 2002).  可以看到午后的事故风险略有上升，而半夜的事故风险达到顶峰③睡眠不足显而易见，没睡足，肯定困早上睡不醒，中午打瞌睡，晚上强行不想睡。

除了“主动”放弃多睡的人类，还有一些人群即使睡着后，也不能得到充足的休息比如，被睡眠呼吸暂停综合症影响到睡眠质量的人们研究表明患，有睡眠呼吸综合症的患者的驾驶表现和血液酒精含量0.08%的驾驶员的表现相近(George et al., 1996)，他们的碰撞风险是健康驾驶员的9倍(Haraldsson et al., 1990)。

（3）疲劳驾驶的应对措施综合来说，应对疲劳驾驶可以有一下措施：首先，很明显去休息一下研究表明，15分钟的休息可以提升之后6.75小时左右的任务表现，而2小时的休息，可以影响之后9.5小时的表现当然，摄入咖啡因也是有效的。

在摄入咖啡一小时后，反应时间和视觉注意力的分配能力会得到明显提升当然咖啡因的效果因人而异，同时咖啡因主要是欺骗大脑你没困，欠的还是会要补回来的，该睡还是要睡的

时间和道路的设计也会有作用比如避免开夜车，避免每天8小时以上的驾驶在高速设计上，适当设置休息区，适当增加弯道，设置带震动的路基（偏离车道的时候轮子会震动和发出巨大的声音），设置可以容错的道路边缘（而不是直接撞上去或者掉下去）等都能帮助缓解驾驶疲劳或发出警告，或者缓解疲劳驾驶的事故后果。

最后就是辅助驾驶和驾驶员状态监测系统了（4）疲劳检测人体疲劳时候会有一定的生理反应和驾驶模式的改变驾驶员状态监测系统就是监测这些信号，从而判断驾驶员的状态，并发出适当的警告具体来说这些信号可以分为以下几类：。

①生理数据脑电波这个是最直接的测量疲劳和犯困的方法通过一定的数据处理方法（比如快速傅立叶变换）获得的特定频率的脑电波的能量会随着疲劳状态发生改变心电图可以提取出心率、心源异变率（Heart rate variability）等信息，同时通过信号处理的方法，获得的一些特征，也可以很准确地判定疲劳。

呼吸特征比如呼吸的深度、频率、呼和吸的时长比例等还有其它的一些生理学数据，比如皮肤导电率(GSR)、肌电图(EMG)等都被之前的研究广泛应用。

这些类数据中，生理学数据具有相对较高的精度，但是在驾驶过程中的采集相对困难一般多见于科研级别的设备采集，并不适合直接部署在车辆上，想象开车前要花几十分钟佩戴各种生理学传感器吗？但是这些也不是绝对的，比如现在的各种可穿戴设备（各种手环）和个人智能处理终端（智能手机）的兴起，就可能可以解决这个难题。

典型的脑电波采集设备②眼动和身体姿态数据比如，极速眼动的时长和最高速度，眨眼的频率和时长，瞳孔大小等另外眼睑闭合度（PERCLOS，percent of eyelid closure）是一个非常好用的指标（以致于在很多研究中作为ground truth，即用来标定疲劳程度）。

当然头部的位置、身体姿态、打哈欠的频率等信息也可以被用来监测疲劳驾驶基于机器视觉的眼动数据和身体姿态监测也非常有希望，但是眼动仪依赖于图像识别，对环境要求（光线明暗）要求较高，所以现在量产装备的基于眼动的驾驶员疲劳监测，多依赖于红外摄像头。

然而这依然不能解决所有的问题，驾驶员佩戴眼镜、墨镜、留长头发、面部遮挡都可以让这些眼动数据无效最后车内有摄像头盯着驾驶员，还会产生隐私的问题

    使用了红外相机监控驾驶员的PERCLOS，头部姿态和视觉注意力位置追踪的方法监测疲劳驾驶③驾驶风格指标这类指标在量产车型中是最常用到的，包括车道偏离度，方向盘转角输入（比如打瞌睡的驾驶员很大概率会在一段时间内有少的或者没有方向盘修正，跟随一个大的修正）。

驾驶风格指标是最最常用的手段了，大部分市面上车型的疲劳监测系统，是采集车辆启动后一段时间的驾驶风格数据（比如方向盘输入等），然后比对之后的驾驶风格，如果发现不匹配，则判定驾驶员状态不对，从而发出警告然而暂时没有看到有车企报告这个方法的正确率，反而是有很多用户抱怨监测不准确。

另外需要注意的是，驾驶风格这件事，受到周边道路环境的影响也很大，路面状况不同，驾驶风格可能要发生变化所以准确率这件事，个人表示不好说④问卷量表比如常用的 KSS: Karolinska Sleepiness Scale等。

问卷一般是用作科研实验中作为ground truth，但是实际操作中，应该不想总是问你有没有困，需不需要休息吧？如果总是问，这个问卷本身会成为一种分心驾驶任务干扰驾驶安全

（5）驾驶员疲劳状态数据库建立试验方案 早期由于试验条件的限制和出于安全考虑，绝大多数驾驶疲劳试验在驾驶员模拟器上进行优点是虚拟交通道路环境不存在碰撞、追尾、偏出车道等危险工况，可以在从轻度疲劳到严重疲劳全范围内试验；缺点是驾驶员模拟器与真实交通环境存在较大差异，用于疲劳监测方法的探索可以，若用于疲劳监测系统设计则缺乏真实性。

 在驾驶员模拟器试验之后，出现了规定工况实车试验经过改造的试验车辆，按照预先设计好的工况行驶，记录试验数据如果需要采集驾驶员面部、眼 部、头部运动信息，则需要额外添加传感器和对应的数采设备；如果需要采集驾驶员行为、车辆状态和车辆轨迹信号，一般不需要额外增加传感器，车辆自带传感器即可满足要求。

试验时设计若干具有典型特征的工况，例如城市道路直线行驶、乡村道路直线行 驶、高速公路直线行驶，不考虑转弯、变道、侧风、路面凸起等特殊工况据此设计出来的驾驶员疲劳状态 监测系统具有比较广泛的适用性，精度也比基于驾驶员模拟器设计出来的监测系统高，但不适用于某些特殊工况。

随着疲劳监测技术的发展和用户对疲劳监测系统精度的要求不断提高，基于自然驾驶数据的疲劳监测技术研究逐渐成为主流方向自然驾驶涵盖各种工况，数据能够真实反应各种工况下驾驶员的疲劳状态， 据此设计出来的疲劳监测系统覆盖各种工况下近驾驶员疲劳的真实状态，精度也就越高。

（6）驾驶疲劳评价标准 目前驾驶员疲劳程度评价标准按照执行者不同分为自评法和他评法①自评法就是驾驶员根据KSS（Karolinska Sleepiness Scale）标准每隔一段时间对自己当前状态的疲劳程度打分，将十分清醒到十分疲劳划分为9个等级对应分数1分到9分。

KSS优点：通用性好、精度高，是疲劳程度自评法广泛使用的标准；缺点：试验人员询问驾驶员疲劳程度与驾驶员回答自己的疲劳程度都会对驾驶员状态的延续产生刺激，影响驾驶员疲劳程度的评分②他评法分为主观他评法和客观他评法。

主观他评法根据信号源不同分为两种：一种是试验人员首先观察驾驶员面部表情、眼动情况、打哈欠频繁程度等， 然后根据KSS标准给驾驶员当前的状态打分；第二种是基于驾驶员面部视频的主观他评法，采用摄像头采集驾驶员面部信息，后期处理时对视频进行分段，经过专门训练的多名试验员对某视频片段打分，最后各个试验员的平均评分作为该段视频里驾驶员疲劳程度的分值。

后者较前者的精度高，只需要在车内安装一个采集驾驶员面部视频信息的摄像头，所以基于视频的主观他评法更常用客观他评法利用驾驶员生理信号判断其疲劳程度，例如心电图、脑电图，尤其是脑电图最能表征驾驶员的疲劳状态 。

客观他评法的优点：精度高；缺 点：需要增加专用的测试设备，并且不同驾驶员间可能存在个体差异未来车辆将普及生物识别技术，因此基于驾驶员 生理信号的疲劳程度判断将具有硬件基础，将会逐渐取代主观自评法和主观他评法。

（7）总结各种驾驶员疲劳状态监测系统的研究与应用情况以及整车厂在售车型配备的驾驶员疲劳状态监测系统及其工作原理，例如基于操纵行为监测驾驶员疲劳状态，基于驾驶员面部状态和眼睛开闭频率监测驾驶员状态，采用多维信息融合的方法。

疲劳监测总的来说分为两个流派，机器视觉流派和驾驶风格监测流派监测算法严格来说属于人因工程和机器学习的交叉学科，但是驾驶员疲劳状态这件事，则可以划分到人因工程和驾驶员行为这一块整车上电后且车速大于一定值，DMS开始检测驾驶员头部、头部姿态、眼部状态检测，并根据检测结果，判断驾驶员疲劳状态，相应的检测判断机制如下：。

若DMS未检测到头部或眼睛，则认为驾驶员不在车内，发出相应疲劳检测不可用状态，若DMS检测到头部或眼睛，则根据眼睛状态检测结果，也即闭眼状态计算一定时间内眼睛张合度；通过设置先验阈值信息Threshold1、Threshold2、Threshold3判断驾驶员是否疲劳。

若该时间段内眼睛张合度 < 阈值Th1（可标定），则认为驾驶员处于清醒状态；若该时间段内眼睛Th1 < 张合度 < 阈值Th2（可标定）并持续一定时间t1，则认为驾驶员处于轻度疲劳；若该时间段内眼睛Th2 < 张合度 < 阈值Th3（可标定）并持续一定时间t2，则认为驾驶员处于中度疲劳；

若该时间段内眼睛张合度 >阈值Th3（可标定）并持续一定时间t3,则认为驾驶员处于重度疲劳。相应的检测逻辑如下图：

  疲劳检测原理（8）疲劳监测预警的检测方法大致分为以下几种

1） 基于生理信号的方法提出了用组织血氧参数来检测驾驶员疲劳状态， 通过实验分析了驾驶员精神疲劳与脑部组织含氧情况的关系， 分析了驾驶员腰部肌肉疲劳与肌肉组织含氧情况的关系， 分析结果表明可以用脑部组织和肌肉组织的含氧水平来检测驾驶员的精神疲劳和肌肉疲劳。

通过展开实验， 研究了人在逐渐疲劳时心电信号线性特征及非线性特征的规律， 发现一些与人体疲劳有关的心电信号特征， 以此为基础建立了疲劳检测模型来监测人体的疲劳状态对驾驶联合收割机过程中驾驶员的肌电信号和心电信号进行采集研究， 筛选出能够表征驾驶员疲劳状态的最优特征参数， 基于信息融合的方法，构建了联合收获机的疲劳驾驶等级客观评价模型， 为农业机械驾驶疲劳的实时检测技术的研究提供了有效的参考。

通过疲劳驾驶模拟实验， 结合对象辨别实验和对受试者面部表情的变化分析， 研究了脑电信号特征与疲劳驾驶状态之间的相关性， 研究结果表明疲劳指数与受试者疲劳程度呈正相关性， 证明了利用脑电信号进行疲劳检测的合理性。

[医疗数据采集和报备专利]关于利用传感器监测驾驶员在驾车时的健康状况，同时也可以实现与医疗护理人员共享该专利中的驾驶员健康监测技术主要是在汽车内安装一个带有驾驶员个人帐户的系统，该系统可以记录驾驶员的实时健康数据。

在紧急情况下，该系统甚至可以联系医务人员需要配备专门的软件和传感器对于那些不太情愿分享自己健康信息的驾驶员来说，这也是一个比较合理的解决方案当车内设备连上无线后，其驾驶员健康监测系统便开始收集数据，但该系统仅仅会收集驾驶员的心率和体重信息。

如果驾驶员出现疾病或其它不良症状，系统会提醒驾驶员及医生，以便能迅速对驾驶员进行救助和治疗医疗护理人员需要事先征得驾驶员同意，方可以查看驾驶员健康信息然后系统通过无线方式发送信息ECG心脏病监测座椅项目，其座椅产品具备监测司机心脏健康活动状态的功能，防止因司机心脏病在驾驶过程中发作而导致交通事故的发生，降低致命车祸的概率。

在座椅内部植入了六个传感器，可通过衣物读取司机的心跳活动信号，监控心跳搏动引发的电磁变化，侦测可能存在的反常情况由于心脏病突发或者心血管功能障碍不但会直接威胁司机健康生命，更可能在第一时间内扰乱正常驾驶行为，导致车祸发生，因而ECG座椅能够提供必要的早期预警让司机寻求医务建议，甚至让医学专家远程掌控司机的心跳状健康状态。

随着越来越多的人开始关注自身健康，类似于Fitbit这种带有监控健康功能的可穿戴设备也开始受到热宠未来这项技术也许也会赢得更多消费者的认可2） 基于驾驶员行为的方法通过人脸分类器从视频中提取人脸区域， 并根据人脸器官的分布规则来检测嘴巴和眼睛区域 ; 采用灰度直方图统计特征值的方法判断眼睛区域状态， 采用似圆度判断嘴巴打哈欠的情况；利用 PERCLOS( 单位时间内眼睛闭合时间所占比例 ) 值识别眼睛的疲劳状态， 利用打哈欠的频率识别嘴巴的疲劳状态， 用此种方法检测驾驶员的疲劳状态并进行预警。

采用数字图像处理技术， 利用对驾驶员眼睛睁闭的实时监测来检测驾驶员的精神状态，并以 FPGA(Field-Programmable Gate Array) 集成设计相应的控制与处理模块， 开发出一套可以实时检测驾驶员疲劳状态的系统并进行实验验证了系统的可靠性。

以方向盘转角、单位时间内眼睛闭合时间所占比例、 眨眼频率和眨眼深度为特征参数， 建立支持向量机的疲劳驾驶检测模型， 并确定了各个特征参数的最优时间窗， 提高了疲劳驾驶模型的检测效果利用车载CCD摄像机实时获取驾驶员的面部图像，并采用直方图均衡化的方法增强图像的对比度 ; 通过阂值分割技术和形态学运算方法提取眼睛区域，根据眼睛宽度和高度的比例判断眼睛的闭合程度 ; 根据眨眼频率和PERCLOS-P80原理判别驾驶员的疲劳状态，实验结果证明该方法具有很高的实时性。

3） 基于车辆信息的方法通过实验同步采集正常驾驶和疲劳驾驶时的方向盘握力信号和脑电信号， 利用BP 神经网络方法建立基于方向盘握力信号的疲劳特征参数与基于脑电信号的疲劳程度值之间的关系，以方向盘握力信号的特征参数作为输入层，以脑电信号的特征值作为输出层，对BP神经网络模型进行训练并验证了模型的准确性。

通过驾驶模拟器进行实验，采集10名驾驶员在正常驾驶和疲劳驾驶时的方向盘转角信息和道路偏移信息，并对数据进行统计分析，把离散化和归一化后的数据作为神经网络模型的输入，对模型进行训练，直至误差满足要求，结果表明该方法检测驾驶员疲劳状态具有较高的准确率和较强的实用性。

提出了一种利用方向盘转角检测驾驶员疲劳状态的方法， 该方法使用 MLX90316 角度传感器采集方向盘转角数据， 然后计算方向盘转角的标准差和静止百分比， 根据方向盘转角标准差和静止百分比建立驾驶员状态识别模型监测疲劳驾驶， 车试验表明该方法可以有效地识别驾驶员的状态。

自主研发的专利产品疲劳驾驶预警系统MR688运用汽车级图像传感器捕捉人脸的红外线图像， 运用独特的瞳孔识别检测技术， 通过分析瞳孔的变化特征通过奔腾 2 高速数字信号处理器来分析驾驶员的状态， 当检测到司机疲劳驾驶时， 系统会发出报警声音。

该系统采用先进的非接触模式和尖端算法， 使系统能够检测出驾驶员的疲劳状态， 并发出报警提醒驾驶员， 保证驾驶员的生命和财产安全（8）驾驶员疲劳状态监测算法 早期的驾驶员疲劳状态监测算法基本上都是设定某一阈值，属于基于专家系统和规则算法，根据驾驶员面部、眼部、头部或驾驶行为分析计算得到一个疲劳程度值。

如果该值大于预先设定的阈值，则判定驾驶员处于疲劳状态；反之，则驾驶员处于正常状态 现在市场上在售车型匹配的驾驶员疲劳状态监测系统大多数也是采用此方法，优点：算法简单、实时性好、占用内存小，在大多数工况下精度都比较高。

缺点：在某些特殊工况下精度较低，或者不适用于某些特殊工况，例如侧风、路面凸起等工况此外，设定单一阈值还忽略了不同驾驶员间的个体差异随着芯片技术和云存储技术的发展，控制器允许实时运算占用内存较大的算法，或者在云后台运行内存较大的算法而不占用车辆有限的控制器资源，这为机器学习进入驾驶员疲劳状态监测领域提供了有利条件。

机器学习的优点：能够处理海量数据、不需要建立复杂的数学模型，还能够从数据中提取尽可能多的有效信息，保证分析结果具有较高的精度；缺点：算法运行时占用内存较大机器学习算法可以对多维信息进行处理，例如在监测驾驶员疲劳状态时，不仅可以分析驾驶员面部、 眼部、头部等视频信号或驾驶行为、车辆状态、车辆轨迹信号，还可以结合车内环境信息如温度、外部道路交通信息如车流量等。

现在国内外很多高校、科研机构都在研究基于机器学习算法的驾驶员疲劳监测系统 与传统方法相比，机器学习算法使驾驶疲劳识别精度有所提高，但运算时占用内存较大，很难集成到车辆现有电子控制系统的控制器里，实时性差。

随着云平台技术的发展，机器学习算法可以运行在云平台上，不占用电子控制系统的控制器内存，实现在不增加车辆硬件成本的情况下提高疲劳监测精度疲劳监测系统的精度提高后，能够扩大其应用范围，除了预警外还可以与其他驾驶辅助系统集成，例如自主紧急制动（AEB）、车道保持(LKA)、车道偏离预警(LDW)等，进一步保障行车安全。

不同类型驾驶员操纵偏好不同，有的驾驶员喜欢激进性驾驶，例如大幅度踩加速踏板和制动踏板、大幅修正转向、经常换道等；而有的驾驶员喜欢谨慎性驾驶，例如慢踩加速踏板和制动踏板，小幅高频修正转向、较少超车换道等；还有驾驶员介于两者之间。

如果不考虑驾驶员类型，用同一标准或同一模型监测驾驶员疲劳状态，容易误报和漏报，导致驾驶员体验较差此外，驾驶员操纵偏好还受工况影响，例如侧风工况下，不管是哪种类型的驾驶员都需要不断修正转向以保持车辆直线行驶，只是修正幅度略有差别， 这要求疲劳监测算法适用于这些特殊工况。

因此未来的驾驶员疲劳状态监测系统将会是一种高精度、考虑驾驶员类型、适用于各种工况的驾驶辅助系统对于解决疲劳状态下使用辅助驾驶的问题，启用了DSM驾驶员状态检测，使用方向盘后的摄像头检测驾驶员状态这个摄像头并不会采集存储用户的信息，其唯一功能只是对驾驶员的面部状态进行监控，所以用户不用担心自己的隐私遭到泄露。

 5.检测原理识别系统的方法：可以从驾驶行为、驾驶风格、车辆特性、环境条件等综合分析，也可以通过生理因素、外部表情和感情因素去推断。

从ADAS系统开发性能提升角度分析了其中最重要的关键元素驾驶员疲劳检测系统DMS相应的应用、原理、指标、硬件等实际应用中应该综合考虑DMS这些因素做指标管控和性能提升策略（1）身份识别在满足驾驶员解锁车辆进入驾驶位后，驾驶员监测系统（DMS）开始启动，启动后DMS中的红外摄像头、红外补光灯、图像处理单元开始检测驾驶员头部姿态，包括从首摇、纵摇、横摇三个层面检测驾驶员头部姿态，为以下人脸检测及身份识别做准备，每当主驾车门状态发生变化后，认为驾驶员有上下车的动作，均重新开启人脸识别。

  头部姿态检测

                                                                 身份识别原理（2）驾驶员姿态信息识别驾驶员状态监控系统DMS进行的驾驶员姿态信息识别主要包括三类：

1）人脸识别可利用摄像头的人脸识别技术识别驾驶员面部表情和头部动作（包含动作/状态及持续时间），以判断驾驶员当前疲劳程度以及注意力分散程度提到面部识别，一个是3D结构光的面部解锁功能，一种红外光的技术应用。

而现在这一技术大概率会在汽车DMS系统中大放光彩 采用近红外光的3D光学传感技术可以构建驾驶员头部“深度图”，通过“深度图”可以精准的分析驾驶员的独特面部特征，性能远超2D技术基于3D识别和人眼追踪技术的用于监测汽车驾驶员疲劳驾驶和注意力分散的驾驶员状态监测系统（DMS）演示模型。

人脸识别具体识别姿态有：疲劳：①瞌睡/打盹，伴随眼睛闭合、轻微点头、揉眼等动作②打哈欠③目光呆滞注意力偏移：①转头（左转/右转）②低头（看手机/看书、捡东西）③抬头④目视前方但注意力不集中（打电话）结合高精准视觉的AI技术，部分厂商还可以就驾驶员的情绪进行检测，整合车内其他部件做出相应提醒与改善。

概念座舱AceS具有情绪感应系统，当车载计算机确定内部某人情绪不佳时，可以通过散发香氛以及调节环境灯氛围灯来改善如果传感器检测到驾驶员变得昏昏欲睡，它将使用音乐和震动来帮助保持清醒

 ACES概念2）手部动作识别通过方向盘传感器判断驾驶员手握方向盘情况。驾驶员是否手握方向盘可作为驾驶员保持强接管能力的判定依据，也可以作为驾驶员进行了有效接管的判定依据。

手部动作识别具体可识别以下姿态：①双手紧握/轻握：保持强接管能力/有效接管②单手紧握/轻握：保持强接管能力/有效接管③双手/单手随意放置④双手离开方向盘3）坐姿识别可通过座椅传感器判断驾驶员是否在驾驶位上；通过安全带信号判断主驾安全带是否系上。

（3）驾驶员接管能力判断疲劳驾驶状态的判定和分级是驾驶员状态监控系统的一个难点，目前疲劳等级的评价方法可分为两种：1）主观评价主观评价方法是基于驾驶员主观的感受、驾驶员反应时间以及面部特征将驾驶员主观感受进行分类量化。

主观评价方法分为主观自评方法与主观他评方法，主观自评通常采用KSS(Karolinska Sleepiness Scale)、SSS（Stanford Sleepiness Scale）和VAS（Visual Analog Scales）的方法来测试被试验者的状态；主观他评法一般选取基于驾驶员面部、眼部信号根据KSS标准对驾驶员当前状态进行打分。

2）客观评价客观评价法则通过驾驶员的生理信号（心电信号、脑电信号）判断驾驶员的疲劳程度。能监测驾驶员健康状况的方向盘

驾驶员的健康状况往往关系到行驶时的安全程度为了监测驾驶员的身体状况，减少交通事故的发生，将感应器安置于方向盘内，它能够检查驾驶员的健康状况业界已经有人在研究如何检测驾驶员的一些关键信号，比如压力等，但是这些方法需要将驾驶员与设备连接起来，所以会干扰驾驶员的行为。

将感应器恰当地融入方向盘，所以可以无干扰地搜集数据这些搜集到的数据随后通过无线电传送到一个微处理器中，微处理器将量测的结果传送到汽车的信息显示器上这个系统使用两个现成的感应器来测量驾驶员是否处于压力之下，或者他们的血压是否太高，第一个感应器发出红外线光到手指上，通过反射光来测量驾驶员的血压和氧气饱和度；第二个感应器要求驾驶员的手与方向盘接触来搜集数据，驾驶汽车的时候，手要放在方向盘上，这也是常规的要求。

（4）指标分析由于DMS在ADAS系统开发中占据举足轻重的地位，DMS对驾驶员的正确判断直接影响到ADAS系统决策的正确性，故ADAS系统对其需要定义相应严苛的检测指标性能指标如下：检测时间延时满足要求。

在单眼或双眼均可见的条件下，疲劳检测检出率满足要求综合头部姿态和视线追踪，要求注意力分散检测检出率满足要求支持活体检测，能够抵御各类非活体攻击包含但不限于照片、视频、3D模型在头部检测正确的情况下，眼睛开度监测和视线追踪误报率不能过大

要求DMS系统可以在全天候的情况下正常发出疲劳检测或注意力分散信号，不管是白天还是夜间，不管驾驶室内和外部环境的光照条件变化，支持佩戴了平面镜、花镜、近视镜、太阳镜等常见眼镜下的疲劳检测驾驶员头部追踪、疲劳检测、注意力分散检测有效检测距离范围满足要求

功能安全满足ADAS控制等级要求6.DMS算法技术（1）基于生命体征数据判定驾驶员情绪状态的算法研究完成对司机生命体征监测和预警研究的前提下，继续探究根据驾驶员的生命体征数据判断司机的情绪状态以及不良情绪变化而可能引起的情绪告警。

1）情绪状态识别通过智能手环采集驾驶员的心率、体温、血压等生命体征数据并通过心率、体温和血压结合算法模型动态实时识别驾驶员的情绪状态，根据情绪告警规则（如：情绪异常波动、长期处于负面情绪等）对情绪异常的驾驶员进行实时告警。

同时单位可以针对情绪异常驾驶员进行情绪疏导、工作调整及安全协同防控

    图：情绪识别流程图2）情绪状态可视化通过驾驶员的心率、体温等体征数据结合算法模型实时识别驾驶员的情绪状态，对识别后的驾驶员情绪状态进行实时可视化展示驾驶员情绪趋势展示分别有当天、前7天、前14天及前30天等几个不同时间维度的展示，方便及时了解驾驶员当前及历史情绪变化趋势。

图：情绪状态趋势图3）情绪波动告警在对驾驶员情绪状态实时监测过程中，如果驾驶员的情绪出现异常波动或者长期处于负面情绪状态时，通过云平台端预警模型和算法进行分析，如产生告警信息，向驾驶员app端发送告警提醒。

同时管理人员可以了解驾驶员情绪状态，根据驾驶员不同的情绪状态及时调整工作安排

                                                                   情绪波动消息告警（2）疲劳驾驶检测

从主观感受来看，判断一个人是否疲劳，也就是这个人是否打哈欠了，是否闭眼了。利用眼睛开度等信息基于PERCLOS来判断疲劳状态。

疲劳状态判断转换到计算机视觉中，就是检测闭眼动作和打哈欠动作了，打哈欠也就是张嘴动作那么闭眼和张嘴动作如何识别？目前常用的有两种方法，第一种是人脸landmark，第二种是图像分类1）人脸landmark如下图所示。

对于眼睛来说，根据眼睛上眼睑、下眼睑，左右眼角的landmark坐标来计算眼睛的开合程度；对于嘴巴亦是如此使用landmark方法，其优点就是思路比较简单，只需要根据landmark的坐标计算即可，其缺点也显而易见，此算法精度跟landmark定位精度息息相关，如果landmark定位很准，那么最终计算结果就很准。

2）使用图像分类方法

此类方法对landmark的精度要求不是很高，这里常用方法是收集正负样本，训练一个鲁棒性比较强的分类器来对状态进行判断直接由分类器来输出最终的结果（3）分心驾驶检测在驾驶过程中，一切注意力不在驾驶上的行为都被称为分心行为。

例如，低头找东西，看窗外的风景，接打电话，喝水，等等所以在分心驾驶检测算法中，就要对这些出现的动作全部检出对于这些异常情况，可以将其分为两种例如低头或者看窗外都是跟人头有关，如果能够得到人头姿态角度，那么问题就可以解决；喝水，打电话等动作，都属于动作识别，设计一个动作识别的算法也可以解决。

1）人头姿态角算法

得到人头姿态角度，一般有两种方法第一种是上文中提到的landmark，人脸上关键点的坐标全部已知，使用PnP算法可以直接拟合出人头三维角度；第二种是使用标记好的yaw，pitch，roll三个角度的人脸图片直接训练一个小型网络，网络输出层直接回归三个float量，简单粗暴，精度较高，训练数据集直接使用开源人脸数据集，无需标注。

2）动作识别算法

利用视线方向来判断驾驶员是否注意力分散根据之前得到的头部姿态可以推算出大概的视线方向在瞳孔、角膜能够良好识别的情况下，可以进一步根据普尔钦斑点计算出准确的视线方向再根据系统内搭建的相关零部件布置数据，就可以知道当前驾驶员的观察目标。

结合当前的驾驶行为进而判断驾驶员是否注意力分散

注意力分散判断在DMS应用中，一般需要识别出打电话动作，喝水动作，抽烟动作如果单纯地将其是作为动作行为识别，使用LSTM或者3D-Conv算法，其计算消耗资源很严重，所以一般有两种比较简单的方法第一种是将此类的动作识别视为目标检测问题，例如打电话识别，就将手机视为待检目标，喝水检测就将水杯视为待检目标。

这种方法思路很简单，但是有一个缺点就是，例如DMS摄像头装在汽车A柱，司机右手打电话，这时候成像画面中是看不到手机的，所以这种场景下检出率不高另一种方法是将动作识别视为单帧图像分类任务，采集多种动作行为下的图片，人工标注监督信号进行训练，使用分类器判断最后的动作分类。

DMS系统可谓是一个比较复杂的系统了，因为其涉及到的知识面比较广，例如人脸检测，人脸关键点检测，人脸识别，目标检测，动作识别，等等，基本上涵盖了计算机视觉中的常见算法跟踪算法和目标检测的区别和联系，其实在视频目标检测相关应用中都会有跟踪算法的需求，比如DMS中，其实也可以上跟踪算法。

一般跟踪算法相比目标检测算法其资源消耗较少，并且会有ID信息输出，在多目标检测中一般都会上跟踪下面是一般DMS系统算法流程图，看完这张流程图，看完就会有对系统有个完整的概念

当前车厂提出的需求：（1）司机视线检测司机在驾驶过程中，其注视方向，也是一个值得关注的问题（2）手势识别（与车机交互）（3）人脸识别（不同的驾驶员调整座椅高度等个性化设置）（4）表情识别人脸检测基于人眼特征的驾驶员监控系统主要实现了三个功能：驾驶员识别、疲劳检测和注意力分散检测。

功能的实现步骤主要有：（1） 人脸（头部）识别和跟踪（2）眼睛识别和跟踪（3）视线方向计算（4）疲劳和注意力分散的计算人脸识别和跟踪的过程又分为人脸定位、人脸识别和人脸跟踪其中，人脸定位的作用是在图像中通过识别面部特征点以检测人脸并标记出位置；人脸识别的作用是将在新图像中检测到到的面部数据和已储存的数据进行匹配；人脸跟踪的作用是在每帧图像上跟踪之前图像帧里发现的人脸。

 人脸识别根据检测出的面部特征点，结合默认的头部模型，可以得到大概的头部姿态通过进一步跟踪已发现的面部特征和寻找到的更多特征，可以获取更多的数据用以添加到头部模型中，进而更新头部的几何特性系统运行中，此过程不停的循环，从而持续输出头部的当前姿态。

头部3D模型根据识别出的人脸和头部姿态进一步识别出眼睛的位置及其状态，主要用于进行后续疲劳状态和注意力是否分散的计算人脸检测算法在系统中起着至关重要的作用，因为整个系统中，如果没有人脸，那么所有后续的算法都将没有意义。

人脸检测还有一个作用就是可以做“司机不在驾驶位”这个应用判断在人脸检测算法实际部署，可以参考下面这个人脸技术应用总结随着AI技术在人脸应用领域应用的越来越多，人脸的相关技术发展地也是如火如荼，人脸应用领域早已是厮杀一片的红海。

人脸有着非常大的应用面，不管是安防，辅助驾驶，还是现在已经全面铺开的人脸支付，都无时无刻用着人脸技术。总之，人脸应用在人机交互中扮演着极其重要的角色。主要简要介绍一下人脸的细分领域应用和综合概述。

整个人脸系列的文章会按照上图中所列举出来的内容逐一总结入门图像算法或者深度学习，直接从人脸着手会是一个非常不错的想法，因为人脸的应用面相对广，入门门槛相对低，自己动手很容易就可以写出一个应用，对于小白入门有着很好的积极促进作用。

整个人脸系列，准备分7个部分来总结，分别是（1）人脸检测 Face Detection人脸检测是所有人脸应用的根基，如果没有人脸图像，后面的工作也就无从做起人脸检测的目的就是在一张图片中定位出人脸，得到人脸位置信息，如下图：。

（2）关键点检测 Face Landmark Detection关键点检测的目的是检测出人脸图像中的轮廓和五官的位置信息,更精细化地定位很多应用都非常依赖于五官位置，例如闭眼检测，张嘴检测，美颜应用等等。

（3）人脸识别 Face Recognizition人脸识别分为1比1和1比N两种，1比1的人脸识别也叫做face verification，1比N的人脸识别叫做face identification1比1的识别常常用在人证比对这种应用场景，例如火车站进站，人脸识别机器判断人证是否一致，1比N的识别常常用在身份认证，需要在存在N个ID的数据库中检索出是否有一个满足对比条件的ID，例如人脸识别考勤等。

（4）活体检测 Face Anti-spoofing如果人脸识别系统要具有一定鲁棒性，那就少不了活体检测，活体检测可以防止照片攻击，面具攻击等欺骗识别系统的行为。‍‍‍‍

（5）人脸属性识别 Face Attribute Estimation人脸属性一般包括年龄，性别，面部朝向角度，是否戴眼镜，是否张嘴等，人脸属性识别已经在很多领域有了应用，例如交通部刚出的新规，商用汽车常要安装驾驶员监控系统，监控司机是否疲劳驾驶。

这样就需要判断闭眼张嘴等状态‍‍‍‍

（6）换脸 Face Swap换脸应用一般应用在娱乐性比较强的行业中，最近一段时间比较火的APP--- ZAO，这个就是换脸的典型应用，可以一键生成与自己的爱豆同框的视频此技术是一把双刃剑，如果用得好可以造福于民，如果用不好可能就是.....比如下面这张鬼畜.jpg 新桓结衣和郭德纲，哈哈哈~。

（7）开源数据集训练 Open Dataset山世光曾经说过“Data is King”，在弱人工智能的时代，数据为王，谁有数据谁才能占据这个时代人工智能的最高点后面会总结一下利用开源数据集训练自己的人脸模型，包括人脸检测、关键点检测、人脸属性识别模型。

人脸检测 Face Detection目标：人脸检测的目的是找出一张图片中的所有人脸的位置信息人脸检测是人脸其它应用的基础，只有获取到了是否有人脸和人脸的精确的位置信息，其它人脸相关应用才能继续开展，所以说人脸检测是一个基础且重要的技术。

（1）人脸检测应用中面临的问题在实际工程应用中，常常会面临非常复杂的工况一方面算法准确度会受到很多因素影响，例如目标遮挡、光线变化、小尺寸人脸等等另一方面算法的推理时间也会受到很多因素的影响，例如硬件性能，目标数量，图片尺寸等等。

下面是几种工程中常见的问题•人脸遮挡，或者人脸角度较大，都会直接导致目标不完整，对于检测算法召回率有很大影响•暗光，光线不充足条件下，导致成像质量不高，会影响检测算法召回率•低分辨率，低分辨率导致人脸尺寸过小

•人脸数量过多，图片中人脸数量多，对检测算法要求较高。例如多目标靠的太近，对于NMS算法会是一种考验，另外数量过多会影响某些算法(图像金字塔类型)的时间复杂度，例如MTCNN

（2）人脸检测算法的发展过程自从数字图像诞生，人脸检测算法就开始有人研究，历史可谓悠久。人脸检测算法按照方法可以被分为两大类，基于特征的算法、基于图像的算法。

基于特征的算法就是通过提取图像中的特征和人脸特征进行匹配，如果匹配上了就说明是人脸，反之则不是提取的特征是人为设计的特征，例如Haar，FHOG，特征提取完之后，再利用分类器去进行判断通俗的说就是采用模板匹配，就是用人脸的模板图像与待检测的图像中的各个位置进行匹配，匹配的内容就是提取的特征，然后再利用分类器进行判断是否有人脸。

在早期工业界，具有里程碑意义的人脸检测算法----VJ算法（Viola-Jones），它是使用Haar-like特征和级联的AdaBoost分类器来进行人脸检测，在提升了精度的同时也兼顾了时间性能，VJ算法是一个框架，之后一段时间大家都是基于这个框架在做文章，例如Haar–AdaBoost, LBP–AdaBoost, GF-SVM

在基于特征的方法中，学术界的人一直在尝试寻找面部的不变特征来进行更加鲁棒的检测基于特征的方法如果要做到百分之百准确，有这样一个前提，那就是必须存在不变的特性或特征，这样提取出来的特征百分之百存在并且很稳定，例如轮廓，肤色，眉毛，眼睛，鼻子，嘴巴和发际线。

基于提取的特征，建立统计模型来描述它们的关系并验证人脸的存在但是这些图像特征可能由于光照，噪声和遮挡而受到影响，脸部的特征边界可能会变弱，且阴影可能会导致大量强边缘，这些都会使检测算法失效，所以基于特征的方法很难做到强鲁棒性。

基于图像的算法，将图像分为很多小窗口，然后分别判断每个小窗是否有人脸通常基于图像的方法依赖于统计分析和机器学习，通过统计分析或者学习的过程来找到人脸和非人脸之间的统计关系来进行人脸检测最具代表性的就是CNN，CNN用来做人脸检测也是目前效果最好，速度最快的。

后面着重介绍CNN相关人脸检测算法（3）工程中常用的人脸检测算法自从2018年以来，不管是什么硬件平台，基本上都看不到传统算法做人脸检测了，几乎全部都是使用深度学习也就是CNN来做人脸检测在2016年以前，由于很多硬件设备是不具备强大的并行计算能力的，也就是没有GPU，所以很多算法只能运行在CPU上，而传统CNN算法在CPU上运行时间简直是不能忍受，所以那段时间CPU平台运行的算法几乎都是AdaBoost之类的算法。

后来，随着深度学习的发展，有两个重要的原因导致CNN算法直接吞并传统算法1，硬件计算能力爆发式增长；2，CNN模型压缩和量化部署技术快速发展正是因为这两个原因，所以现在连树莓派这种纯arm的都可以直接部署CNN，并且效果还不错。

常用算法这里常用的算法有•MTCNN•FaceBoxes•RetinaFace•LFFD•CenterFaceFDDB上数据AlgorithmFDDB Disc ROC curves scoreMTCNN

94.0@1000FaceBoxesRetinaFace-mnet96.0@1000LFFD97.3@1000CenterFace98.1@1000在WIDER FACE 的test数据集上数据Algorithm

Easy SetMedium SetHard SetMTCNN0.8510.8200.607FaceBoxes0.7910.7940.715RetinaFace-mnet0.8960.8710.681LFFD

0.9100.8810.780CenterFace0.9320.9210.8731）MTCNNMTCNN是kaipeng Zhang在本科阶段研究出来的，它是一个3级联的CNN网络，分为PNet，RNet，ONet，层层递进。

PNet的输入是原图经过图像金字塔之后不同尺寸的图片，最后结果由ONet输出

优点：网络轻量推理时间快，工程部署灵活性大，能够输出5点landmark缺点：检测时间受人脸数量影响，模型训练复杂2）FaceBoxes、RetinaFace mnet、LFFD以上都属于轻量级人脸检测算法，也属于One Stage 算法，FaceBoxes类似于SSD算法框架，采用多尺度特征层融合方式，采用anchor proposal，在不同尺度特征层上进行检测，这样就顾及到多尺度的人脸检测，FaceBoxes的文章旨在CPU上实现实时检测。

3）CenterFace最新开源的一个人脸检测算法，github上同名项目目前从数据来看，效果最好在实际工程应用中，要根据部署环境来选择人脸检测算法例如在多人脸抓拍的场景，就不能选择MTCNN这类级联的算法，因为级联网络的推理速度与人脸数成反比，受人脸数量影响较大，MTCNN适用于人脸考勤或者人证对比的场景，只可能出现固定数量人脸的场景。

4）另外还有一种，开袋即食那就是dlib，这是一个人脸算法库，并且开源不管你是用c++还是python，都可以直接使用dlib来做检测如果想用python做实验，直接 import dlib，直接搞定这种自己学习一下可以，但是工程部署中一般不用。

（4）人脸检测算法案例详细说明人脸检测算法的选取跟应用场景息息相关，本人使用过以下几种算法•MTCNN•改进过的MTCNN•resnet10-SSD 人脸检测•pelee 人脸检测因为本人工作倾向于嵌入式部署，所以选择模型都会考虑硬件推理时间消耗，而每一个新的人脸检测算法发表出来，很大一部分的都是为了刷榜来表现自己的实力，一般不考虑推理实时性。

所以算法实际工程落地，一般都会去修改一些东西达到自己的应用目的MTCNN由于是级联结构，所以其可玩性非常大，例如将RNet金字塔层数降低或者ONet通道数减半，加速推理时间；例如单独使用ONet做人脸跟踪；例如MTCNN魔改之后输出最大人脸消耗非常短时间，等等

详细案例、网络搭建细节、检测器训练过程将会在下一篇文章中写出MTCNN应用详解这里没有简单的流程介绍，百度上已经有很多简单的算法介绍开始之前，先确认以下几个问题•为什么要做图像金字塔，图像金字塔在MTCNN中带来的优势和劣势分别是什么？•MTCNN为什么可以接受任意尺寸的图片输入？。

•检测最小人脸尺寸ninSize为什么是12？缩放因子factor为什么是0.709？•什么是边框回归？•为什么ONet可以同时输出人脸位置和5个关键点位置？现在从头开始将MTCNN梳理一遍1）读取一张图片，按照设置的检测最小人脸参数minSize，来进行图像金字塔操作

float scale = 12.f / minSize; float minWH = std::min(imgHeight, imgWidth) *scale; std::vector scales;

while (minWH >= 12) { scales.push_back(scale); minWH *= factor; scale *= factor;

}scale的个数就是图像金字塔的层数，从这里看出minSize越大，图像金字塔的层数越少然后将金字塔中不同层的图像分别输入PNet网络for (int i = 0; i < scales.size(); i++)

{ int ws = (int)std::ceil(imgWidth*scales[i]); int hs = (int)std::ceil(imgHeight*scales[i]); cv::resize(img, resized, cv::Size(ws, hs));

warpPNetInput(img); PNet->Forward();}从上面可以看出，图像金字塔有多少层就进行了多少次的PNet的forward运算很明显，上面的问题已经有了答案。

①图像金字塔的优势就是可以输入多尺寸的图像到CNN，提升CNN对多尺度目标的检出能力；劣势也很明显，直接增加了运算次数，也就成比例地增加了推理时间在通用目标检测领域，影响召回率的两大难题：1，目标尺寸过小；2，目标尺度变化过大。

工业界应用中提升召回率常用两种方法②图像金字塔，在输入端进行多尺度变化，以适应多尺度检测，但是其缺点明显就是耗时③特征金字塔，在特征图上进行多尺度，浅层特征负责检出大目标，深层特征负责检出小目标，例如SSD，FPN

④MTCNN可以接受任意尺寸的图像输入因为PNet是一个全卷积网络，没有全连接层，常见的卷积，池化，非线性激活层都是可以接受任意尺度的输入运算的，全连接是需要事先定义好连接数量所以不能接受任意尺度运算，当然也有例外，例如Kaiming He的SPP。

MTCNN文章截图如下图1所示，但是实际开源的代码中跟这个结构略有不同，PNet没有进行landmark的回归，只有两个分支，一个用来分类人脸得到confidence值，另外一个用来回归box位置

⑤图像金字塔生成的图像尺寸要和12尽量接近，因为训练PNet的数据是归一化到12大小的在文章中说明了，图像金字塔低层的面积是上一层的0.5，也就是面积的scale是0.5，对应的边长的scale就是sqrt(0.5)，即0.709。

minSize和factor两个参数直接影响到算法性能和推理时间

2）PNet输出的位置回归按照PNet的网络结构，可以得到这样一个结论，12x12的矩阵可以得到1个prob(就是上面softmax的输出也就是人脸的概率)和一个4值向量(上面conv4-2输出，人脸的回归值)。

由于PNet不限制输入尺寸，所以输入的尺寸肯定有很多比12大的由于卷积池化都是在输入特征图上“滑动”，所以现在把PNet看成是一个判别器，判断每一个12x12区域是否有人脸输出1个confidence和4个regression值，这样PNet就被看成一个12x12的“滑动核”。

假设一个输入图片中，某一个12x12块，左上角为(x，y)其对应输出特征图大小应该是(x/2-5,y/2-5),所以根据输出信息反推回去，就可以知道哪一个12x12的块出现了人脸假设PNet输出的特征图中某一个点检测出现人脸，反推回去原图上的坐标，例如输出特征图中(x,y)点反推回原图左上角(x1,y1)右下角(x2,y2)。

x1 = x * 2;y1 = y * 2;x2 = x1 + 12;y2 = y1 + 12,由于PNet做了图像金字塔，所以还需要还原Scale倍上面的内容只说明了某一个12*12区域是否存在人脸，但是具体位置还不知道，所以需要另外的4个回归值。

4个回归值分别代表的是中心点横坐标，纵坐标，宽，高 四个值的偏移量这样有了坐标值，有了偏移量，就可以得到原图上精确坐标bbox回归，个人觉得也是一个非常重要的知识点，所以准备单独用一篇文章的篇幅来总结，这里先不写。

3）landmark检测在Onet输出的时候，有三个分支，如下图，prob1是人脸confidence，conv6-2是人脸位置回归值，conv6-3是landmark回归值。

prob1是softmax的分类输出，conv6-2和conv6-3都是全连接层输出在训练阶段，人脸使用交叉熵loss，landmark使用均方差损失，两者加权求和作为整个网络loss训练4）mtcnn推理时间分析。

经过观察mtcnn的三个网络结构，结构非常简单，计算参数量也非常少，主要耗时都存在于金字塔的生成过程中三个阶段的耗时大约为：Pnet占75%，RNet占15%，ONet占10%但是通过工具计算单个网络参数量之后发现，PNet由于其最简单的网络结构，其参数量只有6.83K个,但是为啥耗时最多呢？原因是图像金字塔操作都在CPU上完成，然后forword操作再gpu上完成，这样导致数据不停地在显存和内存中拷贝，数据IO时间消耗已经不能被忽略了，并且在CPU上进行的resize操作时间消耗也不能被忽略。

•MTCNN的推理优化主要从PNet下手，找到金字塔层数和待检测目标大小之间的平衡•控制显存和内存之间IO交互的时间，例如将resize在gpu上实现5）mtcnn拓展mtcnn的思想为工业界开阔了很大的视野，有很多使用mtcnn做的其他应用。

例如mtcnn做行人检测，mtcnn做人头检测，mtcnn做人脸跟踪等等•github上zuoqing大佬对mtcnn做了魔改，并且有一系列的拓展，强烈推荐看一下•人脸跟踪第一帧采用完整mtcnn检测，检测到人脸之后，在第二帧中利用上一帧人脸位置稍微外扩一点，然后在此小图上直接使用ONet推理，直接就可以输出人脸位置。

这样对于单人脸检测跟踪效果不错MTCNN是2016年的CVPR文章，时间总是在推着技术向前发展，要跟上时代的步伐虽然现在很多方法已经把MTCNN甩在后面了，但是不能忘记mtcnn对人脸检测算法做出的贡献。

mtcnn应该是耳熟能详的一个经典算法了，虽然目前不算最牛逼的，但是其思想非常值得学习目前嵌入式端比较实用的算法，像 BlazeFace，CenterFace，RetinaFace貌似都不错比如自己撸一个人脸检测器，时间消耗自己改，改到自己爽为止，觉得resnet10-ssd做人脸检测挺好，精度也还够用。

关键点检测关键点检测算法目前来讲，如果想要做的好，最缺的其实是数据虽说目前开源数据比较多，但是DMS系统中一般使用的红外图像，开源的RGB图像数据集其实具有局限性如果有足够的数据一切都好说目前关键点检测，比较适合部署的几个思路。

①类似于MTCNN算法中的LNet那样(可能很多人不知道mtcnn的第四阶段LNet)自己加数据训练；②利用wing-Loss自己撸一个主干网络，然后加数据训练③直接使用SeetaFace2中的landmark，效果还真不错;

④使用PFLD算法PFLD算法肯定是最先进的，推荐研究一波人脸三维角度回归自己撸一个网络，最后一层设计为全连接层，输出维度为3直接使用公开数据集，预处理一下训练样本，只留下3维角度监督信息简单的5层CNN即可拟合出不错效果。

比landmark计算的坐标然后再PnP算法拟合角度，要靠谱一些（5）DMS技术--EyeGazeEyeGaze Estimation，就是使用计算机视觉技术来实时监控司机是否走神的一种手段系统可以实时地知道驾驶员的注意力在哪里，如下图所示，系统实时捕捉驾驶员的视线，图片来自于EyeSight。

EyeGaze技术的解决方案一般有两种方案•人头角度回归+瞳孔定位，两者加权输出•直接CNN分类输出不管是哪种方案，都会遇到一个问题，那就是算法鲁棒性眼睛很容易被遮挡，例如很多司机是近视眼，常年佩戴眼睛，或者司机偶尔戴墨镜。

业界在解决此种问题一般是两个思路•使用高穿透红外相机，在硬件上创新•在图像去掉眼镜综上，EyeGaze的技术路线应该是•人脸检测•眼睛定位•图像预处理•EyeGaze算法

1）人脸检测&眼镜定位人脸检测算法已经非常多了，眼睛定位也属于landmark算法2）图像预处理图像预处理的目的是去掉眼镜，减少眼镜对算法的影响，如下图所示

一般都是使用GAN的方法，重新去生成一张新的图片，上图来自于GPCycleGAN3）EyeGaze算法EyeGaze算法的目的是得到眼镜的注释区域，第一种是类似于OpenFace[2]中的方法，使用传统方法定位眼镜，加上图像几何运算，得到注释角度，然后根据计算得到的角度和实际场景中的安装位置进行匹配

第二种是直接使用CNN方法分类输出

如上图所示，CNN结果直接是6分类，直接输出注释区域在哪里。流程非常简单，end2end结果可以直接使用，但是其缺点是训练样本组织起来比较麻烦。

另外，CNN方法还有两点需要注意•选取合适的CNN网络结构•选取合适的图像输入常见的网络，例如VGG，Resnet，MobileNet等，都是在ImageNet上进行预训练的，迁移到EyeGaze应用上，需要对其进行网络微调，也就是迁移学习。

因为EyeGaze应用场景中图像变化不大，顶多就是瞳孔在眼睛中的位置，所以网络中的大感受野也许会影响特征提取，比如较大卷积核尺寸和较大的stride都会对特征提起有副作用然后，怎么选取图像的输入尺寸

红色区域是带背景的人头图像作为输入，绿色区域是不带背景的人头区域，蓝色区域是人脸图像，黄色区域是只有眼睛的半张人脸图像经过我的实验发现，黄色区域作为CNN的输入，不管是训练还是测试，其效果都是最好的人脸三维角度回归

使用pytorch框架训练一个可以检测人脸三维角度的检测器

总共分为四个部分•训练数据•网络模型•训练•部署做一个人脸角度检测器，只需要判断人脸是朝左，朝右就可以了自己采集了一个数据集，自己对人脸朝向标记了5个类别，大致上就是把人脸的yaw角度分为了五个类别，然后准备使用vgg16分类网络去做。

从这个描述来看，这位童鞋一定还是学生所以这篇文章也是提供一个小小的思路，并且这个方法针对实际项目也是具有指导意义的1）训练样本准备人脸数据样本来自于umdfaces经过清洗之后，图像将人脸部分截取出来，然后分别将其对应的标签转换为txt标注，每一张图对应三个lable。

例如：00001jpg pitch yaw roll

经过整理之后的数据训练图片大约13000张，每一张分别标注pitch、yaw、roll三个角度信息2）pytorch网络搭建①数据读取在读取数据的时候，还需要做数据增强主要分类两个部分：随机裁剪和灰度变化。

将图像缩放到固定尺寸85，然后随机裁剪到68*68大小注意，在这里的数据增强过程中不能使用镜像变换或者旋转操作，因为人脸角度变了，其label就变了。

②自定义数据集读取因为自己的数据集标签格式是txt字段，所以需要自己去解析label信息

③搭建网络网络模型对于角度回归这种任务，复杂度并不算太高，所以根本不需要像vgg16这种大型的网络试过resnet18，resnet10，cnn5这种小网络，甚至于5层的cnn网络暴力回归训练也可以work。

网络输入我设计的是68*68，所以网络推理计算量非常小，一般也就2ms左右在网络最后一层，由于输出三个角度，所以将全连接层输出维度改为3不同的网络模型训练的时候收敛速度会不太一样，感兴趣的同学可以去尝试一下

损失函数总Loss = Loss_pitch + Loss_yaw + Loss_roll训练的时候使用的是MSELoss，其实直接使用L1范数都行超参数将全连接层的学习率设置的稍微高一些，这样可以加速网络拟合过程

加载网络预训练模型的时候，第一个卷基层的学习率可以设置为0其他层的学习率可以默认

3）开始训练由于训练数据尺寸非常小，所以这里batch_size可以设置非常大，1000的batch_size训练跑起来，训练非常快所以这种实验类型的小项目非常适合学生党去入门，可以去设计自己的主干网络，设计不同的损失函数，不同的数据增强方式。

4）最后对于人脸角度预测算法，需求属于非常简单的，采用上面这种超简单的网络，超简单的训练方式，在实际项目中都能一定程度的work，鲁棒性也不错现在处理人脸角度的算法，大都是使用landmark定位，然后使用PnP算法来计算角度，其实这种方法才是最科学的。

因为开源的人脸数据集中标注的pitch，yaw，roll角度大都是通过landmark定位然后PnP算法估算出来的训练的监督信号都是来自于计算机计算结果所以、一看到人脸角度，第一时间的反应是landmark计算。

曾经有一篇HopeNet文章主要内容就是“不使用landmark来完成人脸角度预测”，主要思路也是使用回归，然后使用分类来辅助回归，帮助收敛使用resnet50作为主干网络，然后将角度按照每10度一个分类，使用softmax输出类别然后和回归损失加权，最后总的loss反传。

HopeNet在github上也有相应的实现，可以直接去参考系统路径

人体关键点识别：定位人体的17个核心关键点，包含头顶、五官、颈部、四肢主要关节部位。

人体检测与属性识别：检测图像中所有人体，识别人体的20余种属性，包含性别年龄、服饰佩戴、行为动作等。

手势识别和手部关键点识别：识别OK、拳头、比心、点赞、数字等24种常见手势，定位手部的21个主要骨节点。

六 标准Euro-NCAP-2023-L3功能必备系统驾驶员状态监视DMS系统和限速辅助测试流程

七 分类1.DMS一般分为主动DMS与被动DMS（1）被动式：早期的方向盘及转向传感器早期的驾驶员疲劳系统通常是通过非生物特征的技术来实现，比如通过方向盘及转向传感器，监测任何不稳定的方向盘运动、车道偏离或无故改变速度等。

早期的DMS系统复杂，成本高(需要一系列数据模型和多传感器输入)、非直观感知(易造成误报且提升事故调查的难度)、无法与未来的座舱个性化联动(基于用户识别)等等经常说的一个反面例子便是：在特斯拉方向盘上放上一个水瓶或桔子，增加了方向盘的重量，这时汽车便会相信驾驶员的手在方向盘上。

 康斯坦丁.DC因此早期的DMS搭载率较低疲劳驾驶检测系统1）系统构架：系统核心是一个极度灵敏的传感器元件，它能够非常精确地监控转向盘的转动和速度的变化在对驾驶员的驾驶状态进行判定时，系统要考虑包括车速、纵向和横向加速度、转向盘转动的角度以及转向灯和踏板的使用情况等在内的多种因素。

此外诸如侧风天气和崎岖不平的路面情况等各种不同的外部环境的影响也考虑在内

2）判别模型：会先观察每名驾驶员正常状态下的行为，并用采集到的这些信息为每名驾驶员建档驾驶过程中，在80~180km/h的车速范围内，系统会通过车辆上的71个传感器时刻对驾驶员输入的指令进行监控，并与档案中的信息进行对比。

一旦两者出现差异，系统会立刻判断这个差异是否是因为疲劳驾驶引起的，如果得出的结果是肯定的话，系统会在仪表区显示“请休息片刻”的文字信息，并从扬声器发出相同内容的语音提示核心参数为转向角或转向角速度如驾驶员精力集中，在驾驶过程中可以观察到连续的轻微逆转向动作。

使车辆克服路面不平并将车辆保持在正确的路线上如一定时间内没有逆转向动作，然后突然检测到很明显的逆转向动作=》驾驶员注意力正在下降这种行为越频繁，指标值越大为了更好的做这个，做了更多参数的融合提取，这个有点类似综合信息评估做深度学习了，这里也可以利用前向的LDWS的摄像头来采集外部环境，而不仅仅从角速度传感器来做推断了。

3）警示示意：在驾驶的过程中，系统时刻都在对这些因素进行监控，以确保将那些非常规的驾驶行为判定为疲劳驾驶的准确度。如下图，咖啡杯的出现说明驾驶员需要休息。

（2）主动式：基于近红外技术与摄像头，基于红外摄像头的AI算法随着AI视觉技术的快速发展，基于摄像头的面部识别和眼球跟踪技术成为新一代驾驶员疲劳及分心监控系统的主流技术路线这一方案一般是通过红外摄像头实现信息采集，一般是使用940nm的近红外光。

可以有效避免照明不足所带来的的不利影响 

 940nm红外补光灯方案的DMS摄像头 DMS系统便是通过将红外摄像头内嵌于方向盘中实现追踪驾驶员的头部位置与视线，确保驾驶员目光在前方道路上。 

                                                      IRED（红外发生器）基于人眼脸特征的驾驶员疲劳监控系统采用车规级处理芯片，运用可靠的图像处理算法，通过红外摄像头对驾驶员眼部状态（眼睑开闭/视线注视区域追踪）和人脸特征点提取和处理，来判断驾驶员的疲劳程度及注意力是否分散，是否存在危险驾驶行为，并在必要时通过视觉/声音等提示驾驶员安全驾驶，从而降低因驾驶疲劳或分心驾驶导致的交通事故风险和提升驾驶员及乘客的安全

性同时可结合手势识别控制车内音响、空调等设备，简化车内设备操作流程，提升用户体验和行车中安全性；同时人脸识别技术也被整合到记忆座椅功能里，能分辨出不同的驾驶员，并自动调整座椅到相应的坐姿，也算是“黑科技”了。

把传感器与自动驾驶技术相结合，一旦车辆侦测到驾驶员存在“不正常”的举动，比如玩手机，打瞌睡甚至是酒驾，就会自动接管车辆，轻则对车辆进行限速，严重的话会发送警告给沃尔沃中心甚至直接控制车辆靠边停车如果车辆能感知驾驶员注意力是否集中，将提高汽车整体安全性。

比如这套汽车支持系统能分辨司机注意力是否集中，在司机分神之前予以警示

利用一系列传感器监控司机头部的位置和角度，以及司机眼睛的状态，理论上这套系统不仅能辨别司机是否睡着了，还能分辨出司机观察车辆周围情况的状态，例如是否注意到车辆四周快速接近的车辆。

该系统在硬件上分为摄像头、红外光源和控制器三个部分。主要由摄像头和ECU两大模块组成，如下图，

摄像头模块主要由镜头、COMS图像传感器、近红外LED灯、图像信号采集电路及电源电路组成COMS图像传感器将通过镜头的光信号转换为电信号，实时拍摄头、肩部姿态，并通过连接线将信号传送至ECU进行处理；近红外LED灯必要时点亮，进行补光，使得系统无论在白天、夜晚都能正常工作。

ECU模块主要由视频解码电路、运算单元、疲劳程度检测与报警信号输出单元、蜂鸣器组成解码后进入运算单元进行处理，如经计算发现驾驶员处于一定的疲劳程度，则由报警单元驱动蜂鸣器等进行报警（1） 一级疲劳报警：声音+文言提醒+白色咖啡杯闪烁。

（2）二级疲劳报警：声音+文言提醒+红色咖啡杯闪烁+最近休息点导航功能（3） 分心报警：声音+文言提醒典型场景：（1）疲劳驾驶（2）非驾驶任务导致的注意力分散可调近红外滤光器和摄像头的最新评估套件（EVK）。

核心部件是组装在摄像头模块上的可调谐MEMS（微机电系统）滤光器其包含的RaspberryPi用于采集参数，并通过USB/WiFi接口连接到PC或移动设备还包括SDK（软件开发工具包），用于开发附加程序。

可调谐滤光器可连接视觉和感知，使得光谱摄像头可以用于主流市场平台市场需要将光谱信息集成到摄像头的有效解决方案，能提供性能和成本的最佳结合ColorIR摄像头在不同的近红外波长捕获多个帧，由微型法布里-珀罗Fabry–Pérot光学腔MEMS进行过滤，可大大降低传统光谱摄像头的价格，从而用于新的市场和应用场景。

ColorIR的应用场景包括面部识别、目标检测，以及车辆DMS（驾驶员监控系统）等ColorIR EVK捕捉过滤后的图像，同时在本地RaspberryPi上进行处理，或者通过USB/WiFi导出到PC上，为客户提供性能评估和应用开发，该套件还包括4.3英寸的触摸屏，便于操作。

增加了新的传感器，这套系统能与车道保持系统、主动巡航、碰撞预警等系统整合工作这套系统甚至能和驾驶警示系统一起工作，系统将判断何时进行有效干预如果车辆能感知驾驶员注意力是否集中，能分辨司机注意力是否集中，在司机分神之前予以警示，将提高汽车整体安全性。

该传感器由安装在仪表板上的一组LED发光二极管组成发光二极管发出红外光监控司机的双眼，由于其波长在人眼可视范围之外，因此司机并不会看到传感器会整合人脸识别功能来识别司机的面部特征，但同时出于隐私考虑不会记录下司机的面部图像。

甚至能监控司机目光所指，也就是司机能看到什么，可以做到控制灯光照亮司机想要看清的区域，能发展到识别司机的偏好，同时将设置成不会被外界控制入侵传感器会整合人脸识别功能来识别司机的面部特征，但同时出于隐私考虑不会记录下司机的面部图像。

这套系统甚至能监控司机目光所指，也就是司机能看到什么。因此可以做到控制灯光照亮司机想要看清的区域。认为这套系统能发展到识别司机的偏好。但同时也强调为了安全起见，这套系统将设置成不会被外界控制入侵。

基于摄像头的驾驶员状态监测系统开发一个基于摄像头的汽车行驶过程中的重要参数测量原型车内摄像头将测量驾驶员的心率、眨眼频率、头部姿势与情绪等因素，并持续评估信息，通过这种方式获得一个全面和不断更新的驾驶员状态图，因此将有机会改善驾驶员与车辆之间的相互作用。

使用现有的网络摄像头，无需将传感器连接到驾驶员，也无需使用特殊照明该系统可自主识别面部区域，并凭借创新的图像和信号处理算法来获取驾驶员的压力和疲劳程度测量结果还将显示驾驶员的注意力或兴奋程度，收集到的信息可以得出个人驾驶行为的相应结论。

通过汽车仪表盘上的传感器来监测驾驶员的眼部和面部动作，以识别驾驶员是否疲劳或分心而在有阳光或驾驶员戴着眼镜/墨镜的情况下，该系统也能识别相关动作如果驾驶员的视线移向信息娱乐屏幕或窗外，系统可以尽早地向驾驶员警告危险。

DMS还可以实现紧急制动安全系统的功能，当监测系统识别到驾驶员分心时，会通知刹车系统，刹车系统便自动启动以避免发生危险将摄像头集成至车内后视镜中，符合分心驾驶检测的全球性相关法规该系统采用经验证的基于摄像头的技术对驾驶员头部、眼睛和身体动作进行监控，从而检测是否存在注意力分散行为、嗜睡和疲劳。

如果检测到有分心行为，如发现驾驶员视线偏离道路太长时间，该系统就会通过自定义听觉或视觉通知向驾驶员发出警报，从而帮助汽车制造商增进道路安全性

该技术还考虑到了正常的驾驶行为，例如查看内后视镜，通过将摄像头与内后视镜集成，该系统可以为驾驶员提供最佳的视野，并为其它乘员监控功能提供最佳视点该系统还可扩展，具备诸如儿童在场检测、安全带检测和识别特定乘客等功能，从而存储用户偏好。

该系统是摄像头和后视镜技术专业知识的自然延伸，展示出系统级方法，为应对行业挑战带来了创新型解决方案系统方法十分灵活，可基于用户的不同需求，使用摄像头和电子控制单元，或者摄像头和域控制器解决方案，将驾驶员监控技术与内视镜或其它车辆结构轻松集成在一起。

下一代抬头显示技术利用全视角风挡系统，不但能够提高车内视野，还能在合适的场合显示多种辅助信息，避免分散司机注意力驾驶监控系统还可能帮助驾驶员自主驾驶，并确保驾驶时的安全，同时降低驾驶员分心造成交通事故的可能性。

与高级驾驶辅助系统（如精力分散警告系统或医疗紧急制动助手）相结合，基于摄像头的测量可以使驾驶更可预测，更安全1）一堆互联网公司通过行车记录仪是第一步，后面为了分析车内和车外的数据，行车记录仪就变成了互联网公司送给车主的一个大玩具来记录信息和数据，然后由互联网公司玩数据分析。

2）随着数据采集、分析数据还有AI的流行，很多行业内的暗知识在大量数据下浮现出来了，这是IT和大数据分析必然的事情，靠有限数据模型和个体积累的模式势必赶不上这种大量数据记录和分析，只是需要更多的数据分析专家罢了

本质上来说，未来DMS将会是对用户的HMI的一次革新，通过对驾驶员行为的分析和状态监测，来更好的理解驾驶员和车辆的行为。

基于AI视觉的DMS系统自我学习驾驶舱系统用意在于提高驾驶人行车安全，又名称为车内驾驶人监视系统从2017年开始成为乘用车DMS的主流人工智能系统会追踪司机情绪、精力情况以及注意力分散程度的信息利用人工智能和计算机视觉算法实时监控驾驶员的关键视觉线索，以发现驾驶员嗜睡、分心和其他危险驾驶行为（如驾驶时手持手机）的迹象。

除了利用摄像头以外，还可以接收驾驶员声音，使用远场扬声器阵列技术，甚至通过面部表情探测到驾驶员情绪等生理状态一旦检测到这些危险迹象，DMS便会启用安全警报及相应措施许多驾驶员因困倦及分神而引发交通事故，该款人工智能系统或许能够避免该类情况的发生。

透过车上多种传感器识别驾驶人的精神状态，透过镜头拍摄驾驶人脸部影像与系统中存储照片比对，同时透过声音语调分析来判断驾驶人是否有酒醉、精神不济、手机打字或情绪激动等情况，为了更准确判断驾驶人的情绪，系统还能询问驾驶人几个问题作为判断参数之一。

由于DMS的核心部件之一是摄像头，主流的方式是图像传感器使用摄像头来捕捉驾驶员最重要的一级生物特征，如视线、头部位置和瞳孔直径，以及其它许多关键面部特征它能够通过检测瞳孔直径的细微变化，计算大脑活跃度，特别是高认知负荷。

通过使用近红外和RGB相机跟踪面部和头部，AI系统能检测出司机的面部表情和诸多心理情绪，如喜悦、愤怒、惊喜等等；它也能对愤怒、兴奋以及笑声等声音做出区分；同时，针对困意，它通过对司机打哈欠、闭眼、眨眼等行为做出辨别。

不掩饰情感的话，汽车很快就会知道发生什么了

拥有一座数据库，内部存储了来自87个国家的六百万张人脸数据库。

在当前汽车座舱内可能出现一些不可预知的环境噪声（如光照变化、迎面大灯等）影响DMS探测性能，实际工程项目中需要充分考虑这些因素做相应的算法鲁棒性调整这套系统不仅支持新车评估测试(NCAP) 中对于驾驶员状态管理的相关安全性需求，在认知工作负荷评估中加入了情绪因素，两者结合的系统无论是在性能还是评估标准上都优于任何单一部分。

它通过测量面部和声音信息来计算情绪状态，特别是高负荷情绪状态（除了疲劳、困倦、凝视、头部方向等），并结合这些输入信息生成与专注度和注意力有关的高度可靠信号主要亮点感知大脑活动、情绪和面部特征，并结合这些信息来提供与专注度和注意力有关的高度可靠信号；

测量瞳孔直径的细微变化并计算认知负荷；测量面部和声音信息来计算情绪状态，特别是高情绪负荷；适用于自动驾驶交接事件、动态ADAS 参数（延长警告时间）、自适应/ 个性化人机界面等；系统还可以分析乘客听觉信息和心率/呼吸频率，然后使用自有专利算法，结合最先进的数字信号处理器(DSP)和人工智能(AI)技术，提供有关情绪活动和认知负荷等二级生物信号的洞察。

该系统目前正在进一步开发，以提供真正具有创新意义的三级生物信号，如驾驶员专注度和注意力这对未来实现L3级和全自动驾驶至关重要不断收集驾驶员/乘客监控数据并扩展自身功能，其还支持额外驾舱内监测功能，包括检测驾驶员身份、性别、年龄或儿童座椅数量。

除了与安全相关的驾驶员监控功能之外，还进一步设计为通过检测注册的驾驶员增强其车内体验车内环境可以根据系统识别出的驾驶员进行个性化设制，如调整座舱温度、媒体偏好、座椅、后视镜等通过跟踪驾驶员的头部姿势和注视方向，可以启用基于兴趣区（AOI）的增强功能，既安全又方便。

还具备识别车内环境特殊声音能力，例如打开酒瓶瓶盖、药袋或武器，在确认驾驶人状态后，系统可采取包括口头警告、关闭控制或报警

AI意味着高度精确、快速和个性化结果它利用了当今汽车内现代计算平台的优势，旨在确保驾驶员时刻保持高度专注驾驶员监控系统的响应基于情绪语音提示、个性化预警通知或基于认知的灯光效果对于未来使用场景，该系统可协助L3级及以上自动驾驶中复杂的交接过程。

AI人工智能的技术是如何实现的？这套技术最特别的是能运用 fMRI（利用磁振造影来测量大脑活动时血流变化的一种方法）测量神经元活动所引发之血液动力的改变fMRI是目前先进的医学技术，因对人体没有伤害而被大力推广。

通过监测驾驶者大脑，对驾驶者的活动与风险行为的独创性解析，再通过驾驶员状态感知系统以及驾驶操作，预估驾驶过程中发生错误的征兆AI人工智能加上ADAS传感器/摄像头掌握周边风险，并实时推导出最合适的驾驶动作。

这套智能化驾驶辅助技术发现驾驶者的走神或失误后，它会用尽各种方法来帮驾驶者“提神”系统会通过视觉、触觉和听觉提示风险，例如研发中的“未来安全技术”，包括风险警示器、安全带控制、立体音响，还有促发座椅靠背振动。

的生理反馈技术这些技术能起来减轻驾驶员困倦和疲劳的作用，对车辆驾驶的帮助是减轻车身（方向盘）晃动和避免操作延迟它与现在的智能驾驶系统有两方面的不同：一方面除了传感器+算法外，还能根据驾驶员的精神状态来决定辅助驾驶的算法；第二个技术就是加入了V2X车联网，不过算法上更复杂一些，把它称为“安全·安心网联技术”，而且它也重点考虑了路面上车的安全。

这套系统将通过路边摄像头和车载摄像头，甚至是智能手机探测到的交通环境信息，再汇集到服务器上，然后在虚拟空间中再重建一个交通环境，也可以把这个理解为“元宇宙”。

为了支持功能安全要求，通过不断地监控视频质量来检测潜在的硬件故障对于安装在方向盘柱等活动部件上的摄像头，实时应用自动校准算法可检测潜在的噪音因素（例如口罩和眼镜）以及使用电话、吸烟和不系安全带等危险驾驶行为。

可检测的潜在危险驾驶行为解决方案的核心是基于先进的专有计算机视觉和人工智能算法由两层逻辑构成，核心是利用计算机视觉算法实时跟踪和报告与驾驶员相关的视觉属性构建了第二个逻辑层，用于将第一层收集到的数据分析整合成驾驶员状态的生理结论。

逻辑层基于广泛的研究和测试，其中视觉面部线索与困倦和分心之间的关系得到了证实驾驶员逻辑系统会检测出困倦的最早阶段，使救生机制能够实时做出智能反应

结合高精准视觉的AI技术，可以就驾驶员的情绪进行检测，整合车内其他部件做出相应提醒与改善比如概念座舱AceS，它具有情绪感应系统当车载计算机确定内部某人情绪不佳时，可以通过散发香氛以及调节环境灯氛围灯来改善。

如果传感器检测到驾驶员变得昏昏欲睡，它将使用音乐和震动来帮助保持清醒

推出了一款情感识别人工智能软件，也是人工智能情绪监控软件，这意味着汽车制造商可将面部识别技术及语音追踪技术纳入到其未来的新车型汽车制造中该人工智能系统可追踪驾驶员的情绪、体能及驾驶分神的程度，可以预防因困倦和分心而造成的驾驶事故。

车上装有的软件和照相机/摄像头可以检测出司机的情绪和能探查到驾驶状态，如是不是激动了、在车上睡着了、甚至是因为太过心烦或愤怒而无法集中精力开车；确认是否存在嗜睡、过于焦虑或易怒road rage，在路上开车时愤怒到情绪失控的情况，从而判定司机能否专心开车。

该技术或将与半自动驾驶车辆相搭配，可以启动半自动汽车驾驶模式，在怒路症发作而感到焦躁不安时，如果司机被定义为不能安全行驶车辆之时，转由车载系统控制车辆的驾驶操控，最终若决定采用较为安全的驾驶方式，车辆会接管相关的驾驶操作。

相关应用非全新概念，目前已有多家厂商及车厂提出不同方案，但尚未普及至一般车辆的原因包括个人隐私、监控范围、资料储存与资安风险。

是Speed Assistance Systems(SAS)和Attention Assist的升级措施，监控驾驶人行为与状态，能在危险发生前做到提醒和联动车内其它系统，例如进入跛行模式(Limp Home Mode)、加强车身稳定系统ESC的敏感度或开启车道维持系统LKA。

在DMS采用上商用车和共享车的需求显著，尤其是需要长途行驶的卡车与巴士车队，除了监控司机注意力及精神状态外，DMS收集的数据亦能提供服务商作为人力调配调度之用，而出租车或共享车则可加入身分识别功能，提升乘客的乘车安全。

传感器可结合AI监测驾驶员疲劳状态以“万物智能技术”为主题，在雷达、机器视觉、V2X产品、汽车传感器、安全微控制器和网管方面的解决方案获得关注。

MEMS分为运动传感器、环境传感器、MEMS麦克风传感器会自动检测驾驶员的一些行为、疲劳状态，这些信息都需要能提供更多的正反馈，就需要传感器去监测，给到处理器这些信息，所以如果没有传感器是没有办法谈AI的。

传感器一方面感测数据，另一方面也可以结合AI进行数据处理，在这方面有一个比较好的应用就是T-Box通过传感器摄像头对驾驶员的状态进行检测，相关数据传送到云端如果一位司机疲劳驾驶过于频繁，或者具有一些危险驾驶行为，那么相关数据就会发送给保险公司，用于监测驾驶习惯，如果检测数值太低，会影响第二年的保险信誉值。

在这种市场需求下，对汽车MEMS传感器的性能要求也逐渐增加在检测驾驶员行为、传送云端的过程中，传感器的作用十分重要

2.驾驶员疲劳状态监测系统最早应用于飞机等高级辅助驾驶或自动驾驶程度比较高的领域，初期的驾驶员疲劳监测系统是一种基于人体疲劳时生理反应特征信号的监测系统根据使用信号属性不同，从技术原理和整体架构上和现有系统部署情况，

驾驶员疲劳状态监测系统DMS可分为和两种，还有各种数据的融合推测，还有一些可穿戴的办法现在直接监测方法和间接监测方法两种类型的驾驶员疲劳状态监测系统在市场上的在售车型上都有应用（1）直接监测/直接监控/直接检测。

通过传感器获取驾驶员头部运动、面部运动、眼部运动、心电或脑电等直接表征驾驶员状态的信号，用以判断驾驶员的状态利用摄像头获取驾驶员面部状态信号和眼睛运动信号，结合红外传感器获得的驾驶员头部位置和运动信息来识别驾驶员状态。

依据驾驶员面部信息判断驾驶员疲劳状态和注意力是否分散等欠安全状态如果驾驶员处于疲劳或注意力分散状态，将会发送警报提醒驾驶员除此项功能外，该疲劳驾驶预警系统还能监测驾驶员是否脱管转向盘和其他危险驾驶行为，例如行车过程中吸烟、 接打电话、玩手机等。

根据车内摄像头采集的驾驶员面部和眼部的运动信息结合车辆与车道的相对位置关系，判断驾驶员是否疲劳、注意力是否分散及是否酗酒，并在需要的时候发送警报并主动控制车辆运动该系统的优点在于其基于车道偏离预警系统的硬件，不需要额外添加其他硬件设备，并且当驾驶员疲劳导致车辆偏离车道时，车道保持辅助系统能够主动控制电子转向系统使车辆回到原车道继续行驶。

可获取更多的驾驶员状态信息，且随着相关视觉技术的进步，其判断结果可信度也不断提升，多用于自动驾驶系统的人机交互是基于图像识别和触控传感技术展开的该检测系统通过方向盘内集成的传感器将驾驶员的面部细节以及心脏、脑电等部位的数据进行收集，再根据这些部位数据变化判断驾驶员是否处于疲劳状态。

与采集心电信号和脑电信号相比，采集驾驶员面部运动和眼部运动信号比较简单方便并且精度较高，所以基于驾驶员面部运动信号和眼部运动信号的监测系统应用比较广泛，主要是由红外摄像头所实现的①如某系统架构如图：

一台NIR的红外传感器+Package在一起的处理器DM控制器主要含图像识别技术=》面部图像进行分析处理，检测面部轮廓以及眼鼻口等部位的位置=>根据这些部位的位置关系来判断面部朝向=>在注意力不集中的状态?

根据驾驶员眼睑的开度以及眨眼等动作的频率=>处在瞌睡状态?好处衡量困倦和注意力 =》直接监测了实时参数，如闭眼速度，头部方向测量压力和情绪状态=》监控心跳变化安全性和个性化：可以在原来的DM基础上衍生更多的内容，如驾驶员身份识别or手势识别等，从而开拓更多的商业模式

在图像里面使用NIR红外照明单眼可以在不同的光照条件下维持均衡的性能坏处：摄像头和红外LED的布置是很大的困难，因为面对驾驶员，很容易给注意到成本偏高某些用户担心给监测到②Driver Monitor的工作原理请见下图，识别驾驶员疲劳状态的精度相当高，但是需要车辆额外安装一个摄像头和红外传感器，硬件成本较高。

随着车辆ADAS（Advanced Driver Assistant System）和生物识别技术的普及，Driver Moni⁃ tor应用范围会越来越广

③下图是某疲劳驾驶预警系统具备的功能 。

BAWS硬件由摄像头、红外线传感器和控制器组成，采集驾驶员面部表情、眼部和头部运动等信号，综合分析得到驾驶员状态如果驾驶员处于疲劳状态，则立即采取相应措施并向驾驶员发送警报信号（2）间接监测/间接监控/间接检测。

通过获取驾驶员的驾驶行为信号及相关车辆状态信号，间接判断驾驶员状态可获取的驾驶员状态信息有限，通常可用于驾驶员驾驶风格判断及整车驾驶模式匹配是针对驾驶员驾车行为分析，即通过记录和解析驾驶员转动方向盘、踩刹车等行为特征，判别驾驶员是否疲劳。

如下图，它依据驾驶员驾驶行为、基于车辆状态参数检测驾驶员状态，例如车速、发动机转速、横摆角速度、侧向加速度、转向盘角速度和角加速度等及各信号的后处理参数，综合考虑以上因素进行分析计算得到驾驶员状态监测结果。

当驾驶员处于疲劳状态时，转向操纵行为与正常驾驶情况下的转向操纵行为存在较大差异，例如疲劳时驾驶员转向操作可能逐渐变缓甚至停下，因此可以根据驾驶员转向行为信号监测驾驶员状态利用电动助力转向EPS系统的转向盘转角与角速度、转向盘力矩信号，结合车辆状态信号和车内环境信息例如车速、侧向加速度、横摆角速度、车内温度、雨刮器、空调控制等信号， 判断驾驶员是否疲劳。

当监测到驾驶员处于疲劳状态时，会如下图所示在仪表盘上显示警告信息“Take a Brake？” 

①Attention Assist 除覆盖正常行驶工况外还考虑外部干扰对疲劳监测的影响，例如侧风、路面凸起和斜坡等不均匀工况，使其适用范围更广、精度更高;系统有效车速区间 80～180 km/h，在监测到驾驶员疲劳时会主动报警并在仪表盘上显示提示信息。

②MKE根据驾驶员驾驶行为如转向盘运动、车速、行驶时间等估计驾驶员疲劳程度如果驾驶员处于疲劳状态，则发出蜂鸣声提醒 驾驶员并在仪表盘上显示提示信息，显示时长为5s；如果驾驶员未采取任何措施，提醒信息会重复出现。

MKE工作车速大于65 km/h，除被动触发外，还能在连续行驶时间超过4 h的情况下主动触发，提醒驾驶员 驾驶时间过长需要停车休息；如果驾驶员未停车休息而继续行驶，MKE 15min后会再次提醒如果用户不想激活MKE，可以在设置中选择关闭。

③DDDS集成性好，可以和电子稳定控制系统、CAN网关、FlexRay网关等集成，应用载体不受限于制造商。

④某疲劳识别系统通过采集EPS的信息、驾驶时间、行驶速度等信息，估算疲劳程度，通过仪表发出声音及图像提示驾驶员。

德国DMS的部署率很高，后来仔细分析其方法发现德国厂家是这么做的。

使用驾驶行为信号并结合车辆状态信号，采用统计分析、机器学习等方法分析驾驶员的状态目前该方法的精度虽然没有直接监测方法精度高，但不需要在车辆上额外增加任何传感器及硬件设备，不会造成车辆制造成本的增加因此各个整车厂、零部件制造商和科研机构纷纷深入研究间接监测方法，并已经实现产品化。

基于深度学习的驾驶员监测系统开发了一套监控驾驶员、确认其是否分心驾驶的安全系统。

创造了一套新系统，把摄像头（包括Kinect 摄像头和普通摄像头）安装到了汽车的仪表板附近，用来监控驾驶员的行为同时计算机算法考虑到不同场景，包括汽车的速度、位置、驾驶状况等等例如在空旷的高速路打电话，那或许不是特别危险，但是在拥挤的城市街道，如果驾驶员从后座拿东西，那就是比较危险的状况了。

一旦探测到危险，汽车就会发出警告它不需要监控人的眼睛或者其它面部动作。在系统的开发中用上了深度学习技术。把分心驾驶的各种场景输入计算机，让计算机分辨哪些是真正危险的状况。

与基于模式辨识的算法不同，神经网络从大量的样本中学习，逐步构建自己的能力这个过程基本上是自动的，但是这需要大量的数据和超强的运算能力深度学习的错误率是最低的，不会有太多的错误报警这套系统其实是给予汽车某种“自我意识”，汽车正在逐步掌握外部世界，或许它也应该了解自身内部的状况了。

（3）采用直接监测和间接监测相融合的方法从车辆运动状态、驾驶行为、周围环境和驾驶员生理信息4个维度出发，依靠大而全的数据源使监测算法的准确性得到较大提高但是大量数据运算时需要占用较大内存，一般很难集成到某一电子控制系统的控制器里，需要额外增加一个控制器，用于Driver Alert system的数据运算。

Driver Alert system在后视镜的后方安装一个前置摄像头，以获取车辆运动 轨迹信息，在监测到驾驶员疲劳时提供报警功能，其工作原理请见下图。

①DAC（Driver Alert Control）除了监测驾驶员疲劳状态外，还能监测驾驶员注意力是否分散DAC硬件包括摄像头、各种车辆状态传感器、车辆轨迹传感器 和控制器，控制器综合分析驾驶员头部位置和角度、 眼睛运动、车辆与车道的相对位置、转向盘操纵数据等判断当前的驾驶状态，并与内置于控制器中记录器 里驾驶员正常的驾驶状态对比，判断驾驶员是否处于 疲劳或注意力分散状态；如果是则发出声音信号提醒驾驶员，并在仪表盘上显示提示信息。

DAC还可以与其他驾驶辅助系统如车道保持、自适应巡航、碰撞 预警等集成，除警报提醒外还能主动对车辆运动进行 有效干预当车速高于65 km/h时，DAC激活；当车速低于60 km/h时，DAC休眠，其工作原理请见下图 。

②在转向盘里内置一种驾驶员状态监测系统，采集驾驶员面部运动和眼睛运动信息，监测驾驶员状态和注意力集中情况，控制器选择酷睿i7处理器DMS与紧急制动系统集成，如果判断出驾驶员处于疲劳状态或注意力分散状态，并有可能发生碰撞事故时，将主动制动以确保行车安全。

驾驶员佩戴的眼镜或墨镜对识别精度没有影响  可穿戴技术可监测驾驶员疲劳状态

该项名为“SmartCap”可穿戴技术可监测卡车驾驶员疲劳程度SmartCap新技术通过佩戴的电子设备测量人脑中电子活动的变化，而电子活动正是人是否保持警觉性的实时指示器SmartCap包括一个手机应用程序，因此驾驶员可以实时监控和管理自己的疲劳状态，而且该系统还可生成预警警报。

智能手表Nismo Watch基本功能是监测、分析车辆的性能也能记录佩带者的心率以及分享社交内容，用户可以通过蓝牙在相应的智能手机App上实现这些功能没有表盘的手环又被称为多体征情绪感知设备，可以实时监测驾驶员生命体征和精神压力变化。

佩戴智能手环，它可以实时监测驾驶员心率、血压、血氧、运动、呼吸、体温、睡眠等生命体征数据，以及抑郁焦虑等情绪状态，驾驶员在手机端软件上可以查询到实时看到相关的数据，对自身的身心状况有一个全面的了解：可以看到自己的睡眠质量，睡眠时间，自己就可以调整好自己的生活习惯、身体状态，提高了睡眠质量第二天工作的时候就不容易出现犯困疲劳的情况。

多体征情绪感知设备手环能实时监测血压，提前预警：通过手机软件就能看出血压低了，那就得多注意，随时能够关注到自己的身体状态，身体不舒服了能及时预警，确实为安全行车起到了比较好的保障作用。

多体征情绪感知设备相关的监测数据也能上传到管理后台，供管理人员查看分析，对于身心状况不佳的驾驶员，管理人员能够第一时间开展有针对性的措施智能手环（表）作为一种穿戴式智能设备，佩戴简单、对驾驶无干扰、技术成熟、市场应用广泛，使得血压、心率等生命体征的检测变得容易，但也存在诸多例如监测频率要求高、续航时间短、通讯不稳定等问题。

（1）蓝牙+APP通讯手环采集数据通过蓝牙传输至手机APP，再由APP上报至监控后台优势：在极高的实时监测传输要求下，工作续航时间有保障风险：数据链路受限App 在手机的运行状态（息屏，锁屏，后台，手动退出App等操作)，有中断风险。

（2）4G通讯手环采集数据通过内置4G通讯模组直接上报至监控后台。优势：数据链路稳定性有保障。风险：数据采集和传输频率高，在有限的电池容量限制下，工作续航表现差。

（3）蓝牙+网关通讯手环采集数据通过内置4G通讯模组直接上报至监控后台。优势：数据链路稳定性有保障，手环端工作续航时间有保障。风险：加入网关硬件设备成本高，受网关技术限制多项特定需求场景无法满足

（4）4G+蓝牙组合通讯手环蓝牙通讯正常时通过APP来转发数据，监测中断自动切换4G策略优势：数据链路稳定性有保障，手环端工作续航时间有保障风险：当前市场无现成产品，软硬件均需定制开发3.DMS在L2~L4介于机器驾驶员系统和人类驾驶员系统之间的一个相对独立又耦合的第三方系统。

随着自动驾驶的不断提升，DMS的重要性将会进一步提高，系统从监视逐步渗透到控制、决策层面Level 1：不注意行为检查分神困倦/睡意打盹乘客面目等Level 2：身体状态/遗忘检查生命体征（姿态）婴幼儿座位遗忘检查（连接电波监测器）

等Level 3：阻止危险驾驶、冲突情感认知（喜、怒、哀、惧）体格检查（连接气囊）前排座椅安全带E-Call连接（连接Driver Recorder）等Level 4：全体乘客的安全、舒适乘客的情感、动作、意图判定

异常状态征兆检查乘客的属性判定（性别、年龄等）车内污物检查、遗忘物品检查根据行业定位可分为：1.0阶段：检查驾驶员与乘客的不安全状态，提升发生冲撞后的安全性能，实现零伤亡愿景2.0阶段：通过DMS与HMI系统、ADAS、座舱系统融合，进行拟人化、个性化驾驶。

3.0阶段：对成员状态监控与云控平台结合进行服务场景的定制化八 作用1.系统功能DMS的主要功能是为了防止驾驶员分心驾驶、疲劳驾驶等，一般会有疲劳驾驶报警，长时间不目视前方报警，接打电话、抽烟、喝水报警，驾驶员不在驾驶位报警，设备遮挡报警等。

注意力分散和疲劳检测功能可大大提升行车安全，同时也能增强用户科技体验解放了驾驶员双手，带来了超强用户体验驾驶员状态监控在非自动驾驶车辆上很重要，在自动驾驶车辆上为了判定驾驶员接管车辆的能力则更加可能成为一种刚需。

配备DMS功能

驾驶员监控系统DMS能够实现驾驶员疲劳监测、驾驶员注意力监测、危险驾驶行为监测以及驾驶员身份识别等功能驾驶员疲劳监测依据驾驶员疲劳识别，可与智能驾驶等级和功能开启状态关联，设置不同报警级别驾驶员异常动作监测，抽烟、打电话、喝水……。

支持防瞌睡提醒；眼球追踪/视线区域识别，可监测戴眼镜、太阳镜人员眼睛状态；红外夜间模式驾驶员注意力监测，视野范围监测，注意力分散提醒驾驶员身份识别依据识别结果可与云端或本地进行对比，功能关联可依据驾驶员身份进行座椅调节、后视镜调节……

通过嵌入式设备，智能监测驾驶员行为，对驾驶过程中针对不安全行为及现象，进行现场提醒，同时将警示信息和现场视频发送到安全运营监管中心，确保行车安全，提高车辆运营管理效率其主要功能包括：驾驶室状态远程巡检、驾驶员行为智能分析、不合规现象实时报警、远程语音对讲督导以及数据统计分析。

（1）通过特征分析，识别并提醒驾驶员疲劳驾驶

（2）通过特征分析，识别并提醒驾驶员开车打电话的不良习惯

（3）通过特征分析，识别并提醒驾驶员违规抽烟、不系安全带、双手离开方向盘行为

（4）通过特征分析，识别并提醒驾驶员如压线变道、不按导向行驶、超速、闯红灯、不礼让行人等行为

疲劳识别系统是一个具有支持和预防功能：能根据驾驶员的转向动作，检测出驾驶员的疲劳程度会评估与驾驶情况有关的数据（车速、油门踏板的使用、方向灯的使用、当前时间、驾驶时间等）驾驶员使用和设定的舒适系统（空调、电话等）的情况

  未来DMS可以做到：身份识别&防盗启动个人Profile载入驾驶行为推荐和校正基于使用保险（UBI）增强型语音和手势识别（HMI）视频电话九 注意使用事项1.在功能进入工作模式后的，由于疲劳算法的特性，疲劳监测需要1min时间完成初始化，期间功能不会工作

 2.功能的实现依赖于清晰的面部图像，在某些情况下：强烈的太阳光直射面部、座椅或方向盘调整导致面部监测丢失等，性能可能会下降 3.系统使用红外摄像头，可能会被某些墨镜干扰导致性能下降 注意：请确保摄像头不要被其他物体覆盖。

如果摄像头受到干扰，系统的性能将下降，仪表显示屏可能会显示“驾驶员状态监测摄像头被遮挡”并报警如满足以下任一条件，系统将自动返回正常工作状态：（1）摄像头重新识别到驾驶员面部信息（2）关闭点火开关并重新启动。

（3）如果重新启动发后该摄像头仍受到干扰，系统会再次提醒您受到干扰并报警 驾驶员状态监测系统不会记录或上传与驾驶员相关的任何图像、视频、声音等信息若仪表弹出“请检查驾驶员状态监测系统”信息，则表明系统出现故障，请及时前往广汽埃安销售店进行检修。

（4）转向过程中，方向盘可能会遮挡摄像头导致性能下降4.如果系统检测到驾驶员处于分心状态，会通过语音提醒驾驶员，在第一次提醒之后，10min内不会再次激活报警（5）限制场景：1）摄像头故障或存在遮挡2）极端坐姿导致的驾驶员脸部信息无法探测。

3）面部毛发厚重或配戴面罩等造成面部大面积遮挡4）驾驶员佩戴红外阻隔的眼镜（6）抑制条件：1）自车速小于功能激活车速（7.2KM/3h）2）驾驶员打转向灯（抑制分心报警分心报警）3）驾驶员侧车门打开十 优缺点

1.系统优势识别精度高海量数据支撑响应速度快适应复杂驾驶环境(1) 疲劳判别模型完善多年持续开发，基于海量数据建立疲劳推断模型；多源信息融合策略；监测精度>90%(2) 环境适应性强能够适应光强条件和驾驶员状态随机变化；。

昼夜全天候工作能力；解决了驾驶员佩戴/墨镜情况下的检测难题(3) 解决了个体差异性问题具有在线自学习能力，解决个体差异性(脸型、眼睛大小、眨眼频率等)问题，驾驶员身份识别(4) 安装适应性＆扩展性强在驾驶员侧前方±30度范围内，均可实现良好检测，不会对驾驶员实现产生干扰。

深入场景：专项训练高精度识别模型，覆盖典型车载场景应用灵活：针对每类属性行为，分别返回概率分数和建议阈值，根据实际业务需求灵活设置服务稳定：可提供企业级稳定、精确的大流量服务，拥有毫秒级识别响应能力及99.9%的可靠性保障

视频存储：专用视频编码器，在不降低分辨率的基础上，实现高压缩、低损耗，运算效率高、无延迟卡顿智能警戒：深度学习算法，精准报警，事中实时预警，事后高效回查，提升管理效率2.人机协作智能增强驾驶员状态监控系统的优点

（1）将人的作用引入到系统中对驾驶员疲劳和不良驾驶行为进行判断，形成了人机协作认知的混合智能增强范式当智能终端的输出置信度较低时，由人介入主动给出合理的判断与依据，构成系统智能水平提升的反馈回路;（2）在传统的仅仅利用驾驶员面部特征进行驾驶员状态判别方法的基础上添加了对行车过程中是否系了安全带、行车过程中是否双手脱离方向盘的检测，并利用视觉检测方向盘转动幅度的方法判断驾驶员是否存在长时间不对方向盘进行转动（含微调）的行为，以及驾驶员是否存在对行车道路上出现的状况（如：跟车过近、偏离车道）反应迟缓或者异于往常的问题。

上述优点将对减少驾驶员疲劳驾驶及不良驾驶行为引发的事故，起到更好的抑制作用，降低交通事故发生率，维护驾驶安全，更利于营造和谐、安全的交通运输环境，保证人生命和财产安全，构建和谐社会2. 缺点有可能会导致车内人员隐私信息泄露。

十一 发展趋势DMS挑战1、标准尚未成熟，“千人千面”为制定标准带来挑战2、针对DMS的数据隐私法律法规尚未建立3、大多厂商将DMS作为一个ADAS或者AV系统的一个子系统，并没有将其提升到同一个等级进行协同控制整合

4、产业链不清晰，缺少对需求的量化5、对驾驶员以及成员的生理、心理状态判断行业内没有形成可控函数，系统无法做出准确判断DMS愿景1、愿景：零伤亡2、愿景解析：车内安全：通过安全预防，例如通过五官感知提醒驾驶员阻止危险驾驶发生。

检查预测危险状态：例如车内婴幼儿座位遗漏检查，减少危险发生综合分析国内外车型驾驶员疲劳状态监测系统的应用情况，发现疲劳监测技术路线沿着两个方向发展：一种是基于驾驶员面部、眼部、头部运动等直接表征驾驶员疲劳程度的图像信号，一般需要在车辆上额外增加摄像头、红外传感器等传感器，使车辆成本增加，但识别精度较高，适用于高端车型或匹配ADAS的车型，可以利用 ADAS的硬件；另一种是基于驾驶员行为、车辆状态与轨迹等众多间接表征驾驶员疲劳程度的信号，。

不需要增加任何硬件设备，不会带来成本增加，适用于中低端车型，基于车辆CAN总线信号、GPS 信号等就可以实现驾驶员疲劳状态监测，但精度低于前者由于越来越多先进的图像传感器、摄像头系统和软件技术的涌现，即使驾驶员戴着太阳镜或在夜间也能追踪驾驶员的眼睛，DMS最近取得了相当大的进步，驾驶员疲劳状态监测技术未来的发展趋势在高端车型或匹配ADAS的车型。

随着车辆电子化、智能化、网联化程度增加，硬件基础越来越好，高精度的驾驶员疲劳监测系统将会成为未来车辆的重要配置之一，并与其它驾驶辅助系统集成，共同保障车辆行驶安全目前DMS似乎还尚未完全普及，却已经能看到从DMS逐渐向OMS（Occupant Monitoring 乘员监控）的演化，车内摄像头位置也已经有开始移动到车舱顶部或智能仪表组顶部更中心位置的趋势。

传感器不再将系统限制在驾驶员监控范围内，而且还通过添加乘员监控、检查儿童状态及将显示器与驾驶员的眼睛对齐来增强功能，以用于AR HUD和后视镜摄像头系统据说目前许多主机厂有这样的需求，希望从舱内监控系统中得到更多附加功能。

尽管从技术角度来看，驾驶员监控系统是一个过渡阶段的技术，DMS可能将成为L4及以下自动驾驶车辆的必备功能，主要在L2-L3级发挥重要作用，不断扩充场景的L2+驾驶辅助系统渗透率将会快速增加，在此阶段可靠高效的驾驶员监控系统必不可少，

在这些车辆中，驾驶员和自动驾驶系统将共同分担驾驶责任随着自动驾驶级别达到L3，对驾驶员监控系统的需求非常明确，这实际上是监管的必要条件在高度自动驾驶的车辆中，驾驶员可以在大多数时间里不用参与到驾驶活动中，但这种车辆还不能在所有时间和情景下自行驾驶，并且需要驾驶员在必要时接管车辆，DMS将帮助自动驾驶系统决定何时将驾驶控制转移到驾驶员是安全的。

反之亦然，如果DMS检测到驾驶员疲劳并且分心，那么它可以控制驾驶随着时间的推移，L3将向L4、L5发展，可能看到对驾驶员监控需求会开始下降，从长远来看DMS必将被自动驾驶所取代，然而要实现这一目标需要很多年，

在目前的趋势下，L4级自动驾驶系统在中短期内仍无望走向乘用车市场，行业普遍认为未来十年内仍然是以对驾驶员的监控需求为主当达到L4级时，L4脱离安全员后，就不再有驾驶安全层面的意义，但监控功能还是会继续增长，因为将从驾驶体验更多转为乘坐体验。

在L5中不需要人类驾驶员，因为车辆的自动驾驶系统能够处理所有驾驶责任，在这种车辆中，对整个车舱内的监控将变得重要随着越来越多的人关注新的移动服务，例如共享出行或网约车服务，车内监控也将变得非常重要