视觉测量脉搏的DMS驾驶员状态监测

​欧盟将在2022年7月开始强制新车都必须配备DMS。欧盟的要求分两项，一项为driver drowsiness and attention warning;另一项为advanced driver distraction warning。不过尴尬的是，欧盟目前还拿不出一个统一的DMS测量标准，仅有简短的一句话，driver drowsiness and attention warning’ means a system thatassesses the driver’s alertness through vehicle systems analysis and warnsthe driver if needed。

如何量化界定疲劳状态、瞌睡状态是个难题，真值的确定也是个难题。最有效的方法是脉搏和心跳变异HRV（Heart rate variability），但目前绝大多数视觉DMS系统都无法测量脉搏和心率变异HRV。美国NHTSA早在1999年就开始研究疲劳驾驶，2009年和2012年都有测试草案出炉，但都附加了车道偏离数据。

这种方法属于后发性质，缺乏提前预测能力，意义不大，也难以测量，驾驶员如何扮瞌睡？2012年NHTSA的文件里也提到了脉搏测量是最好的，最权威的，医学界一致认同的方法。目前大部分视觉DMS是以视线位置、眨眼次数、闭眼时间、眼睑闭合度等眼部信息来判断是否疲劳或瞌睡，戴眼镜，太阳镜近视镜都会严重影响算法鲁棒性。这种基于眼部信息因人而异，人的眼睛差异性太大，很难准确反映人的疲劳或瞌睡状态，并且也很难下一个大家都认同的标准，只能各自为政，每家都有一套自己的标准。测试标准就更难了，那个groundtruth真值如何界定？脉搏是最好的groundtruth。如果是脉搏测量则很简单，可以接触测量驾驶员的脉搏，这就是个极容易量化的真值，再与之对比，就可看出系统的优劣。

欧洲NCAP和澳大利亚NCAP也将DMS加入辅助驾驶加分项，但目前都没有测试标准，只能单方面由厂商提供数据。

近些年，随着PPG技术的兴起，视觉直接测量脉搏技术开始出现，并且开始慢慢成熟。全球第一个商用视觉测量脉搏技术已经出现，正在申请FDA认证。为避免做广告的嫌疑，暂时就不说这家公司的名字，只能透露，这是一家台湾新竹的初创企业。不仅可用于DMS，对于驾驶员的健康信息也可以实时监测并回传到总部，防止突发心脏病造成事故，尤其在客车领域非常有必要。在医疗领域前景极为广阔，目前脉搏测量都需要皮肤接触，对小孩，烧伤病人，发烧病人，精神病人或不愿去医院在家的老年人并不合适，对于护士可以无接触看护。在人脸支付领域也有极强的应用潜力，利用脸部识别加脉搏测量可以判断是否为活体，增加支付安全。用图片或视频再也不能蒙混过关。在安防领域也有前途。

还可以进一步判断人的情绪，人的情绪波动脸上或许看不出来，但脉搏和心率变化极难撒谎。甚至可以做简单的测谎仪。眼下的疫情中也可以发挥巨大作用，额温枪的精度不高，手机也无法测体温，脉搏比体温可靠度更高，免疫系统增加活跃度、呼吸困难必然心跳加速。将来手机的摄像头也可以测脉搏，而现在的所谓健康码完全凭自觉，可靠度极低。

光电容积脉搏波描记法（PPG）是借助光电技术在人体皮肤组织下检测因心脏跳动引起血液容积变化的方法，血液容积的变化反映了脉搏波的形态。某些手机可以用摄像头检测脉搏就是此技术，不过目前的技术，手机还需要用手指紧贴摄像头。PPG技术仅仅需要一些光电设备：一个光源照射人体组织（皮肤）和一个用来检测光照强度的光检测器。当一定波长的光照射到皮肤表面时一部分光被人体组织吸收，光电接收器接收到经过透射和反射后的部分光，这其中以脸部皮肤最为敏感，脸部的毛细血管最密集（脸一直露在空气当中，需要足够的毛细血管加热保暖）。

根据 Lambert-Beer 定律，当单色光入射人体组织时，皮肤、肌肉、软组织等非搏动组织吸收的光强不随时间改变；而动脉中的血液容积是随心脏的舒张和收缩周期性波动的，因此其吸收的光强与心脉搏动同步变化，此时光检测器检测到的光强度也是一个波动信号。最后利用光电转换器件将此波动信号转换为电信号，其中由于血液容积变化产生的波动成分即为 PPG 信号。

如图为 PPG的两种模式。其中在此过程中大部分的光被骨骼、组织和血液吸收了，同时血液比周围其他组织吸收更多的光，因此光检测器检测到的光强度将减弱。影响血液吸收光的强度关键因素有：血容量、血管壁的运动、红细胞的方向。经历年来的研究和分析得知皮肤在获取 PPG信号时是最容易利用的组织。光束入射到皮肤表面，一部分被皮肤组织吸收和散射，而散射和吸收的情况主要有皮肤组织内的色素（血红蛋白、黑色素等）决定；而另一部分未被吸收的光束最终会重新通过皮肤表面而进入空气中。在皮肤表面可通过光检测设备检测到未被吸收的光强度，形成 PPG信号。

人体各部分的组织对光谱的吸收在人体循环系统中是不同的：因血管内的血液容量跟随心脏的跳动同步波动变化，所以血液对光的吸收是波动变化的。而类似皮肤、肌肉和骨骼等组织对光谱的吸收基本是恒定的，在一个心动周期内，心脏收缩时血液射入动脉，光吸收量增多，检测到光照强度相应的减弱；而在心脏舒张时正好相反，检测到的光强度增强，如此以来光接收器接收到的光强度随之呈脉动性变化，呈现的脉动变化也就是容积脉搏波的波形。

PPG信号波形携带了众多的生理信息，因此可以从 PPG中提取人体的生理信息作为临床诊断和治疗的依据。在中医学中，“切脉”作为一种诊断疾病的关键手段，就是最早的对脉搏波的应用。1938年Hertzlman首次提出光电容积脉搏波描记法(PhotoPlethysmography)，并从 PPG的脉搏波的上升沿中推导出一个峰值的时间，而将其规化为心率。北京工业大学的罗志昌教授等一直致力于脉搏波工程的研究，研制了通过脉搏压力和容积脉搏血流两者间关系的光电容积脉搏波法的血流参数监护系统。

不仅脉搏，还有HRV，即心率变异，这是指人体心脏搏动周期存在的微小变异，通常情况下是指逐次心跳间Ｒ波间期的微小涨落。研究表明，脑的高级神经活动、中枢神经系统的自发性节律活动等因素对心脏自主神经系统进行调制导致了HRV的产生｡HRV信号包含了有关心血管系统神经及体液调节的大量信息,检测患者心率变异度的数据,可以得到很多有关自主神经系统平衡状态的信息｡HRV 的提出和研究是现代医学史上的一项具有重要意义的突破和成就,特别是对于一些心血管疾病和其它相关疾病的早期诊断､治疗及预后评估, HRV 分析所表现出来的与其潜在的临床价值是令人注目的｡