前沿 - 汤天培等：电动自行车骑乘人员安全头盔佩戴行为检测

汤天培

南通大学副教授、博士

龚昊

上海岚马克视觉科技有限公司

李洪亮

南通大学交通与土木工程学院

曹义恺

南通大学交通与土木工程学院

廖家奇

南通大学交通与土木工程学院

施佺

南通大学交通与土木工程学院

摘要：为提高电动自行车骑乘人员安全头盔佩戴水平，提出一种基于深度学习的安全头盔佩戴行为检测方法。基于EfficientNet 目标检测框架,重新设计了主干网中特征图的特征选取层,并提出像素级缩放(pixel-level scaling,PLS）模块，构建了一种新的用于电动自行车骑乘人员安全头盔佩戴行为检测的PLS-Det模型。该模型解决了深度卷积神经网络执行检测任务时视频检测图像中的小目标（远处的电动自行车）、被遮挡的车辆和骑乘人员等容易导致目标丢失的问题，并能适应复杂的电动自行车交通流场景。根据江苏省南通市区典型城市道路，选取不同视角、时间段、天气状况下的电动自行车交流视频图像数据（包含正样本5408个和负样本7156个）训练优化检测模型。通过消融实验和人工检测结果，对比分析了EfficientDet-dO、EfficientDet-Optimize和PLS-Det模型的检测性能。实验结果表明：提出的PLS-Det检测模型通过重新选择特征图层和引入PLS模块，在保证计算效率稳定的同时，能显著丰富小目标及被遮挡目标的特征，检测精确度达95.8%，可以满足电动自行车骑乘人员安全头盔佩戴行为的检测精度要求。

关键词：交通安全；深度学习；像素级缩放；安全头盔佩戴；电动自行车。

目录

1改进算法

1.1基本思路

1.2网络模型结构

1.3特征选取层

1.4特征缩放层

2实验结果与分析

2.1数据集

2.2实验设置

2.3实验结果对比

3结论

据公安部交通管理局统计，约80%的摩托车、电动自行车骑乘人员死亡事故为颅脑损伤致死，正确佩戴安全头盔能够将交通事故死亡风险降低60%～70%。2020年4月，全国开展的“一盔一带”安全守护行动，将电动自行车安全头盔平均佩戴率从行动前的不足20%提升至54%；然而相较于发达国家，目前我国的安全头盔佩戴率仍处于较低水平。提高执法水平和力度是提升安全头盔佩戴率的关键，但是由于各地警力有限，且现场执法识别头盔佩戴情况效率低、成本高，无法切实提高电动自行车骑乘人员的安全头盔佩戴水平。因此，设计一种电动自行车骑乘人员安全头盔佩戴行为的智能检测方法显得尤为迫切。

随着深度学习技术的不断发展，目标检测算法取得了长足的进展，出现了以R-CNN为代表的two-stage目标检测算法，如R-CNN、Fast R-CNN、Faster R-CNNH。采用two-stage目标检测算法时，网络先通过预处理方法在预测图片上生成若干目标候选框，再采用卷积神经网络训练参数进行样本分类，训练和检测精确度高，但计算成本较大，影响网络的训练和检测效率。随后出现了YOLO、SSD、RetinaNet等为代表的one-stage目标检测算法。这些算法直接将目标边框定位问题转化为回归问题处理，从而实现端到端检测且无需候选框，网络的训练和检测效率高，但精确度会降低。这些方法极大地提高了信息的收集速度、处理能力及传递速度，为道路交通安全相关的智能检测提供了技术和理论支持。文献[11-15]对行人、骑行人（普通自行车、电动自行车和摩托车)和汽车等目标的检测已经达到很高的精度；文献[16-22]基于Faster R-CNN、YOLOv3等算法，提出了自动检测工人安全头盔佩戴行为的方法，平均检测精确度达到85.5%~90.9%。国内外学者针对骑乘人员安全头盔佩戴行为也进行了自动检测方面的研究。Dahiya等和Vishnu等采用Fast R-CNN目标检测算法实现了对自行车和摩托车骑乘人员安全头盔佩戴行为的自动检测，但检测效率较低。为了提高检测效率和实时性，Siebert等基于RetinaNet目标检测算法，利用多尺度特征金字塔和focal loss，实现了摩托车骑乘人员安全头盔佩戴行为的自动检测，在提高检测速度的同时，也能保证较高的检测精度。刘琛等基于SSD算法，以RFB Net模型为基础，采用余弦衰减学习率优化网络学习能力，提出了一种适用国内场景的摩托车骑行人安全头盔佩戴行为自动检测方法。在实际道路路段和交叉路口，安全头盔佩戴行为检测平台的计算资源和内存是有限的；然而，传统目标检测算法对计算资源和内存的消耗较大，需要探索更便捷和高效的网络架构。同时，考虑到视频监控的视角问题，骑行人会由远及近地经过检测平台，导致视频画面内会有相对小的骑行人目标；传统目标检测算法无法有效地处理多尺度特征，容易检测到大目标、而忽略小目标，导致检测范围和精确度的减小。

综上，面向国内大量的电动自行车交通场景，针对电动自行车骑乘人员安全头盔佩戴行为的自动检测问题，为减少计算资源消耗，提高对小目标对象的检测精确度，以EfficientDet为基准检测模型，重新设计主干网中特征图的特征选取层，提出像素级缩放(pixel-level scaling,PLS)模块，构建一种改进后的目标检测模型。相较于现有研究，改进后的电动自行车骑乘人员安全头盔佩戴行为自动检测模型，使用更少的参数实现更高效、更准确的检测，同时可以减少检测平台的资源消耗，实现检测平台的模块化和便捷化。

1 改进算法

1.1基本思路

电动自行车骑乘人员安全头盔佩戴行为检测是一个典型的目标检测问题，且存在较多的小目标对象。文献[27-29]指出，EfficientNet目标检测框架具备多尺度特性，既能处理常规大小的目标，同时对小目标的检测比Faster R-CNN、YOLO更准确和鲁棒，且模型参数更少，所需算力（FLOPs)更小，性能检测更佳、泛化能力更强。因此，本文基于EfficientNet目标检测框架构建了电动自行车骑乘人员安全头盔佩戴行为检测模型。为进一步提高检测模型对电动自行车交通流复杂场景的适应性，重新设计主干网中特征图的特征选取层，提出PLS模块，构建两种改进后的检测模型。将标注过的图像输入网络框架中，通过多次迭代更新参数。采用训练集训练和优化提出的检测模型，通过验证集确定最优模型。

1.2网络模型结构

针对深度卷积神经网络执行检测任务时，视频检测图像中的小目标(远处的电动自行车）、车辆和骑乘人员被遮挡等容易导致目标丢失的问题，重新设计主干网中特征图的特征选取层，使得检测模型更适合复杂的电动自行车交通流场景，提出PLS模块，以进一步提升模型的检测性能。根据Microsoft COCO数据集的定义，小目标的面积小于32像素×32像素：中目标的面积在32像素×32像素和96像素×96像素之间；大目标的面积大于96像素×96像素。结合电动自行车交通流的场景实际，本研究所指的小目标特指为面积小于96像素×96像素的目标。由此，本研究提出一种新的用于电动自行车骑乘人员安全头盔检测的模型，将其命名为PLS-Det。PIS-Det检测模型的网络结构如图1所示。

1.3特征选取层

对主干网性能进行深入研究后发现，相同尺度、不同层级的特征层，对于特征的表征能力也不尽相同。低层特征图可以作为高层特征图在小目标及被轻微遮挡目标检测能力缺失时的一个很好的补充。由此，重新设计主干网EfficientNet-b0中的特征图层。主干网EfficientNet-bO的结构如图2所示。首先，引入较低级别的特征图C2补充待检测目标细节特征：然后，对照具有相同特征尺度的C4和C5层，C4_1和C5_1层的分辨率与后续C4_2和C5_2层一样，但宽度更小，考虑到后续PLS-Det将新增特征缩放层，由此剔除C4_1和C5_1层，将高语义层C4_2和C5_2层选为骨干特征层以添加网络的语义特征；最后，骨干网特征图层为C2、C3、C4_2、C5_2层，结合C5_2层下采样计算得到的顶层特征图，将这些特征图层所构造的新主干网络称为EfficientNet-Optimize，对应的检测模型为EfficientDet-Optimize。

1.4特征缩放层

对特征图进行特征提取后，需要进行下采样或卷积计算。在计算过程中，小目标或被遮挡目标由于自身的信息缺失，其特征信息会很容易被其背景特征所替代。由于卷积核很难充分捕捉到小目标或被遮挡目标的全部信息，如果背景特征多于目标特征，就会导致目标信息在特征图上消失，造成目标特征提取的错误。由此，提出一个像素级缩放（PLS)模块，以减少目标检测任务中小目标或被遮挡目标丢失的概率。在新主干网络EfficientNet-Optimize基础上，通过PLS模块计算C2、C3、C4_2、C5_2层，结合C5_2层下采样特征图中每个像素的贡献，放大重要元素并缩小非重要元素以减轻特征缺失。为了减少模块的计算负荷，引入GhostNet代替原来的卷积操作。PLS模块结构如图3所示。其中，M代表最大池化操作；A代表平均池化操作；C代表合并操作；S代表Sigmoid 函数；Ghost代表GhostNet网络；Featurei 代表每个像素对于特征图的贡献值。由此，构建形成PLS-Det 检测模型。

PLS模块对特征图进行简单的空间注意力计算，得到物体的主要区域。计算得注意力为Scorei = S（φ（v（[max（pi ），mean（pi ）]））） （1）其中：pi 代表所有通道中在像素位置i上的向量值；max代表最大池化操作；mean代表平均池化操作；代表合并操作；v代表卷积计算；φ 和S分别代表Relu和Sigmoid 函数。

根据式（1），通过与特征图逐元素乘法计算注意力值；然而，Sigmoid 函数会将该注意力值归一化到（0，1）区间，特征的表征能力会被削弱。因此，研究采用残差机制保留特征图的原有能力。获得增强后注意力特征图后，对特征进行像素级特征缩放，计算每个像素对特征图的贡献值；然后，根据贡献值，对主要和次要元素进行缩放。具体计算过程为：

其中：Ci 是第 i 个通道的特征值；G 是 GhostNet 网络；ni 代表缩放尺度；S 代表 Softmax 操作，用于计算每个通道的得分，得分是指每个像素位置对于通道特征的贡献；H 和 W 分别代表特征图的长和宽。将每个通道的得分与平均贡献得分 1/（H × W）相比较，如果不小于平均贡献得分，将特征缩放尺度设定为 ni ；反之，则设定为（1 - ni ）。

2 实验结果与分析

2.1数据集

为了使检测算法能适应更多实际的交通场景，实验选取了南通市城区范围内的典型路段和交叉口，共计10条路段和12个交叉口，如图4所示。按不同视角（45°和90°）、时间段（10：00—15：00和17:00一19:00）、天气（晴天和多云）分类采集电动自行车交通流视频，以保证场景的多样性，并且对视频进行预先的标注和拆分以满足算法训练要求。采用DarkLabel 标注工具对视频样本进行标注，标注对象包括电动自行车、人(骑行人、乘坐人)和头部(佩戴头盔、未佩戴头盔）。共搜集到56段高清视频，每段视频约15~25min，每个视频的采样间隔（区间）长度内10s，整理获得6820幅图像，每幅图像平均有3.8辆电动自行车。其中，路段占比45.8%，交叉口占比54.2%；45°视角占比55.3%，90°视角占比44.7%；10:00—15:00时间段占比58.6%，17:00—19:00时间段占比41.4%；晴天占比60.5%，多云占比39.5%。标注后总样本12564个，其中正样本（佩戴安全头盔的矩形框）5408个，负样本（未佩戴安全头盔的矩形框)7156个。将数据集随机分为训练集（正样本3785个、负样本5009个）、验证集（正样本540个，负样本715个）和测试集（正样本1083个、负样本1432个）3个不相交的子集，占比为7：1：2。

2.2实验设置

在训练集上，使用两块10 GB英伟达GeForce GTX 2080TiGPU显卡训练网络。主干网使用EfficientNet-bO预训练权重参数，以加速训练过程的收敛。开始训练时，基于每次训练的训练损失（trainingloss)动态调整学习率（learning rate）。例如，当经过Patience=3次连续训练而训练损失不再变化时，设置会自动降低学习率。锚框横纵比(ratio of anchor)值设为[1/2,1,2],scale值设为[0.1,0.25,2 1/3],epoch值设为150，即整个训练数据集被反复使用150次。

2.3实验结果对比

采用主流的两个评价指标AP(average preci-sion)和mAP(mean average precision)评估检测模型的检测精确度。AP为平均精确度，mAP为平均AP值，如式（3）和（4）所示。采用每秒显示帧数FPS（frame per second）表示模型每秒能检测图片的数量，一般用于评估检测模型的计算效率，FPS数值越大，说明模型检测速度越快。

其中：p（Positive）表示精确度，p = TP/（TP + FP ） ；r（Recall）表示召回率，r = TP/（TP + FN）。TP（truepositive）表示将正类预测为正类的样本数量（真正例）；FP（false positive）表示将负类预测为正类的样本数量（假正例），亦称为误报率；FN（false negative）表示将正类预测为负类的样本数量（假负例），亦称为漏报率。

其中：q 为类别；Q 为类别总量。若只有一个类别，那么 mAP 就等价于 AP。

通过消融实验，比较 EfficientDet-d0、EfficientDet-Optimize 和 PLS-Det 模型的检测效果，具体结果见表 1。由表 1 可知，相较于 EfficientDet-d0 模型，改进后的 EfficientDet-Optimize 模型 mAP 提高了 30.3%，检测精确度显著提高；由于该数据集中两类多为小目标，而且存在不少互相遮挡的现象，底层特征层的引入将显著丰富小目标及被轻微遮挡目标的特征。本文改进的PLS-Det模型检测精确度可达到95.8%,比EfficientDet-Optimize模型提高了4.2%。实验结果表明，本研究提出的PLS-Det检测模型通过重新选择特征图层和引入PLS模块，在保证计算效率稳定的同时，可以显著提高初始EfficientDet模型的检测精确度。

为检验检测模型对不同场景的适应性，分别对不同视角、时间段和天气进行分类检验，不同场景下检测效果对比见表2。由表2可知，在不同场景下PLS-Det检测模型的检测精确度均高于其他两个检测模型，且计算效率较稳定。PLS-Det检测模型在45°视角、弱光照（17:00-19:00时间段、阴天）场景下的检查精确度虽然有一定程度的降低，但依然维持在较高水平，表明PLS-Det检测模型能适应不同场景下的检查效果要求。

为进一步验证检测模型的实际效果，将Effi-cientDet-d0、EfficientDet-Optimize和PLS-Det模型的检测结果，与人工检测的单位时间(每5s为l个间隔）安全头盔佩戴率进行对比。以南通市城山路和洪江路两个路段为例(如图5所示)，相较于人工检测结果，EfficientDet-d0、EfficientDet-Optimize和PLS-Det模型检测结果的平均误差率分别为27.5%、13.3%和8.2%。如图6所示，实际场景检测结果中，红色框代表未佩戴头盔，绿色框代表佩戴头盔，黄色框代表电动自行车，蓝色框代表骑乘人员。由图6可以看出，PLS-Det模型能准确检测小目标或被遮挡骑乘人员的安全头盔佩戴情况。综上，PLS-Det模型可用于检测电动自行车骑乘人员安全头盔佩戴行为，且精确度、可靠性高。

3 结论

针对现阶段国内电动自行车骑乘人员安全头盔佩戴率普遍较低及现场执法识别头盔佩戴情况效率低、成本高，无法切实提高安全头盔佩戴水平的问题，构建了一种新的用于电动自行车骑乘人员安全头盔检测的PLS-Det模型。该检测模型可用于复杂场景下电动自行车骑乘人员安全头盔佩戴行为的检测，为今后针对安全头盔佩戴行为的执法，提供一个高效率、高精度、智能化的解决方案，从而提高执法力度和广度，全面提升我国电动自行车骑乘人员的安全头盔佩戴水平，降低因未佩戴安全头盔导致的严重伤亡事故。同时，研究成果可以为国内电动自行车骑乘人员安全头盔佩戴率数据库提供自动数据采集方案，为后续的电动自行车交通事故影响机理分析和伤亡事故预防提供基础数据资料。下一步研究工作，将补充采集夜间弱光照条件下的电动自行车交通流视频数据，训练改进模型，以进一步提升该检测模型在弱光照条件下的检测性能和适应性。

（本文原载《南通大学学报（自然科学版）》2023年第2期）