买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开了一种基于姿态估计特征融合的驾驶员行为识别方法，结合驾驶员人体特征和关键点特征以提高判别力。本发明首先使用YOLO‑V4检测到驾驶员，再通过卷积网络提取驾驶员的身体特征。在模型另一条支路上利用OpenPose显示地学习与驾驶员行为相关的关键点特征。在此基础上，本发明设计一种门控式注意力聚集模块，以充分利用身体特征与关键点特征之间的相互依赖性。此外，本发明应用了在ImageNet数据集上探索出的自动增强策略以进行数据扩充。对比目前现有的驾驶员识别方法，本发明进一步提高驾驶员行为识别准确率，在交通安全领域有重要的应用价值。

主权项：1.一种基于姿态估计特征融合的驾驶员行为识别方法，其特征在于，包括以下步骤：步骤1：使用公开的StateFarm数据集作为驾驶员行为识别实验数据集；步骤2：使用基线预处理和在ImageNet上搜索到的最佳AutoAugment策略，对StateFarm数据集进行数据增强；步骤3：对基于姿态估计的特征融合网络进行搭建；其包含三部分：驾驶员身体特征提取、关键点特征提取以及特征融合与分类；所述的基于姿态估计的特征融合网络，其包含三部分：驾驶员身体特征提取、关键点特征提取以及特征融合与分类；具体描述如下：步骤301：设计的模型以640×480×3的原始图像作为输入；为了减少冗余的背景信息，首先使用YOLO-V4检测驾驶员身体区域，其引入的额外开销很小；使用ResNet-50提取检测到的驾驶员的身体特征，其采用在ImageNet数据集上预训练的权重进行初始化；步骤302：使用Openpose同步检测原始图像中驾驶员关键点，再通过RoIAlign提取关键点特征，并进行全连接及最大池化操作；其实质为利用估计姿势作为指导，针对不同驾驶行为在关键点级别提取局部特征；步骤303：设计门控式注意力融合模块，以稳定训练过程并增强关键点特征与身体特征的交互作用，其训练采用无监督的方法；将这两种特征输入到门控式注意力融合模块中，输出的注意力向量对融合特征重新加权；门控式注意力融合模块使得模型专注于区分性强的关键点，并强调富含信息的通道；鉴于驾驶员身体特征fb和关键点特征fk的振幅不同，对fb进行缩放，使其振幅与fk近似；再对fk进行L2归一化，并将归一化后的fk乘以fb的幅值，从而减小振幅较大造成的差值；然后将fk和fb级联馈入全连接层和softmax层，计算出门控信号ag；最终得到的融合特征F为：ag＝σWg[fb，scalefk]+bg1F＝ag·[fb，scalefk]2其中“scale”表示缩放操作，“[]”表示级联操作，Wg和bg分别表示全连接层中线性操作权值与偏置，σ表示Sigmoid激活函数，·表示点乘操作，其根据注意力权重调整特征图上不同空间位置的值；通过共同学习和融合身体特征和关键点特征，使得最终的特征表示更具识别力；分类器由一个全连接层和一个softmax层组合而成，以融合特征图作为输入，最后的输出为不同驾驶行为类别的概率；步骤4：训练基于姿态估计的特征融合网络；步骤5：对基于姿态估计的特征融合网络进行测试；输入一张驾驶图像，经网络前馈输出驾驶员行为识别结果。

全文数据：

权利要求：

百度查询： 东南大学 一种基于姿态估计特征融合的驾驶员行为识别方法