买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽大学;安徽中科星联信息技术有限公司

摘要：本发明提供了一种基于transformer的驾驶员分心检测方法及装置，属于驾驶行为分析领域，包括采集分心驾驶图像数据；搭建驾驶员分心检测模型FPT；将采集到的分心驾驶图像数据输入驾驶员分心检测模型FPT中，利用驾驶员分心检测模型FPT对分心驾驶图像数据进行分析，根据分析结果判断驾驶员分心状态。本发明在Swin，Twins等模型的基础上提出一种新的网络模型驾驶员分心检测模型FPT，该这种模型与深度学习模型相比弥补了深度学习模型只能提取局部特征的缺点，与变压器transformer模型相比，提高了分类的精度，并且降低了参数量和运算量；对整个网络的损失函数进行了调整，在交叉熵损失函数的基础上添加了标签平滑，增加分类的准确度，有效抑制过拟合，提高了检测精度。

主权项：1.一种基于transformer的驾驶员分心检测方法，其特征在于，包括以下步骤：采集分心驾驶图像数据；搭建驾驶员分心检测模型FPT，包括：以Twinstransformer作为基准框架，将Twinstransformer与卷积神经网络CNN进行融合，形成主体架构，并对所述主体架构进行优化，包括：在所述主体架构中融入残差嵌入模块，将输入图像进行多次卷积特征提取，将最后得到的卷积特征与对输入图像进行下采样的结果相加，将相加的结果送入激活函数，并将维度变换为三维张量，最后将所述三维张量送入TransformerEncoder中；在TransformerEncoder中，将残差嵌入处理后的数据做一次层正则化，再进行GroupAttention，接着与第一次层正则化后的数据进行残差相加，将得到的数据再进行第二次层正则化和多层感知机，最后再进行一次残差相加；其中，多层感知机采用两个轻量化的分组卷积实现；再将TransformerEncoder的输出加上位置编码PEG的输出送入下一阶段的TransformerEncoder中，共包括依次连接的四个阶段，构成驾驶员分心检测模型FPT；并在所述主体架构中引入标签平滑的交叉熵损失函数，所述交叉熵损失函数中，平滑后的标签y’为： 其中，ε是平滑因子，1K-1为噪声概率分布；将采集到的分心驾驶图像数据输入驾驶员分心检测模型FPT中，利用驾驶员分心检测模型FPT对所述分心驾驶图像数据进行分析，根据分析结果判断驾驶员分心状态，所述驾驶员分心状态包括驾驶员左右手发短信、左右手打电话、操作收音机、喝饮料、向后看、整理头发、以及和乘客谈话。

全文数据：

权利要求：

百度查询： 安徽大学 安徽中科星联信息技术有限公司 基于transformer的驾驶员分心检测方法及装置