买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河南科技大学

摘要：一种基于TSAM‑ATFM的驾驶员疲劳驾驶检测方法，首先，对输入视频跨步采样并进行数据增强得到一个T帧的帧序列；然后，将TSAM作为核心模块并融入Efficientnet‑v2构建TSNet，根据不同的视频自适应提取时间特征，对具有判别性的空间和通道特征添加注意力权重，充分提取视频的疲劳时空特征；最后，利用ATFM学习帧序列中各帧疲劳分类分数之间的权重，自适应融合各个帧的疲劳分类分数得到疲劳预测结果，提高关键帧对疲劳预测结果的影响程度。TSNet不仅根据不同视频自适应提取疲劳时间特征并关注具有疲劳判别性的空间通道特征，而且避免了3D网络参数量过大以及光流计算代价高的问题；ATFM处理每一帧的疲劳分类分数，加大关键帧对结果的影响，从而提升预测准确率。

主权项：1.一种基于TSAM-ATFM的驾驶员疲劳驾驶检测方法，其特征在于，包括以下步骤：步骤一、数据预处理从疲劳检测视频数据集中获取视频文件，将视频文件裁剪成时长1-4秒的视频片段，然后对视频片段进行跨步采样，将视频片段根据时间顺序分解为T个帧数相同的采样片段，然后从每一个采样片段中随机采样一帧，将T个采样帧根据采样片段的时间顺序组合成一个T帧的帧序列，再对帧序列进行视觉增强处理；步骤二、通过TSNet从帧序列中提取疲劳时空特征，得到每一帧的疲劳分类分数所述的TSNet（TemporalSpatialadaptiveNet）包括一个头部神经网络和七个阶段神经网络，头部神经网络为一个3×3卷积，七个阶段神经网络根据序号1-7的顺序依次对数据进行处理，其中1、2、3号阶段神经网络由Fused-MBConv模块组成，4、5、6号阶段神经网络由TSAM-MBConv模块和MBConv模块堆叠组成，7号阶段神经网络由1×1卷积层、池化层以及全连接层组成；所述的TSAM-MBConv模块由时空自适应模块（TSAM）、两个1×1卷积、一个深度可分离卷积以及一个随机深度模块（StochasticDepth）组成，TSAM-MBConv模块的数据处理流程为，首先通过1×1卷积对通道数进行扩展，再通过深度可分离卷积降低参数量，然后通过TSAM提取帧序列的时间特征和空间特征，再通过1×1卷积对通道数进行压缩，最后使特征通过StochasticDepth模块并与残差连接相加；所述的Fused-MBConv模块由一个3×3卷积、一个1×1卷积以及一个随机深度模块（StochasticDepth）组成，Fused-MBConv模块的数据处理流程为，首先通过3×3卷积对通道数进行扩展，然后通过1×1卷积对通道数进行压缩，最后使特征通过StochasticDepth模块并与残差连接相加；所述的MBConv模块由两个1×1卷积、一个深度可分离卷积、一个SE模块以及一个随机深度模块（StochasticDepth）组成，MBConv模块的数据处理流程为，首先通过1×1卷积对通道数进行扩展，再通过深度可分离卷积降低参数量，然后经过SE模块处理后通过1×1卷积对通道数进行压缩，最后使特征通过StochasticDepth模块并与残差连接相加；步骤三、通过ATFM融合各个帧的疲劳分类分数，得到疲劳预测结果所述的ATFM（AdaptivetemporalFusionModule）包括全连接层、Softmax函数以及激活函数，ATFM的数据处理流程为，首先输入特征X到全连接层学习权重，通过Softmax函数对权重归一化，然后将特征X与权重W逐元素相乘，得到，然后将T个时间片段通过Fusion融合为1个，最后通过全连接层得到疲劳预测结果；ATFM的计算流程为： ......式（10）； ......式（11）；上式中，T代表时间维度，C代表类别数目，e代表逐元素相乘，FC代表全连接层，Relu代表激活函数，Softmax代表对权重进行归一化，Fusion代表在时间维度上融合，Y代表疲劳预测结果。

全文数据：

权利要求：

百度查询： 河南科技大学 一种基于TSAM-ATFM的驾驶员疲劳驾驶检测方法