买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：王振岭

摘要：本发明属于计算机视觉领域，尤其涉及一种基于驾驶员眼动信息的驾驶员认知分心检测方法及系统，方法包括：获取驾驶员驾驶过程中的驾驶环境图像和驾驶员的眼动信息；对驾驶员的眼动信息进行预处理得到眼动注意力热图；基于多尺度融合对抗网络对当前帧的眼动注意力热图和驾驶环境图像进行多尺度特征提取以及多尺度特征融合后，得到当前帧的第一分类标签；将当前帧的多视图多尺度特征输入至时空融合网络中得到当前帧的第二分类标签；将当前帧的第一分类标签和第二分类标签进行加权融合后得到最终的驾驶员认知分心检测结果。本发明基于深度学习的激活与反向激活融合对抗网络对驾驶环境图像和眼动注意力热图进行特征融合，提高识别精度。

主权项：1.一种基于驾驶员眼动信息的驾驶员认知分心检测方法，其特征在于，包括：获取驾驶员驾驶过程中的驾驶环境图像和驾驶员的眼动信息；对驾驶员的眼动信息进行预处理得到眼动注意力热图；基于多尺度融合对抗网络对当前帧的眼动注意力热图和驾驶环境图像进行多尺度特征提取以及多尺度特征融合后，得到当前帧的第一分类标签；将多尺度特征提取得到的不同尺度的眼动注意力热图特征、驾驶员视线关注区域特征和忽视区域特征进行补丁嵌入及拼接后，得到当前帧的多视图多尺度特征；将当前帧的多视图多尺度特征输入至时空融合网络中得到当前帧的第二分类标签；将当前帧的第一分类标签和第二分类标签进行加权融合后得到最终的驾驶员认知分心检测结果；所述对驾驶员的眼动信息进行预处理得到眼动注意力热图，包括：获取驶员驾驶过程中的眼动图像，得到眼动坐标；对眼动坐标进行预处理后，将其投影到空白画布上；根据设定的半径，在空白画布上，以将眼动坐标点为中心绘制实心圆，将空白画布上的小于设定阈值的像素点灰度值设置为0，得到当前帧的眼动注意力热图；将某一时刻的当前帧眼动注意力热图与历史帧眼动注意力热图加权组合得到长时序的眼动注意力热图；所述时空融合网络基于Transformer模型构建，包括依次连接的时间自注意力模块、空间交叉注意力模块、前馈神经网络和第二分类头；将历史帧的时空融合特征输入至时间自注意力模块递归融合历史特征；将时间自注意力模块的输出以及当前帧的多视图多尺度特征输入空间交叉注意力模块捕获空间信息；空间交叉注意力模块的输出经过前馈神经网络得到当前帧的时空融合特征；当前帧的时空融合特征经过第二分类头后，得到当前帧的第二分类标签。

全文数据：

权利要求：

百度查询： 王振岭 基于驾驶员眼动信息的驾驶员认知分心检测方法及系统