首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于交叉注意力机制的驾驶员意图识别方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:重庆邮电大学

摘要:本发明涉及一种基于交叉注意力机制的驾驶员意图识别方法,涉及计算机视觉、图像处理、人机交互等技术领域。对舱内驾驶员的图像数据使用3DResnet‑50模块进行特征提取,得到其特征向量,对舱外环境数据使用光流图像的处理,以及使用一种基于ConvLSTM的编码器‑解码器方式训练的网络进行运动预测和特征提取,由于其固有的卷积能力,该结构能够解决时空序列预测问题。对于提取出的舱内和舱外的两部分特征,输入Transformer注意力模块Encoder中实现交叉注意力特征融合,最后经过FC层实现5种类别直行、左转、右转、左变道、右变道的概率预测。本发明将车舱内外的特征先提取再关联,使用交叉注意力机制实现特征融合,增加了意图识别预测的准确度。

主权项:1.一种基于交叉注意力机制的驾驶员意图识别方法,其特征包括下列步骤:1在网上搜集整理现有公开的自然驾驶图像数据集。2对输入的座舱驾驶员图像数据经过3DResnet-50模块进行特征提取,因为其在人类动作识别任务中表现出了高性能,为了防止过度拟合,在驾驶员侧添加了随机裁剪、缩放以增强空间数据,随机且均匀的在每秒中间切除16帧的片段作为模块的输入,目的是增强时间数据。同时,在最后一个FC层之前添加一个额外的dropout层。3对输入的舱外场景数据,首先经过FlowNet从连续帧中提取光流图像,然后基于ConvLSTM提出了一种以编码器-解码器方式训练的网络,用于运动预测和特征提取。由于其固有的卷积能力,该结构能够解决时空序列预测问题。输入是五个光流图像Xii<5,i∈Z的剪辑。选择5作为输入长度,获得一秒30帧到五秒150帧的有着相同间隔L的均匀采样剪辑。编码器压缩了可用于未来运动预测的五帧输入的运动信息,被视为运动特征提取器。4对于提取出的舱内和舱外的两部分特征,输入Transformer注意力模块Encoder中实现交叉注意力特征融合,最后经过FC层实现5种类别直行、左转、右转、左变道、右变道的概率预测。

全文数据:

权利要求:

百度查询: 重庆邮电大学 一种基于交叉注意力机制的驾驶员意图识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。