龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：湖南大学
摘要：本发明提供了一种自动驾驶场景下的跨模态特征级融合目标检测方法及系统，所述方案基于提出的双流动态卷积融合模块，进行不同模态图像特征的融合，最大限度地保留了不同模态输入数据中的独特特征，使内核能够专注于特定于模态的特征，同时，基于双流动态卷积融合模块，结合YOLOv5的主干网络，提出一种跨模态特征级融合目标检测模型，有效提高了目标检测的精度；所述双流动态卷积融合模块中通过引入视差注意掩码，使得卷积核对模态间差异更加敏感，允许它们选择性地提取不同的特征进行互补融合；其次，本发明还提供了一种核信息散度损失，通过充分利用模态之间的差异性特征来指导单模态特征学习。
主权项：1.一种自动驾驶场景下的跨模态特征级融合目标检测方法，其特征在于，包括：实时获取待目标检测区域的可见光图像和红外图像；基于获得的可见光图像和红外图像，利用预先训练的跨模态特征级融合目标检测模型，获得目标检测结果；所述跨模态特征级融合目标检测模型，具体执行如下处理过程：对于输入的可见光图像和红外图像，分别提取可见光图像的多尺度特征以及红外图像的多尺度特征；基于可见光图像的多尺度特征以及红外图像的多尺度特征，利用预先构建的双流动态卷积融合模块，获得可见光图像和红外图像的融合特征；基于所述融合特征，利用预先构建的检测头，获得目标检测结果；其中，所述双流动态卷积融合模块，具体执行如下处理过程：基于可见光图像的多尺度特征以及红外图像的多尺度特征，利用模态视差提取网络，获得两种模态特征的视差注意掩码；基于所述视差注意掩码以及基于预设的若干初始卷积核获得的特征注意掩码，获得可见光动态卷积核和红外光动态卷积核；将可见光动态卷积核与红外图像的多尺度特征进行卷积，红外光动态卷积核与可见光图像的多尺度特征进行卷积，获得包含模态特有特性和模态间差异性的可见光特征和红外光特征；将获得的可见光特征和红外光特征进行互补融合，获得融合特征。
全文数据：
权利要求：
百度查询： 湖南大学 自动驾驶场景下的跨模态特征级融合目标检测方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号