申请/专利权人：南通大学

申请日：2023-10-13

公开（公告）日：2024-06-25

公开（公告）号：CN117456449B

主分类号：G06V20/52

分类号：G06V20/52;G06V10/44;G06V10/46;G06V10/766;G06V10/80;G06V10/82;G06N3/0455;G06N3/0464;G06N3/084;G06N3/0985

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.02.13#实质审查的生效;2024.01.26#公开

摘要：本发明提供了一种基于特定信息的高效跨模态人群计数方法，属于深度学习和计算机视觉技术领域。解决了低照度环境下人群计数精度不高，误差较大的技术问题。其技术方案为：使用热红外图像作为RGB图像信息的补充，通过探索模态共享信息和特定信息的表达，充分结合两种模态的互补特征和各自的特有特征，有效提高在低照度环境下人群计数的精度。本发明的有益效果为：本发明的方法用于学习和融合两种模态特征的表示，以增强对光照不足问题的鲁棒性，从而提高人群计数的准确率。

主权项：1.一种基于特定信息的高效跨模态人群计数方法，其特征在于，包括以下步骤：步骤1：对数据集进行预处理，将数据集中的训练图像按照要求切割成相同大小，并且将切割后的区域作为输入，进入步骤2；步骤2：每次从步骤2中的训练数据中选取N对人群图像，每对RGB图像和热成像分别进入相同的五层编码器进行特征提取，以便获得多级特征表示，进入步骤3；步骤3：对步骤2中提取的每层特征进行共享信息融合，进入步骤4；所述步骤3中，使用CIEM模块融合跨模态特征的步骤如下：步骤3-1：步骤2中提取的一组两种模态的特征被馈送到具有Sigmoid激活函数的3*3卷积层中，以获得归一化的特征图，即进入步骤3-2；步骤3-2：通过剩余连接将步骤3-1中得到的增强特征与步骤2中的原始特征相结合，得到进入步骤3-3：步骤3-3：对步骤3-2中的输出特征进入3*3卷积层以获得其平滑表示，接着对输出特征进行逐元素乘法和最大化，得到Pmul、Pmax，进入步骤3-4；步骤3-4：将步骤3-3输出结果串联为Pcat，通过3*3卷积操作获得以自适应地对两部分进行加权，最后得出最后一个CIEM模块输出两种模态进行交叉增强特征使用如下公式表示 其中表示元素乘法；对逐元素乘法和最大化使用如下公式表示： 其中，Bconv是一个顺序运算，它结合了一个3*3卷积，然后是批处理规范化，以及一个ReLU函数；步骤4：将步骤2和步骤3中获得的特异性信息和共享信息分别进入特定的和共享的解码器子网，以生成显著性预测图，进入步骤5；步骤5：将步骤4中的显著性预测图与密度图进行对比，用贝叶斯损失来衡量预测值与真实值之间的差距，清空优化器的梯度缓存，进行反向传播并更新模型参数，进入步骤6；步骤6：检查训练数据集中所有数据是否都已经完成训练步骤，若没有则返回步骤2，否则进入步骤7；步骤7：当轮次大于20小于最终轮次，且为5的倍数时进入测试流程，如果等于最终轮次进入步骤8，否则返回步骤2；步骤8：输出最优模型，结束。

全文数据：

权利要求：

百度查询： 南通大学 一种基于特定信息的高效跨模态人群计数方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD