申请/专利权人：安徽农业大学

申请日：2024-04-11

公开（公告）日：2024-06-21

公开（公告）号：CN118038451B

主分类号：G06V20/68

分类号：G06V20/68;G06V10/80;G06V10/74;G06V10/774;G06V10/762

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.05.31#实质审查的生效;2024.05.14#公开

摘要：本发明公开了一种开放世界果实检测模型构建方法、检测方法及电子设备，属于计算机视觉和自然语言处理技术领域。本发明构建所得检测模型包括：文本编码模块，用于生成输入文本的文本特征向量；图像编码模块，用于生成输入图像的图像特征向量；图文特征融合模块，用于多层融合和交互文本特征和图像特征，生成融合后的图像特征向量和文本特征向量；深度估计模块，用于生成输入图像的深度估计特征；目标检测头，用于进一步融合和提取所得的融合后的图像特征向量、文本特征向量和深度估计特征，得到预测结果。本发明结合图像、深度估计算法和开放文本，实现了未见类别的果实检测和定位。

主权项：1.一种开放世界果实检测模型构建方法，其特征在于，包括：以多来源采集的果实图像数据构建开放世界果实检测数据集；使用构建得到的开放世界果实检测数据集训练开放世界果实检测模型，得到训练好的果实检测模型；所述开放世界果实检测模型包括：文本编码模块，用于生成输入文本的文本特征向量；图像编码模块，用于生成输入图像的图像特征向量；图文特征融合模块，用于多层融合和交互文本特征和图像特征，生成融合后的图像特征向量和融合后的文本特征向量；深度估计模块，用于生成输入图像的深度估计特征向量；目标检测头，用于利用深度估计特征向量为融合后的图像特征向量提供空间特征，利用融合后的文本特征向量指导具有空间特征的图像特征向量生成目标检测查询向量，利用文本特征和预测结果生成各个预测位置的类别标签；具体的，所述目标检测头的处理过程如下：将输入的深度估计特征向量和图像特征向量分别进行线性映射并相乘，得到深度-图像匹配矩阵；将深度估计特征向量和图像特征向量分别进行线性映射并拼接，作为输入TransformerEncoder的K向量，将图像特征向量进行线性映射，作为输入TransformerEncoder的V向量，将深度-图像匹配矩阵作为输入TransformerEncoder的Q向量，计算得到融合深度信息的第一过程多模态特征向量M1；将文本特征向量和第一过程多模态特征向量M1分别进行线性映射并相乘，得到文本-深度-图像匹配矩阵；将文本-深度-图像匹配矩阵作为输入另一个TransformerEncoder的Q向量，将输入的图像特征向量分别进行两个独立的线性映射，作为输入另一个TransformerEncoder的K和V向量，计算得到第二过程多模态特征向量M2；将文本-深度-图像匹配矩阵作为输入另一个TransformerEncoder的Q向量，将第二过程多模态特征向量M2分别进行两个独立的线性映射，作为输入另一个TransformerEncoder的K和V向量，计算得到第三过程多模态特征向量M3；将第三过程多模态特征向量M3进行线性映射，并与该向量维度、大小相同，初值为1的可学习查询向量元素级相乘，作为输入TransformerDecoder的Q向量，将第二过程多模态特征向量M2进行线性映射，作为TransformerDecoder的K向量，将输入的图像特征向量进行线性映射，作为TransformerDecoder的V向量，计算得到第四过程多模态特征向量M4；将第四过程多模态特征向量M4分别进行三个独立的线性映射，作为Q、K和V向量，输入另一个TransformerDecoder，重复N-1次，计算得到第五过程多模态特征向量M5；将第五过程多模态特征向量M5输入TransformerFFN模块，计算得到开放世界果实检测模型的预测结果O；将输入的文本特征向量和预测结果O分别进行线性映射并相乘，即得到文本-预测匹配矩阵。

全文数据：

权利要求：

百度查询： 安徽农业大学 开放世界果实检测模型构建方法、检测方法及电子设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD