申请/专利权人：杭州华是智能设备有限公司

申请日：2024-04-25

公开（公告）日：2024-06-28

公开（公告）号：CN118072261B

主分类号：G06V20/54

分类号：G06V20/54;G06V10/774;G06V20/70;G06V10/74;G06V10/764;G06V20/62

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.06.11#实质审查的生效;2024.05.24#公开

摘要：本发明公开一种基于多形态监督文本引导的船舶检测方法及系统。该方法根据预测结果和人工标定结果得到标定总损失值；通过相似度损失计算模块得到每张图片的相似度损失值；根据全部目标特征图和其对应的类别文本特征图得到视觉文本总损失值；根据标定总损失值、全部张图片的相似度损失值、视觉文本总损失值反向更新原始船舶检测模型，直至得到目标船舶检测模型，以使待检测的船舶图片输入进行检测；该方法在原始船舶检测模型的主干网络中增加文本提取模块，提取语义信息，对视觉信息进行引导和监督，缓解训练集局限性问题；船舶检测模型采用船头、船身、船尾在主干网络和检测头进行监督，得到船头、船身和船尾有效特征，提高船舶检测模型检出率。

主权项：1.一种基于多形态监督文本引导的船舶检测方法，其特征在于，包括：S1、获取船舶多形态标定的人工标定训练集和人工标定结果；S2、根据预设采样方法对所述人工标定训练集进行采样，得到当前迭代标定训练集；S3、将原始船舶检测模型的主干网络中增加文本提取模块，将所述当前迭代标定训练集和人工标定结果输入到主干网络的视觉提取模块和文本提取模块中，得到原始视觉特征图和类别文本特征图；通过所述类别文本特征图对所述原始视觉特征图进行引导，得到更新视觉特征图；S4、将所述原始视觉特征图通过原始船舶检测模型的检测头进行检测，得到预测结果；将预测结果和人工标定结果进行匹配和损失计算，得到全部正检目标和标定总损失值；将所述全部正检目标映射到所述更新视觉特征图中，得到一一对应的全部目标特征图；将所述全部目标特征图通过相似度损失计算模块计算得到每张图片的相似度损失值；S5、根据所述全部目标特征图和其对应的类别文本特征图计算得到视觉文本总损失值；S6、根据所述标定总损失值、全部张图片的所述相似度损失值、所述视觉文本总损失值计算得到迭代总损失值；根据所述迭代总损失值对所述原始船舶检测模型进行反向更新；S7、重复S2～S6，直至将人工标定训练集训练完，将所有张图片的相似度损失值从大到小进行排序，且抽取前预设比例的损失值对应的图片，将其加入到所述人工标定训练集中，以更新所述人工标定训练集；S8、重复S2～S7，将所述人工标定训练集进行多轮训练，直至所述迭代总损失值在预设范围内波动时，停止训练，得到目标船舶检测模型；S9、将待检测的船舶图片输入到所述目标船舶检测模型中进行检测，得到船舶位置和类别；所述S1包括：获取训练集，将所述训练集中全部图片的船舶类别和坐标进行人工标定；将标定后的船舶的船头、船身、船尾分开标定，得到船舶多形态标定的人工标定结果以及对应的人工标定训练集；所述预设采样方法为采样两种及两种以上的船舶类别；且至少两种类别的船舶包括船头、船身和船尾；所述通过所述类别文本特征图对所述原始视觉特征图进行引导，得到更新视觉特征图包括：将所述类别文本特征图进行编码，得到类别文本特征序列；通过所述类别文本特征序列对所述原始视觉特征图进行引导，得到更新视觉特征图；所述更新视觉特征图根据以下公式计算： 其中，Featureview_new为更新视觉特征图，Featureview_pre为原始视觉特征图，seqtext为类别文本特征序列，sigmoid为神经网络激活函数；所述S5包括：根据当前目标的目标特征序列和当前目标对应的类别文本特征序列计算得到当前目标的视觉文本损失值；根据全部目标特征序列和其对应的类别文本特征序列计算得到所有目标的视觉文本损失值；将所有目标的视觉文本损失值求和得到视觉文本总损失值；所述当前目标的视觉文本损失值根据以下公式计算：losstext_view＝one_mat-sigmoidseq_view·seq_text×2×one_mat-1其中，losstext_view为当前目标的视觉文本损失值，seq_view为当前目标的目标特征序列，seq_text为当前目标的类别文本特征序列，one_mat表示为1的对角矩阵，sigmoid为神经网络激活函数。

全文数据：

权利要求：

百度查询： 杭州华是智能设备有限公司 一种基于多形态监督文本引导的船舶检测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD