申请/专利权人：电子科技大学

申请日：2024-02-19

公开（公告）日：2024-06-28

公开（公告）号：CN118262142A

主分类号：G06V10/764

分类号：G06V10/764;G06V10/82;G06V10/26;G06N3/0464;G06V10/80

优先权：

专利状态码：在审-公开

法律状态：2024.06.28#公开

摘要：本发明公开了一种针对上消化道内窥镜图片的细粒度分类方法，涉及图像数据处理技术领域，采用细粒度分类模型对上消化道内窥镜图像进行分类，细粒度分类模型一轮训练的过程包括：重复三次对预处理后的上消化道内窥镜图像的处理过程，分别得到图像的粗粒度特征、中粒度特征和细粒度特征，每次处理过程包括将预处理后的上消化道内窥镜图像输入到骨干网络，提取图像特征，收集对应阶段的多头自注意权重，据此得到融合了不同阶段不同粒度图像辨别区域信息的注意力图，利用注意力图对预处理后的上消化道内窥镜图像进行裁剪和放大；计算多粒度损失；反向传播。本发明的分类准确率高，不会忽略各粒度特征，网络学习曲线不会出现陡峭情况。

主权项：1.一种针对上消化道内窥镜图片的细粒度分类方法，其特征在于，采用细粒度分类模型对上消化道内窥镜图像进行分类，细粒度分类模型一轮训练的过程包括以下步骤：步骤1：对上消化道内窥镜图像数据集进行预处理；步骤2：将预处理后的上消化道内窥镜图像输入到骨干网络，提取图像特征，骨干网络基于ResNet-50构建得到，嵌入了弱监督多粒度自注意力模块的自注意力，对于骨干网络的最后三个阶段，每个阶段最后一个Bottleneck中的3x3卷积均被多头自注意模块取代；步骤3：多头自注意模块收集对应阶段的多头自注意权重，并将它们融合在一起，得到融合了不同阶段不同粒度图像辨别区域信息的注意力图；步骤4：利用注意力图对预处理后的上消化道内窥镜图像进行裁剪和放大；步骤5：对于某一张预处理后的上消化道内窥镜图像，共进行三次步骤2到步骤4的处理过程，三次处理过程分别得到其粗粒度特征、中粒度特征和细粒度特征；步骤6：通过基于细粒度特征增强的多粒度损失模块，将粗粒度特征、中粒度特征和细粒度特征均转换为长度200的特征向量，然后进行拼接和融合，得到新粗粒度特征、新中粒度特征和新细粒度特征，再通过线性投影将新粗粒度特征投影到粗粒度类别，新中粒度特征投影到中粒度类别，新细粒度特征投影到细粒度类别，并分别计算交叉熵损失，将三个交叉熵损失求和得到多粒度损失；步骤7：将多粒度损失反向传播，使细粒度分类模型通过弱监督多粒度自注意力模块由粗到细且平滑地学习到图像各粒度的特征，并基于多粒度损失由细到粗地对图像进行不同粒度的分类。

全文数据：

权利要求：

百度查询： 电子科技大学 一种针对上消化道内窥镜图片的细粒度分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD