申请/专利权人：华南理工大学

申请日：2022-04-12

公开（公告）日：2024-04-23

公开（公告）号：CN114897779B

主分类号：G06T7/00

分类号：G06T7/00;G06N3/0464;G06N3/08;G06T3/4038;G06T3/60;G06T5/90;G06V10/764;G06V10/80;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2022.08.30#实质审查的生效;2022.08.12#公开

摘要：本发明公开了基于融合注意力的宫颈细胞学图像异常区域定位方法及装置，方法包括：获取原始宫颈细胞学图像，对所述宫颈细胞学图像数据集进行预处理，得到图像训练集和图像测试集；采用预先设立的残差神经网络提取宫颈细胞学图像的粗特征；构建多尺度特征融合模型，并以特征金字塔结构输出多层级的特征，采用联合注意力的共享检测头与目标框质量评估方法，对多层级特征进行坐标回归和分类；采用预测框与真实框重叠区域面积与真实框面积的比值iog作为判断目标框是否命中异常区域的指标，并根据设置的iog阈值以及目标框的置信度判断是否为异常区域。本发明能够快速定位宫颈细胞图像的异常区域，作为临床的辅助诊断方式，可极大减少临床医生的工作量。

主权项：1.基于融合注意力的宫颈细胞学图像异常区域定位方法，其特征在于，包括下述步骤：获取原始宫颈细胞学图像，对所述宫颈细胞学图像数据集进行预处理，得到图像训练集和图像测试集；采用预先设立的残差神经网络提取图像训练集中宫颈细胞学图像的粗特征，所述粗特征是指残差神经网络提取的固有特征；构建多尺度特征融合模型，并以特征金字塔结构输出多层级的特征，所述尺度特征融合模型对粗特征进行组平均池化得到通道特征权重，利用通道特征权重得到无通道信息衰减的通道注意力特征；所述多层级的特征是指金字塔结构输出的多层级特征；采用联合注意力的共享检测头，对多层级特征进行坐标回归和分类，并对目标框质量进行评估，首先，计算残差卷积特征，并在最后一个残差卷积块之后计算空间注意力特征，对空间注意力特征计算通道注意力，得到用于回归和分类的特征向量矩阵；然后，根据特征向量矩阵中特征点的预测值对目标框进行分类；最后，对于分类的结果采用目标框进行质量评估，并对目标框坐标进行回归；所述联合注意力的共享检测头与目标框质量评估方法，具体为：计算残差卷积特征，计算残差卷积特征的结构由四层残差卷积块组成，每个残差卷积块由一层卷积层、跳跃连接、组归一化操作组成，其中卷积核尺寸为3×3，卷积前后的通道数保持不变，均为256；组归一化过程为，原特征通道数为C，将每个批次特征图的通道分成G组，每组有CG个通道，再对分组后的通道求均值和标准差，并在组内对每个特征值进行归一化，均值、标准差与归一化后的特征值的具体计算表达式为： 其中xnchw为组内某一点的特征值，H为特征图的宽度，W为特征图的长度，为归一化后的特征；在最后一个残差卷积块之后，计算空间注意力，给定输入x，输出空间注意力y的计算表达式为：mq＝fqxmk＝fkxmv＝fvx 其中，fq、fk、fv分别表示三层1×1卷积；对空间注意力特征计算通道注意力，得到用于回归和分类的特征向量矩阵S，其计算表达式为 S＝F*σmax0，gp根据特征点的预测值对目标框进行分类，对获取到的特征进行softmax分类，计算每个特征点对应的目标区域属于第k类的概率 其中，i，j分别为该特征点的横、纵坐标，为特征向量矩阵S的第k个分量，表示对特征向量里的c个分量进行求和，c是分类的类别数；对目标框进行质量评估，设计指标q用于评定目标框的质量，q表示从预测框中心到真实框的相对距离，给定预测框的特征点到真实框4边距离l*，r*，t*，b*，目标框的质量q定义为： 其中q∈0，1，则特征图上i，j处对应的目标框预测质量分数为与真实质量分数之间的二维交叉熵损失为： 其中i是特征点的横坐标，j是特征点的纵坐标，σ为sigmoid激活函数，Npos为命中异常区域的目标框总数，在训练过程中，目标框质量评估loss是总loss的一部分，在测试过程中，预测的质量分数乘以相应的分类分数，得到目标的最终分数，在训练和预测过程中，质量低或与真实框没有重叠的边界框将被丢弃；对目标框坐标进行回归，给定特征点到预测框4边距离l*，r*，t*，b*，特征点到真实框到4边的距离l，r,t，b，令则回归损失函数为： 其中i是特征点的横坐标，j是特征点的纵坐标，Npos为命中异常区域的目标框总数；训练网络的总Loss设计，总损失由分类损失Lcls、质量评估损失Lq和回归损失Lreg组成，总损失函数计算表达式为：L＝Lcls+LQ+Lreg；采用预测框与真实框重叠区域面积与真实框面积的比值iog作为判断目标框是否命中异常区域的指标，并根据设置的iog阈值以及目标框的置信度判断是否为异常区域。

全文数据：

权利要求：

百度查询： 华南理工大学 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD