申请/专利权人：合肥工业大学

申请日：2023-09-27

公开（公告）日：2024-06-28

公开（公告）号：CN117541844B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/82;G06N3/042;G06N3/047;G06N3/084;G06T7/00;G06V10/40;G06N3/0895;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.03.01#实质审查的生效;2024.02.09#公开

摘要：本发明属于组织病理学全切片图像分析技术领域，具体涉及一种基于超图学习的弱监督组织病理学全切片图像分析方法，其步骤包括：获取具有图像级别标签的组织病理学全切片图像数据集并进行分块预处理；训练基于自监督学习的分块图像编码器；建立全切片图像样本的超图模型；建立基于超图学习的深度网络模型；使用带弱标签的超图模型样本数据集离线训练网络模型；利用训练好的模型对组织病理学全切片图像进行预测，完成全切片图像的分类以及切片各区域的病变概率可视化。本发明能克服组织病理学全切片图像数据详细标注难以获取的不足，并使用弱监督方法有效完成切片图像级的分类以及局部组织区域的病变概率可视化。

主权项：1.一种基于超图学习的弱监督组织病理学全切片图像分析方法，其特征在于，包括如下步骤：步骤1、获取带有图像类别标签的组织病理学全切片图像数据集D并进行预处理得到分块后的全切片图像Bi，其中表示第i张全切片图像中的第j个分块图像，表示对应的第i张全切片图像中第j个分块图像所在位置的中心坐标，n表示第i张全切片图像中划分出的分块图像的总数；步骤2、训练基于自监督学习的分块图像编码器f，并将所述全切片图像Bi输入分块图像编码器f中，为每个分块图像生成d维的特征向量并输出编码后的全切片图像步骤3、根据所述编码后的全切片图像Bi建立超边，并以此构建其对应的超图模型其中，M表示超边的数量；为定义全切片图像中每一个分块图像，且为超图模型中的一个节点，节点属性定义为分块图像经过编码器f所得的特征向量e；步骤4、建立深度网络模型，将所述超图模型作为样本输入深度网络模型中进行训练，最终生成切片级别的预测Pi和分块图像的预测pi，根据网络模块启用程度的不同，生成掩码重建后的超图步骤5、将所述所述Pi和所述pi代入预先构建的损失函数中，分别计算节点重建的损失值、整体分类损失值和局部分类损失值，将所述损失值加权后反向传播训练所述深度网络模型，得到优化后基于超图学习的深度网络模型，将待分析全切片图像输入到基于超图学习的深度网络模型中，以输出全切片图像的分类以及局部组织区域的病变概率可视化；步骤4中，所述深度网络模型由掩码模块、节点特征学习模块、训练时超图增强模块以及切片级别特征聚合模块组成；所述掩码模块在网络训练时有p％概率启用，启用时随机对样本超图模型中的rmask％的节点进行遮掩，使用一个可学习的参数向量替换被遮掩节点的属性，掩码后的样本超图模型表示为 所述节点特征学习模块由两个超图卷积层和两个线性层组成；样本超图模型作为节点特征学习模块的输入，输出包含两部分，分别作为训练时超图增强模块的输入和切片级别特征聚合模块的输入所述训练时超图增强模块包含一个超图卷积层和一个线性层，训练时超图增强模块仅会在掩码模块启用时同步启用，对输入中被掩码节点的属性进行重建，得到所述切片级别特征聚合模块包含一个层数可调节的多头注意力模块、一个层归一化模块还有两个线性层；切片级别特征聚合模块的输入在处理前与参数向量Tcls进行拼接，再输入多头注意力模块进行节点属性之前长距离的信息交换,得到的输出中Tcls对应部分的特征向量作为切片级别的分类特征，而其余部分则用于判断切片局部区域病变概率的预测特征；切片级别的分类特征和切片局部区域病变概率的预测特征输入全连接层组成的多层感知机分类器中分类，得到切片级别的预测Pi∈R1×C和分块图像的预测pi∈Rn×C，C为类别标签的总数。

全文数据：

权利要求：

百度查询： 合肥工业大学 一种基于超图学习的弱监督组织病理学全切片图像分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD