申请/专利权人：哈尔滨理工大学

申请日：2024-04-09

公开（公告）日：2024-06-21

公开（公告）号：CN118230052A

主分类号：G06V10/764

分类号：G06V10/764;G06T7/90;G06V10/44;G06T7/00;G06T7/136;G06V10/82;G06N3/045;G06T7/11

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明涉及宫颈病理全景图像分类技术，旨在提出一种多模态集成诊断方案，填补目前视觉语言技术在宫颈组织病理诊断的应用空白，提升宫颈组织病理诊断效率。现有视觉语言模型通常在大规模图像文本对上进行训练，具备较强的表征能力，泛化能力和迁移能力。然而，这种方式在宫颈组织病理学领域面临挑战，由于数据的私密性高、标注成本高以及专家经验难复制等问题，难以构建大规模图像文本对。针对这些问题，本发明提出基于视觉引导及语言提示的宫颈全景图像少样本分类方法。实验结果显示，该方法能够有效识别宫颈组织病理学特征，并给出病理学诊断依据和诊断结果。本发明在宫颈组织病理学诊断领域具有广阔的应用前景。

主权项：1.基于视觉引导及语言提示的宫颈全景图像少样本分类方法，其特征在于，包含视觉先验引导、实例级特征提取、关键实例筛选、文本描述构建及图像文本对齐、病变等级判定等多个阶段：所述方法包含步骤：S1、宫颈组织全景图像视觉先验引导图生成阶段：步骤1、宫颈全景图像预处理：获取并缩放宫颈全景图像缩略图，进行染色归一化、图像二值化与外轮廓检测；步骤2、宫颈组织图像边界距离计算：计算组织块质心，确定像素距离表示；步骤3、宫颈组织图像ROI硬划分：利用OTSU阈值法对红蓝通道进行二值化处理，通过Sobel算子计算梯度图像，应用分水岭变化算法分割出梯度突变区域，形成ROI的硬划分掩膜；步骤4、视觉先验引导图生成：结合步骤2得到的边界距离表示与步骤3得到的ROI硬化分掩膜，通过加权及逻辑运算生成视觉先验引导图；S2、宫颈组织图像实例级特征提取阶段：步骤5、网格采样与视觉先验位置编码：将视觉先验引导图与宫颈组织全景图像及高倍率组织切片对齐，利用双线性插值进行上采样和切片操作，通过位置编码器构建视觉先验引导位置编码；步骤6、图像特征提取：使用预训练的CLIP图像编码器ViT模型提取40x放大倍率下组织切片的图像特征；步骤7、特征融合：将视觉先验位置编码特征与图像特征进行拼接，并通过全连接层FC生成实例级特征；S3、宫颈组织关键实例特征提取阶段：步骤8、实例级特征处理：对实例级特征进行层归一化，并通过多头注意力机制MHSA计算注意力得分，生成视觉引导的加权实例特征；步骤9、关键特征筛选：利用池化层与全连接层得到实例的类别概率，并根据概率值选取前K个实例级特征作为关键实例特征；S4、构建宫颈组织实例级文本提示描述阶段：步骤10、文本描述生成：使用ChatGPT4生成针对宫颈组织病理病变部位和正异常特征的实例级文本描述信息提示；步骤11、文本特征转化：将文本描述通过预训练的CLIP文本编码器转化为文本特征；S5、实例级图像文本对对齐阶段：步骤12、特征对齐与优化：将关键实例特征与相应的文本特征计算相似度，并通过轻量化训练策略更新模型参数，优化图文对齐效果；S6、实例级特征聚合阶段：步骤13、特征加权聚合：根据关键实例特征与文本特征之间的相似度分数进行加权聚合，形成反映整体病变特征的包级特征；S7、全切片图像级别的病变提示库构建阶段：步骤14、病变库建立：收集CIN1至CIN3各级别的宫颈组织病理病变图像及其特征描述，利用ChatGPT4对描述进行规范化处理；分别提取病变示例的图像特征和文本特征，构建键值对形式的病变提示库；S8、包级图像特征检索文本特征：步骤15、图文检索：使用包级特征与病变提示库中的图像特征计算余弦相似度，通过标签传播聚合得到预测结果；S9、病变诊断决策：步骤16、预测与决策：将预测结果与原始包特征结合，通过轻量级网络生成最终预测特征，结合预测结果与病变提示库信息作出病变等级范围的诊断决策。

全文数据：

权利要求：

百度查询： 哈尔滨理工大学 基于视觉引导及语言提示的宫颈全景图像少样本分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD