申请/专利权人：复旦大学附属中山医院

申请日：2024-04-22

公开（公告）日：2024-06-11

公开（公告）号：CN118173250A

主分类号：G16H50/20

分类号：G16H50/20;G16H50/70;G16H15/00;G06V10/764;G06V10/774;G06V10/778;G06V20/40;G06V10/26;G06V10/82;G06N3/0455;G06N3/0895

优先权：

专利状态码：在审-公开

法律状态：2024.06.11#公开

摘要：本发明的技术方案是提供了本发明的技术方案是提供了一种基于无监督大模型训练肠镜下病变检出的方法。本发明公开的方法以海量非结构化的镜检报告以及肠镜视频作为训练数据，利用现有的大模型以及弱监督学习方法即可无需任何标注实现肠镜视频中含有病变图像帧的定位以及该帧中病变区域的识别与分割。与现有技术方案相比，本发明公开的方法充分利用现实生活中海量的镜检报告，无需任何人工标注信息，极大降低了计算机辅助结肠镜下病变识别系统的训练成本，有效提高了CADe的模型泛化性以及复杂检查内容的检查质量。

主权项：1.一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，包括以下步骤：步骤1、收集海量的镜检视频以及所对应的非结构化的镜检报告，根据镜检报告所描述的肠镜视频中有无病灶，为对应的镜检视频分配视频分类标签，通过视频分类标签表示当前镜检视频是否含有病变；步骤2、对于每个含有多帧图像帧的镜检视频，采用双分支结构的多实例学习框架，包括作为教师的视频级别分类的分支以及作为学生的图像级别分类的分支，将视频级别分类的分支所学到的知识逐步蒸馏到图像级别分类的分支，以辅助镜检视频中每帧图像帧的正确分类，获得图像帧的图像分类标签，通过图像分类标签表示当前图像帧是否含有病变；步骤3、利用步骤2获得的图像帧的图像分类标签，采用弱监督分割技术实现像素级别的分割任务，获得热图，其中，将Vision-Transformer框架引入弱监督分割任务，从Vision-Transformer框架的中间特征层中引出特征，将该特征作为辅助热图以监督Vision-Transformer框架最后一层特征所产生的热图；步骤4、利用步骤3所得到的热图为中心生成恰好包含完整热图的检测框，以检测框作为图像分割模型的提示，通过图像分割模型实现对含有病变的图像帧的病灶区域的伪分割掩码；步骤5、利用步骤1至步骤4从镜检视频以及镜检报告中分别提取含有病变的图像帧以及病灶区域的伪分割掩码，利用图像帧及伪分割掩码训练轻量化的病变检出模型；步骤6、利用训练完毕的病变检出模型对输入的图像帧的病变区域进行预测，并将该预测结果作为步骤4中图像分割模型的提示输入，得到更加精确的病变区域的伪分割掩码；步骤7、将步骤4至步骤6反复迭代多次，直至训练得到的病变检出模型性能达到专家水平。

全文数据：

权利要求：

百度查询： 复旦大学附属中山医院 一种基于无监督大模型训练肠镜下病变检出的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD