申请/专利权人：西安交通大学医学院第二附属医院

申请日：2021-12-25

公开（公告）日：2024-06-25

公开（公告）号：CN114399510B

主分类号：G06T7/10

分类号：G06T7/10;G06V10/40;G06V10/764

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2022.05.13#实质审查的生效;2022.04.26#公开

摘要：本发明公开了一种结合图像和临床元数据的皮肤病灶分割和分类方法及系统，方法包括以下步骤：基于皮肤病灶分割网络，引入感受野模块来取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块实现跨多个尺度特征的整体探索，挖掘解码器合成的多尺度特征；皮肤病灶分类网络引入两个特征提取器以及提出跨模态协作特征探索模块，分别从皮肤镜图像和临床元数据中提取跨模态特征；利用跨模态协作特征探索模块在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别。

主权项：1.结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，包括以下步骤：获取皮肤镜图像和临床元数据，临床元数据是指描述临床数据元素以及临床数据元素间关系的数据；皮肤病灶分割网络基于U型网络结构，引入感受野模块取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块融合解码器不同尺度的信息，生成病变对应的图像掩模，通过皮肤病灶分割网络生成的病变对应的图像掩模对皮肤镜图像进行裁剪，得到具有代表性的图像特征；其中，多尺度整体特征探索模块通过在构造相邻尺度特征混合向量实现相邻尺度之间的信息交换的基础上，使用元素式注意衍生机制来突出有用的特征，从而衍生出增强的后注意相邻尺度特征混合向量，并对聚合后的所有尺度的特征向量，再次利用元素注意衍生机制实现跨多个尺度特征的整体探索，多尺度整体特征探索模块将解码器中尺度i处的特征表示为Yi，i∈{1,2,3,4}，通过缩放操作将Yi的特征统一到尺寸相同的四个特征向量Fi∈R32×224×320,i∈{1,2,3,4}用于后续的特征探索，使用“串联”和“通道混洗”操作来组合来自每对通道的特征并构造相邻尺度的特征混合向量Fi’，i∈{1,2,3,4}；聚合所有特征混合向量Fi’，i∈{1,2,3,4}，利用元素注意衍生机制对多尺度特征进行整体探索；最后用具有两个输出通道的卷积层和紧随其后的Sigmoid进行皮肤病灶预测，得到病变对应的图像掩模；多尺度整体特征探索模块的最终输出为YMSH＝σfcFF＝AttenConcatF1’,F2’,F3’,F4’ 其中，Concat·表示串联操作，Shuffle表示通道混洗，Atten是由卷积块注意模块实现的元素式注意衍生机制操作；σ表示sigmoid函数；fc为1×1卷积函数；皮肤病灶分类网络引入两个特征提取器以及跨模态协作特征探索模块，其中，特征提取器一和特征提取器二分别从皮肤镜图像和临床元数据中提取跨模态特征；特征提取器一基于具有代表性的图像特征提取特征向量Fc1；通过将临床元数据进行矢量化，得到多维度特征向量，基于多维度特征向量采用浅层卷积神经网络即特征提取器二来提取临床元数据的特征向量Fc2；利用跨模态协作特征探索模块在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，进而挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别；跨模态协作特征探索模块引入全局平均池化和全局最大池化操作分别作用于Fc1，在此基础上引入共享权重的多层感知器，分别作用于特征向量Fc2和池化操作后的Fc1，并将多层感知器输出结果相加后输入到sigmoid中获得注意力权重α，将获取到的注意力权重α分别与跨模态特征向量Fc1和Fc2相乘来获得表征注意图的特征向量；再通过乘法运算获得跨模态特征表示YCMC。

全文数据：

权利要求：

百度查询： 西安交通大学医学院第二附属医院 结合图像和临床元数据的皮肤病灶分割和分类方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD