龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：河南科技大学
申请日：2024-03-28
公开（公告）日：2024-06-18
公开（公告）号：CN118212462A
主分类号：G06V10/764
分类号：G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
优先权：
专利状态码：在审-公开
法律状态：2024.06.18#公开
摘要：本发明公开了一种基于多模态融合的病理图像分类方法及系统，涉及图像处理技术领域，方法包括将目标患者病理图像和病理报告输入训练后的病理图像分类模型，获取目标患者每一病变类别的概率值。其中病理图像分类模型的训练过程为，采用改进的ResNet深度残差神经网络对样本病理图像进行图像特征提取，改进的ResNet深度残差神经网络为将ResNet中的卷积操作替换为DWConv，并添加SENet模块。使用BERT模型对病理报告进行文本特征提取。通过双注意力机制，将图像特征和文本特征进行融合后进行训练。本发明通过引入注意力机制，将两个模态的特征进行融合后训练，使得病理图像分类模型的分类效率更高且更准确。
主权项：1.一种基于多模态融合的病理图像分类方法，其特征在于，包括：获取目标患者的病理图像以及病理报告；将所述病理图像和所述病理报告输入至训练后的病理图像分类模型，得到所述目标患者的每一病变类别的概率值；将所述病变类别中概率值最高的病变类别，确定为所述目标患者的病变结果；其中，病理图像分类模型的训练过程为：获取样本病理数据；所述样本病理数据包括样本病理图像以及样本病理报告；基于改进的ResNet深度残差神经网络，对所述样本病理图像进行图像特征提取，得到所述样本病理图像的图像特征；所述改进的ResNet深度残差神经网络为在原始ResNet深度残差神经网络的基础上，将ResNet中的卷积操作替换成DWConv以及在ResNet的Bottleneck添加SENet模块后得到的神经网络；基于BERT模型，对所述样本病理报告进行文本特征提取，得到所述样本病理报告的文本特征；基于注意力机制，使用双注意力机制融合所述图像特征和文本特征，得到一个n维的多模态向量和注意力权重向量；设置所述多模态向量为输入，以所述样本病理图像和所述样本病理报告对应的病变类别为标签，训练所述病理图像分类模型。
全文数据：
权利要求：
百度查询： 河南科技大学 一种基于多模态融合的病理图像分类方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号