申请/专利权人：西北民族大学

申请日：2024-03-18

公开（公告）日：2024-06-14

公开（公告）号：CN118194225A

主分类号：G06F18/25

分类号：G06F18/25;G16H50/70;G06F40/16;G06F18/213;G16H30/20;G06V10/26

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.07.02#实质审查的生效;2024.06.14#公开

摘要：本发明公开一种跨模态数据融合的骨显像图像分割方法、系统及介质，涉及数据融合技术领域，所述方法包括：获取骨显像数据和对应的诊断报告文本，确定目标患者的图像数据矩阵和文本三元组集，进行特征提取和编码处理确定图像多层级特征和文本特征，将目标患者的图像特征和目标患者的文本特征输入骨显像图像分割模型中，确定目标患者的诊断参考数据，诊断参考数据包括：病灶区域和对应的诊断文本。本发明能够不依赖大量数据支撑即可实现患者的骨显像图像和诊断报告文本的文本‑图像跨模态融合。

主权项：1.一种跨模态数据融合的骨显像图像分割方法，其特征在于，包括：获取目标患者的骨显像数据和对应的诊断报告文本；对目标患者的骨显像数据进行噪声检测和消除处理，确定目标患者的图像数据矩阵，对目标患者的诊断报告文本进行去除冗余、命名实体识别和实体关系抽取确定目标患者的文本三元组集；对目标患者的图像数据矩阵进行特征提取和编码处理确定目标患者的图像特征，以及对目标患者的文本三元组集进行特征提取和编码处理确定目标患者的文本特征；将目标患者的图像特征和目标患者的文本特征输入骨显像图像分割模型中，确定目标患者的诊断参考数据；所述骨显像图像分割模型是基于训练数据对图像分割网络进行训练得到的；所述训练数据包括：不同训练患者的图像特征、不同训练患者的文本特征和对应的诊断参考数据；所述诊断参考数据包括：病灶区域和对应的诊断文本；其中，所述图像分割网络包括：特征映射模块、采样模块、线性模块和跨模态融合模块；所述特征映射模块用于将目标患者的图像特征和目标患者的文本特征映射到相同的特征维度空间，得到目标患者的特征映射图像和目标患者的特征映射文本；所述采样模块与所述特征映射模块连接，所述采样模块用于对目标患者的特征映射图像进行采样处理，确定采样后图像数据；所述线性模块与所述特征映射模块连接，所述线性模块用于对目标患者的特征映射文本进行线性处理，确定线性文本数据；所述跨模态融合模块与所述采样模块和所述线性模块连接，所述跨模态融合模块用于根据目标患者的特征映射图像、所述采样后图像数据和所述线性文本数据进行拼接融合，确定诊断参考数据。

全文数据：

权利要求：

百度查询： 西北民族大学 一种跨模态数据融合的骨显像图像分割方法、系统及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD