申请/专利权人：浙江工业大学

申请日：2024-02-06

公开（公告）日：2024-06-04

公开（公告）号：CN118136264A

主分类号：G16H50/70

分类号：G16H50/70;G16H70/20;G06N5/025;G06N5/04;G06N3/042;G06N3/045;G06N3/0895

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.06.21#实质审查的生效;2024.06.04#公开

摘要：一种基于大模型与对比学习的中医推拿多模态知识图谱构建方法，根据领域专业人员和专业著作指导，对中医推拿知识图谱概念设计；将采集的多模态中医推拿文献、病历数据进行划分后进行不同处理；文本内容通过检索增强的方式导入大模型进行知识抽取，构建中医推拿知识图谱的本体结构；所述本体结构包含实体、关系及属性；基于BERT语言模型的编码器和视觉编码器对图像文本进行对比学习，使实体和多模态数据的特征进行融合，构建中医推拿多模态知识图谱。本发明通过语言大模型的检索增强，有效地克服了多模态中医推拿文献、电子病历中知识抽取困难的问题，并且融合了文本、肌电信号、推拿手法图像、视频多模态数据，丰富了知识图谱的内容。

主权项：1.一种基于大模型和对比学习的中医推拿多模态知识图谱构建方法，其特征在于，所述方法包括以下步骤：步骤S1，概念设计：所述的概念中包含14类实体，所述的14类实体分别未：手法名称、标签、操作步骤、注意事项、主要作用、适应症、作用部位、动作要领、作用示意图、诊断依据、禁忌、肌电数值、治疗对象和操作视频；步骤S2，数据划分和数据集构建：将文献资料、病历预处理划分为多模态数据，所述多模态数据包括非结构文本和图像、视频和肌电信号，保留图像数据在原文献、原病历中的文本描述，并构建中医推拿图像文本对应数据集；步骤S3，文本知识抽取：对于处理后的非结构文本数据，将其使用基于大模型的提示词工具，作为外部数据的形式导入语言大模型中进行语义分析，提取其中的实体、关系及属性，导出为结构化数据格式；步骤S4，多模态实体链接：将中医推拿图像文本数据集使用大语言模型提取出文本描述中的实体，使用预训练的BERT文本编码器和视觉编码器resnet-50提取特征后，对图像-文本对进行视觉表示学习，通过构建分类器获取图像中对应的实体；对肌电信号根据信号特征进行标注后，确定信号对应的实体；根据视频数据中包含的实体进行标注后，确定视频对应的实体；步骤S5，图谱本体构建和存储：将多模态数据根据标注或嵌入后，根据对应的实体，将多模态数据与实体进行融合和本体构建，将图像、视频、肌电信号作为对应实体的属性和知识图谱本体导入知识图谱数据库中进行存储。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种基于大模型和对比学习的中医推拿多模态知识图谱构建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD