买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：郑州轻工业大学

摘要：本发明公开了一种基于知识图谱的冠心病多模态数据特征提取方法，包括以下步骤：A：获取心电图、光电容积脉搏波和心音图的信号实体；B：获取心脏彩超图像的图像实体；C：获取病历文本的文本实体及文本实体属性，并抽取文本实体关系；D：与冠心病患者知识图谱本体结构进行链接形成知识图谱，建立病例关系图网；E：采用随机游走算法和Skip‑Gram模型将病例关系图网中的节点降维表征为统一的节点表示向量；F：采用主成分分析算法，对步骤E中得到的节点表示向量再次降维，最终获取节点的降维特征。本发明能够为冠心病诊断结果的辅助验证提供更为准确的数据基础。

主权项：1.一种基于知识图谱的冠心病多模态数据特征提取方法，其特征在于，包括以下步骤：A：获取冠心病患者的心电图、光电容积脉搏波和心音图的信号数据，通过信号正异常识别模型，分别确定心电图、光电容积脉搏波和心音图的信号实体；步骤A中，信号正异常识别模型采用基于多层ResNet网络的信号正异常识别模型；基于多层ResNet网络的信号正异常识别模型用于对信号数据Y＝{y1，y2，…，yb}进行实体提取，分别识别心电图、光电容积脉搏波和心音图信号为正常或异常；信号数据Y对应的实体为k＝{k1，k2，…，ka}，其中，b表示信号数据的个数，a表示信号数据Y对应实体的数量；心电图的实体为心电图正常或心电图异常；光电容积脉搏波的实体为光电容积脉搏波正常或光电容积脉搏波异常；心音图的实体为心音图正常或心音图异常；B：获取冠心病患者的心脏彩超图像数据，通过心脏彩超图像正异常识别模型，确定心脏彩超图像的图像实体；步骤B中，心脏彩超图像正异常识别模型采用基于多层Transformer-CNN的心脏彩超图像正异常识别模型；基于多层Transformer-CNN的心脏彩超图像正异常识别模型包括编码层和解码层，编码层通过多层堆叠的Transformer编码器对心脏彩超图像的局部信息进行学习；解码层对Transformer编码器输出的信息进行解码，得到心脏彩超图像正异常识别的概率分布；基于多层Transformer-CNN的心脏彩超图像正异常识别模型确定心脏彩超图像数据Q′的实体m，m＝{m1,m2,…,mt}，t表示心脏彩超图像数据Q′对应实体的数量，实体为心脏彩超图像的诊断结果；心脏彩超图像的实体为心脏彩超正常或心脏彩超异常；C：获取冠心病患者的病历文本数据，结合条件随机场模型识别病历文本的文本实体及文本实体属性，并抽取文本实体关系；D：利用步骤A至C中分别获取的信号实体、图像实体、文本实体、文本实体属性和文本实体关系，通过与冠心病患者知识图谱本体结构进行链接形成知识图谱，并结合所有冠心病患者的知识图谱建立病例关系图网；E：结合步骤D中得到的病例关系图网，采用随机游走算法和Skip-Gram模型将病例关系图网中的节点降维表征为统一的节点表示向量；步骤E中，采用截断随机游走的图嵌入方法提取病例关系图网H的局部结构，得到截断长度的节点序列，并采用固定长度的窗口得到各个节点的上下文信息；采用Skip-Gram模型在最大化上下文节点共现概率的同时，更新节点的表示向量Φ＝{Φ1,Φ2,…,Φg…,Φ|V|}；其中，Φ为节点表示向量，其维度为|V|×d，|V|表示节点的个数，d为映射后每个节点表示向量的长度，g表示向量Φ的索引值；以病例关系图网H中的不同节点作为根节点进行固定长度的随机游走，每一步从当前节点游走至各个邻近节点的概率正比于两个节点之间边的权重，通过截断随机游走方式得到一系列等长的向量，向量表示病例关系图网H中各处的局部结构；在得到的路径向量上用固定长度的滑动窗口进行扫描得到一系列在原文中具有上下文关系的词语；以词语的共现关系作为优化目标，对词语所映射的向量进行优化，在给定窗口中心词Vi的情况下使滑动窗口内的上下文词语共现的概率最大化，对应的最大化联合概率表示为： 其中，Prvj|Φvi表示在节点表示向量Φ的作用下给定第i个词vi后出现第j个词vj的条件概率；vi-w表示第一个词；vi+w表示最后一个词；然后结合目标函数Z通过梯度下降法迭代更新，获得节点表示向量Φ＝{Φ1,Φ2,…,Φg…,Φ|V|}；目标函数Z为：Z＝min-logPr{vi-w,…,vi-1,vi+1,vi+w}|Φvi；F：采用主成分分析算法，对步骤E中得到的节点表示向量再次降维，最终获取节点的降维特征。

全文数据：

权利要求：

百度查询： 郑州轻工业大学 基于知识图谱的冠心病多模态数据特征提取方法