买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种基于自监督Graph‑Transformer的多模态大脑网络重要区域识别方法，首先将大脑的MRI数据构建成多模态脑图，将大脑的结构信息和功能信息分别映射为图的边特征和点特征；然后通过自监督模型GR‑GT，识别重要的脑图节点。GR‑GT采用编码器‑解码器的架构，将脑图作为输入并输出重构脑图，要求重构脑图尽可能接近原始脑图，并提取出所有的脑图节点对重构任务的贡献得分。具有高贡献得分的节点，说明对重构任务更重要，是本发明识别的大脑重要区域。本发明通过完全数据驱动的方式而非手工特征去分析数据，从而识别大脑网络的重要区域，有效避免了先验知识带来的固有限制。

主权项：1.一种基于自监督Graph-Transformer的多模态大脑网络重要区域识别方法，其特征在于，包括如下步骤：步骤1：将大脑MRI数据构建成多模态脑图；将大脑定义为一个无向图G＝{V,E}，V＝{vi|i∈1,2,…,N}表示图的节点集合，具有N个节点；表示图的节点特征；表示图的邻接矩阵；首先通过大脑分区模板将大脑表面划分为N个区域，作为图的节点；然后，使用功能MRI信号，计算节点之间的功能信号的皮尔逊相关系数得到功能相似矩阵，将其作为图的节点特征矩阵X，每个节点的特征向量长度D＝N；最后，使用弥散张量成像DTI数据，计算节点之间的纤维连接得到结构连接矩阵，并通过稀疏化和二值化处理，得到图的邻接矩阵E；步骤2：通过自监督模型GR-GT模块得到大脑节点的贡献得分；在自监督模型GR-GT模块中，采用编码器-解码器结构实现图重构任务，并得到节点的贡献得分；首先将步骤1得到的脑图作为输入，利用编码器模块提取图的节点表示，然后利用掩码得分模块获取节点的贡献得分，最后利用解码器模块重构图的节点特征；编码器模块：将Transformer与图卷积GCN结合，首先采用Transformer层将自注意力机制应用于图的所有节点，然后使用GCN结合图的拓扑信息；过程如式1和式2所示：H'k+1＝AttentionvHkQk,HkKk,HkVk1Hk+1＝GCNE,H'k+12其中Hk为编码器模块中第k层的图节点表示，V为图的所有节点的集合，为投影矩阵，AttentionV表示对图的所有节点使用自注意力机制，E表示图的邻接矩阵；掩码得分模块：该模块位于编码器模块之后和解码器模块之前；编码器模块的输出是图的节点表示作为掩码得分模块的输入；经过多层感知机MLP和softmax后，Z被映射为p被视为图节点的贡献得分；然后按照比例k，对得分较低的节点进行屏蔽，并赋予掩码表示向量；最后，对图的节点表示和贡献得分进行哈达玛积运算，作为解码模块的输入；计算过程如式3所示： 其中softmax为非线性函数，rank表示排序函数，idx表示将p排序后数值高的索引，q表示屏蔽节点的掩码表示向量，cat表示按原顺序将节点表示与掩码表示向量拼接起来，⊙表示哈达玛积，Z′表示解码器模块的输入；解码器模块：解码器模块的输入是带有掩码信息的图节点表示，输出是重构出图的节点特征；解码器模块与编码器模块结构相同；GR-GT模块通过预测图的节点特征重建图；损失函数是重构图节点的特征矩阵Y与输入图节点的特征矩阵X之间的均方误差MSE；步骤3：将数据集通过步骤1和步骤2，得到重构图和节点的贡献得分，根据得分将大脑区域进行排名，按照设定比例，选取得分靠前的区域作为大脑重要区域。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于自监督Graph-Transformer的多模态大脑网络重要区域识别方法