买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州未名信科科技有限公司;浙江省北大信息技术高等研究院

摘要：本申请公开了一种多源异构数据的集成方法、装置、设备及存储介质，所述方法包括：对获取到的数据表进行预处理，得到预处理后的数据表；根据预训练的匹配模型以及线性规划算法对所述预处理后的数据表进行匹配，得到数据表的匹配关系；根据所述数据表的匹配关系以及预训练的融合模型进行数据融合，得到融合后的数据。根据本申请实施例提供的数据集成方法，可以打破数据孤岛，实现异构数据源的互联互通；实现系统数据库语义结构解析，快速辅助重构数据库字典、数据字典、手工数据的矫正等；而且模型适用于多种应用场景，高效辅助人工进行数据筛选，使得大规模的数据表查找、残缺数据表融合成为了可能。

主权项：1.一种多源异构数据的集成方法，其特征在于，包括：对获取到的数据表进行预处理，得到预处理后的数据表；训练第一匹配模型、第二匹配模型以及融合模型；其中，所述第一匹配模型、第二匹配模型以及融合模型的神经网络结构为改进的GAE网络结构，所述改进的GAE网络结构包括编码层以及反编码层，所述编码层包括依次连接的GNN网络以及FC网络，所述反编码层包括FC网络；根据预训练的匹配模型以及线性规划算法对所述预处理后的数据表进行匹配，得到数据表的匹配关系；包括：将所述预处理后的数据表输入预训练的第一匹配模型进行模式匹配，得到第一相似度矩阵；根据所述第一相似度矩阵以及线性规划算法，得到数据表的匹配关系；其中，第一相似度矩阵指的是表中列与列的相似度矩阵，得到数据表中列与列的匹配关系，其中，列与列之间的匹配关系指的是待匹配的数据表中的列字段与所匹配的数据表中的列字段之间的关系；还包括将所述预处理后的数据表输入预训练的第二匹配模型进行模式匹配，得到第二相似度矩阵；根据所述第二相似度矩阵以及线性规划算法，得到数据表的匹配关系以及匹配分数；根据数据表的匹配关系，即可得知数据表A与哪一张数据表匹配；根据所述匹配分数进行从高到低排序，得到排序后的数据表的匹配关系；其中，第二相似度矩阵指的是表与表的相似度矩阵；根据所述数据表的匹配关系以及预训练的融合模型进行数据融合，得到融合后的数据。

全文数据：

权利要求：

百度查询： 杭州未名信科科技有限公司 浙江省北大信息技术高等研究院 多源异构数据的集成方法、装置、设备及存储介质