买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京拓普丰联信息科技股份有限公司;河南拓普计算机网络工程有限公司;合肥拓普网络系统工程有限责任公司

摘要：本发明提供一种基于文本信息抽取结果的去重方法、系统以及介质，其中所述去重方法具体包括以下步骤：对公共资源交易信息所在网页进行结构化抽取，将抽取结果以文本数据记录形式存储在数据集中；根据预设多重分类规则对数据集中所有文本数据记录进行细分；基于标题和预设实体字段进行组内判重，当组内存在重复文本数据记录时，基于网站类型和实体字段对重复文本数据记录进行评分，并根据评分进行重复文本数据记录的合并。

主权项：1.一种基于文本信息抽取结果的去重方法，其特征在于：对公共资源交易信息所在网页进行结构化抽取，将抽取结果以文本数据记录形式存储在数据集中；根据预设多重分类规则对数据集中所有文本数据记录进行细分；基于标题和预设实体字段进行组内判重，当组内存在重复文本数据记录时，基于网站类型和实体字段对重复文本数据记录进行评分，并根据评分进行重复文本数据记录的合并；所述结构化抽取的具体步骤如下：对公共资源交易信息所在网页进行预处理，统一网页的编码和内容格式，并去除网页中的噪音信息；为公共资源交易信息生成交易类别标签和城市标签；对公共资源交易信息进行段落划分，并基于拆分后的段落并行进行表格解析、键值对解析、正则抽取和实体识别处理；根据预设属性权重表分别对表格解析、键值对解析、正则抽取和实体识别的处理结果进行属性加权评分，选取属性加权评分最高的处理结果作为最佳处理结果；对最佳处理结果进行度量转换，并与交易类别标签、城市标签一起作为结构化抽取结果；根据预设多重分类规则对数据集中所有文本数据记录进行细分的具体步骤如下：根据交易类别标签对数据集中所有文本数据记录进行细分，每个交易类别标签对应一个类别分组；针对每个类别分组，再进一步根据发布时间周期、城市标签、采购单位和代理机构进行细分，使得最终获得的每个分组内所有文本数据记录的类别标签、发布时间周期、城市标签、采购单位以及代理机构均一致；基于网站类型和实体字段对重复文本数据记录进行评分，具体包括：根据预设网站类型评分表获取每个重复文本数据记录的网站评分，根据预设实体字段评分表获取每个重复文本数据记录的每个实体字段的评分，将每个重复文本数据记录的网站评分和实体字段评分相加，得到每个重复文本数据记录的最终评分；根据评分进行重复文本数据记录的合并具体步骤如下：选取评分最高的重复文本数据记录作为源文本数据记录，将其他重复文本数据记录作为辅助文本数据记录；比对源文本数据记录和辅助文本数据记录，将只存在于辅助文本数据记录的内容添加到源文本数据记录中，并删除辅助文本数据记录。

全文数据：

权利要求：

百度查询： 北京拓普丰联信息科技股份有限公司 河南拓普计算机网络工程有限公司 合肥拓普网络系统工程有限责任公司 一种基于文本信息抽取结果的去重方法、系统以及介质