买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京三快在线科技有限公司

摘要：本申请公开了一种匹配文本去重方法，属于计算机技术领域，有助于提升匹配文本去重处理的准确度。所述方法包括：获取待处理的匹配文本列表；根据所述匹配文本列表中每个文本分别构造与所述文本对应的节点，并基于俩俩所述文本之间的相似性构造所述俩俩所述文本对应的节点之间的边，得到文本联通图；对所述文本联通图中包括的所有子联通图进行染色处理，将每个所述子联通图中的节点所对应的文本处理为具有相同的唯一标识；对所述匹配文本列表中具有相同的唯一标识的所述文本，按照预设指标进行去重处理。本申请公开的匹配文本去重方法基于文本相似性和图染色技术标识重复文本，并基于标识结果对推荐文本进行去重处理，适用领域更广，去重效果更好。

主权项：1.一种匹配文本去重方法，其特征在于，包括：获取待处理的匹配文本列表；根据所述匹配文本列表中每个文本分别构造与所述文本对应的节点，并基于俩俩所述文本之间的相似性构造所述俩俩所述文本对应的节点之间的边，得到文本联通图；对所述文本联通图中包括的所有子联通图进行染色处理，将每个所述子联通图中的节点所对应的文本处理为具有相同的唯一标识；对所述匹配文本列表中具有相同的唯一标识的所述文本，按照预设指标进行去重处理；所述对所述文本联通图中包括的所有子联通图进行染色处理，将每个所述子联通图中的节点所对应的文本处理为具有相同的唯一标识的步骤，包括：将所述文本联通图中包括的所有子联通图拆分为有边连接的节点对的集合；将所述集合中的节点对随机存储至分布式部署的计算处理设备；通过所述计算处理设备对本地存储的所述节点对进行染色处理，将每个所述子联通图中的节点所对应的文本处理为具有相同的唯一标识；所述基于俩俩所述文本之间的相似性构造所述俩俩所述文本对应的节点之间的边的步骤之前，还包括：为所述匹配文本列表中每个文本分别初始化一个唯一标识；所述通过所述计算处理设备对本地存储的所述节点对进行染色处理的步骤，包括：通过所述计算处理设备对本地存储的各所述节点对迭代执行相应轮次的染色处理，其中，所述染色处理包括：将所述节点对中各节点的唯一标识设置为该节点对中各节点的唯一标识的最小值；或者，将所述节点对中各节点的唯一标识设置为该节点对中各节点的唯一标识的最大值；所述相应轮次小于或等于所述文本联通图中任意两个节点间最短路径最大值，且小于预设迭代次数阈值。

全文数据：

权利要求：

百度查询： 北京三快在线科技有限公司 匹配文本去重方法、装置、电子设备