申请/专利权人：北京数衍科技有限公司

申请日：2021-01-08

公开（公告）日：2024-06-18

公开（公告）号：CN113377812B

主分类号：G06F16/2455

分类号：G06F16/2455;G06F16/16

优先权：

专利状态码：有效-授权

法律状态：2024.06.18#授权;2021.09.28#实质审查的生效;2021.09.10#公开

摘要：本发明提供了大数据的订单去重方法和装置，应用于服务器，包括：接收客户端发送的订单信息，订单信息包括关键字段、账单文件名和订单数据；根据关键字段判断缓存中是否存在布隆过滤器；如果不存在，则加载布隆过滤器；如果存在，则判断账单文件名是否存在于布隆过滤器中；如果不存在，则将订单数据存储到数据库和缓存中，并且将账单文件名添加到布隆过滤器中；如果存在，则通过缓存和数据库对账单文件名进行确认，得到确认结果；其中，关键字段包括硬件标识和销售时间，可以通过布隆过滤器减少内存占用，并且达到高效的去重数据的目的。

主权项：1.一种大数据的订单去重方法，其特征在于，应用于服务器，所述方法包括：接收客户端发送的订单信息，所述订单信息包括关键字段、账单文件名和订单数据；根据所述关键字段判断缓存中是否存在布隆过滤器；如果所述缓存中不存在所述布隆过滤器，则加载所述布隆过滤器；如果所述缓存中存在所述布隆过滤器，则判断所述账单文件名是否存在于所述布隆过滤器中；如果所述账单文件名不存在于所述布隆过滤器中，则将所述订单数据存储到数据库和所述缓存中，并且将所述账单文件名添加到所述布隆过滤器中；如果所述账单文件名存在于所述布隆过滤器中，则通过所述缓存和所述数据库对所述账单文件名进行确认，得到确认结果；其中，所述关键字段包括硬件标识和销售时间；所述加载所述布隆过滤器，包括：根据所述关键字段判断所述数据库中是否存在所述布隆过滤器的持久化信息；如果所述数据库中存在所述布隆过滤器的所述持久化信息，则获取所述持久化信息中的最后更新布隆过滤器的时间；将所述最后更新布隆过滤器的时间作为开始时间；从所述数据库中查找所述开始时间至当前时间内所有的增量订单，并将所述所有的增量订单对应的账单文件名加入到所述布隆过滤器中；如果所述数据库中不存在所述布隆过滤器的所述持久化信息，则从所述数据库中查找所述硬件标识对应的当天所有订单，并将所述当天所有订单加入到所述布隆过滤器中；所述通过所述缓存和所述数据库对所述账单文件名进行确认，得到确认结果，包括：从所述缓存中查询是否存在所述账单文件名；如果所述缓存中存在所述账单文件名，则将所述订单信息进行丢弃处理；如果所述缓存中不存在所述账单文件名，则从所述数据库中查询是否存在所述账单文件名；如果所述数据库中存在所述账单文件名，则将所述订单信息进行丢弃处理；如果所述数据库中不存在所述账单文件名，则将所述订单数据存储到所述数据库和所述缓存中，并且将所述账单文件名添加到所述布隆过滤器中，并向所述客户端发送入库成功的响应信息。

全文数据：

权利要求：

百度查询： 北京数衍科技有限公司 大数据的订单去重方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD