申请/专利权人：深圳市木浪云科技有限公司

申请日：2023-08-17

公开（公告）日：2024-05-31

公开（公告）号：CN116756137B

主分类号：G06F16/215

分类号：G06F16/215;G06F16/22;G06F16/2455

优先权：

专利状态码：有效-授权

法律状态：2024.05.31#授权;2023.10.03#实质审查的生效;2023.09.15#公开

摘要：本申请公开了一种大规模数据对象存储的重删方法、系统及电子设备，其中，大规模数据对象存储的重删方法，包括：获取第一数据片段指纹；加载热数据索引，所述热数据索引包括多组数据片段指纹；其中，所述热数据索引由对所有数据片段索引采用冷热数据分组的方法得到；查询多组所述数据片段指纹中是否存在与所述第一数据片段指纹相同的所述多组数据片段指纹；根据所述查询的结果进行重删操作。上述大规模数据对象存储的重删方法、系统及电子设备，通过统计命中信息，区分冷热索引，仅加载数据片段的热数据索引，从而实现降低重删系统的内存需求。

主权项：1.一种大规模数据对象存储的重删方法，其特征在于，包括：获取待写入数据片段的数据片段指纹；加载热数据索引，所述热数据索引包括由对所有数据片段索引采用冷热数据分组的方法得到的四组索引信息；其中，第一组索引信息为最新的被写入的数据片段的第一数据片段指纹以及对应的数据片段存储信息；第二组索引信息为最近已经被执行重删命中过的第三数据片段指纹，和与第三数据片段指纹对应的数据片段属于相同数据块的数据片段第四数据片段指纹，以及与所述第三数据片段指纹和所述第四数据片段指纹对应的数据片段存储信息；第三组索引信息为一段日期内所有的被写入的数据片段的第二数据片段指纹以及与所述第二数据片段指纹对应的索引桶id；第四组索引信息为按照统计热度排列并存储的第五数据片段指纹以及与所述第五数据片段指纹对应的索引桶id；按照组别由小至大的顺序，依次查询所述四组索引信息中是否存在与所述待写入数据片段的数据片段指纹相同的数据片段指纹；根据所述查询的结果进行重删操作；当查询命中时，即发现所述第一组索引信息或者所述第二组索引信息中存在与所述待写入数据片段的数据片段指纹相同的数据片段指纹时，直接返回数据片段存储信息；发现所述第三组索引信息或所述第四组索引信息中存在与所述待写入数据片段的数据片段指纹相同的数据片段指纹时，基于对应的索引桶id查询并返回数据片段存储信息，所述待写入数据片段不写入数据块中；当查询未命中时，即未发现所述四组索引信息中存在与所述待写入数据片段的数据片段指纹相同的数据片段指纹时，将所述待写入数据片段写入数据块中进行存储。

全文数据：

权利要求：

百度查询： 深圳市木浪云科技有限公司 大规模数据对象存储的重删方法、系统及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD