首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】一种海量数据平滑迁移方法和系统_天翼数字生活科技有限公司_202211461666.8 

申请/专利权人:天翼数字生活科技有限公司

申请日:2022-11-17

公开(公告)日:2024-06-18

公开(公告)号:CN115757345B

主分类号:G06F16/21

分类号:G06F16/21;G06F16/23

优先权:

专利状态码:有效-授权

法律状态:2024.06.18#授权;2023.03.24#实质审查的生效;2023.03.07#公开

摘要:本发明公开一种海量数据平滑迁移方法和系统,根据用户账号的历史行为数据制定用户账号的优先级,优先级高的用户账号优先迁移数据,增量数据优先进入新数据库,并在迁移过程中插入修改锁定,保证数据一致性的同时,大大加快了迁移速度,同时,还在完成每个用户账号的数据迁移后,对用户账号的数据信息进行指纹数据计算,得出具备唯一性的新旧数据指纹,比较新旧数据指纹,确保了迁移前后用户数据完整性,也进一步保证了迁移前后的用户数据一致性,解决了现有的海量数据迁移方式迁移速度慢,且难以保证迁移数据的一致性和完整性的技术问题。

主权项:1.一种海量数据平滑迁移方法,其特征在于,包括:S1、获取所有用户账号的历史行为数据,根据每个用户账号的历史行为数据对每个用户账号进行优先级划分,其中,优先级包括高级、中级和低级,具体包括:获取所有用户账号的历史行为数据,根据用户账号的历史行为数据中的核心活跃操作频率对每个用户账号进行优先级划分,将第一预置时段内有核心活跃操作的用户账号划分为高级用户账号,将第二预置时段内有核心活跃操作的用户账号划分为中级用户账号,将第三预置时段内无核心活跃操作的用户账号划分为低级用户账号,其中,核心活跃操作包括登录验证、上传文件、下载文件和分享文件,第一预置时段早于第二预置时段,第二预置时段早于第三预置时段;S2、按优先级分批次依次迁移高级用户账号数据、中级账号数据和低级账号数据,在迁移用户账号数据时,锁定用户账号的数据写入和修改权限,在迁移用户账号数据完成后,开放用户账号的数据写入和修改权限;S3、在完成每个用户账号的数据迁移后,根据预置数据指纹生成算法计算用户账号的新数据指纹和旧数据指纹,其中,新数据指纹为迁移到新数据库中的用户账号的数据指纹,旧数据指纹为被迁移数据的旧数据库中的用户账号的数据指纹;步骤S3具体包括:S31、统计旧数据库中每个用户账号的数据信息,数据信息包括账号名、迁移表的个数、数据行数和总迁移数据大小;S32、对用户账号的每个数据信息在中括号中以逗号分隔,生成第一数据统计信息字符串;S33、应用散列函数SHA256对第一数据统计信息字符串进行计算,得到用户账号的旧数据指纹;S34、统计新数据库中每个用户账号的数据信息,对用户账号的每个数据信息在中括号中以逗号分隔,生成第二数据统计信息字符串,应用散列函数SHA256对第二数据统计信息字符串进行计算,得到用户账号的新数据指纹;S4、将用户账号的新数据指纹和旧数据指纹进行比较;S5、若用户账号的新数据指纹和旧数据指纹一致,则判断用户账号数据已全部完整迁移,结束用户账号数据的迁移;S6、若用户账号的新数据指纹和旧数据指纹不一致,则对用户账号迁移的数据进行查错补缺,返回步骤S4。

全文数据:

权利要求:

百度查询: 天翼数字生活科技有限公司 一种海量数据平滑迁移方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。