申请/专利权人：平安科技(深圳)有限公司

申请日：2022-03-22

公开（公告）日：2024-06-28

公开（公告）号：CN114610697B

主分类号：G06F16/21

分类号：G06F16/21;G06F18/213;G06F18/2131;G06F18/2415;G06F18/243;G06N3/0442;G06N3/045;G06N3/0464;G06N3/082;G06N5/01;G06N20/20

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2022.06.28#实质审查的生效;2022.06.10#公开

摘要：本发明涉及一种数据迁移方法、装置、计算机设备和存储介质，该方法包括：接收数据迁移指令；其中，数据迁移指令包括：源数据库信息、目标数据库信息、和待迁移数据；获取目标数据库的多源性能数据；从目标数据库的多源性能数据中提取特征数据；将特征数据输入预测模型中，根据特征数据生成多个不同时间尺度的特征数据，并根据多个不同时间尺度的特征数据得到目标数据库的性能预测结果；根据性能预测结果，生成迁移数据的迁移规则，根据迁移规则进行待迁移数据的迁移。上述方法能够提高数据迁移效率。

主权项：1.一种数据迁移方法，其特征在于，所述方法包括：接收数据迁移指令；其中，所述数据迁移指令包括：源数据库信息、目标数据库信息和待迁移数据；获取目标数据库的多源性能数据；从所述目标数据库的多源性能数据中提取特征数据；将所述特征数据输入预测模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标数据库的性能预测结果；根据所述性能预测结果，生成所述迁移数据的迁移规则，根据所述迁移规则进行待迁移数据的迁移；所述预测模型包括第一预测单元和第二预测单元；所述将所述特征数据输入预测模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标数据库的性能预测结果，包括：将所述特征数据输入第一预测单元中，对所述特征数据进行多个时间尺度的离散小波变换，得到各个时间尺度的第一特征矩阵，所述第一预测单元根据所述第一特征矩阵得到所述目标数据库的第一预测结果；将所述特征数据输入第二预测单元中，所述第二预测单元对所述特征数据进行多个不同时间尺度的下采样，得到各个时间尺度的第二特征矩阵，所述第二预测单元根据所述第二特征矩阵得到所述目标数据库的第二预测结果；聚合所述第一预测结果和所述第二预测结果，得到所述目标数据库的性能预测结果；所述第一预测单元包括小波变换模型和XGBoost模型，所述第二预测单元包括CNN模型和GRU模型；所述第一预测单元根据所述第一特征矩阵得到所述目标数据库的第一预测结果，包括：将所述第一特征矩阵输入所述XGBoost模型，得到所述目标数据库性能数据的第一预测结果；所述第二预测单元根据所述第二特征矩阵得到所述目标数据库的第二预测结果，包括：将所述第二特征矩阵输入所述CNN模型进行卷积和池化操作，得到多个时间尺度的第一特征向量；对所述多个时间尺度的第一特征向量进行序列长度的补充，使得所述第一特征向量具有相同维数；将所述第一特征向量输入所述GRU模型，采用所述GRU模型对所述第一特征向量进行时序分析，生成第二特征向量；采用预设长度的全连接层及softmax分类器对所述第二特征向量进行分类评分，得到所述目标数据库性能数据的第二预测结果；所述聚合所述第一预测结果和所述第二预测结果，得到所述目标数据库的性能预测结果，包括：通过预设长度的全连接层聚合所述第一预测结果和所述第二预测结果，输出层输出最终的性能预测结果；所述根据所述性能预测结果，生成所述迁移数据的迁移规则，根据所述迁移规则进行待迁移数据的迁移，包括：根据所述目标数据库的性能预测结果和所述待迁移数据迁出所述源数据库的时间轴，确定所述待迁移数据中的当前目标迁移数据；根据所述数据迁移指令，从预设的模板数据库中确定出与所述数据迁移指令对应的迁移模板，所述迁移模板为事先编辑好的用于数据迁移的脚本框架；将所述源数据库信息、目标数据库信息和迁移对象信息添加到确定出的迁移模板中，以形成迁移脚本程序；执行所述迁移脚本程序以实现当前目标迁移数据的迁移；在所述当前目标迁移数据的迁移过程中，按照预设的时间间隔周期性的生成迁移日志；所述执行所述迁移脚本程序以实现当前目标迁移数据的迁移，包括：当所述数据迁移任务重启之后，从最后记录的数据位置开始继续从所述源数据库向新数据库中迁移所述当前目标迁移数据；其中，所述性能数据包含CUP消耗、内存消耗、每秒sql的执行数；其中，根据性能预测结果，生成迁移数据的迁移规则，根据迁移规则进行待迁移数据的迁移包括：以监测到的随时间变化的数据库性能数据为输入，不断优化算法模型；根据数据模型不断的改进迁移任务的执行周期，充分利用数据库的空闲时间，避开执行高峰期，使得数据迁移过程达到一个最优的效果；监测模块会实时监测数据库的CPU性能，当数据库执行任务过多，CPU占用率达到一个阀值时，会自动停止数据迁移任务，缓解数据库的压力。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 数据迁移方法、装置、计算机设备和存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD