申请/专利权人：云账户技术(天津)有限公司

申请日：2023-03-14

公开（公告）日：2023-05-30

公开（公告）号：CN115905300B

主分类号：G06F16/242

分类号：G06F16/242;G06F16/22;G06F16/25;G06F18/25

优先权：

专利状态码：有效-授权

法律状态：2023.05.30#授权;2023.04.21#实质审查的生效;2023.04.04#公开

摘要：本发明提供一种TiDB数据库的存量和增量数据融合捕获的方法及装置，该方法包括：获取数据融合捕获请求；根据该请求执行存量数据捕获任务后，再执行增量数据捕获任务；其中，执行存量数据捕获任务为：记录获取到该请求的第一时间点；将第一时间点转换为第一时间戳；调用SQL客户端；基于SQL客户端，获取该库表的存量数据，并对其进行解析；将解析后的数据的数据格式转换为目标数据格式后，进行存储；执行增量数据捕获任务为：将第一时间点确定为起始时间点；实时获取更新日志数据，并对其进行解析；将解析后的数据转换为目标数据格式后，进行存储。由此，可对TiDB数据库实现无缝且高效的存量数据与实时增量数据的融合捕获。

主权项：1.一种TiDB数据库的存量和增量数据融合捕获的方法，其特征在于，所述方法包括：获取用户发起的数据融合捕获请求；其中，所述数据融合捕获请求用于指示对待捕获的数据库表中的存量数据和增量数据进行融合捕获；根据所述数据融合捕获请求，执行存量数据捕获任务后，再执行增量数据捕获任务；其中，所述执行存量数据捕获任务包括：记录获取到所述数据融合捕获请求的第一时间点；将所述第一时间点转换为第一时间戳；其中，所述TiDB数据库中，存储有时间点和时间戳的对应关系；以所述第一时间戳为快照时间，以所述待捕获的数据库表为待处理任务，调用SQL客户端；基于所述SQL客户端，获取所述待捕获的数据库表的存量数据；并解析所述存量数据；将解析后的存量数据的数据格式转换为目标数据格式后，进行存储；所述执行增量数据捕获任务包括：将所述第一时间点确定为所述增量数据捕获任务的起始时间点；从所述起始时间点开始，实时获取更新日志KVChangeLog数据；其中，在所述待捕获的数据库表的增量数据产生时，对应生成所述更新日志KVChangeLog数据；解析所述更新日志KVChangeLog数据；将解析后的所述更新日志KVChangeLog数据的数据格式转换为所述目标数据格式后，进行存储；其中，所述TiDB数据库包括：数据捕获配置中心、存量数据捕获组件、增量数据捕获组件、TiDBServer、TiKVServer、融合捕获状态协调器以及融合捕获数据存储组件；所述TiDBServer利用所述SQL客户端查询所述存量数据，将所述存量数据进行解析，并转换为所述目标数据格式后，发送至所述融合捕获数据存储组件进行数据存储；所述增量数据捕获组件与所述TiKVServer进行对接，能够接收所述TiKVServer实时推送的所述更新日志KVChangeLog数据，将所述更新日志KVChangeLog数据进行解析，并转换成所述目标数据格式后，发送至所述融合捕获数据存储组件进行数据存储；所述数据捕获配置中心用于接收用户发出的所述数据融合捕获请求，并将所述数据融合捕获请求下发至所述融合捕获状态协调器；所述融合捕获状态协调器用于协调所述存量数据捕获组件和所述增量数据捕获组件，从而将所述存量数据与所述增量数据进行对齐；其中，所述目标数据格式是根据用户需要而设定的。

全文数据：

权利要求：

百度查询： 云账户技术(天津)有限公司 一种TiDB数据库的存量和增量数据融合捕获的方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD