龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：武汉达梦数据技术有限公司
申请日：2021-12-24
公开（公告）日：2024-06-21
公开（公告）号：CN114398401B
主分类号：G06F16/2455
分类号：G06F16/2455;G06F16/25
优先权：
专利状态码：有效-授权
法律状态：2024.06.21#授权;2022.05.13#实质审查的生效;2022.04.26#公开
摘要：本发明涉及数据库技术领域，提供了一种SparkJDBC的事务处理方法和装置。其中将分区实时读取到的数据存储到目标缓存中；每当目标缓存中的数据量达到预设条件时，则进行一次事务提交，所述事务提交用于将目标缓存中的数据写入到数据库中；若目标缓存中的数据量未达到预设条件，则等待分区读取数据完成后再进行事务提交；当事务提交出现异常时，选择终止分区读取数据的过程，或令分区继续读取数据。本发明减少了SparkJDBC的资源占用，使SparkJDBC在资源匮乏情况下能够平稳运行。
主权项：1.一种SparkJDBC的事务处理方法，其特征在于，包括：将分区实时读取到的数据存储到目标缓存中；每当目标缓存中的数据量达到预设条件时，则进行一次事务提交，所述事务提交用于将目标缓存中的数据写入到数据库中；若目标缓存中的数据量未达到预设条件，则等待分区读取数据完成后再进行事务提交；当事务提交出现异常时，选择终止分区读取数据的过程，或令分区继续读取数据；所述每当目标缓存中的数据量达到预设条件时，则进行一次事务提交，具体包括：若用户设置了第一阈值时，判断所述目标缓存中的数据的条数是否达到所述第一阈值，若所述目标缓存中的数据的条数达到所述第一阈值，则将所述目标缓存中的数据写入到数据库中；若用户未设置第一阈值时，根据所述目标缓存中的数据的条数和所述目标缓存中的大字段数据的数量，判断是否进行事务提交；所述根据目标缓存中的数据的条数和所述目标缓存中的大字段数据的数量，判断是否提交事务，具体包括：若所述目标缓存中的数据的条数达到第二阈值，则将所述目标缓存中的数据写入到数据库中；若所述目标缓存中的大字段数据的数量达到大字段数量阈值，则将所述目标缓存中的数据写入到数据库中；否则，若所述目标缓存中的数据的条数占所述第二阈值的比值与目标缓存中的大字段数据占所述大字段数量阈值的比值的和大于等于预设总阈值，则将所述目标缓存中的数据写入到数据库中，否则，不进行事务提交。
全文数据：
权利要求：
百度查询： 武汉达梦数据技术有限公司 一种Spark JDBC的事务处理方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号