龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：北京大学重庆大数据研究院
申请日：2022-11-03
公开（公告）日：2024-06-25
公开（公告）号：CN115774564B
主分类号：G06F8/70
分类号：G06F8/70;G06F9/54;G06F16/951
优先权：
专利状态码：有效-授权
法律状态：2024.06.25#授权;2023.03.28#实质审查的生效;2023.03.10#公开
摘要：本申请公开了一种任务处理方法、装置及电子设备。其中，该方法包括：获取多个任务，其中，多个任务至少包括一个爬虫框架中的多套代码，每套代码对应一个任务；接收客户端发送的调用请求；依据调用请求，将目标任务分配给调用请求所请求调用的客户端，其中，目标任务为多个任务中的至少一个任务；确定多个任务的任务执行状态，依据任务执行状态确定与任务执行状态对应的动作。本申请解决了现有技术中执行多个爬虫框架中的代码时存在管理困难的技术问题。
主权项：1.一种任务处理方法，其特征在于，应用于服务器，包括：获取多个任务，其中，所述多个任务至少包括一个爬虫框架中的多套代码，每套代码对应一个任务；接收客户端发送的调用请求；依据所述调用请求，将目标任务分配给所述调用请求所请求调用的客户端，其中，所述目标任务为所述多个任务中的至少一个任务；确定所述多个任务的任务执行状态，依据所述任务执行状态确定与所述任务执行状态对应的动作；获取多个任务之后，还包括：依据配置信息分别对所述多个任务进行配置，得到多个第一任务，其中，所述配置信息包括以下至少之一：任务名称、所述多个任务中每个任务所需的并发数，所述并发数至少依据所述多个第一任务的优先级确定，且所述并发数的数量与所述优先级呈正相关；从所述多个第一任务中确定第二任务，其中，所述第二任务为所述多个第一任务中的任意一个任务；至少依据所述第二任务的任务名称判断所述第二任务是否存在缓存池中；在所述缓存池中不存在所述第二任务时，将所述第二任务发送至所述缓存池中；将目标任务分配给所述调用请求所请求调用的客户端，包括：依据所述调用请求中的目标任务名称，查询所述缓存池中是否存在与所述目标任务名称一致的任务；在所述缓存池中存在与所述目标任务名称一致的任务时，将与所述目标任务名称一致的任务作为所述目标任务分配给所述调用请求所请求调用的客户端。
全文数据：
权利要求：
百度查询： 北京大学重庆大数据研究院 任务处理方法、装置及电子设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号