申请/专利权人：宁波深擎信息科技有限公司;上海深擎信息科技有限公司

申请日：2021-11-24

公开（公告）日：2024-06-04

公开（公告）号：CN113987320B

主分类号：G06F16/951

分类号：G06F16/951;G06F16/955;G06F16/84;G06F16/25

优先权：

专利状态码：有效-授权

法律状态：2024.06.04#授权;2022.02.18#实质审查的生效;2022.01.28#公开

摘要：本申请涉及一种基于智能页面解析的实时资讯爬虫方法、装置及计算机设备。所述方法包括：根据每个网站的XPath配置解析详情页面的URL，通过SQL查询组件将待爬取队列登陆到数据库的表中，利用爬虫流水线对详情页面的URL进行爬取，通过预先设置的自动页面解析算法，或通过调用无头浏览器进行页面渲染后对详情页面的HTML文档进行抽取，得到详情页面文章的正文标题、来源和发布时间；计算详情页面文章的MD5并写入数据库中；详情页面文章的正文标题、来源和发布时间和详情页面文章的MD5组成爬虫时刻页面快照；根据预先设置的定时任务和爬虫时刻页面快照对已爬取过的详情页面进行轮询，得到变更的文章列表。采用本方法能够提升爬虫准确率。

主权项：1.一种基于智能页面解析的实时资讯爬虫方法，其特征在于，所述方法包括：获取待爬页面列表；所述待爬页面列表包括实时资讯列表页面的URL和详情列表页面的XPath；根据所述实时资讯列表页面的URL和所述详情列表页面的XPath，得到详情页面的URL；根据每个网站的XPath配置解析详情页面的URL，将所述详情页面的URL写入待爬取队列；通过SQL查询组件将所述待爬取队列登陆到数据库的表中，利用爬虫流水线对所述详情页面的URL进行爬取，得到详情页面的HTML文档；通过预先设置的自动页面解析算法，或通过调用无头浏览器进行页面渲染后对详情页面的HTML文档进行抽取，得到详情页面文章的正文标题、来源和发布时间，包括：通过预先设置的自动页面解析算法对所述详情页面的HTML文档进行抽取，若抽取成功，得到详情页面文章的正文标题、来源和发布时间；将所述详情页面文章的正文标题、来源和发布时间输出到数据库的表中，同时计算详情页面文章的MD5并写入数据库中；所述详情页面文章的正文标题、来源和发布时间和所述详情页面文章的MD5组成爬虫时刻页面快照；根据预先设置的定时任务和所述爬虫时刻页面快照对已爬取过的详情页面进行轮询，得到变更的文章列表；通过预先设置的自动页面解析算法对所述详情页面的HTML文档进行抽取，若抽取成功，得到详情页面文章的正文标题、来源和发布时间，包括：对所述详情页面的HTML文档中的每个包含标签进行文字密度计算，得到每个包含标签的最终得分；其中，得分最高的标签为正文的包含标签；根据所述正文的包含标签，得到详情页面文章的正文标题、来源和发布时间；对所述详情页面的HTML文档中的每个包含标签进行文字密度计算，得到每个包含标签的最终得分，包括：将所述HTML文档转换为Dom文档树，计算所述Dom文档树中的所有包含标签的文字密度；根据所述文字密度、标点符号数，对p标签的加权，对li标签和a标签的惩罚，得到每个包含标签的最终得分为。

全文数据：

权利要求：

百度查询： 宁波深擎信息科技有限公司;上海深擎信息科技有限公司 基于智能页面解析的实时资讯爬虫方法、装置及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD