买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东南方智媒科技有限公司

摘要：本发明提供了一种基于节点提取的网页类别判定方法、装置及终端设备，根据预设的间隔周期提取网页信息，并通过获取的网页信息分别计算两次提取网页信息的PR值、计算两次提取网页信息的第一参数和计算两次提取网页信息之间的相似度，并进行加权计算，获得每个网页的分数，从而进行网页类别的区分。通过网页类别的区分，能够减少网络爬虫对列表页的提取次数，减少了资源的损耗。同时使系统有更多的内存去进行正文页内容的分析提取，提高正文提取准确率。

主权项：1.一种基于节点提取的网页类别判定方法，其特征在于，包括：提取多个网页信息，并根据所述多个网页信息，获取每个网页的第一内容和第二内容；其中，第一内容和第二内容的获取时间节点不同；所述提取多个网页信息，并根据所述多个网页信息，获取每个网页的第一内容和第二内容，具体为：根据所述多个网页信息，提取每个网页的宽度数据、高度数据和多个节点数据；其中，每个节点数据包括一个节点的位置数据、标签名数据和文本内容数据；根据在每个网页中获取的宽度数据、高度数据，计算中心点的位置数据；根据在每个网页中获取的节点的位置数据，计算所述节点到所述中心点的距离数据；根据每个网页中的所述距离数据确定第一节点，并通过所述第一节点获取每个网页的文本内容，作为每个网页的所述第一内容；在间隔第一预设时间之后，重新提取所述多个网页的宽度数据、高度数据和节点数据，获取每个网；页的所述第二内容；其中所述文本内容包括：第一文本内容和第二文本内容；所述根据每个网页中的所述距离数据确定第一节点，并通过所述第一节点获取每个网页的文本内容，具体为：在每个网页中选择所述距离数据最小的节点为第一节点；若所述第一节点的标签名数据是段落元素，则将所有标签名为段落元素的节点的文本内容数据进行合并，获得每个网页的第一文本内容；若所述第一节点的标签名不是段落数据，则根据所述中心点的位置数据确定中心区域，合并中心区域中的节点的文本内容数据，获得每个网页的第二文本内容；分别计算每个网页中第一内容和第二内容之间的相似度；分别计算各第一内容的PageRank值和各第二内容的PageRank值，获得各网页对应的第一PR值和第二PR值，以及计算每个网页中外链节点的第一参数；其中，所述第一参数为外链指回自身的参数；根据每个网页对应的第一PR值、第二PR值、第一参数和相似度，结合预设的加权算法，获得每个网页的分数，并根据全部网页的分数，对每个网页进行网页类别的区分；其中，网页类别包括列表页和正文页；所述根据每个网页对应的第一PR值、第二PR值、第一参数和相似度，结合预设的加权算法，获得每个网页的分数，并根据全部网页的分数进行网页类别的区分，具体为：对每个网页的第一PR值、第二PR值、第一参数和相似度，进行加权计算，根据网格搜索法进行每个维度的定权值的获取，从而加权各个维度，获得每个页面的分数；对所有页面的分数进行从高到低的排序，前N％的网页判定为列表页，其余的判定为内容页；其中，N为正数。

全文数据：

权利要求：

百度查询： 广东南方智媒科技有限公司 一种基于节点提取的网页类别判定方法、装置及终端设备