申请/专利权人:鼎富智能科技有限公司
申请日:2024-03-28
公开(公告)日:2024-06-28
公开(公告)号:CN118260464A
主分类号:G06F16/951
分类号:G06F16/951;G06F40/30;G06N3/0455;G06F18/213;G06F18/22;G06F18/25;G06F18/24;G06F16/35;G06N3/08
优先权:
专利状态码:在审-公开
法律状态:2024.06.28#公开
摘要:本申请提供一种提取网页中感兴趣文本的方法和装置,能基于网页的各种统计特征和语义匹配模型,精准地从网页区域中提取待匹配词条对应的感兴趣文本,适用于任何结构和模板的网页。方法包括:获取待处理网页的DOM树;根据待匹配词条的内容确定决策规则,决策规则用于规定待匹配词条对应的候选DOM块的统计特征需满足的条件,DOM块为DOM树的子树;根据各含有文本的DOM块的统计特征,筛选出满足决策规则中条件的候选DOM块;采用语义匹配模型从至少一个候选DOM块中,确定与待匹配词条的语义相匹配的目标DOM块,语义匹配模型基于Transformer结构;在目标DOM块对应的网页区域中提取待匹配词条对应的感兴趣文本。
主权项:1.一种提取网页中感兴趣文本的方法,其特征在于,包括:获取待处理网页的DOM树;根据待匹配词条的内容确定决策规则,所述决策规则用于规定所述待匹配词条对应的候选DOM块的统计特征需满足的条件,所述DOM块为所述DOM树的子树;根据每一含有文本的DOM块的统计特征,筛选出满足所述决策规则中条件的至少一个候选DOM块;采用语义匹配模型从至少一个所述候选DOM块中,确定与待匹配词条的语义相匹配的目标DOM块,所述语义匹配模型基于Transformer结构;在所述目标DOM块对应的网页区域中提取所述待匹配词条对应的感兴趣文本。
全文数据:
权利要求:
百度查询: 鼎富智能科技有限公司 一种提取网页中感兴趣文本的方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。