申请/专利权人：卓世智星(成都)科技有限公司

申请日：2024-04-10

公开（公告）日：2024-06-21

公开（公告）号：CN118014087B

主分类号：G06F16/35

分类号：G06F16/35;G06N5/04;G06F40/205;G06F18/25

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.05.28#实质审查的生效;2024.05.10#公开

摘要：本发明公开了一种领域数据处理方法及装置，涉及人工智能技术领域。所述方法包括：获取多个候选文本和多个领域代表文本；基于多个领域代表文本和小语言模型，计算每个候选文本相对于多个领域代表文本的正向推理参数；根据候选文本的正向推理参数，从候选文本中确定多个中间文本；基于中间文本和小语言模型，计算每个领域代表文本相对于多个中间文本的逆向推理参数；基于正向推理参数和逆向推理参数，从中间文本中确定目标文本；基于目标文本生成目标领域数据集。本发明通过计算正向推理参数，可初步筛选出中间文本；基于逆向推理参数，可进一步从中间文本中筛选出目标文本，最后将目标文本加入领域数据集中，从而高效收集领域数据。

主权项：1.一种领域数据处理方法，其特征在于，所述方法包括：获取候选数据集以及指定领域对应的领域数据集，所述候选数据集中包括多个候选文本，所述领域数据集中包括多个领域代表文本；基于所述多个领域代表文本和小语言模型，计算每个所述候选文本相对于所述多个领域代表文本的正向推理参数，包括：针对每个所述候选文本，计算在各个领域代表文本作为条件时，小语言模型对所述候选文本的困惑度，得到候选文本对应的多个正向中间参数；基于所述候选文本对应的多个中间正向参数，计算所述候选文本的正向推理参数；根据每个所述候选文本的正向推理参数，从所述多个候选文本中确定多个中间文本，包括：从所有所述候选文本的正向推理参数中确定第一参数和第二参数，其中，所述第一参数为所有所述候选文本的正向推理参数中的最小值，所述第二参数为所有所述候选文本的正向推理参数中的最大值；利用所述第一参数和所述第二参数，计算待使用阈值；将所述正向推理参数小于所述待使用阈值的候选文本确定为中间文本；基于所述多个中间文本和小语言模型，计算每个所述领域代表文本相对于所述多个中间文本的逆向推理参数，包括：针对每个所述领域代表文本，计算在各个中间文本作为条件时，小语言模型对所述领域代表文本的困惑度，得到领域代表文本对应的多个逆向中间参数；基于领域代表文本对应的多个逆向中间参数，计算所述领域代表文本的逆向推理参数；基于所述中间文本的正向推理参数以及每个所述领域代表文本的逆向推理参数，从所述多个中间文本中确定目标文本，包括：对所有领域代表文本对应的逆向推理参数进行排序处理，得到逆向参数序列；基于所述逆向参数序列和指定权重，计算指定阈值；将所述正向推理参数小于所述指定阈值的中间文本，确定为第一文本；将所述正向推理参数不小于所述指定阈值的中间文本，确定为第二文本；根据所述第二文本和所述多个领域代表文本，从所述第二文本中确定第三文本；将所述第一文本和所述第三文本作为目标文本；根据所述目标文本和所述多个领域代表文本，生成所述指定领域对应的目标领域数据集。

全文数据：

权利要求：

百度查询： 卓世智星(成都)科技有限公司 一种领域数据处理方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD