申请/专利权人：中国科学院新疆理化技术研究所

申请日：2024-03-22

公开（公告）日：2024-06-25

公开（公告）号：CN118246461A

主分类号：G06F40/58

分类号：G06F40/58;G06F40/30;G06F40/211;G06F40/284;G06N20/00;G06F16/332

优先权：

专利状态码：在审-公开

法律状态：2024.06.25#公开

摘要：本发明提供一种基于跨语言表示学习的语义理解方法及装置，该方法从商业数据集中选择语言，选择的语言有阿拉伯语、英语、中文、印度尼西亚语、马来语、菲律宾语、泰语、乌尔都语、孟加拉语、尼泊尔语和僧伽罗语；训练数据集来源于AliExpress语料库，LAZADA语料库，和DARAZ语料库，为了测试模型鲁棒性，还用了BUCC2018语料库和Tatoeba语料库的语言对；用双语词典ConceptNet5.7.0和MUSE生成混合编码知识；将用户问询和对应的标签以混合编码方式替换某些词为其他语言的对应词，然后利用遮蔽技术将混合编码后的结果用于语言模型的持续训练，使得模型拥有多语言的理解能力，在损失函数中引入查询和标签的混合编码相似度，以提前赋予模型语义检索的能力。

主权项：1.一种基于跨语言表示学习的语义理解方法，其特征在于按下列步骤进行：构建数据集并进行预处理：a、收集单语查询语料，从AliExpress、LAZADA和DARAZ语料库中精心挑选了训练数据集，这些数据集覆盖了多种语言，包括阿拉伯语、英语、中文、印度尼西亚语、马来语、菲律宾语、泰语、乌尔都语、孟加拉语、尼泊尔语和僧伽罗语，其中从AliExpress语料库中选取了阿拉伯语、英语和中文；从LAZADA语料库中选取了印度尼西亚语、马来语、菲律宾语和泰语；从DARAZ语料库中选取了乌尔都语、孟加拉语、尼泊尔语和僧伽罗语，LAZADA语料库作为一个混合编码数据集；b、将步骤a选择的数据集中单语数据进行数据处理，利用NiuTrans提供的预处理工具清洗数据，消除非法字符，所有实验数据的目标语言被统一为英语，以便于实现有效的跨语言学习；c、使用Python语言将步骤b处理后的数据进行二次预处理，再次清洗数据、消除空行、消除非法字符和目标端的非英文字符；d、建立全面准确的双语词典，准备查询序列语料及其相应的标签序列语料，确保标签序列与查询序列一一对应；e、从查询序列中挑选部分词汇，在双语词典中找到对应词汇进行替换，生成混合编码的查询序列，同样，在标签序列中选择一些词汇进行替换，得到混合编码的标签序列；f、利用生成的混合编码的查询标签对对预训练语言模型进行持续训练，在训练过程中，考虑询问序列和标签序列的相似程度，以优化模型在后续的跨语言语义检索任、务中的性能；g、进行最终模型的训练，确保模型在混合编码的数据上取得良好的性能。

全文数据：

权利要求：

百度查询： 中国科学院新疆理化技术研究所 基于跨语言表示学习的语义理解方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD