申请/专利权人：昆明理工大学

申请日：2022-01-20

公开（公告）日：2024-04-26

公开（公告）号：CN115017884B

主分类号：G06F40/211

分类号：G06F40/211;G06F40/289;G06F40/30;G06N3/0499;G06N3/084;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2022.09.23#实质审查的生效;2022.09.06#公开

摘要：本发明涉及基于图文多模态门控增强的文本平行句对抽取方法，属于自然语言处理技术领域。本发明包括：首先从预构建好的图像数据库中基于词级或实体粒度对齐抽取源语言和目标语言的相关的图像模态信息；然后基于图文多模态门控的方式分别实现源语言和目标语言图文信息的融合，获得图像增强后的文本语义表征；最后将双语表征信息进行融合实现平行句对抽取。所提方法在英语‑越南语、英语‑德语双语平行句对抽取任务上进行了实验，证明了融合图像信息对文本平行句对抽取的有效性。

主权项：1.基于图文多模态门控增强的文本平行句对抽取方法，其特征在于：所述方法的具体步骤如下：Step1、建立多语言图像检索标签库，将不同语种文本进行分词后进行检索语义相关图像，得到图像编号；Step2、使用文本预训练模型得到不同语种文本的文字表征，然后使用ResNet50提取Step1中得到的语义相关图像表征，接着用多模态门控将对应的文本和图像进行融合，得到两种语言的多模态表征；Step3、将Step2得到的不同语种多模态表征进行拼接，然后将拼接后的表征送入前馈神经网络层并且经过sigmoid函数进行映射，从而将平行句对抽取任务转化为分类任务后得到平行句对预测结果；所述Step2的具体步骤如下：Step2.1、用预训练模型提取文本表征：根据公式12得到 其中，对于α语言，为预训练提取文本表征中代表句子级语义特征的[CLS]向量，最终用该向量表示第i句对α语言句子的表征,记作相应的对于β语言，为预训练提取文本表征中代表句子级语义特征的[CLS]向量,最终用该向量表示第i句对β语言句子的表征，记作最终得到文字表征表示一对训练语料句对，其中i代表第i个平行句对，分别代表不同语种句子；z为句子的特征个数；Step2.2、使用ResNet50提取语义相关图像表征，其中对应第i句对α语言的图像可得图像表征对应第i句对β语言的图像可得到图像表征 由此得到文字表征和图像表征Step2.3、将Step2.2得到的文本表征和图像表征根据公式5进行计算，得到门控参数λα，公式5假设当前语种为α，相对应的对于语言β，公式6能得到门控参数λβ，其中，W为线性层参数； 接着，根据公式7、8将公式5、6得到的参数和对应图像表征点乘，得到图文门控去噪后的图像表征 最后，将得到的图像表征与文字表征融合，得到两种语言的多模态表征，采用加性融合策略，融合过程如下式9、10； 所述Step3的具体步骤如下：Step3.1、将Step2得到多模态表征向量给出公式11拼接向量，得到向量Ui，接着给出公式12进行线性变化得到特征向量，最后给出公式13将特征输入Sigmoid函数得到最终分数进行损失计算； A＝ReLUWUi+b12py＝1|A＝SigmoidA+b13。

全文数据：

权利要求：

百度查询： 昆明理工大学 基于图文多模态门控增强的文本平行句对抽取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD