买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南师范大学

摘要：本发明涉及自然语言处理技术领域，特别涉及一种多模态命名实体识别方法、装置以及计算机设备，通过构建包括有实体感知、视觉区域感知以及三元组感知的特定多模态命名实体识别任务的任务组合对，作为多模态命名实体模型的训练数据，逐步引导多模态命名实体模型通过不同任务特性的任务指令来增强不同模态信息之间的交互，提高多模态命名实体模型命名识别的性能，从而更加准确、有效地进行多模态命名实体识别。

主权项：1.一种多模态命名实体识别方法，其特征在于，包括以下步骤：获得若干个训练文档数据以及训练文档数据的命名识别真实标签数据，其中，所述训练文档数据包括训练感知文本以及训练图像，所述训练感知文本包括实体感知文本、视觉区域感知文本以及三元组感知文本；对若干个所述训练文档数据的训练感知文本以及训练图像进行编码处理，获得若干个所述训练文档数据的训练感知文本表示以及训练图像表示，其中，所述训练感知文本表示包括实体感知文本表示、视觉区域感知文本表示以及三元组感知文本表示；将同一个所述训练文档数据的实体感知文本表示、视觉区域感知文本表示以及三元组感知文本表示分别与所述训练图像表示进行组合，构建若干个所述训练文档数据的训练任务组合对，其中，所述训练任务组合对包括实体感知任务组合对、视觉区域感知任务组合对以及三元组感知任务组合对；将若干个所述训练文档数据的训练任务组合对输入至初始多模态命名实体模型中进行命名识别，根据若干个所述训练文档数据的训练任务组合对以及预设的命名识别算法，获得若干个所述训练文档数据的命名识别预测标签数据，其中，所述命名识别预测标签数据包括实体感知任务以及三元组感知任务对应的命名实体预测概率分布数据、三元组感知任务对应的实体类别预测概率分布数据、视觉区域感知任务以及三元组感知任务对应的视觉区域位置坐标预测概率分布数据，所述命名识别算法为： 式中，为实体感知任务对应的命名实体预测概率分布数据，为命名识别函数，为训练图像表示，为实体感知文本表示，为视觉区域感知任务对应的视觉区域位置坐标预测概率分布数据，为视觉区域感知文本表示，为三元组感知任务对应的命名实体预测概率分布数据，为三元组感知任务对应的实体类别预测概率分布数据，为三元组感知任务对应的视觉区域位置坐标预测概率分布数据，为三元组感知文本表示；根据若干个所述训练文档数据的命名识别预测标签数据以及命名识别真实标签数据，对所述初始多模态命名实体模型进行训练，获得目标多模态命名实体模型；获得待测文档数据的编码表示，所述编码表示包括待测文本表示以及待测图像表示，将所述待测文档数据的编码表示输入至所述目标多模态命名实体模型中进行命名识别，获得所述待测文档数据的命名识别结果。

全文数据：

权利要求：

百度查询： 华南师范大学 多模态命名实体识别方法、装置以及计算机设备