买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京衔远有限公司

摘要：本公开提供了一种基于跨模态特征匹配的产品包装文案生成方法及装置。该方法包括：基于产品图像，通过自动生成图像描述性文字的算法生成描述目标产品的第二产品文本；从第一产品文本和第二产品文本中提取宣传目标产品的目标关键词；提取目标关键词的跨模态目标特征，提取产品宣传图库中各张产品宣传图像的跨模态图像特征；通过计算跨模态目标特征和各条跨模态图像特征之间相似度的方法，从产品宣传图库中确定出目标产品对应的目标宣传图像；基于目标关键词和目标宣传图像，利用图生图模型生成目标产品的产品包装文案。采用上述技术手段，解决现有技术中生成的文案质量差以及缺乏新颖性和创意的问题。

主权项：1.一种基于跨模态特征匹配的产品包装文案生成方法，其特征在于，包括：获取目标产品的产品图像和描述所述目标产品的第一产品文本，以及获取产品宣传图库，其中，所述产品宣传图库包含不同产品的多张产品宣传图像；基于所述产品图像，通过自动生成图像描述性文字的算法生成描述所述目标产品的第二产品文本；从所述第一产品文本和所述第二产品文本中提取宣传所述目标产品的目标关键词；提取所述目标关键词的跨模态目标特征，提取所述产品宣传图库中各张产品宣传图像的跨模态图像特征；通过计算所述跨模态目标特征和各条跨模态图像特征之间相似度的方法，从所述产品宣传图库中确定出所述目标产品对应的目标宣传图像；基于所述目标关键词和所述目标宣传图像，利用图生图模型生成所述目标产品的产品包装文案；其中，基于所述目标关键词和所述目标宣传图像，利用图生图模型生成所述目标产品的产品包装文案，包括：所述图生图模型内部包括边缘检测网络、transformer网络、扩散网络和多模态生成网络；将所述目标关键词和所述目标宣传图像输入所述图生图模型，在所述图生图模型内部：通过所述边缘检测网络处理所述目标宣传图像，得到黑白边缘图；通过所述transformer网络分别处理所述黑白边缘图和所述目标关键词，得到边缘图特征和关键词特征；通过所述扩散网络处理所述边缘图特征和所述关键词特征，得到符合所述第一产品文本和所述第二产品文本描述的产品包装图像；通过所述多模态生成网络处理所述第一产品文本、所述第二产品文本和产品包装图像，得到所述产品包装文案；其中，基于所述目标关键词和所述目标宣传图像，利用图生图模型生成所述目标产品的产品包装文案之前，所述方法还包括：构建编码网络、特征处理网络以及所述编码网络对应的解码网络；利用编码网络、所述特征处理网络以及解码网络构建图像处理分支；利用所述编码网络、所述特征处理网络和注意力网络构建关键词处理分支；利用所述图像处理分支和所述关键词处理分支构建所述扩散网络。

全文数据：

权利要求：

百度查询： 北京衔远有限公司 基于跨模态特征匹配的产品包装文案生成方法及装置