龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京邮电大学
摘要：本发明提出了一种基于视觉指令微调与演示学习增强的多模态讽刺检测方法。该方法将传统的讽刺检测任务重新定义为生成任务，利用生成式多模态大语言模型的强大跨模态交互能力。通过设计指令模板和检索模块，模型能够更好地理解任务目标，并从训练集中检索与输入样本相似的示例作为提示信息，从而提高检测性能。此外，提出了新的测试数据集RedEval，用于评估模型在不同场景下的泛化能力。该方法提高了多模态讽刺检测的准确性和泛化能力，推动了多模态理解和处理技术在复杂情感分析领域的应用。
主权项：1.本发明提供了一种基于视觉指令微调与演示学习增强的多模态讽刺检测方法，并引入新的测试集RedEval评估模型在不同场景中的表现，在模型训练时，该方法包括：步骤一、将输入的图像-文本数据，通过预训练多模态语言模型CLIP的文本和图像编码器，获取图像和文本的嵌入表示；步骤二、通过计算当前输入与训练集中样本的相似度，从训练集中检索选择与当前输入最相似图像-文本对作为示例数据，作为辅助输入；步骤三、将当前样本的文本-图像组合和检索到的示例图像和文本采用设计的指令模板进行格式化，将格式化的指令作为模型的多模态输入；步骤四、将输入的文本信息通过预训练的文本编码器模型进行词嵌入操作，将文本转换为向量表示，使用预训练的视觉编码器模型提取图像特征，从图像特征中捕捉关键信息；步骤五、将视觉特征通过多层感知器，映射到文本的特征空间，实现视觉特征和文本特征的融合，连接大语言模型Vicuna-v1.5-7B；步骤六、使用参数高效微调方法LoRALow-RankAdaptation对视觉-语言模型连接器和大语言模型进行微调，保持视觉编码器参数冻结，仅更新视觉-语言模型连接器和大语言模型的参数；步骤七，计算模型输出结果预测标签与真实标签之间差异的交叉熵损失函数，使用反向传播算法优化模型参数；步骤八、在生成阶段，使用约束解码确保模型的输出仅限于标签集中的结果。
全文数据：
权利要求：
百度查询： 北京邮电大学 一种基于视觉指令微调与演示学习增强的多模态讽刺检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号