Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 恭喜复旦大学邱锡鹏获国家专利权

恭喜复旦大学邱锡鹏获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网恭喜复旦大学申请的专利基于有监督对比学习与回复生成辅助的对话情感识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114091478B

龙图腾网通过国家知识产权局官网在2025-04-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111444136.8,技术领域涉及:G06F40/35;该发明授权基于有监督对比学习与回复生成辅助的对话情感识别方法是由邱锡鹏;李世民;周雅倩设计研发完成,并于2021-11-30向国家知识产权局提交的专利申请。

基于有监督对比学习与回复生成辅助的对话情感识别方法在说明书摘要公布了:本发明提供一种基于有监督对比学习与回复生成辅助的对话情感识别方法,首先,由于构建的预训练模型CoG‑BART,采用对话级Transformer模块对待测对话进行上下文建模,从而解决了话语之间的长距离依赖问题,同时由于整体模型架构均由Transformer组成,因此引入了更少的结构先验假设;其次,由于采用了有监督对比学习来训练模型,在充分利用标签信息的情况下,不仅能够增加模型训练时的稳定性并增强模型的泛化性,还使得相同情感的样本间内聚,不同情感的样本相互斥,因此改进了相似情感难以区分的问题;最后,由于辅助性回复生成任务能够根据给定的上文信息获取更准确的下文,从而使得模型在判断话语情感时能考虑更加丰富的上下文信息,提升模型识别对话的情感标签的精确性。

本发明授权基于有监督对比学习与回复生成辅助的对话情感识别方法在权利要求书中公布了:1.一种基于有监督对比学习与回复生成辅助的对话情感识别方法,其特征在于,包括以下步骤:步骤S1,基于编码器-解码器构建预训练模型CoG-BART,所述预训练模型CoG-BART具有对话级Transformer模块以及共享嵌入层;步骤S2,采用所述预训练模型CoG-BART对训练用对话进行话语编码获取所述训练用对话所包含的话语的隐状态;步骤S3,所述预训练模型CoG-BART基于所述话语的隐状态和上下文文本对进行辅助性回复生成任务并计算生成损失,同时将所述隐状态输入至所述对话级Transformer模块进行话语的上下文建模得到新的话语隐状态;步骤S4,基于所述新的话语隐状态计算有监督对比学习损失和交叉熵损失;步骤S5,基于所述生成损失、有监督对比学习损失以及交叉熵损失计算总体训练损失,并对所述预训练模型CoG-BART进行训练,直至获得训练好的预训练模型CoG-BART并将其作为对话情感识别模型;步骤S6,将包含若干句子的待测对话输入至对话情感识别模型进行情感识别并输出待测对话中若干句子对应的情感标签,其中,所述上下文文本对基于所述训练用对话生成,所述步骤S2包括以下子步骤:步骤S2-1,将所述训练用对话中的一个话语与对应的说话者进行拼接得到拼接后的话语: 式中,ut为所述训练用对话中的话语,put为话语ut的说话者;步骤S2-2,对所述拼接后的话语进行词块化得到词块化的话语: 式中,wt,i表示词块化后的词块,|nt|表示第t轮话语进行词块后的序列长度,s和s分别表示句子开始和结束的特殊词块;步骤S2-3,将所述词块化的话语依次输入至所述共享嵌入层以及编码器获取与所述词块化的话语对应句子表示即所述话语的隐状态: 式中,Ht表示嵌入后的句子表示,为经过编码的句子表示,其中,s,d分别表示序列长度和隐状态维度,在所述步骤S3中,所述上下文建模包括以下子步骤:步骤S3-1,将经过编码的句子表示通过最大池化获取每个话语的聚合表示 式中,M表示对填补上的位置进行掩码操作;步骤S3-2,针对一个上下文中的所有对话,基于多头注意力机制计算每两个不同话语之间的多头注意力,并对所述每个话语的不同特征进行聚合获取最终的隐状态表示,所述每两个不同话语的隐状态的多头注意力的计算公式为: MultiHeadQ,K,V=[head1;…;headn]WO式中,Q、K、V分别表示将两个不同话语的隐状态与三个可训练参数矩阵WiQ、WiK、WiV相乘得到的查询向量、键向量以及值向量,M表示掩码向量,WO表示将各个注意力头headi中的信息进行聚合的参数向量;步骤S3-3,基于所述对话级Transformer模块进行上下文依赖关系的建模获取所述新的话语隐状态: 式中,表示窗口中的某个对话,表示一段对话中窗口大小bs内的对话,表示进行上下文建模后的所述新的话语隐状态,在所述步骤S3中,所述辅助性回复生成任务为:所述预训练模型CoG-BART基于上文ut生成对应的下文ut+1,所述下文ut+1中的每一个词块的隐状态由解码器序列输出: 式中,BART-Encoder和BART-Decoder分别表示所述预训练模型CoG-BART的编码器和解码器,编码器对话语隐状态Ht进行编码后生成编码后的隐状态由解码器生成下一个词块的隐状态并通过Softmax函数得到词块ut+1,j。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人复旦大学,其通讯地址为:200433 上海市杨浦区邯郸路220号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。