申请/专利权人：华南理工大学

申请日：2022-06-30

公开（公告）日：2024-06-21

公开（公告）号：CN115062115B

主分类号：G06F16/33

分类号：G06F16/33;G06F16/332;G06F16/35;G06N3/0455;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2022.10.04#实质审查的生效;2022.09.16#公开

摘要：本发明公开了一种在对话策略中响应情感类别预测方法。所述方法包括以下步骤：知识增强的对话上下文编码模块通过分层Transformer网络将前M‑1轮的对话历史信息V1:M‑1编码为上下文向量表示X1:M‑1，并融合对话中的对话特征；潜在情感响应学习模块采用变分网络学习语料中从上下文向量表示X1:M‑1到情感响应的映射，从而建模得到潜在分布z；交互情感预测模块将对话上下文编码模块输出的上下文向量表示X1:M‑1和潜在分布z作为输入，预测响应情感E′Y。本发明提出的方法实现响应情感类别的预测，赋予对话代理自适应地进行多样化情感表达的能力，缓解目标文本缺失导致的推断合理性问题。

主权项：1.一种在对话策略中响应情感类别预测方法，其特征在于，包括以下步骤：S1、知识增强的对话上下文编码模块通过分层Transformer网络将前M-1轮的对话历史信息V1:M-1编码为上下文向量表示X1:M-1，并融合对话中的对话特征，提升上下文编码模块的语义表征能力；对于前M-1轮的对话历史信息V1:M-1中的每一轮对话，融合对话文本、任务相关知识和属性信息三种对话特征，每一种对话特征的表示形式均为向量化表示；步骤S1具体包括以下步骤：S1.1、对于第k轮对话中由用户或对话代理产生的对话文本使用BERT模型将对话文本Vk编码为对话文本向量vk；为第k轮中第i个用户或对话代理产生的对话文本；S1.2、对于第k轮对话中包括的任务相关知识采用BERT模型进行知识编码得到任务相关知识向量uk，其中，为第k轮第i个用户的任务相关知识，任务相关知识的编码同样采用BERT模型进行参数初始化；S1.3、对于第k轮对话中的属性信息，将用户角色类型和第k轮对话的情感类别表示为独热向量，并采用一个线性的属性编码网络将该独热向量表示为第k轮对话中的属性信息向量attk；S1.4、对于第k轮对话，通过一个线性前馈网络和一个分层池化操作融合对话文本向量vk、任务相关知识向量uk和属性信息向量attk并得到句子级的编码向量sk：sk＝Hierarchical_poolingWs·[vk；Meanuk；attk]+bs其中，Mean·表示平均池化操作，Ws和bs分别为线性前馈网络的权重和偏置；sk是第k轮对话中的经过分层池化操作Hierarchical_Pooling·处理后得到的句子级的编码向量；分层池化操作首先对原有的句子向量进行n-gram窗口的最大池化操作，再进行平均池化得到最终的句子编码结果；S1.5、采用分层Transformer网络通过多头自注意力机制将前M-1轮对话中的句子级的编码向量sk转换为前M-1轮的上下文向量表示X1:M-1：X1:M-1＝Encoders1:M-1对话级编码网络中的多头注意力机制能够忽略对话的时序关系，捕捉到多轮对话中的长程依赖，从而能够更加有效地提取到与当前响应情感类别预测任务有关的对话历史信息；s1:M-1表示前M-1轮对话的句子级的编码向量，s1:M-1＝s1,s2,…sk,…,sM-1；S2、潜在情感响应学习模块采用变分网络学习语料中从上下文向量表示X1:M-1到情感响应的映射，从而建模得到潜在分布z，潜在分布z能够从语料中学习到情感对话的交互模式，具体包括以下步骤：S2.1、采用先验网络构建情感类别的预测条件c，该先验网络记为pθ，具体如下：将编码前M-1轮的上下文向量表示X1:M-1、当前第M轮对话中对话代理的响应动作以及查询结果的任务相关知识向量uM，构建情感类别预测的条件c，其中，任务相关知识向量uM是根据用户对话匹配的用户意图和对话槽值信息的编码，具体如下： 其中，FF·表示前馈网络；假设潜在分布z服从具有对数协方差矩阵的多元高斯分布，则表示为pθz|c～Nμ,σ2，含义为条件c下潜在分布z的概率满足高斯分布均值μ和方差σ；采用多头注意力机制计算潜在分布z的均值μ和方差σ，具体如下：h＝Hierarchical_PoolingMHc,c,c 其中，MH·表示多头自注意力网络，Hierarchical_Pooling为分层池化操作，Wp和bp分别为多头注意力网络的权重和偏置值，通过神经网络的线性层学习得到；S2.2、将第M轮对话中的对话代理的响应YM视为对话代理的响应目标yM，采用BERT模型将对话代理的响应YM编码得到目标句子的向量vM，vM表示第M轮对话中的对话文本向量，根据前M-1轮对话预测得到；根据条件c和响应目标yM引入分布z′，令分布z′服从在条件c和响应目标yM的情况下分布z′满足均值μ′和方差σ′的高斯分布，记为识别网络；让响应目标yM的分布z′和潜在分布z的分布相接近，分布z′的均值μ′和方差σ′的计算方式为：c′＝Linear[c；vM]h′＝Hierarchical_PoolingMHc′,c′,c′ 其中，Wq和bq分别是h′的权重和偏置值，h′表示分层池化操作的结果；利用重参数技巧根据μ和σ采样出潜在分布z，或从识别网络中根据μ′和σ′采样出分布z′，并将潜在分布z或分布z′应用到解码器中进行对话代理的响应Y的重构；S2.3、根据分布z′进行采样，基于Transformer的解码器网络以向量拼接的形式将潜在分布特征和采样的特征进行融合，具体如下：基于Transformer的解码器网络将条件c和对对话代理的响应YM进行位移和掩盖操作后得到的向量化表示Ymask作为输入，通过Transformer解码块计算后得到输出Tout：Tout＝DecoderYmask,c解码器网络将分布z′的向量与输出Tout进行拼接，通过一个带有Softmax激活的线性层对对话代理的响应YM进行重构，得到预测的响应文本Y′M：Y′M＝softmaxLinear[z′；Tout]S2.4、通过预测的词语分布y′n与真实分布yn之间的交叉熵损失训练解码器网络，其中n是词语的索引，y′n∈Y′M，yn∈YM； 分布z′通过随机梯度变分贝叶斯框架，经由最大化以下的变分下界进行学习得到，具体如下： 的作用是利用KL散度迫使模型保持两个分布相接近；所述变分下界利用KL散度迫使潜在分布z和分布z′相接近；通过联合损失函数和进行训练；S3、交互情感预测模块通过一个带有softmax激活的线性网络实现；交互情感预测模块将对话上下文编码模块输出的上下文向量表示X1:M-1和潜在分布z作为输入，预测响应情感E′Y。

全文数据：

权利要求：

百度查询： 华南理工大学 一种在对话策略中响应情感类别预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD