买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜福州大学申请的专利基于知识增强与上下文感知的对话状态追踪方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114564568B 。

龙图腾网通过国家知识产权局官网在2025-03-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210182490.6，技术领域涉及：G06F16/3329；该发明授权基于知识增强与上下文感知的对话状态追踪方法及系统是由陈羽中;林宇航设计研发完成，并于2022-02-25向国家知识产权局提交的专利申请。

本基于知识增强与上下文感知的对话状态追踪方法及系统在说明书摘要公布了：本发明涉及一种基于知识增强与上下文感知的对话状态追踪方法及系统，该方法包括以下步骤：步骤A：采集对话上下文和对话状态数据，构建对话训练集；步骤B：使用训练集，训练基于知识增强的深度学习网络模型；步骤C：将用户与系统的对话数据依次输入深度学习网络模型中，输出当前的对话状态。该方法及系统有利于提高对话状态追踪的准确性。

本发明授权基于知识增强与上下文感知的对话状态追踪方法及系统在权利要求书中公布了：1.一种基于知识增强与上下文感知的对话状态追踪方法，其特征在于，包括以下步骤：步骤A：采集对话上下文和对话状态数据，构建对话训练集TS；步骤B：使用训练集TS，训练基于知识增强的深度学习网络模型G；步骤C：将用户与系统的对话数据依次输入深度学习网络模型G中，输出当前的对话状态；所述步骤B具体包括以下步骤：步骤B1：对于训练集TS中的一个对话样本的第t回合对话进行编码，得到初始表征向量所述第t回合对话为当前对话、对话历史以及对话状态的拼接；步骤B2：将对话状态的初始表征向量输入到多头注意力机制模块，得到注意力增强后的对话状态语义表征向量步骤B3：将步骤B2得到的注意力增强后的对话状态语义表征向量与对话历史初始表征向量做交叉注意力门控融合，得到对话历史与对话状态的融合表征向量步骤B4：将当前回合对话的初始表征向量与步骤B3得到的融合表征向量进行词级别拼接，得到对话上下文表征向量步骤B5：将增强后的域-槽描述通过BERT编码得到初始表征向量将增强后的域-槽描述输入知识提取模块得到对应的知识嵌入表征向量然后将得到的初始表征向量和知识嵌入表征向量进行融合，得到知识增强后的域-槽描述表征向量步骤B6：将步骤B4得到的对话上下文表征向量与步骤B5得到的表征向量进行注意力建模，得到包含上下文信息的知识增强的域-槽表征向量步骤B7：将步骤B6得到的所有的域-槽表征向量经过多头注意力建模，得到最终的域-槽表征向量ΥS；步骤B8：对步骤B7得到的域-槽表征向量与对应域-槽对的候选槽值通过编码后的表征向量Vj'∈Vj进行相似度匹配，选择最相似的槽值作为预测结果；将预测值与真实值进行比对计算损失，利用反向传播算法计算深度网络中各参数的梯度，并利用随机梯度下降算法更新参数；步骤B9：当深度学习网络模型产生的损失值小于设定的阈值或达到最大的迭代次数时，终止深度学习模型G的训练；所述步骤B1具体包括以下步骤：步骤B11：对话训练集表示为其中N表示训练样本数也即多少个多回合对话样本；n表示每一个多回合对话的回合数，Dt,Bt-1,Ht表示对话训练集中的一个回合的训练样本；其中Dt表示当前回合对话，表示除了当前回合对话外的对话历史，Bt-1表示当前对话状态且其是模型在预测过程中产生的；因此，模型的输入为其中[cls]与[sep]为特殊token，用来分隔输入的各个部分；步骤B12：将步骤B12的结果Xt经过BERT编码后拆分得到对应三个部分初始表征：其中L为当前对话的长度，Lh为当前对话历史的长度，J表示当前对话状态的长度，d为token表征向量的维度；所述步骤B2具体包括以下步骤：步骤B21：将步骤B12输出的历史对话状态部分经过多头注意力建模： 其中，为可学习权重参数，SelfAttentionQ,K,V,MultiHeadAttentionQ,K,V分别为自注意力与多头注意力机制，Concat·函数将h个自注意力头的输出拼接起来；步骤B22：将步骤B21的多头输出的拼接结果映射到原空间，得到注意力增强后的对话状态语义表征向量 其中，为可学习的参数矩阵；所述步骤B3具体包括以下步骤：步骤B31：计算交互注意力矩阵： 其中，为分别对应对话历史与对话状态的可学习的权重参数矩阵，AT表示矩阵转置，ab→h,ah→b分别为对话状态对于对话历史以及对话历史对于对话状态的交互注意力矩阵；步骤B32：根据步骤B31得到的交互注意力矩阵ah→b,ab→h，计算交互上下文表征： 步骤B33：计算步骤B32得到的两个上下文表征的融合权重，根据融合权重融合二者：L'＝maxJ,Lh 其中，max·函数获得输入长度的最大值L'；Paddingx,y,z将二者维度向较大者对齐，不足补z＝0；为可学习的参数矩阵；σ·为激活函数，⊙表示矩阵点积，最终得到融合后的上下文表征向量所述步骤B4中，将步骤B33得到的融合后的上下文表征向量与步骤B12得到的当前回合对话的初始表征拼接得到汇总的上下文信息 其中，|操作表示token序列级别的拼接，长度变化为L'+J表示按长度方向拼接；所述步骤B5具体包括以下步骤：步骤B51：将增强后的域-槽描述通过BERT编码得到初始表征向量 其中，BERTfixed表示该BERT不参与训练，表示增强槽描述的嵌入序列长度，表示增强槽描述；步骤B52：将增强后的域-槽描述通过知识提取模块得到域槽知识表征 其中，KE表示获得ConceptNet知识嵌入的函数，表示增强槽描述的嵌入序列长度；步骤B53：将步骤B51得到与B52得到的知识嵌入拼接后得到： 其中，dk表示ConceptNet知识嵌入的维度，“；”表示拼接操作，Uj表示槽的拼接知识嵌入后的表示；步骤B54：对步骤B53得到的表征用自注意力机制来进一步计算二者的融合信息： 其中，表示的第一个token表征向量，表示所有增强后的槽表征的集合；步骤B55：为了不丢失原来的槽信息，将步骤B54融合后的结果与步骤B51输出的[CLS]位置拼接后得到： 步骤B56：将步骤B55得到的所有槽表征经过一个全连接层和LayerNorm层得到最终槽表征 其中，为可学习的参数矩阵；所述步骤B6中，将增强后的域槽表示与上下文进行多头交叉注意力建模： 其中，包含了增强域槽表示与上下文的信息；所述步骤B7具体包括以下步骤：步骤B71：将得到的域槽表征输入Latt层多头注意力层，令对于第l层自注意力层： 其中，W1F为可学习的参数矩阵，为偏置项；步骤B72：将B71的输出输入一个线性层和LayerNorm层，得到最终的融合了上下文信息与知识信息的域槽表征ΥS： 其中，表示第j个槽的表征，ΥS表示所有槽表征的集合；所述步骤B8具体包括以下步骤：步骤B81：对于每一个槽，先将候选值通过BERT编码得到值征 其中表示第j个槽的第i个候选值，最后取的[cls]位作为最终值表征将每一个候选值编码后得到候选值集合由于每一个槽的候选值个数不同，故i的取值范围不同；步骤82：将B81得到的所有候选值表征与B72得到的槽表征计算语义距离，然后选择具有最小距离的槽值作为槽Sj的最终预测结果；这里使用L2范数作为距离度量；在训练阶段，计算在t回合时槽Sj的真实值的概率为： 将获得概率最大的值作为预测值；其中exp·表示指数函数，||·||2表示L2范数；步骤B83：模型被训练去最大化所有槽的联合概率，即每个回合t的损失函数定义为负对数似然的累加： 步骤B84：将B83计算得到的损失通过梯度优化算法AdamW进行学习率更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。