申请/专利权人：电子科技大学

申请日：2024-01-27

公开（公告）日：2024-04-26

公开（公告）号：CN117931851A

主分类号：G06F16/2452

分类号：G06F16/2452;G06F18/214;G06F40/30;G06F16/901;G06F16/903;G06N3/042;G06N3/0455;G06N3/045

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明属于自然语言处理技术领域，具体涉及一种基于图注意力扩散的Text‑to‑SQL方法。本发明在异构图构建时，采用了SDP语义分析，丰富了建图结果，获得了更多有利的边关系。在关系图注意力网络中，增加了注意力扩散机制，将单挑节点之间的注意力扩散为多跳节点之间的注意力，加强了模型的考虑范围，使得模型在跨领域的情况下也能获得很好的效果。

主权项：1.一种基于图注意力扩散的Text-to-SQL方法，其特征在于，包括以下步骤：S1、利用已知数据库构建训练数据，具体为将数据处理为一个问题、与问题相关的表格、一个标签的格式作为一条训练数据；S2、从训练数据中抽取问题、表格，使用词嵌入模型进行处理，将得到的编码后的每个单词作为异构图G中的节点xi；S3、构建异构图中各个节点之间的关系rij，具体为，对问题进行SDP语义分析，通过将动词或谓词的主要论元或主语进行连接、动词或谓词的次要论元或宾语进行连接、两个或两个以上单独的词组成的复合词进行连接，建立由问题得到的节点之间的连接；对表格进行结构分析，通过将同一表格中不同的列进行连接，建立由表格得到的节点之间的连接；对问题和表格进行字符匹配，通过将完全匹配的由问题获得的单词与由表格获得的单词进行连接，建立由问题获得的节点和表格获得的节点之间的连接；最终得到构建好的异构图G；S4、构建图注意力扩散Text-to-SQL模型，具体为使用Encoder-Decoder框架，包括编码层和解码层；其中编码层通过关系图注意力网络层注意力扩散层进行编码，具体为：关系图注意力网络的计算方法是： 其中，WQ、WK、WV表示参数矩阵，函数Ψtij返回关系rij的特征向量，d代表了特征维度，H代表注意力头数；最后计算得出的Ai为异构图G节点之间的单跳注意力矩阵；注意力扩散层的计算方法为： 其中，i表示两个节点在途中的距离，θi是注意力衰减因子并且θiθi+1，这里采用几何分布，θi＝α1-αi,α∈0,1]；通过对路径模式长度差异的偏好，距离越远的目标节点在信息聚合中被赋予的权重越小；Hl代表的l层神经网络的输入，通过扩散因子D计算得出下一层的状态；解码层采用基于语法的神经解码器，具体为：计算每个时间步的输出向量Ot：Ot＝Woht+bo其中，Wo表示参数矩阵，ht表示输入，bo表示偏置；根据输出向量，对每个可能的SQL元素，计算一个得分，表示当前步骤生成该元素的可能性，整个SQL输出序列的计算方式为： 其中，y是输出序列，X是输入序列，aj是输出序列中的第j个元素；S5、利用训练数据对构建的Text-to-SQL模型进行训练，采用的损失函数为： 其中yi∈[y1,…,y|Y|]代表解码过程中使用的真实标签；最后得到训练好的Text-to-SQL模型；S6、将自然语言问题和相关数据库信息输入训练好的Text-to-SQL模型，得到输出结果，通过下式输出对应SQL语句：y＝argmaxy′Py′∣Xy表示最有可能的SQL语句。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于图注意力扩散的Text-to-SQL方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD