申请/专利权人：芽米科技(广州)有限公司

申请日：2023-04-28

公开（公告）日：2024-06-28

公开（公告）号：CN116521870B

主分类号：G06F16/35

分类号：G06F16/35;G06F16/33;G06F40/216;G06F40/30;G06N3/0442

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.02.09#专利申请权的转移;2023.08.18#实质审查的生效;2023.08.01#公开

摘要：本发明属于自然语言处理领域，具体涉及一种基于大数据的法律文书要素智能识别方法；包括：获取法律案例训练数据并对其进行处理，得到词嵌入矩阵；采用多头多层注意力模型对词嵌入向量进行处理，得到语义特征和全局特征；拼接语义特征和全局特征，得到拼接向量；提取词频统计特征并对其进行处理，得到词频统计向量；融合语义特征和词频统计向量，得到融合特征向量；采用注意力机制处理融合特征向量、语义特征和拼接向量，得到综合特征；根据综合特征得到法律文书要素识别结果；计算模型总损失并根据模型总损失调整模型参数，得到训练好的法律文书要素智能识别模型；本发明增加了模型特征的多样性，提高了法律文书要素识别结果准确性。

主权项：1.一种基于大数据的法律文书要素智能识别方法，其特征在于，包括：获取法律案例数据，将其输入到训练好的法律文书要素智能识别模型中，得到法律文书要素识别结果；法律文书要素智能识别模型的训练过程包括：S1：获取法律案例训练数据，包括法律文本和文本标签；将法律文本输入到Bert模型中进行处理，得到词嵌入矩阵Q；S2：采用多头多层注意力模型对词嵌入向量进行处理，得到语义特征C和全局特征G；拼接语义特征C和全局特征G，得到拼接向量C′；得到语义特征C的过程包括：多头注意力卷积模型包括多层卷积层；卷积层的每个头均对输入向量进行处理，得到每个头的局部特征向量；拼接所有头的局部特征向量，得到该层的局部特征矩阵；每个头的局部特征向量表示为： 其中，Oj表示第j个头的局部特征矩阵，fi表示Bi-LSTM网络中第i个卷积核，M表示卷积滤波器对输入向量进行处理后得到的矩阵，NormM表示对矩阵M按行进行归一化，表示缩放因子，Wj表示随机矩阵；⊙表示按位相乘；对局部特征矩阵和词嵌入矩阵进行残差连接并归一化，输出归一化特征；前一层的输出为后一层的输入，最后一层输出为语义矩阵C；S3：提取文本标签的词频统计特征并采用变分自编码器对其进行处理，得到词频统计向量ζz；变分自编码器的损失函数为： 其中，θ表示解码器参数，φ表示编码器参数，D表示判别器参数，ζ表示输入向量，z表示隐向量，表示qφz|ζ的期望，qφz|ζ表示编码器输出的隐变量的后验分布，KL表示两概率分布之间的KL散度，pθz|ζ表示解码器输出的数据的条件分布，表示pθz|ζ的期望，D表示判别器的判断结果；S4：融合语义特征C和词频统计向量ζz，得到融合特征向量HO；融合语义特征和词频统计向量的过程包括：将语义特征和词频统计向量投影到共享空间，得到投影语义向量HC和投影词频向量Hζ；融合投影语义向量HC和投影词频向量Hζ，得到融合特征向量HO，表示为：HO＝GeLUHC+sigmoidcosHC+ValueHC′,∈⊙Hζ其中，GeLU表示GeLU激活函数，sigmoid表示sigmoid激活函数，ValveHC′,∈表示门控神经网络；门控神经网络表示为： 其中，HC′表示中间参数，C表示语义特征，σ表示置信度参数；S5：采用注意力机制处理融合特征向量HO、语义特征C和拼接向量C′，得到综合特征；根据综合特征得到法律文书要素识别结果；得到综合特征的公式为： 其中，S表示综合特征，softmax表示softmax激活函数，HO表示融合特征向量，W1表示第一随机权重矩阵，W2表示第二随机权重矩阵，b表示偏移量，dc表示语义特征C的维度，∈表示常数，W3表示第三随机权重矩阵，C′表示拼接向量；S6：计算模型总损失并根据模型总损失调整模型参数，得到训练好的法律文书要素智能识别模型；计算模型总损失的公式为： 其中，L表示交叉熵损失，ωi表示平滑指数，表示文本标签，表示法律文书要素识别结果。

全文数据：

权利要求：

百度查询： 芽米科技(广州)有限公司 一种基于大数据的法律文书要素智能识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD