申请/专利权人：广西师范大学

申请日：2024-04-15

公开（公告）日：2024-06-28

公开（公告）号：CN118260426A

主分类号：G06F16/35

分类号：G06F16/35;G06F16/332;G06F16/33;G06F40/194;G06N3/048;G06N3/047;G06Q10/04;G06Q50/18

优先权：

专利状态码：在审-公开

法律状态：2024.06.28#公开

摘要：本发明公开了一种基于案例四元组的法律判决预测对比学习方法，能够更有效地完成法律判决预测中法律条款、罪名指控和刑期预测三个子任务，涉及人工智能的自然语言识别处理技术在法律智能系统中的应用。对于每个原始判决样本，分别根据法律条款和罪名指控构建两个案例四元组，其中一个反例来自于与原始样本相同的章节，另一个反例来自不同的章节，使得模型可以同时学习同一章节和不同章节中案例事实的差异性，从而增强其泛化能力。此外，对于案例四元组对比学习的损失函数，提出了一种通过额外的关系约束来自适应确定损失阈值的方法。

主权项：1.一种基于案例四元组的法律判决预测对比学习方法，其特征在于包括以下步骤：S1.对于法律判决训练集中的每个原始判决样本，分别根据法律条款和罪名指控构建两个案例四元组，得到原始判决样本的法条四元组和指控四元组，所述法条是法律条款的简称，所述指控是罪名指控的简称；S2.使用预训练的LERT模型对案例四元组的案件事实进行编码，得到原始判决样本的法条四元组编码和指控四元组编码；S3.通过四元组编码计算原始判决样本的四元组关系注意力，包括原始判决样本分别与自身、正例和第一个反例之间的关系注意力，以及第一个反例分别与其本身、第二个反例之间的关系注意力；S4.通过原始判决样本的四元组关系注意力，计算原始判决样本在训练过程中基于四元组的对比学习损失，包括基于法条的对比学习损失和基于指控的对比学习损失，并将二者组合起来，得到原始判决样本的对比学习损失之和；S5.使用一个由全连接层构成的多任务解码器，预测原始判决样本的法条分类概率、指控分类概率和刑期分类概率，并使用交叉熵损失函数计算预测过程的损失，得到原始判决样本的预测损失；将原始判决样本的对比学习损失之和与预测损失组合起来，得到原始判决样本的最终训练损失；所述LERT模型是指哈尔滨工业大学科大讯飞联合实验室在论文“CuiY,CheW,LiuT,QinBYangZ2021Pre-TrainingWithWholeWordMaskingforChineseBERT.In:IEEEACMTransactionsonAudio,Speech,andLanguageProcessing,vol.29,pp3504-3514”中提出的一种语言信息增强预训练模型LERTLinguistically-motivatedbidirectionalEncoderRepresentationfromTransformer；所述步骤S1具体包括：S1.1原始判决样本的法条四元组的生成方法：设原始判决样本O的案件事实为F，O的法条为L，则原始判决样本O的法条四元组的采样规则为：1从法律判决训练集中随机选择一个与原始判决样本O具有相同的法条L、不同的案例事实的法条正例2从原始判决样本O所在章的法律判决训练样本中随机选择一个具有不同的法条不同的案例事实的第一个法条反例3从原始判决样本O不同章的法律判决训练样本中随机选择一个具有不同的法条不同的案例事实的第二个法条反例基于上述采样规则，得到原始判决样本O的法条四元组的案件事实描述为： S1.2原始判决样本的指控四元组的生成方法：设原始判决样本O的指控为C，则原始判决样本O的指控四元组的采样规则为：1从法律判决训练集中随机选择一个与原始判决样本O具有相同的指控C、不同的案例事实的指控正例2从原始判决样本O所在章的法律判决训练样本中随机选择一个具有不同的指控不同的案例事实的第一个指控反例3从原始判决样本O不同章的法律判决训练样本中随机选择一个具有不同的指控不同的案例事实的第二个指控反例基于上述采样规则，得到原始判决样本O的指控四元组的案件事实描述为： 所述步骤S2具体包括：分别将步骤S1获得的法条四元组的案件事实描述和指控四元组的案件事实描述送入一个预训练的LERT模型，得到如下法条四元组编码和指控四元组编码 其中，VF、分别为案件事实F、在LERT模型中的分类向量，分别为案件事实在LERT模型中的分类向量，所述分类向量是分类符[CLS]在LERT编码中对应的隐藏状态，d为LERT模型中隐藏状态的维度；所述步骤S3具体包括：S3.1通过如下公式，计算在法条四元组编码中原始判决样本O分别与自身、法条正例和第一个法条反例之间的关系注意力以及第一个法条反例分别与其本身、第二个法条反例之间的关系注意力 其中，分别为三个可学习的权重矩阵,bL∈Rd为一个偏置向量，σ·表示神经网络中的sigmoid激活函数；S3.2通过如下公式，计算在指控四元组编码中原始判决样本O分别与自身、指控正例和第一个指控反例之间的关系注意力以及第一个指控反例分别与其本身、第二个指控反例之间的关系注意力 其中，分别为三个可学习的权重矩阵,bC∈Rd为一个偏置向量；所述步骤S4具体包括：S4.1通过如下公式，计算原始判决样本O在训练过程中基于法条的对比学习损失 其中，‖·‖2表示L2范数，表示向量v1、v2∈Rd之间L2范数距离的平方，函数x+＝maxx,0，即函数x+表示从x和0中取最大值，N表示训练过程中参数batchsize的取值，αL、βL为两个损失阀值，且有βL＝0.5×αL；S4.2通过如下公式，计算原始判决样本O在训练过程中基于指控的对比学习损失 其中αC、βC为两个损失阀值，且有βC＝0.5×αC；S4.3通过如下公式，计算原始判决样本O在训练过程中的对比学习损失之和 所述步骤S5具体包括：S5.1将原始判决样本O的案件事实的类向量VF，送入一个由全连接层构成的多任务解码器，分别计算原始判决样本O的法条分类、指控分类和刑期分类的概率分布PL、PC、PT，计算过程如下所示： 其中，分别为三个可学习的权重矩阵，分别为法条解码器的全连接层权重矩阵和偏置向量，dL为法条的类别数量，分别为指控解码器的全连接层权重矩阵和偏置向量，dC为指控的类别数量，分别为刑期解码器的全连接层权重矩阵和偏置向量，dT为刑期的类别数量，relu·表示神经网络中的ReLU激活函数，softmax·表示神经网络中的归一化指数函数,“*”表示矩阵相乘，分别为三个偏置向量；S5.2通过如下公式，计算原始判决样本O的预测损失 其中，分别为原始判决样本O在第i个法条类别上的真实标签与预测概率，分别为原始判决样本O在第j个指控类别上的真实标签与预测概率，分别为原始判决样本O在第k个刑期类别上的真实标签与预测概率；S5.3通过如下公式，将原始判决样本O的对比学习损失之和与预测损失组合起来，得到原始判决样本O的最终训练损失

全文数据：

权利要求：

百度查询： 广西师范大学 一种基于案例四元组的法律判决预测对比学习方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD