申请/专利权人：广州微阿信息技术有限公司

申请日：2024-01-06

公开（公告）日：2024-06-21

公开（公告）号：CN117793043B

主分类号：H04L51/21

分类号：H04L51/21;H04L51/04;H04L51/52;H04L12/18;G06F40/289

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.04.16#实质审查的生效;2024.03.29#公开

摘要：本发明公开了一种聊天内容审核处理方法及系统，该方法公开了如下步骤：步骤一：采集用户的聊天记录，并将用户的聊天记录发送至服务器中存储；步骤二：对用户进行禁言处理，并根据用户的聊天记录调整聊天内容的审核抽取比例；步骤三：根据用户处理值对用户后续禁言处理的设定时长进行调整，通过设置审核禁言模块，可以实时根据用户聊天记录中的聊天内容对用户进行禁言处理，并根据用户的聊天记录调整聊天内容的审核抽取比例，进而保证系统对不同用户设定合适的审核抽取比例，优化对于不同用户的聊天内容审核标准，设置禁言调整模块，可以根据用户处理值对用户后续禁言处理的设定时长进行调整，保证对于不同用户在禁言时的不同禁言标准。

主权项：1.一种聊天内容审核处理方法，其特征在于，包括如下步骤：步骤一：采集用户的聊天记录，并将用户的聊天记录发送至服务器中存储；步骤二：对用户进行禁言处理，并根据用户的聊天记录调整聊天内容的审核抽取比例；步骤三：根据用户处理值对用户后续禁言处理的设定时长进行调整；包括记录采集模块、审核禁言模块、禁言调整模块；所述记录采集模块用于采集用户的聊天记录，并将用户的聊天记录发送至服务器中存储；所述审核禁言模块用于对用户进行禁言处理，并根据用户的聊天记录调整聊天内容的审核抽取比例，具体为：获取得到同一用户在系统当前时间之前的所有聊天记录，获取得到聊天记录的聊天内容，按设定比例抽取该用户聊天记录中的聊天内容，将抽取得到的聊天内容标记为审核内容，将审核内容作为内容审核模型的输入数据，获取得到内容审核模型的输出数据，将内容审核模型输出数据的训练标签标记为内容审核值，设置内容审核阈值为Dp，当内容审核值≥内容审核阈值Dp时，将对应的聊天记录标记为违规聊天记录，获取得到该用户的违规聊天值Bw，当内容审核值＜内容审核阈值Dp时，不做处理，获取得到该用户的违规聊天值Bw，设置违规聊天高值为Fz，设置违规聊天低值为Jk，当违规聊天值Bw≥违规聊天高值Fz时，将该用户后续聊天记录中聊天内容的抽取设定比例向上调整，并将抽取设定比例向上调整的时间标记为比例上调时刻，并对该用户按照设定时长进行禁言处理，当违规聊天低值Jk≤违规聊天值Bw＜违规聊天高值Fz时，不做处理，当违规聊天值Bw＜违规聊天高值Fz时，将该用户后续聊天记录中聊天内容的抽取设定比例向下调整，并将抽取设定比例向下调整的时间标记为比例下调时刻；内容审核模型通过下述步骤获取得到：获取得到多个审核内容，将审核内容标记为训练数据，对训练数据赋予训练标签，将训练数据按照设定比例划分成训练集和验证集，构建神经网络模型，通过训练集和验证集对神经网络模型进行迭代训练，当迭代训练次数大于迭代次数阈值时，则判定神经网络模型完成训练，将训练完成的神经网络模型标记为内容审核模型，内容审核模型输出数据的训练标签数值越大，表示审核内容中违规内容越多；聊天记录包括聊天开始时间、聊天结束时间、聊天内容；该用户的违规聊天值Bw通过下述步骤获取得到：获取得到该用户在系统当前时间之前所有的违规聊天记录，将每个违规聊天记录的聊天结束时间与聊天开始时间进行时间差值计算，获取得到违规聊天时长，将该用户的所有违规聊天时长进行求和处理并取均值，获取得到平均违聊时长，并标记为Sk，将该用户的所有违规聊天记录按照时间先后顺序进行排序，将排序后相邻且排序在前的违规聊天记录标记为前置违规记录，将排序后相邻且排序在后的违规聊天记录标记为后置违规记录，将后置违规记录的聊天开始时间与前置违规记录的聊天结束时间进行时间差值计算，获取得到违规聊天间隔，将所有违规聊天间隔进行求和处理并取均值，获取得到平均违聊间隔，并标记为Rw，设置每个违规聊天间隔对应一个标准违规间隔，将违规聊天间隔与标准违规间隔进行对比，当违规聊天间隔＜标准违规间隔时，将该违规聊天间隔标记为高密违规间隔，获取得到高密违规值Bh，当违规聊天间隔≥标准违规间隔时，将该违规聊天间隔标记为低密违规间隔，获取得到低密违规值Rt，利用公式获取得到该用户的违规聊天值Bw，其中，a1为平均违聊时长系数，a2为平均违聊间隔系数，a3为高密违规值系数，a4为低密违规值系数；高密违规值Bh通过下述步骤获取得到：将标准违规间隔与高密违规间隔进行差值计算，获取得到高密间隔差Mi，设置高密间隔差系数为Kc，利用公式获取得到高密违规值Bh，n为违规聊天间隔标记为高密违规间隔的次数；低密违规值Rt通过下述步骤获取得到：将低密违规间隔与标准违规间隔进行差值计算，获取得到低密间隔差Hj，设置低密间隔差系数为Aw，利用公式获取得到低密违规值Rt，m为违规聊天间隔标记为低密违规间隔的次数。

全文数据：

权利要求：

百度查询： 广州微阿信息技术有限公司 一种聊天内容审核处理方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD