买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:厦门众联世纪股份有限公司
摘要:本发明涉及自然语言处理技术领域,具体涉及一种多模态违禁词检测方法及系统,该方法包括:提取广告视频中的图像、语音以及文本数据,获取违禁词库中的各违禁词,获取文本数据的分词结果集合,构建违禁词库中各违禁词的各字符的多维字符‑词频向量,获取违禁词库中各违禁词内各字符的新的词汇的积极性判断函数、消极性判断函数,确定违禁词库中各违禁词的各字符的积极性指数、消极性指数,得到违禁词库中各违禁词的各字符的字符再确认特征指数,获取违禁词库中各违禁词在文本数据中的非违禁判定因数,结合神经网络模型完成广告视频中的多模态违禁词检测。本发明旨在提高违禁词检测的精度。
主权项:1.一种多模态违禁词检测方法,其特征在于,该方法包括以下步骤:提取图像、语音中的文本数据,获取违禁词库中的各违禁词;将文本数据进行分词获取分词结果集合;根据违禁词库中各违禁词的各字符在分词结果集合中所构成新的词汇的个数,以及所述新的词汇在文本数据中的出现频率,得到违禁词库中各违禁词的各字符的多维字符-词频向量;基于所述新的词汇的情感特征确定所述新的词汇的积极性判断函数、消极性判断函数;基于所述积极性判断函数的函数值、所述消极性判断函数的函数值的分布确定违禁词库中各违禁词的各字符的积极性指数、消极性指数;基于所述新的词汇中违禁词、非违禁词的出现频率确定违禁词库中各违禁词的各字符的违禁特征因子;根据各字符的积极性指数与消极性指数的差异,结合所述违禁特征因子,得到违禁词库中各违禁词的各字符的字符再确认特征指数;根据违禁词库中各违禁词在文本数据中的上下文语意关系,结合所述字符再确认特征指数,得到违禁词库中各违禁词在文本数据中的非违禁判定因数;结合所述非违禁判定因数及神经网络模型完成文本数据中违禁词的检测;所述违禁词库中各违禁词的各字符的多维字符-词频向量,包括:将所述个数作为多维字符-词频向量的长度,将所述新的词汇在文本数据中的出现频率作为多维字符-词频向量中的元素;所述积极性判断函数为利用情感倾向点互信息算法计算违禁词库中各违禁词内各字符所构成新的各词汇的PMI值,若所述PMI值大于等于0,则对应词汇的积极性判断函数值为所述PMI值,否则,对应词汇的积极性判断函数值为0;所述消极性判断函数为若所述PMI值小于0,则对应词汇的消极性判断函数值为所述PMI值的相反数,否则,对应词汇的消极性判断函数值为0;所述积极性指数、消极性指数分别为违禁词库中各违禁词的各字符所构成的新的词汇中所有非违禁词的积极性判断函数值、消极性判断函数值的均值;所述违禁特征因子为计算违禁词库中各违禁词的各字符所构成的新的词汇中所有违禁词出现频率的和值,记为第一和值,以及所有非违禁词出现频率的和值,记为第二和值,计算所述第二和值与预设大于0的调整参数的求和结果,将所述第一和值与所述求和结果的比值作为违禁词库中各违禁词的各字符的违禁特征因子;所述违禁词库中各违禁词的各字符的字符再确认特征指数,包括:计算各字符的所述积极性指数与所述消极性指数的差值,将所述违禁特征因子作为以自然常数为底数的指数函数的指数,将所述指数函数的计算结果与所述差值的乘积作为违禁词库中各违禁词的各字符的字符再确认特征指数;所述违禁词库中各违禁词在文本数据中的非违禁判定因数,包括:将分词结果集合中所有词汇的TF-IDF值利用聚类算法得到各聚类簇,将各聚类簇所有词汇的TF-IDF值组成各聚类簇的特征向量,针对违禁词库中的各违禁词,计算违禁词的所有字符的字符再确认特征指数的累加和,计算违禁词所属聚类簇与其他各聚类簇的特征向量的相似度及度量距离,计算所述相似度与所述度量距离的比值,记为第一比值;计算违禁词所属聚类簇与其他各聚类簇的TF-IDF值均值的差值绝对值,将所述差值绝对值的相反数作为以自然常数为底数的指数函数的指数,记为第一指数函数,计算所述第一指数函数的计算结果与所述第一比值的乘积,记为第一乘积,计算违禁词所属聚类簇与其他所有聚类簇的所述第一乘积的相加结果,将所述累加和与所述相加结果的乘积作为违禁词在文本数据中的非违禁判定因数;所述结合所述非违禁判定因数及神经网络模型完成文本数据中违禁词的检测,包括:利用词嵌入算法获取所有文本数据的词向量,作为神经网络模型的输入,将违禁词库中各违禁词的非违禁判定因数作为对应词向量的权重,神经网络模型的输出为文本数据的违禁词检测结果。
全文数据:
权利要求:
百度查询: 厦门众联世纪股份有限公司 一种多模态违禁词检测方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。