买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东工业大学

摘要：本发明公布了一种基于多模态深度学习的冒犯性评论识别方法，具体实现步骤如下：（1）构建冒犯性评论数据集。（2）构建冒犯性评论识别模型：首先运用Bert模型对文本模态数据进行编码，构建快速视觉几何群神经网络对输入的图像模态数据进行特征提取；然后构建门控循环图卷积神经网络融合不同模态的特征向量；最后根据门控循环图卷积神经网络融合得到的特征向量，运用激活函数判断该评论是否具有冒犯性。（3）初始化模型的权重和偏置项设置模型相关的超参数，将训练集和验证集加载至该模型中进行训练，得该模型训练后的最优参数。（4）运用该模型，对评论进行冒犯性识别。

主权项：1.一种基于多模态深度学习的冒犯性评论识别方法，其特征在于从多种模态的信息中提取特征，同时将这些特征划分为多种粒度进行融合，然后使用融合后的特征进行冒犯性评论识别，该方法包括以下步骤：第一步，构建冒犯性评论数据集：首先从利用爬虫爬取数据、整合现有的相关数据集等多个渠道获取原始的冒犯性评论数据，将每一条原始的冒犯性评论数据表示为一个二元组；然后采用人工操作和使用第三方工具包两种方法，根据每一个二元组构建词语集合；接着对原始的冒犯性评论数据进行标注；最后将每一个二元组与其对应的词语集合和标注构造成四元组，所有的四元组构成一个冒犯性评论数据集；第二步，构建冒犯性评论识别模型：首先运用Bert（BidirectionalEncoderfrom Transformers）模型对输入的文本模态数据进行编码，同时构建快速视觉几何群神经网络 （Fast-VisualGeometryGroupNetwork，Fast-VGG）对输入的图像模态数据进行特征提 取；然后构建门控循环图卷积神经网络（GateRecurrent-GraphConvolutional Network，G-GCN）融合不同模态的特征向量；最后根据G-GCN融合得到的特征向量，运用激活函数判断该评论是否具有冒犯性； 第三步，设置模型的所有相关参数：设置特征图的维度、学习率的大小、批处理的大小、优化器的选择等与模型相关的参数；将训练集和验证集加载至该模型中进行训练，得该模型训练后的最优参数；第四步，运用该冒犯性评论识别模型，对评论进行冒犯性识别，将测试集输入到训练好的冒犯性评论识别模型中进行测试，使用机器学习中的准确率和MMR作为该冒犯性评论识别模型在执行冒犯性评论识别任务时的评估指标，然后将该冒犯性评论识别模型运用于不同数据集的冒犯性评论识别任务当中。

全文数据：

权利要求：

百度查询： 广东工业大学 一种基于多模态深度学习的冒犯性评论识别方法