买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉国开在线教育科技有限公司申请的专利开放教育体系下基于多模态的考后违规行为判定方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119274239B 。

龙图腾网通过国家知识产权局官网在2025-03-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411824906.5，技术领域涉及：G06V40/20；该发明授权开放教育体系下基于多模态的考后违规行为判定方法是由袁亚兴;潘焦萍;刘尊瑞;杨乐乐;陈冲设计研发完成，并于2024-12-12向国家知识产权局提交的专利申请。

本开放教育体系下基于多模态的考后违规行为判定方法在说明书摘要公布了：本发明实施例公开了一种开放教育体系下基于多模态的考后违规行为判定方法，包括：获取关于考后行为的训练数据集，并利用所述训练数据集对考后违规行为判定模型进行训练；利用训练好的模型对新的单图像和或图像‑文本对进行预测，得到考后违规行为类别；其中，训练过程中将单图像样本输入Resnet网络，得到所述单图像样本的第一分类特征；将图像‑文本对样本输入CLIP网络，得到所述图像‑文本对样本的第二分类特征；将所述第一分类特征与第二分类特征进行融合，将融合后的特征输入MLP全连接层得到第三分类特征；将所述第三分类特征经过激活函数，得到输入数据的考后违规行为类别。本实施例通过多模态融合，自动识别考后违规行为。

本发明授权开放教育体系下基于多模态的考后违规行为判定方法在权利要求书中公布了：1.一种开放教育体系下基于多模态的考后违规行为判定方法，其特征在于，包括：获取关于考后行为的训练数据集，并利用所述训练数据集对考后违规行为判定模型进行训练，其中，所述训练数据集包括单图像样本和图像-文本对样本；利用训练好的模型对新的单图像和或图像-文本对进行预测，得到所述新的单图像和或图像-文本对的考后违规行为类别；其中，训练过程中在模型内部执行如下操作：将单图像样本输入Resnet网络，得到所述单图像样本的第一分类特征；将图像-文本对样本输入CLIP网络，得到所述图像-文本对样本的第二分类特征；将所述第一分类特征与第二分类特征进行融合，将融合后的特征输入MLP全连接层得到第三分类特征；将所述第三分类特征经过激活函数，得到输入数据的考后违规行为类别；其中，所述将图像-文本对样本输入CLIP网络，得到所述图像-文本对样本的第二分类特征，包括：将图像-文本对样本中的图像和文本分别输入图像编码器和第一文本编码器，分别得到第一编码特征和第二编码特征；将所述第一编码特征和第二编码特征分别映射至多模态嵌入空间，转化为维度相同的特征向量；根据各维度相同的特征向量计算相似度，以确定所述图像-文本对样本是否匹配；将匹配的图像-文本对样本的特征向量输入第二全连接层降维，得到所述图像-文本对样本的第二分类特征；利用包括长文本的第一图像-文本对样本对模型训练完毕后，利用训练好的模型对包括短文本的第二图像-文本对样本进行测试；如果各第二图像-文本对样本的相似度计算性能不达标，对各第二图像-文本对样本中的文本进行扩写，利用扩写后的样本重新计算相似度；挑选扩写后提高相似度计算性能达标的多个扩写文本，记录各扩写文本的第二编码特征和各原始文本的第二编码特征；在所述CLIP网络中增加与所述第一文本编码器并行且参数相同的第二文本编码器，并在所述第二文本编码器后增加特征转换器；利用各扩写文本的第二编码特征和各原始文本的第二编码特征对所述特征转换器进行训练，使原始文本的第二编码特征经训练好的特征转换器后不断逼近对应的扩写文本的第二编码特征；在新的图像-文本对预测中，根据所述新的图像-文本对中的文本长度，确定使用所述第一文本编码器，或使用所述第二文本编码器和特征转换器计算相似度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国开在线教育科技有限公司，其通讯地址为：100039 北京市海淀区魏公村路2号8层808室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。