买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜山东浪潮数字服务有限公司申请的专利基于三维卷积和视觉Transformer的多模态唇语识别方法、装置及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118823881B 。

龙图腾网通过国家知识产权局官网在2025-03-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411302836.7，技术领域涉及：G06V40/20；该发明授权基于三维卷积和视觉Transformer的多模态唇语识别方法、装置及介质是由陈海波设计研发完成，并于2024-09-19向国家知识产权局提交的专利申请。

本基于三维卷积和视觉Transformer的多模态唇语识别方法、装置及介质在说明书摘要公布了：本发明提供了基于三维卷积和视觉Transformer的多模态唇语识别方法、装置及介质，属于唇语识别技术领域。所述方法包括：采集唇部视频数据和音频数据，并对数据进行标注和预处理；分别使用基于三维卷积和Transformer的网络从视频和音频中提取视觉特征和音频特征；采用自适应权重融合策略，动态整合视觉和音频两种模态的信息，生成融合特征向量；构建并训练唇语识别模型；将融合特征向量输入到训练完成的唇语识别模型中，依次经过三维卷积神经网络、模型前端编码器和解码器，输出最终的唇语识别结果。本发明动态结合视频和音频数据，以提升唇语识别的整体性能。

本发明授权基于三维卷积和视觉Transformer的多模态唇语识别方法、装置及介质在权利要求书中公布了：1.一种基于三维卷积和视觉Transformer的多模态唇语识别方法，其特征在于，包括：采集唇部视频数据和音频数据，并对数据进行标注和预处理；分别使用基于三维卷积和Transformer的网络从视频和音频中提取视觉特征和音频特征；采用自适应权重融合策略，动态整合视觉和音频两种模态的信息，生成融合特征向量；构建并训练唇语识别模型，所述唇语识别模型依次包括三维卷积神经网络、模型前端编码器和解码器；所述模型前端编码器依次包括二维卷积和视觉Transformer模型，所述视觉Transformer模型基于Transformer模型在其卷积标记嵌入层中加入了压缩和激励结构；所述解码器依次包括BiGRU、全连接层和softmax函数；将融合特征向量输入到训练完成的唇语识别模型中，依次经过三维卷积神经网络、模型前端编码器和解码器，输出最终的唇语识别结果；所述融合特征向量整合方式如下：将视觉特征和音频特征通过一个全连接层和激活函数，生成两个权重向量和；通过自适应权重向量和，将视觉特征和音频特征加权融合，得到融合特征；加权融合公式如下： ，其中，表示逐元素相乘操作，表示广播加法；所述视觉Transformer模型包括SE卷积嵌入模块、卷积投影层、多头注意模块、层归一化和多层感知机；视觉Transformer模型对特征向量处理流程如下：融合特征向量经过SE卷积嵌入模块得到特征向量；特征向量依次经过卷积投影层和多头注意力模块得到特征向量，将特征向量与特征向量通过残差连接得到特征向量，特征向量通过层归一化进行数据归一化，再通过多层感知机层得到特征向量，特征向量和特征向量经过残差连接得到输出结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东浪潮数字服务有限公司，其通讯地址为：250101 山东省济南市浪潮路1036号浪潮科技园02号楼32F；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。