买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大唐三门峡发电有限责任公司;合肥耀安科技有限公司;汤萌

摘要：本发明公开了基于注意力机制的电厂场景多模态数据协同校准方法，涉及多模态数据处理技术领域，具体包括：对电厂场景进行全方位的监测和采集，针对不同的模态数据，采用相应的采集方式和设备、通过编码器对图像、视频和文本等不同模态数据进行特征提取、解码器采用注意力机制动态关注多模态语义特征，生成描述、采用多标签分类方法学习多模态数据上的语义属性概率分布，利用深度学习神经网络模型生成语义描述、训练多模态语义注意力网络，使其能够准确捕捉各模态数据之间的关联性和互补性。本申请通过基于多模态注意力机制的多源数据精准采集和构建融合高维语义属性的编解码网络，成功实现了对不同模态特征的统一表示，而无需依赖特定模式。

主权项：1.基于注意力机制的电厂场景多模态数据协同校准方法，其特征在于：包括以下步骤：步骤一、数据采集：使用数据采集设备全方位监测电厂场景，采集电厂数据，并针对不同的模态数据，采用相应的采集设备和方法；步骤二、通过编码器对图像、视频和文本等不同模态数据进行特征提取，且编码器利用跨模态语义分析器将低层特征映射到高层语义属性空间；其具体操作为：编码器内设置三个骨干网络，三个骨干网络分别对图片、视频和文本这三种不同模态的数据进行处理，从数据中提取出相应的低层特征向量lf、li和lt，并将提取到的低层特征向量lf、li和lt传入到跨模态语义分析器中，通过检测器将上述低层特征向量映射到预先学习得到的高层语义属性空间；步骤三、解码器采用注意力机制动态关注多模态语义特征，生成描述，同时优化分类损失和生成损失以提高描述质量，引入用户意图的界面反馈以提高用户满意度；其具体操作为：在解码器阶段，将编码器提取的各模态低维特征向量lf、li和lt进行串联，得到多模态编码向量Vm，在解码器的初始时刻，将多模态编码向量Vm作为输入提供给骨干网络，以初始化解码过程，而在随后的每个时间步，输入均为前一步生成的单词Wt，保持解码的连贯性和一致性；步骤四、采用多标签分类方法学习多模态数据上的语义属性概率分布，利用Transformer网络或LSTM网络学习特征向量生成语义描述；其具体操作为：S1、根据训练集和验证集中单词的词频，排除虚词，选取出频率最高的m个单词作为语义属性值，构建涵盖一些常见的动词、名词和形容词等的丰富而准确的语义属性集；S2、利用Transformer网络或LSTM网络，从含有n条语句的数据集中特征向量Vn；S3、特征向量Vn通过多层感知器网络被映射到之前提取的各个语义属性值上，进而得到每条语句中每个语义属性的概率分布pi＝[pi1,pi2...,pim]；S4、模型根据内部学习到的知识规则和语言规则，执行一系列生成单元的选择行为，逐步构建完整的描述语句；步骤五、训练多模态语义注意力网络，使其能够准确捕捉各模态数据之间的关联性和互补性，通过大量的多模态数据集进行训练，多模态语义注意力网络学习到不同模态数据之间的内在联系。

全文数据：

权利要求：

百度查询： 大唐三门峡发电有限责任公司 合肥耀安科技有限公司 汤萌 基于注意力机制的电厂场景多模态数据协同校准方法