买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽鹿鼎科技有限公司

摘要：本申请提供了一种基于多模态掩码自编码器的刑侦物证鉴定方法，涉及图文多模态融合刑侦物证鉴定技术领域，本发明方法，通过构建图像模型MAE；构建文本模型ALBERT；然后融合多模态特征进行分析，其中，MAE模型和ALBERT模型分别从不同角度提取图像文本中不同模态的特征，进行特征融合后可以结合两种模态的特征，进而使大概率分类值和小概率分类值之间的差值进一步加大，从而提高识别准确率，能够很好的对图片伤口进行识别并作出有效的判断，而且能够提高细粒度刑侦物证鉴定的性能；与现有图像识别方法相比，将注意力集中到刑侦物证图像的细分区域，有效关联图像文本信息，有助于发现刑侦线索。

主权项：1.一种基于多模态掩码自编码器的刑侦物证鉴定方法，其特征在于，包括以下步骤：S1、构建图像模型MAE；MAE是一种自编码方法，包括有编码器和解码器；所述S1中包括以下子步骤：1-1、首先根据ViT将图像划分为不重叠的小块，然后对这些小块遵循均匀分布的原则进行随机采样，并掩码剩余的小块；其中，编码器采用ViT通过添加位置嵌入的线性投影嵌入补丁，然后通过一系列Transformer块处理结果集；解码器的输入是一整套tokens，由编码的可见补丁和掩码token组成；每个掩码token是一个共享的学习向量，表示存在待预测的缺失补丁；1-2、MAE通过预测每个被遮盖补丁的像素值来重建输入，解码器输出中的每个元素都是代表一个patch的像素值向量，对编码器的输出进行重构形成重构图像，利用损失函数在像素空间中计算重建图像和原始图像之间的均方误差MSE，可以有效预训练时间，并减少内存消耗；1-3、通过添加位置嵌入的线性投影为每个输入补丁生成一个标记，然后，随机打乱token列表，并根据屏蔽比率删除列表的最后一部分；这个过程为编码器生成一小部分标记，相当于采样补丁而不进行替换；1-4、编码后，将一个掩码token列表添加到编码补丁列表中，利用反转随机洗牌操作取消完整列表，以使所有token与其目标对齐；其中，解码器应用于整个完整的列表，添加了位置嵌入；S2、构建文本模型ALBERT；所述S2中包括以下子步骤：2-1、使用ALBERT对文本信息进行编码，ALBERT的输入是每个标记对应的表示，记为e；表示由标记嵌入、段嵌入和位置嵌入组成；单词字典是使用WordPiece算法构造；其中，将词汇表大小记为，词汇表嵌入大小记为，隐藏层大小记为；ALBERT改进了因式嵌入参数化和跨层参数共享；2-2、ALBERT使用嵌入参数的分解；通过这种分解，嵌入参数从降为；其中，，从而减少了参数的数量；此外，ALBERT跨层共享所有参数，进一步减少了参数的数量；S3、融合多模态特征；所述S3中包括以下子步骤：3-1、使用早期融合方式融合多模态特征；早期融合由单个分析单元从输入数据中提取特征，之后，来自不同模式的特征通过一个特征融合单元进行组合；3-2、将文本编码器输出的文本特征经过MLP层得到特征，再与图像特征进行拼接，得到最终的多模态特征，然后再对多模态特征进行分类，得到预测类别，多模态输出公式如式（1）所示：

全文数据：

权利要求：

百度查询： 安徽鹿鼎科技有限公司 一种基于多模态掩码自编码器的刑侦物证鉴定方法