申请/专利权人：西北大学

申请日：2024-03-06

公开（公告）日：2024-06-21

公开（公告）号：CN118230353A

主分类号：G06V40/10

分类号：G06V40/10;G06V10/774;G06V10/80;G06V10/82;G06V10/764;G06V20/40

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明公开了一种基于视频片段预测与微调后的金丝猴动作识别方法，在动作识别前先进行视频片段顺序预测工作，通过对多个片段的特征进行全排列，考虑了所有可能的顺序组合，能够更全面地探索不同片段之间的关系，并且能够捕捉到一些可能被忽略的重要信息，通过全排列和MLP，能够有效避免信息丢失。本方法还提出了一种新的损失函数组合策略，将A‑Softmax和ArcFace两个损失函数进行加权融合，作为本方法最终的损失函数，能够更好地捕捉到类别之间的边界信息，从而提高分类的准确性。A‑Softmax和ArcFace损失函数通过引入额外的参数约束，能够提高模型对于异常样本和数据不平衡情况的鲁棒性和稳定性，适于工业上大规模使用与推广。

主权项：1.一种基于视频片段预测与微调的金丝猴动作识别方法，其特征在于，包括以下步骤：步骤1，采集金丝猴活动期间的视频动作数据；去除其中的无效视频动作数据，保留有效视频动作数据；步骤2，对有效视频动作数据均匀采样，从每个有效视频动作数据中采样多个片段；将采集到的所有片段随机打乱，作为输入数据；步骤3，将输入数据输入ViViT模型，使用ViViT模型提取每个片段的特征，并使用输入数据训练ViViT模型；步骤4，对ViViT模型提取到的所有片段的特征进行全排列后进行特征融合；得到特征融合后所有序列顺序的排列组合；步骤5，使用MLP多层感知机，得到所有序列中每种排列组合可能的概率分布；然后对可能的概率分布使用L1范数归一化方法得到所有序列预测结果；根据每种预测结果对应的验证集损失函数确定并保存最优的模型作为预测模型；步骤6，对预测模型进行微调，使其适应动作识别任务的需求；步骤7，向微调后的预测模型输入有效视频动作数据，并再次训练ViViT模型，获得完成训练和微调的ViViT模型；步骤8，使用A-softmax与ArcFace两个函数加权融合的方式衡量动作识别的准确度，确定两个函数的权重系数，得到加权融合后的损失函数；使用该损失函数训练步骤7得到的ViViT模型；步骤9，将有效视频动作数据输入步骤8得到的ViViT模型，输出最终的动作识别结果。

全文数据：

权利要求：

百度查询： 西北大学 一种基于视频片段预测与微调的金丝猴动作识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD