申请/专利权人：江南大学

申请日：2023-08-31

公开（公告）日：2024-06-21

公开（公告）号：CN117237984B

主分类号：G06V40/10

分类号：G06V40/10;G06N3/042;G06N3/045;G06N3/0464;G06N3/0895;G06N3/096;G06V10/764;G06V10/82;G06V20/40

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.01.02#实质审查的生效;2023.12.15#公开

摘要：本发明涉及计算机视觉技术领域，公开一种基于标签一致性的MT腿部识别方法、系统、介质和设备，包括：获取腿部姿态视频并预处理得到腿部姿态图像，分为训练集和测试集；构建神经网络识别模型，主干网络为用于提取图像特征并输入到全连接层中的三维残差网络，全连接层中引入水平特征提取模块对提取到的图像特征进行局部特征提取；通过平均教师架构训练识别模型，平均教师架构包括学生模型和教师模型，通过输出系数矩阵评估教师模型在特征空间中是否与学生模型一致；将测试集输入训练完成的识别模型得到识别结果。本发明可以降低数据集中的标签存在不平衡或偏斜时的影响、在有限的数据样本下提高复杂环境下的腿部姿态识别精度、提高泛化能力。

主权项：1.一种基于标签一致性的MT腿部识别方法，其特征在于，包括：获取腿部姿态视频并进行数据预处理得到腿部姿态图像，将腿部姿态图像分为训练集和测试集；构建神经网络识别模型，所述神经网络识别模型的主干网络为三维残差网络，所述三维残差网络用于提取图像特征并输入到全连接层中，所述神经网络识别模型的全连接层中引入水平特征提取模块对提取到的图像特征进行局部特征提取；通过平均教师架构，使用所述训练集训练所述神经网络识别模型得到训练完成的神经网络识别模型；所述平均教师架构包括学生模型和教师模型，通过输出系数矩阵评估所述教师模型在特征空间中是否与所述学生模型一致；训练前初始的所述学生模型和教师模型均为构建的所述神经网络识别模型，训练过程中使用所述教师模型指导所述学生模型训练，将训练完成的所述学生模型作为训练完成的神经网络识别模型；将所述测试集输入训练完成的神经网络识别模型，得到腿部姿态的识别结果；所述通过输出系数矩阵评估所述教师模型在特征空间中是否与所述学生模型一致，具体为：将所述训练集中的数据xi输入所述教师模型得到预测值设置教师模型的硬目标表示使得取得最大值时所对应的变量点xi的集合，表示取预测得到的图像向量的第k个分量；将所述训练集中的数据xj输入所述学生模型得到预测值设置学生模型的硬目标当且仅当时，所述教师模型在特征空间中与所述学生模型一致；通过平均教师架构，使用所述训练集训练所述神经网络识别模型时，总损失函数的建立过程为：根据所述学生模型的预测结果计算交叉熵损失loss1，结合所述学生模型的预测结果和教师模型的预测结果计算均方误差损失loss2；将教师模型和学生模型的分类器f分解为g和h，其中，h为将输入xi、xj映射到更高感受野的映射函数，g为输出层，经过h映射后得到的特征图为hxi、hxj；根据所述和构建系数矩阵Wij，结合所述hxi、hxj和Wij构建相似度损失RS为： 其中，D表示训练集，lG表示相似度函数，lGhxi，hxj表示hxi和hxj的相似度；l表示加权函数，llGhxi，hxj，Wij表示对lGhxi，hxj和Wij进行加权；计算所述总损失函数L为：L＝loss1+loss2+RS；所述根据所述学生模型的预测结果计算交叉熵损失loss1，结合所述学生模型的预测结果和教师模型的预测结果计算均方误差损失loss2，具体为：对所述训练集中有标签的数据加噪声η后输入所述学生模型，根据所述学生模型的预测结果计算交叉熵损失loss1；对所述训练集中无标签的数据加噪声η后输入所述学生模型，得到学生模型的预测结果对所述训练集中无标签的数据加噪声η’后输入所述教师模型，得到教师模型的预测结果所述η和η’不相同；将所述预测结果和的均方误差作为均方误差损失loss2。

全文数据：

权利要求：

百度查询： 江南大学 基于标签一致性的MT腿部识别方法、系统、介质和设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD