龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：西北工业大学
摘要：本发明公开了一种任务特定适应图像预训练模型的小样本行为识别方法，冻结住原预训练模型原有参数，在每一层ViT内部额外添加可学习的适配器参数，利用冻结住的多头自注意力层完成时空信息建模以及任务特定的关键信息建模。本发明既可以有效缓解传统全部微调策略引起的过拟合问题，也能够根据给定小样本学习任务，增强任务特定的关键信息，从而充分利用预训练模型的先验知识，实现更好的小样本行为识别。
主权项：1.一种任务特定适应图像预训练模型的小样本行为识别方法，其特征在于，包括如下步骤：步骤1：在已知类别数据集上随机采样C个类别；步骤2：每个类别随机抽取K+M个视频样本，前K个样本构成支持集后M个样本构成查询集步骤3：将所有视频输入转换为ViT需要的词嵌入表示：步骤4：将视频的词嵌入通过N层的ViT块进行编码；步骤5：将每一帧特征中分类词对应的词嵌入沿着时间维度拼接起来，得到最终的视频特征FS∈RCK×T×D和FQ∈RM×T×D；步骤6：平均每个类别所有的支持集特征，得到每个类别类原型表示： 其中表示第c个类别的类原型；步骤7：计算查询特征与每个类别类原型特征的距离： 其中表示第i个查询视频属于第c个类别的概率，步骤8：计算每个查询视频的交叉熵分类损失，反向传播计算梯度，并进行参数更新，注意整个模型只有每一层内部的适配器参数是可学习的，原预训练模型的所有参数都冻结住不更新；步骤9：判断是否到达指定元学习任务数，如果达到则结束训练，否则跳转到步骤1继续进行。
全文数据：
权利要求：
百度查询： 西北工业大学 一种任务特定适应图像预训练模型的小样本行为识别方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号