龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：阿里云计算有限公司
摘要：本发明实施例提供一种语言视频模型训练及视频处理方法、设备、介质和产品，属于AI领域，该方法包括：获取训练样本视频及其对应的详细描述文本和摘要描述文本；通过语言视频模型中的文本编码器和视频编码器分别确定详细描述文本的第一文本特征、摘要描述文本的第二文本特征，训练样本视频的第一视频特征；以第一文本特征与第二文本特征之间的第一相似度为指导，对第一视频特征进行主成分提取得到第二视频特征；根据第一视频特征和第一文本特征确定第一损失函数值，并根据第二视频特征和第二文本特征确定第二损失函数值；根据第一损失函数值和第二损失函数值，训练语言视频模型，使得该语言视频模型具有良好的长视频描述文本的理解能力。
主权项：1.一种语言视频模型训练方法，其特征在于，包括：获取训练样本视频以及所述训练样本视频对应的详细描述文本和摘要描述文本；通过语言视频模型中包含的文本编码器分别确定所述详细描述文本对应的第一文本特征、所述摘要描述文本对应的第二文本特征，以及通过所述语言视频模型中包含的视频编码器确定所述训练样本视频对应的第一视频特征；以所述第一文本特征与所述第二文本特征之间的第一相似度为指导，对所述第一视频特征进行主成分提取，以基于提取出的多个主成分属性特征重建所述训练样本视频对应的第二视频特征，其中，所述第二视频特征与所述第二文本特征之间的第二相似度与所述第一相似度匹配；根据所述第一视频特征和所述第一文本特征确定第一损失函数值，以及根据所述第二视频特征和所述第二文本特征确定第二损失函数值，所述第一损失函数值和所述第二损失函数值均为对比学习损失函数值；根据所述第一损失函数值和所述第二损失函数值，训练所述语言视频模型。
全文数据：
权利要求：
百度查询： 阿里云计算有限公司 语言视频模型训练及视频处理方法、设备、介质和产品
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号