买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:上海人工智能创新中心
摘要:本发明涉及一种基于MotionBooth框架的定制化物体动态视频生成方法,包括:针对现有T2V模型进行微调:在模型学习训练阶段引入主体区域损失、视频保留损失和主体令牌交叉注意力损失来增强主体学习性能,在模型推理阶段通过无训练技术管理主体运动和相机运动,以构建得到MotionBooth框架;将当前文本内容输入MotionBooth框架,输出得到相应的动态视频。与现有技术相比,本发明提出一种新的MotionBooth框架,用于实现对定制化物体的动态视频生成,能够精确控制物体和相机运动,使生成视频的动态可控,保持物体的外观一致性,提高生成视频的质量,改善背景模糊、物体运动不自然等问题,并且无需重复训练即可控制实现多种运动类型,降低计算成本和复杂度。
主权项:1.一种基于MotionBooth框架的定制化物体动态视频生成方法,其特征在于,包括以下步骤:S1、针对现有T2V模型进行微调:在模型学习训练阶段引入主体区域损失、视频保留损失和主体令牌交叉注意力损失来增强主体学习性能,在模型推理阶段通过无训练技术管理主体运动和相机运动,以构建得到MotionBooth框架;S2、将当前文本内容输入MotionBooth框架,输出得到相应的动态视频。
全文数据:
权利要求:
百度查询: 上海人工智能创新中心 一种基于MotionBooth框架的定制化物体动态视频生成方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。