龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：之江实验室
摘要：本发明公开了一种基于掩码的视频局部物体编辑方法及装置，该方法包括：首先对视频分割成帧，得到图像序列；在第一帧中选取并优化目标物体的掩码，利用模板匹配和预训练的图像分割模型追踪并优化后续帧中的物体掩码；通过预训练的SD模型对第一帧进行编码并引入高斯噪声；根据给定文本描述，使用SD模型去噪并生成编辑后的图像；最后，通过迭代处理和解码过程完成整帧图像的编辑，并在处理后续帧时融合前几帧的编辑结果和注意力信息。由于该方法将视频编辑建立在图像编辑的基础之上，可以利用现有预训练文本图像模型的能力，不需要重新训练模型。此外在处理后续每一帧时都融合了前几帧的注意力信息，保证了编辑后视频的连续性。
主权项：1.一种基于掩码的视频局部物体编辑方法，其特征在于，该方法包括：将需要编辑的视频按帧进行切分并得到全部帧的图像序列；使用预训练的图像分割模型根据第一帧的图像和包围盒得到掩码；根据第一帧掩码，使用物体追踪算法追踪后续每帧中同样的物体，同样使用图像分割模型得到每一帧的掩码；利用预训练的SD模型中的编码器将第一帧图像编码到隐空间，随机采样一个同样分辨率的高斯噪音；根据给定的局部物体描述文本使用SD模型对高斯噪音进行迭代去噪；得到此次迭代结果的隐空间表示；通过掩码将去噪结果与加噪后的原始图像合并，重复迭代步骤，每次迭代得到的注意力信息替换原SD模型中的注意力，并保存每次迭代的注意力信息；将所有帧均进行多次迭代；处理后续帧时都根据前帧的注意力信息进行注意力融合，完成所有帧的编辑后，使用SD模型的解码器将混合结果解码回像素空间，得到编辑后的视频。
全文数据：
权利要求：
百度查询： 之江实验室 一种基于掩码的视频局部物体编辑方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号