买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利基于文本驱动的零样本6自由度视频编辑方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119316668B 。

龙图腾网通过国家知识产权局官网在2025-03-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411854450.7，技术领域涉及：H04N21/44；该发明授权基于文本驱动的零样本6自由度视频编辑方法及系统是由罗亚威;苗乔伟;李科翰;杨易设计研发完成，并于2024-12-17向国家知识产权局提交的专利申请。

本基于文本驱动的零样本6自由度视频编辑方法及系统在说明书摘要公布了：本发明公开了一种基于文本驱动的零样本6自由度视频编辑方法及系统，属于计算机视觉处理领域。本发明的方法包括：基于扩散模型逐帧处理多视角源视频，由编码器编码各帧原始图像；在UNet网络的反演过程中注入文本表征，存储每个加噪时间步的交叉注意力图和自注意力图；更新无文本控制向量，由设计好的UNet编辑器输出编辑图像隐编码并由解码器对其进行解码，输出目标图像；将像素级别掩码作为权重，对目标图像和原始图像进行加权，以构成编辑后的视频；再次训练四维表征网络，将渲染视角和时间戳序列作为输入，最终输出重建好的6自由度视频。通过本发明的方法，用户可以通过与文本交互，实现对6自由度动态场景的灵活操作。

本发明授权基于文本驱动的零样本6自由度视频编辑方法及系统在权利要求书中公布了：1.一种基于文本驱动的零样本6自由度视频编辑方法，其特征在于，包括以下步骤：S1：获取一个包含文本编码器、图像编码-解码器和UNet网络且经过预训练的扩散模型，使用所述扩散模型逐帧处理多视角源视频中所有视角的原始图像，首先将一帧原始图像传入所述图像编码-解码器中的编码器进行编码，得到原始图像隐编码；S2：将获取到的文本提示经过文本编码器编码后，得到文本表征，将原始图像隐编码以及文本表征输入到所述UNet网络中对扩散过程进行反演，将原始图像隐编码通过多个时间步加噪后，得到噪声隐编码，并保存加噪过程每个时间步生成的交叉注意力图和自注意力图；S3：将文本表征以及加噪过程中每个时间步得到的噪声隐编码经过重建去噪处理，得到每个时间步更新后的无文本控制向量；S4：修改UNet网络中交叉注意力层和自注意力层的计算方式，将修改后的UNet网络作为UNet编辑器，将文本提示替换为编辑后的文本提示，将编辑后的文本提示经过文本编码器编码后，得到目标文本表征，将噪声隐编码、目标文本表征以及更新后的无文本控制向量输入到所述UNet编辑器中，将噪声隐编码通过多个时间步编辑去噪后，得到编辑图像隐编码；S5：将编辑去噪过程最后一个时间步输出的编辑图像隐编码输入所述图像编码-解码器中的解码器进行解码，得到目标图像；S6：基于加噪过程生成的交叉注意力图计算像素级别掩码，以像素级别掩码作为权重，对目标图像和原始图像进行加权，得到编辑后的图像并构成编辑后的视频；S7：将编辑后的视频输入到训练过的四维表征网络中进行再次训练，将渲染视角和时间戳序列输入到再次训练好的四维表征网络，输出重建好的6自由度视频。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。