买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜同济大学申请的专利一种基于时空超分辨率的视频描述方法及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114549317B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210167971.X，技术领域涉及：G06F30/27；该发明授权一种基于时空超分辨率的视频描述方法及电子设备是由王瀚漓;曹铨辉设计研发完成，并于2022-02-23向国家知识产权局提交的专利申请。

本一种基于时空超分辨率的视频描述方法及电子设备在说明书摘要公布了：本发明涉及一种基于时空超分辨率的视频描述方法及电子设备，所述方法基于一视频描述模型实现，包括以下步骤：获取输入视频，对该输入视频进行采样获得包含若干压缩尺寸帧的视频帧序列；通过所述视频描述模型，对所述视频帧序列进行多模态特征提取和特征编码，动态融合编码后的多模态特征，逐步解码生成视频描述语句；其中，所述视频描述模型训练时，从空间和时间两个维度上重构原始分辨率的帧和相邻采样帧之间的中间缺失帧，以重构误差和解码预测误差构建损失函数，实现模型训练。与现有技术相比，本发明具有描述丰富准确、泛化能力强、计算开销低等优点。

本发明授权一种基于时空超分辨率的视频描述方法及电子设备在权利要求书中公布了：1.一种基于时空超分辨率的视频描述方法，其特征在于，该方法基于一视频描述模型实现，包括以下步骤：获取输入视频，对该输入视频进行采样获得包含若干压缩尺寸帧的视频帧序列；通过所述视频描述模型，对所述视频帧序列进行多模态特征提取和特征编码，动态融合编码后的多模态特征，逐步解码生成视频描述语句，所述多模态特征包括图像特征、动作特征和局部特征；其中，所述视频描述模型训练时，通过视频超分辨率步骤，从空间和时间两个维度上重构原始分辨率的帧和相邻采样帧之间的中间缺失帧，以重构误差和解码预测误差构建损失函数，实现模型训练；所述视频超分辨率步骤包括：1空间超分辨率：空间维度上，采用超分辨率解码器基于编码后的图像特征结合局部特征来重构原始分辨率的帧特征，并使用均方误差损失函数来衡量重构特征，其计算方式如下： 其中代表超分辨率解码器重构的原始分辨率的帧图像特征，代表未经过图片压缩得到的原始分辨率的图像特征；2时间超分辨率：时间维度上，采用超分辨率解码器基于编码后的图像特征结合动作特征还原丢失的相邻采样帧的中间帧特征，使用均方误差衡量预测帧特征和真实帧特征的差异，其计算方式如下： 其中代表超分辨率解码器还原的中间帧图像特征，代表相邻采样帧的中间帧图片提取得到的图像特征；所述超分辨率解码器包括可感知位置的注意力层以及前馈网络层，所述可感知位置的注意力层由下式表示： 其中Q,K,V代表前一层输入线性变换之后的矩阵，d代表模型的维度，bpa代表可感知位置矩阵，bmask代表掩膜矩阵，假设帧序列的长度为T，相对时间位置的范围在[-T+1,T-1]，对此范围内的相对位置进行参数化得到所述可感知位置矩阵，其第i行第j列的含义是第i帧相对于第j帧的相对位置，所述掩膜矩阵用于限制每一帧只能关注以其为中心最远距离不超过r的范围；所述前馈网络层由下式表示：feed-forwardx＝ReLUxW1+b1W2+b2其中x代表输入向量，W1,W2,b1,b2代表可学习的参数；通过二维卷积神经网络对每一视频帧进行所述图像特征的提取，利用Transformer编码器对所提取的图像特征的时间关联进行建模，实现特征编码，具体地：利用Transformer解码器逐步解码生成语句，初始时刻使用特殊单词BOS作为句首，接下来的每一个时间步骤，使用词嵌入向量化上一个时间步骤输出的单词，然后动态融合三个模态的特征F、M、O，将最后全连接层输出的向量通过softmax计算当前时刻的单词概率分布：Pwt|wt,F,M,O＝softmaxW3Ht+b3其中wt代表t时刻之前生成的单词，W3和b3代表可学习参数，Ht代表t时刻解码器输出的隐层状态；假设整个描述有L个单词，使用交叉熵损失函数来衡量解码器预测能力： 构建的所述损失函数表示为：L＝Llang+λsLssr+λtLtsr其中Llang代表描述解码预测误差的语言损失，Lssr代表空间维度的超分辨率损失，Ltsr代表时间维度的超分辨率损失，λs和λt代表用于平衡时间和空间超分辨率损失权重的超参数；上述视频超分辨率步骤仅在模型训练中执行，而测试阶段或实际应用阶段则会移除，仅保留描述生成的工作线。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。