龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：武汉理工大学
申请日：2024-03-07
公开（公告）日：2024-06-11
公开（公告）号：CN118172829A
主分类号：G06V40/20
分类号：G06V40/20;G06V20/40;G06V10/44;G06V10/80;G06V10/764;G06V10/82;G06N3/0455;G06N3/0464;G06N3/048;G06N3/08
优先权：
专利状态码：在审-公开
法律状态：2024.06.11#公开
摘要：本发明公开了一种基于动作感知的视频描述方法及系统，属于视频描述技术领域，所述方法包括：分别提取每个待描述视频的原始视觉特征；将原始视觉特征输入动作识别预测器，得到高级动作语义特征；将原始视觉特征与动作语义信息进行特征融合，得到动作融合视觉特征；将动作融合视觉特征输入长度预测器，并通过非自回归解码器生成视频描述文本；将动作融合视觉特征输入视觉词解码器，生成视觉词，并将视觉词映射成待描述视频的语言骨架标签；构建多尺度语义骨架损失函数，对视频描述文本进行语言骨架级优化。本发明的方法具备动作感知能力，减少视频中低级错误动作信息的影响，从语言骨架级对描述文本进行优化，从而提升生成的视频描述的精细度。
主权项：1.一种基于动作感知的视频描述方法，其特征在于，所述方法包括：获取待描述的多个视频，分别提取每个待描述视频的二维图像特征和三维运动特征并输入编码器进行特征编码和特征拼接，得到每个待描述视频的原始视觉特征；将所述原始视觉特征输入动作识别预测器，预测每个待描述视频的主要动作行为信息，得到动作语义特征；将所述原始视觉特征与所述动作语义信息进行特征融合，得到每个待描述视频的动作融合视觉特征；将所述动作融合视觉特征输入长度预测器，预测待生成的视频描述文本的长度分布概率，并通过非自回归解码器生成视频描述文本；将所述动作融合视觉特征输入视觉词解码器，生成视觉词，并将视觉词映射成待描述视频对应的语言骨架标签；构建多尺度语义骨架损失函数，监督每个待描述视频的语言骨架标签的生成，对视频描述文本进行语言骨架级的优化。
全文数据：
权利要求：
百度查询： 武汉理工大学 一种基于动作感知的视频描述方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号