首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于CNN和LSTM的跨媒体目标检测方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:南京工业大学

摘要:一种基于CNN和LSTM的跨媒体目标检测方法,步骤包括:首先搜集符合目标检测任务的数据集;将图像分为训练集、验证集和测试集,并对数据集中的图像进行文本信息和边界框坐标进行标注;接着构建用于跨媒体目标检测的卷积神经网络模型;然后利用训练集中的图像对卷积神经网络模型进行训练;最后利用训练完成的用于跨媒体目标检测的网络模型,对测试数据集中的图像进行检测。在卷积神经网络模型的图片特征提取模块中:先在多个不同的通道提取图像特征,然后分别由适应性图像特征选取结构进行处理,接着由空间特征融合结构对各个通道得到图形特征进行融合处理,最后由FPN网络对融合后的图像特征处理后输出。本方法可很好完成跨媒体目标检索。

主权项:1.一种基于CNN和LSTM的跨媒体目标检测方法,步骤包括:首先,搜集符合目标检测任务的数据集;将图像分为训练集、验证集和测试集,并对数据集中的图像进行文本信息和边界框坐标进行标注;其特征是,步骤还包括:接着,构建用于跨媒体目标检测的卷积神经网络模型;然后,利用训练集中的图像对卷积神经网络模型进行训练;最后,利用训练完成的用于跨媒体目标检测的网络模型,对测试数据集中的图像进行检测;所述用于跨媒体目标检测的卷积神经网络模型是以单阶段网络ZSGNet作为基础模型:单阶段网络ZSGNet包括图片特征提取模块和文字编码模块;首先,图片特征提取模块用来提取图片特征信息,文字编码模块用来提取文字特征信息;之后,将图片特征信息和文字特征信息进行特征融合,输出多维的特征向量,分别作为回归参数和置信度,从而获得一个边界框;在图片特征提取模块中:先在多个不同的通道提取图像特征,然后分别由适应性图像特征选取结构进行处理,接着由空间特征融合结构对各个通道得到图形特征进行融合处理,最后由FPN网络对融合后的图像特征处理后输出;适应性图像特征选取结构把文字特征输入到图像特征提取器内,以文字特征为权重,使得图像特征提取器提取出符合文本信息的特征;再由空间特征融合结构对图形特征进一步处理,使得每个通道的图像特征都能获得其它通道的信息,并且各个通道之间相加权重为可训练参数。

全文数据:

权利要求:

百度查询: 南京工业大学 一种基于CNN和LSTM的跨媒体目标检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。