首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种面向多视觉任务的信道自适应语义通信方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:南京航空航天大学

摘要:本发明公开了一种面向多视觉任务的信道自适应语义通信方法及系统,包括:多尺度视觉语义特征提取;信道自适应模块级联增强语义;非对称多尺度语义编码器压缩编码;带噪物理信道语义传输;非对称多尺度语义解码器解码;通过特征金字塔结构进一步增加多尺度语义特征尺度与关联性,得到多尺度语义特征;将多尺度语义特征输入任务头执行对应的视觉任务。本发明通过基于通道注意力方法的信道自适应模块,构建具备提取信道自适应视觉语义的语义提取网络,支撑面向图像分类、目标检测、语义分割等任务的语义通信系统,提升动态干扰场景下语义通信鲁棒性及实时性,以保证多视觉任务精度和效率。

主权项:1.一种面向多视觉任务的信道自适应语义通信方法,其特征在于,所述信道自适应语义通信方法包括以下步骤:步骤1,输入视觉任务图像,对输入的视觉任务图像进行预处理后送入由深度卷积神经网络构成的特征提取模块,提取得到初步多尺度语义特征步骤2,将提取到的初步多尺度视觉语义特征全局平均池化为多尺度视觉语义特征池化向量p,融合信道信噪比信息μ与多尺度视觉语义特征池化向量p生成融合向量pμ,联合输入两层全连接网络生成权重因子si;依赖权重因子si对初步多尺度视觉语义特征赋予权重生成增强语义步骤3,通过四个并行压缩模块压缩对应尺度的增强语义特征为将压缩后的多尺度语义特征维度变换为一维向量并转换为复数信号向量对复数信号向量执行标准化,得到消息z;步骤4,通过带噪物理信道语义传输消息z得到经过信道噪音干扰的复数信号向量;步骤5,接收经过信道噪音干扰的复数信号向量,将其维度变换为和压缩多尺度语义特征一致;通过四个与编码模块不对称的并行残差解码模块重建发送端提取的语义特征步骤6,通过特征金字塔结构增加多尺度语义特征尺度与关联性,输出步骤7,将多尺度语义特征输入任务头执行对应的视觉任务;步骤8,输入特定视觉任务训练集,包括图像分类、目标检测、语义分割任务,迭代训练面向多视觉任务的信道自适应语义通信系统;步骤9,输入特定视觉任务测试集,包括图像分类、目标检测、语义分割任务,验证面向多视觉任务的信道自适应语义通信系统。

全文数据:

权利要求:

百度查询: 南京航空航天大学 一种面向多视觉任务的信道自适应语义通信方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。