首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于多模态知识图谱的图像认知语义通信系统和方法 

申请/专利权人:南京邮电大学

申请日:2024-03-13

公开(公告)日:2024-06-28

公开(公告)号:CN118260432A

主分类号:G06F16/36

分类号:G06F16/36;G06F40/30;G06V10/82;G06N3/0464;G06V10/26;G06N3/094;G06N3/0475;G06N3/045;G06T3/04;G06T11/00

优先权:

专利状态码:在审-公开

法律状态:2024.06.28#公开

摘要:本发明公开了一种基于多模态知识图谱的图像认知语义通信系统和方法,包括图像语义提取模块、语编码模块、解码模块、图像重建模块和共享多模态知识图谱模块。图像语义提取模块利用语义分割网络和知识图谱实体匹配算法,实现对图像语义信息的精准提取;编码模块包括语义编码以及信道编码两个子模块,语义编码可根据语义信息类别执行差异化编码,进一步对语义信息进行压缩,提高了系统的效率,信道编码为传输码元赋予纠错能力,提高系统可靠性;解码模块包括信道解码以及语义解码两个子模块,信道解码是信道编码的逆过程,实现对传输码元的纠错,语义解码为语义编码的逆过程,根据压缩后的码元估计恢复语义信息,图像重建模块使用风格生成对抗网络。

主权项:1.一种基于多模态知识图谱的图像认知语义通信系统,其特征在于,所述系统包括图像语义提取模块、语编码模块、解码模块、图像重建模块和共享多模态知识图谱模块;图像语义提取模块利用语义分割网络和知识图谱实体匹配算法,对图像语义信息的精准提取;语义编码模块包括语义编码以及信道编码两个子模块,语义编码根据语义信息类别执行差异化编码,对语义信息进行压缩,信道编码为传输码元赋予纠错能力;解码模块包括信道解码以及语义解码两个子模块,信道解码是信道编码的逆过程,对传输码元的纠错,语义解码为语义编码的逆过程,根据压缩后的码元估计恢复语义信息;图像重建模块使用风格生成对抗网络,根据提供的语义信息从语义层面恢复传输图像;共享多模态知识图谱模块是存在与发送端和接收端的知识库,在发送端协助语义提取模块提取图像的语义信息,在接收端为图像重建算法提供额外的语义信息。

全文数据:

权利要求:

百度查询: 南京邮电大学 一种基于多模态知识图谱的图像认知语义通信系统和方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。