申请/专利权人：西南电子技术研究所(中国电子科技集团公司第十研究所)

申请日：2020-05-31

公开（公告）日：2024-02-23

公开（公告）号：CN111680173B

主分类号：G06F16/43

分类号：G06F16/43;G06F16/48;G06F16/41;G06F16/45;G06F16/36;G06F40/30

优先权：

专利状态码：有效-授权

法律状态：2024.02.23#授权;2020.10.20#实质审查的生效;2020.09.18#公开

摘要：本发明公开的一种统一检索跨媒体信息的CMR模型，旨在提供一种信息准确、快速的跨媒体检索模型。本发明通过下述技术方案实现：多模态媒体信息语义特征统一表达与关联模块查询输入和跨媒体数据模块输入的异构信息，基于多模态语义特征提取结果及底层特征到高层语义特征的映射，将多模态语义特征映射到同一特征空间中并构建多模语义关联规则，实现跨媒体信息底层特征与高层语义特征之间的关联和不同模态信息高层语义的关联；跨媒体数据索引构建模块针对多模态数据特征建立多维度检索索引；跨媒体检索模型构建模块基于本体、语义网络和知识图谱技术，实现多模态信息的统一检索；检索结果经过多模态检索结果关联印证与组织模块实现冲突检测和自组织。

主权项：1.一种统一检索跨媒体信息的CMR模型，包括：共端链接多模态媒体信息语义特征统一表达与关联模块的查询输入模块、跨媒体数据模块，多模态媒体信息语义特征统一表达与关联模块输出端链接的查询输入语义特征模块、跨媒体数据索引构建模块、跨媒体检索模型构建模块和多模态检索结果关联印证与组织模块，其特征在于：多模态媒体信息语义特征统一表达与关联模块根据查询输入模块的文本输入、音频输入、图像输入、视频输入的异构信息和跨媒体数据模块输入的文本数据、音频数据、图像数据和视频数据，基于提取的视频语义特征、音频语义特征、图像语义特征、文本语义特征和环境的语义理解，以及异构多模态媒体信息底层特征相关性，基于多模态媒体信息的语义特征提取结果，将多模态信息语义特征映射到同一特征空间中，同时构建多模语义关联规则，并将底层特征到高层语义特征映射到查询输入语义特征模块、跨媒体数据索引构建模块，实现跨媒体信息底层特征与高层语义特征之间的关联和不同模态信息之间的高层语义关联；跨媒体数据索引构建模块在文本、音频、图像和视频的跨媒体数据语义特征提取基础上，建立针对多模态数据特征库的多维度检索索引，跨媒体检索模型构建模块基于本体和语义网络空间与知识图谱相结合的跨媒体检索模型技术，实现多模态信息的统一检索；多模态检索结果关联印证与组织模块基于文本、音频、图像和视频这些多类型多来源检索结果的关联印证与组织技术，实现跨媒体信息的自动关联与去重、冲突信息的检测与印证、检索结果的自组织；多模态媒体信息语义特征统一表达与关联模块在跨媒体信息语义特征统一表达关联和多维检索索引构建的基础上，将查询输入语义特征和跨媒体数据语义特征输入至跨媒体检索模型构建模块，通过本体技术、语义空间技术和知识图谱技术，经过知识表示、语义匹配和知识推理步骤实现跨媒体信息的统一检索，得到多模态的检索结果；多模态检索结果关联印证与组织模块针对获取的多模态检索结果，进行检索结果的去重、不同来源不同类型信息的自动关联、冲突检索结果的相互检测与印证、多模态检索结果的自组织，将检索结果重新处理、排序后返回给用户；音频数据的语义特征由声纹特征和内容特征组成；对于声纹特征，创建索引时，先将音频文件划分成若干片段序列，将每个片段的特征直方图作为索引叶节点；同层的直方图各节点用索引指针连接，并指向该层最左端；对于内容特征，则参照文本语义特征索引的方式进行构建。

全文数据：

权利要求：

百度查询： 西南电子技术研究所(中国电子科技集团公司第十研究所) 统一检索跨媒体信息的CMR模型

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD