买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜江西财经大学申请的专利融合图表关键数据的多模态图表到文本生成方法与系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119150826B 。

龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411648793.8，技术领域涉及：G06F40/18；该发明授权融合图表关键数据的多模态图表到文本生成方法与系统是由刘喜平;黄旺旺;谭钊;舒晴;刘德喜;万齐智;万常选设计研发完成，并于2024-11-19向国家知识产权局提交的专利申请。

本融合图表关键数据的多模态图表到文本生成方法与系统在说明书摘要公布了：本发明提出一种融合图表关键数据的多模态图表到文本生成方法与系统，该方法通过提取图表中的关键数据和视觉特征，再利用多模态注意力网络和门融合机制对两种模态的特征进行融合，以充分学习图表的关键语义特征和全局视觉特征，最后对融合后的特征进行解码并生成具有高流畅度和事实一致性的图表描述文本。本发明采用了大语言模型语义增强和多模态学习的方法，使模型能够对图表传达的语义进行更充分理解和学习。模型易于搭建，生成的文本流畅度高，包含的事实更多更准确，文本内容也更加精简。

本发明授权融合图表关键数据的多模态图表到文本生成方法与系统在权利要求书中公布了：1.一种融合图表关键数据的多模态图表到文本生成方法，其特征在于，所述方法包括如下步骤：步骤1、提取图表的底层数据表，将底层数据表展开得到表格序列化文本，将表格序列化文本分词，再输入至预训练语言模型BERT得到各个子词的嵌入向量，根据各个子词的嵌入向量获取每个单元格特征表示，将单元格特征表示与在底层数据表中对应位置的标题信息进行融合，获得表格数据值特征；其中，将底层数据表展开得到表格序列化文本，将表格序列化文本分词，再输入至预训练语言模型BERT得到各个子词的嵌入向量以及标题特征，根据各个子词的嵌入向量获取每个单元格特征表示的方法具体包括如下步骤：将底层数据表按行展开得到表格序列化文本，其中，表格序列化文本表示为；将文本分词后得到一个子词的token序列，子词的token序列表示为，其中，表示第个子词；使用BERT的预训练词嵌入矩阵来提取词嵌入向量，并将词嵌入输入至BERT模型中获取表格序列化文本的特征表示，对应的过程存在如下关系式： ； ；其中，表示BERT预训练模型的词嵌入处理函数，表示输入token序列的词嵌入表示，表示预训练BERT编码器，表示表格序列化文本的特征表示；将表格序列化文本中所有单词的各个子词向量取平均，得到文本中所有单词的特征表示，对应的过程存在如下关系式： ；其中，表示序列化文本中所有单词的特征表示，表示中的第k个单词特征，表示被切分的子词数量，表示的第个子词特征；对表格序列化文本中每个单元格所包含所有词的特征表示取平均得到表格中所有单元格的特征表示，对应的过程存在如下关系式： ；其中，表示所有单元格的单元格特征表示，表示中的第k个单元格特征，表示一个单元格包含的词个数，表示所在单元格的首个词单词特征，表示所在单元格拥有的单词数量；步骤2、对图表底层数据表的标题进行语义信息补充，得到标题的补充信息，将标题的补充信息与表格数据值特征进行融合再通过预测层，获得与图表有关的关键数据；步骤3、将图表图像按照固定像素长度和宽度进行分割得到若干图像块，再对图像块在通道方向上进行展平后输入至SwinTransformer模型中得到图表图像的视觉特征；步骤4、将获得的图表关键数据按照模板进行序列化后输入至BART编码器获得文本特征，再将文本特征和视觉特征进行多模态融合，生成多模态融合特征；步骤5、将多模态融合特征输入至BART解码器中进行解码，以生成最终的文本。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江西财经大学，其通讯地址为：330000 江西省南昌市经济技术开发区双港东大街169号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。