买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜华润数字科技有限公司申请的专利基于多模态的扫描件段落结构还原方法、装置及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113221735B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202110510150.7，技术领域涉及：G06V30/414；该发明授权基于多模态的扫描件段落结构还原方法、装置及相关设备是由黄勇其;王伟;于翠翠;张黔设计研发完成，并于2021-05-11向国家知识产权局提交的专利申请。

本基于多模态的扫描件段落结构还原方法、装置及相关设备在说明书摘要公布了：本发明实施例公开了基于多模态的扫描件段落结构还原方法、装置及相关设备，通过预训练的OCR模型对文本扫描数据进行识别；将不含文本内容的文本框剔除，并按文本框所在的坐标位置依次排列，对每一文本框进行标注；根据每一坐标位置取出对应的文本框所在的图片区域；通过序列分类模型对文本内容和图像数据进行编码融合处理，并预测得到每个文本框的分类结果；根据分类结果进行段落重组；通过将OCR识别的文本框组合成文本框序列，并对文本框序列进行标注，同时融入对应文本框取出的图像数据，采用序列标注任务的方式，通过注意力融合和循环神经网络预测得到序列中每一文本框对应的标注概率，随后解码并进行重组，可以得到具有正确含义的段落结构。

本发明授权基于多模态的扫描件段落结构还原方法、装置及相关设备在权利要求书中公布了：1.一种基于多模态的扫描件段落结构还原方法，其特征在于，包括：通过预训练的OCR模型对文本扫描数据进行识别，获得若干文本框、每一所述文本框的文本内容和每一所述文本框对应于所述文本扫描数据中的坐标位置；将不含文本内容的所述文本框剔除，并按所述文本框所在的所述坐标位置依次排列，得到文本框序列，对每一所述文本框进行标注；根据每一所述坐标位置取出对应的所述文本框所在的图片区域，获得每一所述文本框对应的图像数据；通过序列分类模型对所述文本内容和所述图像数据进行编码融合处理，并预测得到每个所述文本框的分类结果；根据所述分类结果进行段落重组；所述通过序列分类模型对所述文本内容和所述图像数据进行编码融合处理，并预测得到每个所述文本框的分类结果，包括：将每一所述文本框的文本内容和所述图像数据进行编码融合，得到对应所述文本框融合后的句子编码数据；将每一所述句子编码数据依顺序组合得到句子编码序列；通过循环神经网络对所述句子编码序列进行编码处理，并将编码处理后的所述句子编码序列进行归一化映射；通过条件随机场对归一化后的所述句子编码序列进行概率预测，随后通过束搜索进行解码，并对每一所述文本框进行分类，得到分类结果；所述将每一所述文本框的文本内容和所述图像数据进行编码融合，得到对应所述文本框融合后的句子编码数据，包括：将每一所述文本框的所述文本内容按字的先后顺序进行排列得到文本序列；通过Bert模型对所述文本序列中的每个字进行编码，得到每个字的向量编码；通过池化层对所述文本序列中所有字的向量编码进行压缩和防过拟合处理，得到每一所述文本序列的句子编码数据；通过图像特征抽取器对所述图像数据进行特征提取，得到每一所述图像数据的图像特征向量；将每一所述文本序列的句子编码数据分别和所有的所述图像特征向量进行注意力计算，并融合所述图像特征向量，得到第一融合特征向量；将每一所述句子编码数据和由所述句子编码数据融合得到的第一融合特征向量进行融合，得到第二融合特征向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华润数字科技有限公司，其通讯地址为：518000 广东省深圳市福田区梅林街道梅都社区中康路136号深圳新一代产业园2栋801；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。