申请/专利权人：兰州交通大学

申请日：2023-09-28

公开（公告）日：2024-06-25

公开（公告）号：CN117558394B

主分类号：G16H15/00

分类号：G16H15/00;G06V10/20;G06V10/32;G06V10/44;G06N3/0464;G06N3/045;G06N3/048;G06V10/25;G06F18/22;G06N3/0455;G06V10/764;G06F40/289;G06F16/36;G06N3/0442;G06N3/096

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.03.01#实质审查的生效;2024.02.13#公开

摘要：本发明公开了一种基于跨模态网络的胸部X线影像报告生成方法，属于影像报告技术领域，本发明提出一种跨模态辅助网络CMLRAN，引入注意力机制分别处理图像和文本信息，并以记忆存储响应矩阵MSRM为基础，结合OpenAI提出的CLIP来增强图像和文本的信息关联。编码时侧重于X射线影像细粒度差异的分类；解码时侧重于医学专业名词的生成。该方法能够较好解决语义鸿沟等问题，智能生成胸部X线影像报告。

主权项：1.一种基于跨模态网络的胸部X线影像报告生成方法，其特征在于，包括新建一种跨模态辅助网络CMLRAN，引入注意力机制分别处理图像和文本信息，并以记忆存储响应矩阵MSRM为基础，结合OpenAI提出的CLIP来增强图像和文本的信息关联，具体步骤如下：步骤一：病灶区域特征提取实现步骤如下：①对输入图像进行对比度增强、图像尺寸变换、图像像素块调整，得到预处理图像；②预处理图像通过卷积神经网络CNN将图像转化为图像特征矩阵，并将该矩阵所有数据拉长为一列，得到胸部CT可训练图像特征矩阵C，之后代入ResnetII，提取与胸部器官关联度高的特征信息，得到X射线影像特征矩阵C'，将提取到的特征与ResnetII网络提取到的特征C'进行基于残差连接的计算，最后将特征C'与特征C进行注意力网络计算得到完整的胸部X射线影像特征C”，其中，ResnetII网络以Resnet-152网络为基础，Resnet-152网络表示152层残差网络，其底层模块由12个不同维度卷积，1×1和3×3为卷积核，64、128、256、512、1024、2048为网络层数构成，X射线影像特征矩阵C'是通过ResnetII网络计算图像特征矩阵C得到的，ResnetII网络有了两个不同的池化层，分别为最大池化层和平均池化层，两个池化层的计算结果与图像特征矩阵C通过残差连接得到特X射线影像特征矩阵C'；步骤二：跨模态辅助定位实现步骤如下：在完成第一步操作后，将通过特征提取得到的X射线影像特征矩阵C”引入医学CLIP和MSRM进行矩阵计算，确定最大概率的病灶区域，相关公式如下： 和表示核心区域的图像和文字，Cimg和Ctxt表示通过预处理后的图像和文字，通过矩阵计算可得基于图像特征计算文本特征和基于文本特征计算图像特征的余弦相似度W，N表示一组图片文本对的总数量，W'表示在W的基础上通过归一化计算得到的特征分数，通过计算可得最终输出病灶区域对应报告的交叉概率分数Li→t和Lt→i；步骤三：医学报告自动生成的实现步骤：再通过步骤二中MSRM计算得到的同时描述X射线影像特征和对应医学诊断报告的跨模态特征后，Transformer的decoder可以在生成每个单词时同时考虑到整个输入序列，因此它可以很好地捕捉上下文信息，具体如下，采用GPT-2网络，其中序列中的标记以先前的标记为条件进行文本生成，将每个生成的单词作为下一步的输入，并重复上述所有的操作，直到生成完整的医学报告，并基于双向LSTM提出了遗忘门SFG，SFG和跨模态记忆存储的公式如下： 其中Wf表示遗忘门SFG，bf表示偏置，xt表示隐藏信息，ht-1表示t-1时刻的时间函数，Ct-1表示上一时刻的跨模态记忆存储特征；通过引入遗忘门和更新门来控制跨模态信息的流动，从而更好地捕捉医学报告中的上下文信息和X射线影像的跨模态信息，为了将语言模型限定于区域视觉特征，使用伪自注意特征将病灶区域特征和关联疾病关键词特征直接注入到模型的自注意力中，相关公式如下： 其中X表示病灶区域视觉特征，Y表示词嵌入，Wq，Wk，Wv表示查询、键和值，Uk和Uv表示通过LSTM得到的初始隐藏状态的键和值的参数，通过矩阵运算可以实现病灶区域生成文本。

全文数据：

权利要求：

百度查询： 兰州交通大学 一种基于跨模态网络的胸部X线影像报告生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD