龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：大连大学
申请日：2024-04-08
公开（公告）日：2024-06-18
公开（公告）号：CN118213037A
主分类号：G16H15/00
分类号：G16H15/00;G06F18/241;G06V10/40;G06V10/75;G06F18/22;G06F18/214;G06V10/774
优先权：
专利状态码：在审-公开
法律状态：2024.06.18#公开
摘要：本发明提供一种用于放射学报告生成的眼睛注视引导的跨模态对齐方法，步骤包括：双细粒度分支通过图像与报告之间的细粒度对齐以及图像与句子之间的细粒度对齐，从不同细粒度的跨模态比较中收集有效信息，并生成用于标签匹配的放射学报告；多任务分支从眼睛注视区域主题的跨模态对齐引入有效信息，并生成用于标签匹配的放射学报告；将双细粒度分支和多任务分支的放射学报告结果使用标签匹配机制选择最佳报告生成，再使用多分支损失融合方法对两个分支组成的报告生成模型进行训练；将医学图片输入到训练完的报告生成模型中。该方法有效结合了放射科医生的眼睛凝视区域的先验知识，提高报告生成的准确性和可解释性，减少误诊率，提高临床诊断效率。
主权项：1.一种用于放射学报告生成的眼睛注视引导的跨模态对齐方法，其特征在于，包括以下步骤：步骤1：给定放射学图像I，从采用预训练网络ResNet-101的图像特征提取器中提取图像特征v；同时，对图像特征v进行平均池化操作，得到平均图像特征文本特征t为嵌入层提取的文本嵌入；步骤2：双细粒度分支通过图像与报告之间的细粒度对齐以及图像与句子之间的细粒度对齐，从不同细粒度的跨模态比较中收集有效信息，并生成用于标签匹配的放射学报告；步骤3：多任务分支从眼睛注视区域主题的跨模态对齐引入有效信息，并生成用于标签匹配的放射学报告；步骤4：将双细粒度分支和多任务分支的放射学报告结果使用标签匹配机制选择最佳报告生成，再使用多分支损失融合方法对双细粒度分支和多任务分支两个分支组成的报告生成模型进行训练；步骤5：加载上述报告生成模型，将所需要医学图片输入到训练完的报告生成模型中，得到相应的报告。
全文数据：
权利要求：
百度查询： 大连大学 用于放射学报告生成的眼睛注视引导的跨模态对齐方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号