首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于视觉-语义信息的图像概念可解释方法 

申请/专利权人:浙江大学

申请日:2024-04-08

公开(公告)日:2024-06-28

公开(公告)号:CN118261256A

主分类号:G06N5/045

分类号:G06N5/045;G06V10/762;G06V10/764

优先权:

专利状态码:在审-公开

法律状态:2024.06.28#公开

摘要:本发明公开了一种基于视觉‑语义信息的图像概念可解释方法。方法包括:采用识别一切模型对原始图像数据进行处理后对多个文本标签进行聚类,聚类后通过完整性分析公式筛选出所需的多个文本标签;选取测试图像和文本标签输入到识别一切模型中,得到分割区域图作为局部概念位置图;根据全局消融处理公式得到每个图像‑文本标签对的全局消融置信度;根据局部消融处理公式得到每个局部概念位置图的局部消融置信度作为用于识别测试图像的具有解释信息的输出信息。本发明能够自动从训练数据中提取视觉和语义概念,准确定位和解释模型识别的每个概念在输入数据中的具体位置;提供了对每个单独概念的深入理解,还揭示了它们如何相互作用以影响最终决策。

主权项:1.一种基于视觉-语义信息的图像概念可解释方法,其特征在于:方法包括以下步骤:1采用识别一切模型对原始图像数据进行处理,得到原始图像数据的若干个分割图像以及每个分割图像对应的文本标签,对多个文本标签进行聚类,聚类后通过完整性分析公式筛选出所需的多个文本标签,所需的一个文本标签与其对应的一个分割图像形成一个图像-文本标签对,从而所需的多个文本标签与其分别对应的分割图像形成多个图像-文本标签对;2选取一张测试图像和多个图像-文本标签对中的文本标签共同输入到识别一切模型中,得到测试图像的多张分割区域图,每张分割区域图对应一个输入到识别一切模型中的文本标签,将分割区域图作为局部概念位置图;3针对每个图像-文本标签对,根据全局消融处理公式计算得到每个图像-文本标签对的全局消融置信度;同时针对每个局部概念位置图,根据局部消融处理公式计算得到每个局部概念位置图的局部消融置信度,将全局消融置信度作为用于识别原始图像的具有解释信息的输出信息,将局部消融置信度作为用于识别测试图像的具有解释信息的输出信息。

全文数据:

权利要求:

百度查询: 浙江大学 基于视觉-语义信息的图像概念可解释方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。