恭喜浙江大学林钰淇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浙江大学申请的专利一种基于文本驱动的高效弱监督语义分割方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115937852B 。
龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211597202.X,技术领域涉及:G06V20/70;该发明授权一种基于文本驱动的高效弱监督语义分割方法及装置是由林钰淇;陈铭浩;蔡登设计研发完成,并于2022-12-12向国家知识产权局提交的专利申请。
本一种基于文本驱动的高效弱监督语义分割方法及装置在说明书摘要公布了:本发明公开了一种基于文本驱动的高效弱监督语义分割方法及装置,包括如下步骤:1将图片和对应的类别名输入预训练好的视觉‑语言模型,使用基于梯度的类激活映射得到初始的类激活图;2基于视觉transformer中的多头自注意力机制对初始的类激活图进行改进;3使用条件随机场对改进后的类激活图进行后处理,得到语义分割的伪标签;4利用生成的伪标签训练语义分割模型,并利用训练好的语义分割模型对待分割的图片进行语义分割。本发明通过引入基于视觉transformer架构的视觉‑语言模型来高效地为语义分割生成高质量的伪标签,从而提高语义分割模型的分割效率和效果。
本发明授权一种基于文本驱动的高效弱监督语义分割方法及装置在权利要求书中公布了:1.一种基于文本驱动的高效弱监督语义分割方法,其特征在于,包括如下步骤:1将图片和对应的类别名输入预训练好的视觉-语言模型,使用基于梯度的类激活映射得到初始的类激活图;使用基于梯度的类激活映射时,将softmax引入类激活映射,当前类别c的分类分数Yc经过softmax处理后得到概率分数sc,利用概率分数sc计算梯度,得到新的权重如下: 通过对特征图进行加权求和得到初始的类激活图,公式为: 其中,表示连接第k个特征图和当前类别c的权重,Z代表特征图中的像素个数,Yc代表当前类别c的分类分数,Yc’代表第c’种类别的分类分数,代表特征图上位于i,j位置的激活值,sc’代表Yc’经过softmax函数处理之后的概率分数,ReLU激活函数用于去掉对当前类别没有正面影响的特征;经过softmax处理后得到概率分数sc的公式为: 式中,c’代表第c’种类别,C代表总类别数;2基于视觉transformer中的多头自注意力机制对初始的类激活图进行改进;具体过程为:2-1步骤1得到类激活图Mc的同时,还得到了自注意力权重矩阵Wattn;使用Sinkhorn正则化将自注意力权重归一化,使其行和列的和均为1,记为矩阵D,进而定义语义一致性矩阵A如下: 2-2为类激活图Mc设定一个阈值,得到一些连通区域,取这些连通区域的外接矩形作为类别掩码,外接矩形包含了当前类别的像素位置;之后使用这些类别掩码对一致性矩阵A进行遮挡,使其只关注当前类别的像素;2-3使用遮挡后的一致性矩阵进行类激活图改进,过程如下: 式中,Mc和A分别代表类激活图和一致性矩阵,代表改进后的类激活图,Bc代表外接矩形掩码,⊙代表哈达玛乘积,t代表迭代次数,vec代表矩阵向量化;3使用条件随机场对改进后的类激活图进行后处理,得到语义分割的伪标签;4利用生成的伪标签训练语义分割模型,并利用训练好的语义分割模型对待分割的图片进行语义分割。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。