恭喜同济大学赵才荣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜同济大学申请的专利一种基于弱监督人体协同分割的行人再识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114049531B 。
龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111263138.7,技术领域涉及:G06V10/774;该发明授权一种基于弱监督人体协同分割的行人再识别方法是由赵才荣;窦曙光设计研发完成,并于2021-10-28向国家知识产权局提交的专利申请。
本一种基于弱监督人体协同分割的行人再识别方法在说明书摘要公布了:本发明涉及计算机视觉领域,采用深度学习框架,具体涉及一种基于弱监督人体协同分割的行人再识别方法,包括以下步骤:1将同一个行人的所有图像作为一批次送入到弱监督人体协同分割网络中,训练该网络得到行人图像对应的伪像素级标签;2构建多任务网络框架包含骨干网络,行人再识别子网络和人体分割子网络,将行人图像和伪像素级标签送入多任务网络中,得到图像特征,前景特征和人体部分特征;3交替训练人体协同分割网络和多任务网络得到最优的伪像素级标签和多任务网络模型,将测试集中的行人图像送入多任务网络中,只使用前景特征和人体部分特征来计算图像间的距离,进行行人特征匹配。本发明对于遮挡场景更加鲁棒,更加适合于现实中复杂的场景。
本发明授权一种基于弱监督人体协同分割的行人再识别方法在权利要求书中公布了:1.一种基于弱监督人体协同分割的行人再识别方法,其特征在于,包括以下步骤:1构建弱监督人体协同分割网络,将同一个身份的行人图像作为一批次送入到弱监督人体协同分割网络中得到行人图像对应的伪像素级标签;2构建多任务网络框架:包含骨干网络,行人再识别子网络和人体分割子网络,将行人图像和伪像素级标签送入多任务网络中,得到图像特征,前景特征和人体部分特征;3交替训练人体协同分割网络和多任务网络得到最优的伪像素级标签和多任务网络模型,将测试集中的行人图像送入多任务网络中,只使用前景特征和人体部分特征来计算图像间的距离,进行行人特征匹配;所述的步骤1具体包括以下步骤:11为了在仅有图像级标签下得到行人图像的像素级标签,构建弱监督人体协同分割网络:该网络包含一个编码器和一个解码器,编码器为在ImageNet上预训练的分类网络,解码器为构建的全卷积神经网络;解码器由三个基础块与一层预测层组成,其中基础块由卷积核为3×3大小的卷积层,批次正则化BN层和非线性激活函数ReLU组成;预测层为卷积核为1×1的卷积层,该卷积层的卷积核数量为分割网络预测的类别数量,记为C′;12将大小为h×w的同一身份的行人图像组记为其中N为图像组中图像的数量,i和j为该像素在第k图像中的位置;将X送入人体协同分割网络中,输出大小为h4×w4×C′的预测图,其中每个像素对应的预测向量为1×1×C′;使用argmax函数,得到每个像素的伪类别13为了利用行人图像中已有的一致性信息,构建三种一致性损失函数:①局部空间一致性损失:在局部空间下,相邻的像素应该具有同一标签;为了保证分割结果的局部空间一致性,最大化在一个R×R的窗口内中心像素的预测向量与邻近像素的相似性,具体公式如下所示: 其中为中心像素的预测向量,yss=1,…,S为R×R领域内邻近像素的预测向量,‖·‖p为p范数;R设置为3;②语文一致性损失:对于同一身份行人在不同的摄像头视角下具有相同的语义的像素应该被预测为同一标签;同一身份行人在不同的摄像头视角下的人体区域是不变的,而分割网络会将具有相同的着色和纹理的像素分配为同一标签;基于以上,将最大化不同图像间具有相同语义的像素的预测向量,具体公式如下所示: 其中M是具有相同身份的图像组中所有像素的数量,y是像素的预测向量,pl是由预测向量通过argmax函数得到的伪标签;③背景一致性损失:同一身份行人图像的背景应该被预测为同一标签;由于不同的图像的背景是不同的,语义一致性损失无法保证背景一致性;在不同摄像头视角下,行人的光照和姿态变化较大;而在同一摄像头下,除了背景偏差外,行人的变化是很小的,即摄像机视角内相似性;基于摄像机视角内相似性,最大化同一摄像机视角下相邻图像的预测向量的相似性,具体公式如下所示: 其中为第k张图像的预测向量,k1和k2为同一摄像机视角下的相邻图像;综上所述,人体协同分割网络HumanCo-parsingNetwork,HCNet的优化目标函数为:LHCNet=Lsem+λLLlocal+λBLback其中λL和λB为平衡权重;14以ImageNet上预训练的参数来初始化编码器中的参数,以Kaiminguniform来初始化解码器中的参数,通过人体协同分割网络输出预测向量,计算目标函数,通过反向传播来更亲解码器中的参数;重复以上步骤,直至人体协同分割网络输出的伪标签数量小于设计最小标签数mL;15由于没有真实的像素级标签,为了输出伪标签所代表的具体类别,构建基于中心先验的标签重分配;在行人图像中,前景即行人及其私人物品一般位于图像的中心位置,而背景则位于图像的边缘位置,即中心先验;基于中心先验,将伪标签找分为前景和背景,再根据前景每一类伪标签的所有像素的平均高度,划分为C-1类;将重分配标签作为多任务网络的人体解析子网络的伪真实标签;所述的步骤2构建多任务网络,具体包括以下步骤:21构建多任务网络架构:骨干网络与人体协同分割网络的编码器相同,且权重共享;人体解析网络为一层卷积核大小为1×1卷积核数量为C的卷积层;行人再识别子网络的输入为骨干网络输出的深度特征和人体协同分割网络输出的语义信息;行人再识别子网络根据语义信息将深度特征找分为图像特征,前景特征和人体部分特征,最后将图像特征,前景特征和人体部分特征送入到三个不同的分类器得到图像预测向量,前景预测向量和人体部分预测向量;22构建多任务网络目标函数:使用交叉熵损失计算人体解析子网络的预测像素向量与人体协同分割网络输出的伪标签之间的损失,记为Lparsing;使用三元组损失与softmax交叉熵损失计算图像预测向量与真实行人标签之间的损失,记为LImage;使用softmax交叉熵损失前景预测向量和真实行人标签之间的损失,记为LFore;使用softmax交叉熵损失人体部分预测向量和真实行人标签之间的损失,记为LParts;综上所述,多任务网络的优化目标函数为:L=LImage+LFore+LParts+λhpLparsing其中λhp为平衡权重;所述的步骤3中具体步骤如下:31交替训练人体协同分割网络和多任务网络:整个框架训练时,每一次迭代分为两步,首先训练人体协同分割网络得到行人图像的像素级伪标签,再以像素级伪标签指导多任务网络学习,交替训练得到最优的模型;32在推理阶段,仅使用多任务网络:对于图像对X1,x2,使用前景特征和人体部分特征来计算距离,具体公式如下: 其中cos·为余弦距离,Pi=1如果parti为图像对共享可见的部分,否则为0,SV≤C-1为共享可见的数量;计算距离后,排序输出行人再识别结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人同济大学,其通讯地址为:200092 上海市杨浦区四平路1239号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。