Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 恭喜华东师范大学沈超敏获国家专利权

恭喜华东师范大学沈超敏获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网恭喜华东师范大学申请的专利一种利用标签编码进行中间监督的三维目标检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114373177B

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210017556.6,技术领域涉及:G06V20/64;该发明授权一种利用标签编码进行中间监督的三维目标检测方法是由沈超敏;刘新妹;张桂戌;彭亚新;黄尧民设计研发完成,并于2022-01-07向国家知识产权局提交的专利申请。

一种利用标签编码进行中间监督的三维目标检测方法在说明书摘要公布了:本发明公开了一种利用标签编码进行中间监督的三维目标检测方法,适用于由三维场景数据特征提取模块和三维目标边界框检测模块组成的三维目标检测网络。利用辅助网络充当中间监督实现标签点云对特征提取模块的约束。方法分两步:第一步,将原始点云输入主干网络,提取原始点云中每个目标的点云输入辅助网络,通过优化两个网络的检测损失函数和网络之间的距离损失函数同时训练两个网络参数;第二步修改损失函数,改变两个网络的参数训练方式进行再次训练,完成后移除辅助网络,直接输入原始点云到主干网络即可进行检测。本发明的优点是在控制运算成本的基础上大幅度提升三维目标检测精度,最终在经典三维检测网络Votenet上提升3.8个百分点。

本发明授权一种利用标签编码进行中间监督的三维目标检测方法在权利要求书中公布了:1.一种利用标签编码进行中间监督的三维目标检测方法,其特征在于,包括以下步骤:步骤1、首先使用由两个SA层和两个特征传播层顺序连接而成的pointNet++网络作为辅助网络p;其中两个SA层结构相同,都包含三个模块,第一个模块是采样层,负责对输入的N个点云进行随机采样,得到只包含S个点云的点云集合;第二个模块是分组层,设置固定的半径长度R,以点云集合中的每一个点云为圆心点,以R为半径,分别画圆,将每个圆内包含的点云分成一个组;第三个模块是PointNet层,将第二个模块得到的每个组内的点云分别编码成特征向量;两个特征传播层结构相同,均由全连接网络组成;步骤2、进行数据准备,首先下载三维室内场景数据集SUNRGB-D,将数据集SUNRGB-D中的RGB图片和深度图片通过坐标系映射转换成场景的原始点云数据,点云数据为N×3的矩阵,其中矩阵的行数N表示点云个数为N,矩阵的列数为3表示每个点云在三维空间中的三个位置坐标x,y,z;接下来根据数据集SUNRGB-D中的标签盒信息提取每个场景全部点云中的所有目标物体点云,得到标签点云;其中,所述标签盒信息是指下载的三维室内场景数据集SUNRGB-D中标记好的目标物体信息,即场景中包围目标物体的空心立方体,由中心点和长宽高表示;步骤3、将步骤1的辅助网络p插入到三维目标检测主干网络的特征提取模块和目标边界框检测模块之间;三维目标检测主干网络采用Votenet网络,将辅助网络p插入的方式是在三维目标检测公式上添加一个中间监督项其具体公式如下: θf表示主干网络的特征提取模块网络参数;θd表示主干网络的目标边界框检测模块网络参数;θ*f表示优化后的主干网络的特征提取模块网络参数;θ*d表示优化后的主干网络的目标边界框检测模块网络参数;表示输入到辅助网络的标签点云;Ip表示输入到主干网络的原始点云;y表示数据标签;θp表示辅助网络参数;LdetdfIp;θf;θd,y表示主干网络目标边界框检测模块的损失,由分类损失和目标边界框回归损失组成;dfIp;θf;θd代表主干网络的目标边界框检测模块,以下简称检测模块;fIp;θf代表主干网络的特征提取模块;代表辅助网络;表示加入的监督项;λ是平衡系数;其中监督项包含主干网络的特征提取模块提取的点云特征向量和辅助网络提取的点云特征向量的距离损失以及辅助网络输出结果的检测损失,监督项公式展开如下所示: 其中fIp;θf表示主干网络的特征提取模块;θf表示主干网络的特征提取模块的网络参数;y代表真实数据的标签;Ip表示输入到主干网络的原始点云;表示输入到辅助网络的标签点云;代表辅助网络;θp表示辅助网络参数;表示主干网络特征提取模块f的输出结果与辅助网络p的输出结果的距离损失;表示辅助网络输出结果的检测损失;其中所述距离损失的计算公式展开如下: 其中LN·表示归一化层;||·||表示SmoothLoss1;xf和xp分别表示从主干网络特征提取模块和辅助网络中获得的特征向量;代表辅助网络;min表示求最小值运算;步骤4、进行第一步交互训练:分别输入原始点云和标签点云到主干网络和辅助网络同时进行网络参数交互训练来优化各自的网络参数;交互训练的具体实现方法是通过如下公式优化辅助网络 θ*d1表示优化后的主干网络的检测模块的网络参数;θp*表示优化后的辅助网络参数;θf表示主干网络的特征提取模块网络参数;θd1表示检测模块网络参数;LdetdfIp;θf;θd1,y和分别表示主干网络的检测损失和辅助网络的检测损失,两个损失都由分类损失和边界框回归损失组成;y表示数据标签;表示主干网络特征提取模块f输出与辅助网络p输出的距离损失;λ1和λ2都是平衡系数,分别设置为1;公式4利用三种不同的Loss损失函数进行模型训练,从左到右的损失项依次是:辅助网络检测损失、主干网络检测损失及主干网络特征提取模块提取的特征向量与辅助网络提取的特征向量的距离损失在这一训练过程中,利用SmoothLoss1损失计算主干网络特征提取模块输出和辅助网络输出的距离损失,将辅助网络输出结果作为SmoothLoss1方法的第二个参数,主干网络特征提取模块输出作为SmoothLoss1方法的第一个参数,从而禁止从主干网络到辅助网络的梯度流来防止点云的全局特征对目标实例特征产生直接影响;经本步骤训练得到优化后的辅助网络p;步骤5、利用步骤4学习得到的辅助网络p监督主干网络,首先摒弃步骤4的训练方式,固定辅助网络的参数不变,只添加步骤3中的主干网络特征提取模块提取的特征向量与辅助网络提取的特征向量的距离损失到主干网络的检测损失函数进行训练,如下公式所示: θf1表示主干网络的特征提取模块网络参数,θd2表示主干网络的检测模块网络参数,θ*f1表示优化后的特征提取模块网络参数,θ*d2表示优化后的检测模块网络参数;dfIp;θf1;θd2表示主干网络检测模块;fIp;θf1表示主干网络特征提取模块;LdetdfIp;θf1;θd2,y表示主干网络检测模块损失,由分类损失和边界框回归损失组成;θp*表示优化后的辅助网络参数;y表示数据标签信息;λ表示平衡系数;表示优化后的辅助网络;表示主干网络提取特征模块f输出与辅助网络p输出的距离损失;步骤6、经过步骤4和步骤5的训练后,实现了辅助网络通过标签点云对主干网络特征提取模块进行约束的目的,此时的主干网络参数达到约束后的最优,接下来直接将辅助网络移除,直接输入原始点云到主干网络即可输出检测结果,检测结果包含每个场景中所有检测到的物体包围盒和类别,包围盒即场景中包围目标物体的空心立方体,由中心点和长宽高表示。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华东师范大学,其通讯地址为:200241 上海市闵行区东川路500号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。