买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开一种RGB图像的实例分割方法，该方法检测一张图像中的所有物体并预测它的掩码。该方法以现有的物体检测框架为基础，并在其基础上进行扩充，对于一张输入的RGB图像，本发明的方法通过神经网络为其预测两种嵌入特征，第一种特征是针对每个检测到的物体的，名为物体嵌入特征，另一种特征是针对图像中的像素的，名为像素嵌入特征。通过比较像素特征与物体特征的相似度，本发明就可以判断出该像素是否属于该物体的掩码。本发明的方法预测速度快、检测精度高、掩码质量好、流程简单。

主权项：1.一种RGB图像实例分割方法，其特征在于，该方法包括如下步骤：步骤一：构建神经网络；所述神经网络包括特征提取网络、检测子网络和分割子网络；所述特征提取网络采用主干网络接特征金字塔网络的模式，其输入为图像，输出为P3-P7五个大小不同的特征图；所述检测子网络的输入为P3-P7五个大小不同的特征图，每个输入特征图经过一个共享权重的检测子网络，输出得到检测到的物体在图像中的位置，不同的输入特征图得到不同大小的检测物体；所述分割子网络包括两个分支：1分支一以P3-P7的特征图作为输入，每个输入特征图经过多次卷积操作，先得到中间特征，再将该中间特征经过卷积操作得到物体范围特征，将所述中间特征再经过嵌入特征预测模块得到物体嵌入特征，不同的输入特征图得到不同大小的物体对应的物体范围特征和物体嵌入特征；所述嵌入特征预测模块将输入特征图经过并行的卷积操作，其中一个卷积操作后得到通道数为D-2的空间无关嵌入特征；另一个卷积操作得到通道数为2的特征图，再将该特征图与像素坐标图相加，得到空间相关嵌入特征；所述嵌入特征预测模块将空间无关嵌入特征和空间相关嵌入特征拼接后，得到通道数为D的物体嵌入特征；1分支二以P3的特征图作为输入，经过多次卷积操作得到中间特征，将该中间特征同样经过嵌入特征预测模块，输出像素嵌入特征；步骤二：训练所述神经网络；将训练图像输入所述神经网络；其中，检测子网络输出检测到的物体的位置，分割子网络输出物体嵌入特征、物体范围特征和像素嵌入特征；选择目标物体所在像素位置的物体嵌入特征和物体范围特征，并连同像素嵌入特征，进行掩码计算，获得掩码概率图；将掩码概率图与对应的物体的真实掩码进行比较，通过二项分类损失函数计算得到误差损失，进行反向梯度求导，对特征提取网络和分割子网络进行监督训练；同时，将目标物体的位置和检测子网络输出的物体位置进行比较，对特征提取网络和检测子网络进行监督训练；步骤三：将待分割图像输入训练后的神经网络，分割子网络输出所有的物体嵌入特征、物体范围特征和像素嵌入特征，检测子网络输出的信息经过筛选等处理之后得到检测到的物体的位置；选择检测到物体所在位置的物体嵌入特征和物体范围特征，并连同像素嵌入特征，进行掩码计算，获得掩码概率图，并将掩码概率图与某个固定阈值进行比较，得到了二值化后的掩码。

全文数据：

权利要求：

百度查询： 浙江大学 一种RGB图像的实例分割方法