申请/专利权人：中国农业大学

申请日：2021-12-14

公开（公告）日：2024-06-25

公开（公告）号：CN114241433B

主分类号：G06V20/56

分类号：G06V20/56;G06V20/70;G06V10/26;G06V10/774;G06V10/82;G06N3/0455;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2022.04.12#实质审查的生效;2022.03.25#公开

摘要：本发明涉及一种青饲收获机跟随料车车斗识别方法及系统。方法包括：S1、获得料车车斗图像集；S2、获得料车车斗标签集；S3、以多层卷积神经网络作为基础架构搭建具有编码‑解码结构的语义分割神经网络；S4、将料车车斗训练集和料车车斗标签集按照一一对应关系作为训练样本按批次输入U‑Net网络进行训练；S5、通过双目深度相机实时采集待检测料车车斗图像，输入到U‑Net网络中，输出料车车斗预测结果，通过对车斗预测结果进行边缘提取得到车斗轮廓；S6、采用直线拟合算法对车斗轮廓结果进行车斗边沿拟合，剔除超出阈值的交点，完成车斗的识别。本发明能够大大加快车斗识别速度和识别准确度、可显著提高青饲收获机收获效率并节省劳动力。

主权项：1.一种青饲收获机跟随料车车斗识别方法，其特征在于，所述方法包括以下步骤：S1、获得料车车斗图像集；双目深度相机2采集一定数量的多种类型料车车斗图像，并传输到图像语义分割控制器3中；图像语义分割控制器3对所有料车车斗图像进行增强操作，增加料车车斗图像数量，构成料车车斗图像集；S2、获得料车车斗标签集；通过标签标注软件对步骤S1获得的料车车斗训练集中的每张图像进行语义分割像素手动标注，将每张图像中的车斗区域和背景区域分别用不同颜色标注出来，获得料车车斗标签集；S3、以多层卷积神经网络作为基础架构搭建具有编码-解码结构的语义分割神经网络，编码结构通过多层卷积连续下采样以获得图像的不同层次特征，在此基础上，解码结构再对编码结构获得的顶层特征图进行多层反卷积，并结合下采样过程中不同层次特征，将特征图恢复到原来输入图像的大小；选择具有U型编码结构-解码结构U-Net网络作为料车车斗识别模型，U-Net网络是完全对称的；编码结构由四个下采样模块组成，每个下采样模块包含两个填充像素为0、步长为1的3×3卷积层和一个填充像素为2的最大池化层；解码结构由四个上采样模块组成，每个上采样模块包含一个步长为2的2×2反卷积层和两个填充像素为0、步长为1的3×3卷积层；S4、将步骤S1获得的料车车斗训练集和步骤S2获得的料车车斗标签集按照一一对应关系作为训练样本按批次输入步骤S3搭建的U-Net网络进行训练，每输入一批次训练样本，U-Net网络进行一次分割权重参数迭代更新，完成所有训练样本训练后获得料车车斗分割权重参数文件；在每批次训练样本训练完成后，选用绝对值损失函数、交叉熵损失函数或感知损失函数作为分割权重参数迭代更新的依据，并决定网络的收敛程度；S5、通过双目深度相机实时采集待检测料车车斗图像，输入到U-Net网络中，经过步骤S3所述的下采样模块和上采样模块处理，最终从模型的输出层输出料车车斗预测结果，通过对车斗预测结果进行边缘提取得到车斗轮廓；S6、采用直线拟合算法对步骤S5获得的车斗轮廓结果进行车斗边沿拟合，通过限定拟合车斗边沿直线长度阈值，剔除超出阈值的交点，进而确定车斗4个角点，完成车斗的识别。

全文数据：

权利要求：

百度查询： 中国农业大学 一种青饲收获机跟随料车车斗识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD