申请/专利权人：之江实验室;中国科学院东北地理与农业生态研究所

申请日：2023-04-17

公开（公告）日：2024-05-03

公开（公告）号：CN116721412B

主分类号：G06V20/68

分类号：G06V20/68;G06V10/82;G06V10/774;G06V10/776;G06V10/40;G06N3/0464;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.05.03#授权;2023.09.26#实质审查的生效;2023.09.08#公开

摘要：一种自下而上的基于结构性先验的豆荚关键点检测方法，自定义不同类型豆荚中豆粒的关键点含义，构建了包含主干网络、豆粒位置置信度热力图子网络、部位亲和域子网络、结构先验子网络四部分的自下而上的豆粒关键点检测网络，可实现先利用位置置信度检测得到所有的豆粒位置，然后结合部位亲和域积分计算，利用匈牙利算法得到豆粒之间的最优匹配连接关系，从而提取到豆荚的数量和豆荚的类型。特别的，在训练阶段通过添加结构先验子网络，提升模型的准确率。还包括一种自下而上的基于结构性先验的豆荚关键点检测系统。本发明从豆荚形态上确定豆荚类型，可快速同时检测多个豆荚，并定位得到豆荚中每个豆粒的位置。

主权项：1.一种自下而上的基于结构性先验的豆荚关键点检测方法，其特征在于，包括如下步骤：S1，采集大豆图像数据集，构造用于大豆关键点检测训练、测试的数据集，并对大豆关键点数据集中的豆荚、豆粒进行标注；S2，构造自下而上的关键点检测模型，利用步骤S1中构建的大豆关键点数据集进行模型的训练；具体包括如下步骤：S21，自定义不同豆荚类型的关键点含义，生成用于监督训练的真值信息；自定义不同豆荚类型的关键点定义，将豆荚看做是五粒荚，不足五粒的豆粒认为不可见，则一粒荚第一颗豆粒可见，剩余第二颗到第五颗不可见；二粒荚第一颗和第二颗豆粒可见，第三颗到第五颗不可见；三粒荚第一颗到第三颗可见，第四颗和第五颗不可见；四粒荚第一颗到第四颗可见，第五颗不可见；五粒荚第一颗到第五颗都可见；生成用于监督训练的真值信息，利用豆荚的豆粒位置生成第一颗豆粒到第五颗豆粒共5个豆粒位置置信度热力图；利用相邻豆粒之间是否连接，生成4种连接的横向、纵向共8个部位亲和域图；通过对豆粒进行编号，利用豆粒是否属于同一个豆荚生成结构先验矩阵；所述4种连接分别是指第一颗豆粒与第二颗豆粒、第二颗豆粒与第三颗豆粒、第三颗豆粒与第四颗豆粒、第四颗豆粒与第五颗豆粒；所述对豆粒进行编号，依据豆粒在图像中的坐标位置，按照从上到下、从左到右的顺序进行编号，两两判断豆粒是否属于同一个豆荚，若属于，则为1，若不属于同一个豆荚，则为0；所述5个豆粒位置置信度热力图，利用高斯函数生成高斯模板，在初始热力图中相应豆粒位置进行叠加获得；S22，构建基于OpenPose的关键点检测网络模型，包含主干子网络、豆粒置信度热力图生成子网络、部位亲和域生成子网络、结构先验指导子网络四个部分；S23，将大豆训练数据集和步骤S21得到的真值信息，输入到步骤S22的关键点检测网络模型中，进行模型的迭代训练，输出最终的豆粒关键点检测网络模型；S3，将待测试图片输入到步骤S2中所述最终的豆粒关键点检测网络模型，利用匈牙利算法将豆粒置信度热力图和部位亲和域进行聚类，得到最终的豆荚类型以及豆粒位置。

全文数据：

权利要求：

百度查询： 之江实验室;中国科学院东北地理与农业生态研究所 一种自下而上的基于结构性先验的豆荚关键点检测方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD