买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国农业大学

摘要：本发明涉及一种基于FANet的农民劳作行为识别方法和装置、电子设备及存储介质。该方法包括：建立农民劳作运动行为的数据集；构建FANet模型；将所述农民劳作运动行为的数据集输入到所述FANet模型进行训练；以及基于训练后的FANet模型，预测得到所述农民劳作行为的识别结果。本发明通过视频记录农民在劳作时的一系列运动动作变化，通过深度学习识别观察者的劳作动作类型。一方面，可以真实客观的记录农民的劳作行为，可以为农场管理和农产品追溯提供真实的客观数据；同时，较直接存储视频，可以有效的降低存储空间，提供结构化数据便于分析；另外，较人工监管，可以大幅度提高效率，减少人工成本。

主权项：1.一种基于FANet的农民劳作行为识别方法，其特征在于，包括：建立农民劳作运动行为的数据集；构建FANet模型；将所述农民劳作运动行为的数据集输入到所述FANet模型进行训练；以及基于训练后的FANet模型，预测得到所述农民劳作行为的识别结果，其中，所述建立农民劳作运动行为的数据集，包括：对所述农民劳动行为的数据进行预处理，所述预处理包括：将所述农民劳动行为的视频转换为图像序列；将所述图像序列划分为视频段；使用间隔式方式抽取所述视频段中的图像，形成样本集；以及提取所述样本集中的农民运动区域，其中，所述提取所述样本集中的农民运动区域，包括：定位、关联匹配和抓取运动区域；所述定位包括：探测所述样本集中每张图像中的人体所在的区域；所述关联匹配包括：以所述样本集中的一个样本中探测到的人体所在的区域为基准，利用最邻近值算法KNN进行人物关联匹配，形成分组；以及所述抓取运动区域包括：提取不同分组的运动区域，其中，所述FANet模型包含输入层、ConvNet、全连接层以及输出层，其中，所述输入层的数据的格式为：输入数据采用短间隔式，以跳帧的10张112x112RGB图片作为模型输入，跳帧单位为4帧，其中，所述ConvNet包含三层时空卷积与两层时空残差卷积，其中，所述时空卷积包含空间卷积、批标准化、Swish激活函数与时间卷积、批标准化、Swish激活函数，其中，所述时空残差卷积通过以下方式计算：xi+1＝hxi+Fxi，Wi其中，hxi为直接映射函数，Fxi，Wi为残差部分函数，Fxi，Wi的结构包含时空卷积、批标准化、Swish激活函数、时空卷积、批标准化，当在所述FANet模型中对输入数据的特征进行下采样时，hxi的结构包含时空卷积、批标准化；当不对特征下采样时，hxi＝xi+1，进一步地，在所述FANet模型中，通过以下方式进行下采样： 其中，wi，hi代表卷积后输出特征图的尺寸，wi-1，hi-1代表输入卷积的特征图尺寸，p代表卷积前对特征图进行填充的尺寸，k代表卷积核的尺寸，s代表卷积核进行卷积的步长。

全文数据：

权利要求：

百度查询： 中国农业大学 基于FANet的农民劳作行为识别方法和装置、设备及介质