买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了一种融合几何结构特征图的手语识别方法、系统、装置及存储介质，属于手语识别技术领域；包括：获取手语视频，将其帧数和像素大小统一调整；将统一调整后的手语视频输入预建立的预先进行过训练的三维卷积神经网络，提取手语特征；将手语特征输入预建立的预先进行过训练的深度卷积生成对抗网络，生成手语特征图；将手语特征图的像素大小统一调整，根据手语特征图G通道和B通道的手部轨迹信息进行预分类，得到预分类类别；将统一调整后的手语特征图输入预建立的VGG16网络，输出特征向量，特征向量中值最高的元素在预分类类别对应的手语词汇库中对应的手语词汇为识别结果；提高手语识别的准确度和整体分类识别效率。

主权项：1.一种融合几何结构特征图的手语识别方法，其特征在于，包括：获取手语视频，将其帧数和像素大小统一调整；将统一调整后的手语视频输入预建立的三维卷积神经网络，提取手语特征，所述三维卷积神经网络预先进行过训练；将手语特征输入预建立的深度卷积生成对抗网络，生成手语特征图，所述深度卷积生成对抗网络预先进行过训练；将手语特征图的像素大小统一调整，根据手语特征图的G通道和B通道的手部轨迹信息进行预分类，得到预分类类别；将统一调整后的手语特征图输入预建立的VGG16网络，输出特征向量，特征向量中值最高的元素在预分类类别对应的手语词汇库中对应的手语词汇为识别结果；所述深度卷积生成对抗网络预先进行过训练：对手语视频进行手动标记手语特征图，将三维卷积神经网络输出的手语特征和标记的手语特征图输入深度卷积生成对抗网络进行训练，直至深度卷积生成对抗网络能够生成手语特征图；根据手语特征图的G通道和B通道的手部轨迹信息进行预分类：获取G通道和B通道的像素坐标集合交集，获取方式如下：G'G＝{x,y|Gx,y≠0}B'＝{x,y|Bx,y≠0}I＝G′∩B′其中，G'表示G通道内值不为0的像素坐标集合，Gx,y表示G通道在像素坐标x,y处的值，B'表示B通道内值不为0的像素坐标集合，Bx,y表示B通道在像素坐标x,y处的值，I表示G通道和B通道的像素坐标集合交集；预分类的方法如下： 其中，P为平均像素坐标点，m为I中元素的个数，Ii表示I中第i个元素，Pre为预分类类别，Px表示平均像素坐标点的横坐标，Py表示平均像素坐标点的纵坐标。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种融合几何结构特征图的手语识别方法、系统、装置及存储介质