买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海大学

摘要：本发明公开了一种基于深度学习的按摩手法识别方法，通过柔性触觉传感器采集按摩时手部的力分布及力大小信息，并采用神经网络提取手法特征，实现对按摩手法的识别；采用变分自编码器，实现数据增强；利用帧差法提取输入数据的关键帧，去除输入的冗余帧；通过二维卷积神经网络与循环神经网络，提取并训练按摩点阵热力图组的空间域、时间域特征；在卷积神经网络后引入帧注意力机制，提高网络对按摩手法识别精度。本发明在不增加采集数据成本情况下，扩充原有的传感器数据；提取图组数据的关键帧，减少网络过拟合现象，增加网络泛化能力；神经网络提取视频帧之间的时间域信息，获取按摩手法的时间域特征；通过引入帧注意力机制，有效提高识别精度。

主权项：1.一种基于深度学习的按摩手法识别方法，其特征在于，操作步骤如下：步骤一：通过柔性分布式触觉传感器采集按摩动作对应的数据；步骤二：通过上位机将传感器数据可视化为按摩点阵热力图；步骤三：通过变分自编码器VAE构建一个从隐变量生成目标数据的模型来扩充原有采集数据；步骤四：通过帧差法提取按摩点阵热力图的关键帧；步骤五：用二维卷积神经网络来提取输入的各帧按摩力点阵图的空间特征；步骤六：在卷积神经网络之后引入帧注意力机制，给数据的视频帧维度赋予权重值；步骤七：用循环神经网络来提取的各帧按摩力点阵图的时间域特征；步骤八：将循环神经网络的输出接入线性层以降维数据，训练网络，实现按摩手法的识别；在所述步骤二中，将采集按摩动作对应的数据按摩数据可视化，通过Matlab将触觉传感器的各传感单元按照其在手套上的实际分布位置可视化在上位机中，用热力图表示传感单元受力的大小，传感单元受力由小到大对应传感单元由冷到暖的颜色；在所述步骤六中，帧注意力机制通过全局池化层、线性层、归一化层将数据维度转化为:1,1,frames，将视频帧以外的维度均转化为1，通过神经网络的反向传播算法训练出视频帧的权重值frames，然后再将权重值乘到数据的frames维度上，将数据维度复原成:batchsize,frames,CNNembeddim，给视频帧维度frames赋予范围在0-1的权重值；在所述步骤八中，将循环神经网络的最后一层隐层输出接入一个线性层将数据降维成:batchsize,NCategories，得到手法识别结果；用交叉熵函数计算识别结果与数据真实标签之间的损失；每训练一轮，均用反向传播算法更新网络的各权重参数；经过n轮的训练，最终得到可识别按摩手法的神经网络，实现按摩手法识别。

全文数据：

权利要求：

百度查询： 上海大学 一种基于深度学习的按摩手法识别方法