龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：东北大学;辽宁省残疾人服务中心
摘要：本发明属于自然语言处理技术领域，公开了一种基于深度学习的连续手势手语翻译方法。通过MYO手环采集多源信息同时兼顾粗粒度的手臂运动、手部旋转和细粒度的手指运动信息，通过卷积神经网络将左右手信息进行了局部建模；基于带历史向量与局部注意力机制的编码解码模型以端到端的方式翻译，无需动作分割；并且在注意力机制中通过增设历史向量学习过去源信息所占的比重来实时调整注意力权重以解决局部翻译不均衡的问题，采用局部注意力机制又达到有效区分相似句式的作用。采集了一定的数据量后通过实验选择了最佳模型搭配，达到了90.5％的翻译准确率。
主权项：1.一种基于深度学习的连续手势手语翻译方法，其特征在于，设计一种基于带历史向量与局部注意力机制的编码解码模型进行连续手势手语翻译；采集的数据预处理及特征提取后，经基于带历史向量与局部注意力机制的编码解码模型进行翻译，得到翻译结果；所述特征提取通过卷积神经网络融合双手的手势信息，提取手势特征；所述带历史向量与局部注意力机制的编码解码模型包括编码器、注意力模块和解码器，特征提取后的手势特征送入编码器一次性编码为语义向量；同时，翻译文本经词嵌入后与初始化为零向量的上下文向量送入解码器，生成第一步的解码器隐藏状态；注意力机制比较语义向量与解码器隐藏状态相似程度，且根据此相似程度在历史向量的作用下为选中的局部语义向量进行权重的分配；所述历史向量初始化为零向量，后续为语义向量分配的权重的叠加，表示注意力机制截至当前时刻对语义向量各个部分投入的权重和，进而得到能够准确反映语义信息的上下文向量，与翻译文本的词嵌入向量一同送入解码器解码出翻译文本，其中解码过程逐步完成，不断在历史向量的作用下更新并选择权重得到上下文向量进而实现文本的准确翻译。
全文数据：
权利要求：
百度查询： 东北大学 辽宁省残疾人服务中心 一种基于深度学习的连续手势手语翻译方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号