龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：南京航空航天大学
申请日：2021-01-07
公开（公告）日：2024-05-28
公开（公告）号：CN112766101B
主分类号：G06V40/20
分类号：G06V40/20;G06V10/82;G06N3/0455;G06N3/0442;G06N3/0464;G06N3/08
优先权：
专利状态码：有效-授权
法律状态：2024.05.28#授权;2021.05.25#实质审查的生效;2021.05.07#公开
摘要：本发明公开一种中文唇语识别建模单元集的构建方法，包括以下步骤，首先，对中文发音的声学特点和发音原理进行研究；然后，总结了几种常见的中文唇语识别建模单元集，包括词、音节、声韵母和中文音素，并给出它们各自的优缺点和适用性；最终，基于现存建模单元集的不足并通过对于中文发音视觉特点进行分析，提出了一个新的建模单元集——“视觉拼音”。本发明实施于中文唇语识别，相比于其他的建模单元集，采用本发明的技术方案将通过降低识别维度，有效减少中文发音的视觉歧义性，进而提高中文唇语识别准确率。
主权项：1.一种中文唇语识别建模单元集的构建方法，其特征在于，包括以下步骤：步骤1，总结出若干种中文唇语识别建模单元集，分析得到的若干种建模单元集各自的优缺点和适用性，得到其中表现最好的建模单元集，即中文音素；步骤2，结合中文发音的视觉特点和步骤1提到的中文音素，建立一个名称为视觉拼音的中文唇语识别建模单元集；步骤3，为了确定步骤2中的视觉拼音组成，首先将64×80像素的唇部视频帧序列输入到一个10层的卷积神经网络，提取得到512维的嘴唇特征向量；步骤4，以步骤1提到的中文音素作为建模单元，将步骤3得到的嘴唇特征向量输入到带有注意机制的序列到序列模型，得到中文音素序列；步骤5，重复步骤3和步骤4，为预测得到的中文音素序列和与之对应的目标中文音素序列建立混淆矩阵，对中文音素的混淆程度进行归类；步骤6，通过对中文发音规律的总结，在步骤5所得归类结果的基础上进行补充和调整，得到最终的视觉拼音；步骤7，将步骤1中的全部建模单元集和步骤6得到的视觉拼音分别应用到中文唇语识别系统中，比较模型的性能表现，得出视觉拼音更适合中文唇语的解析。
全文数据：
权利要求：
百度查询： 南京航空航天大学 一种中文唇语识别建模单元集的构建方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号