买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜广东技术师范大学申请的专利一种基于多关键音联合得分融合的音唇一致性判决方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115861881B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211517142.6，技术领域涉及：G06V20/40；该发明授权一种基于多关键音联合得分融合的音唇一致性判决方法是由朱铮宇;罗超;廖丽平设计研发完成，并于2022-11-30向国家知识产权局提交的专利申请。

本一种基于多关键音联合得分融合的音唇一致性判决方法在说明书摘要公布了：本申请公开了一种基于多关键音联合得分融合的音唇一致性判决方法，以唇型变化显著的类元音为关键音，通过希尔伯特包络和零频滤波结合的类元音检测法筛选待处理音频数据中的各个关键音频段；再基于时延差异由关键音频段确定出关键视频段；通过深度典型相关分析耦合训练描述两个不同模态的多层神经网络，获得使视音频两类数据关联度最大的非线性表示映射，从而更准确地对关键音频段的音唇数据进行相关度分析；结合时延差异与关联度差异估算各关键音频段和关键视频段的一致性联合评分，最后提出多关键音频段联合得分融合的评分机制，融合各关键音频段的评分判断一致性。

本发明授权一种基于多关键音联合得分融合的音唇一致性判决方法在权利要求书中公布了：1.一种基于多关键音联合得分融合的音唇一致性判决方法，其特征在于，包括：获取待处理音唇数据，将所述待处理音唇数据拆分为待处理音频数据和待处理视频数据；提取所述待处理音频数据中的各个关键音频段，在所述待处理视频数据中提取与每个所述关键音频段匹配的关键视频段；对每对所述关键音频段和所述关键视频段进行深度典型相关分析；基于时延差异和所述深度典型相关分析的分析结果，计算每对所述关键音频段和所述关键视频段的一致性联合评分；根据每对所述关键音频段和所述关键视频段的一致性联合评分，计算所述待处理音唇数据的联合得分；所述提取所述待处理音频数据中的各个关键音频段，包括：提取所述待处理音频数据的希尔伯特包络和零频滤波信号；将所述希尔伯特包络和所述零频滤波信号的二阶差分分别与一阶高斯微分器的窗函数进行卷积后求和，对求和结果再进行归一化处理，得到第一曲线；将所述第一曲线中两个连续过零点之间的最大值确认为所述待处理音频数据的起始点；将所述希尔伯特包络和所述零频滤波信号的一阶差分分别与窗函数进行卷积后求和，得到第二曲线；在所述第二曲线上，从右到左通过峰值搜索策略确定所述待处理音频数据的结束点；根据所述起始点和所述结束点确定各个关键音频段；所述在所述待处理视频数据中提取与每个所述关键音频段匹配的关键视频段，包括：根据所述关键音频段的音频起始点和音频结束点确定所述关键音频段的时段其中m表示所述待处理音频数据中所述关键音频段的索引；确定起始点时延参数-φleft和结束点时延参数+φright；将所述音频起始点前移所述起始点时延参数，将所述音频结束点后移所述结束点时延参数，以获得所述关键视频段的提取范围根据所述提取范围从所述待处理视频数据中提取所述关键视频段；所述对每对所述关键音频段和所述关键视频段进行深度典型相关分析，包括：将每对所述关键音频段的音频特征和所述关键视频段的视频特征分别输入第一多层神经网络和第二多层神经网络，得到音频输出结果和视频输出结果；根据所述音频输出结果和所述视频输出结果，根据下式计算出深度关联性变化曲线： 其中，代表所述深度关联性变化曲线，hA代表所述音频输出结果的映射向量，hV代表所述视频输出结果的映射向量，J为选择的前J个映射向量，j代表映射向量的索引，FAO代表所述音频输出结果，FVO代表所述视频输出结果，corr为关联度函数，τ代表时延，其中，第m个所述关键音频段和所述关键视频段对应的时延由下式计算： 其中，代表第m个所述关键音频段和所述关键视频段对应的时延。所述基于时延差异和所述深度典型相关分析的分析结果，计算每对所述关键音频段和所述关键视频段的一致性联合评分，包括：通过下式计算每对所述关键音频段和所述关键视频段的一致性联合评分： 其中，δm代表第m个所述关键音频段和所述关键视频段对应的所述一致性联合评分；其中， 和分别代表合理时延范围外和范围内的所述一致性联合评分，ζ代表所述第一多层神经网络和所述第二多层神经网络训练得到的不一致数据和一致数据的相关度阈值；所述根据每对所述关键音频段和所述关键视频段的一致性联合评分，计算所述待处理音唇数据的联合得分，包括：通过下式计算所述待处理音唇数据的联合得分： 其中，代表所述联合得分，M代表所述待处理音唇数据中所述关键音频段和所述关键视频段的对数，σm代表不一致数据分布的标准差，代表局部判决阈值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东技术师范大学，其通讯地址为：510665 广东省广州市天河区石牌中山大道西293号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。