申请/专利权人：南京理工大学

申请日：2023-09-05

公开（公告）日：2024-06-25

公开（公告）号：CN117152821B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/778;G06V10/774

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2023.12.19#实质审查的生效;2023.12.01#公开

摘要：本发明公开了一种基于双重对比学习的跨域人脸面部运动单元检测方法，属于面部识别技术领域，包括数据准备阶段、端到端模型设计阶段、端到端模型训练阶段和端到端模型测试阶段；所述数据准备阶段中使用源场景的AU数据集及AU标注和无标注的目标场景数据集；所述端到端模型设计阶段包括预准备、搭建模型架构和设计损失函数。本发明提供的一种基于双重对比学习的跨域人脸面部运动单元检测方法，通过多种约束不仅能生成清晰的图片以可视化解耦效果，也可以增强模型的解耦效果，提升跨域AU检测的性能。

主权项：1.一种基于双重对比学习的跨域人脸面部运动单元检测方法，其特征在于：包括数据准备阶段、端到端模型设计阶段、端到端模型训练阶段和端到端模型测试阶段；所述数据准备阶段中使用源场景的AU数据集及AU标注和无标注的目标场景数据集；所述端到端模型设计阶段包括预准备、搭建模型架构和设计损失函数；所述端到端模型设计阶段的具体过程如下：S1、预准备，准备一个源域域特征提取器ES，一个目标域域特征提取器Et，一个AU特征提取器Eau，一个解码器Dec，一个源域图像判别器DS，一个目标域图像判别器Dt，以及由一层全连接层构成的分类器C；S2、搭建模型架构，具体过程如下：S21、输入原始源域图片SS0和原始目标域图片TT0；SS0分别经过Eau和ES，得到原始源域AU特征和原始源域域特征TT0分别经过Eau和Et，得到原始目标域AU特征和原始目标域域特征S22、交叉生成，将和传入Dec生成迁移目标域图片ST1；将和传入Dec生成迁移源域图片TS1；TS1分别经过Eau和ES，得到迁移源域AU特征和迁移源域域特征ST1分别经过Eau和Et，得到迁移目标域AU特征和迁移目标域域特征S23、重建，将和传入Dec生成迁移源域重建图片TS2；将和传入Dec生成迁移目标域重建图片ST2；将和传入Dec生成原始源域重建图片SS2；将和传入Dec生成原始目标域重建图片TT2；TS2分别经过Eau和ES，得到迁移源域重建AU特征和迁移源域重建域特征ST2分别经过Eau和Et，得到迁移目标域重建AU特征和迁移目标域重建域特征SS2分别经过Eau和ES，得到原始源域重建AU特征和原始源域重建域特征TT2分别经过Eau和Et，得到原始目标域重建AU特征和原始目标域重建域特征S3、设计AU多标签分类损失函数Ltask、正交损失函数Lorth、特征交叉损失函数Lfeat、重建损失函数Lrec、局部对比损失函数Ldom、全局对比损失函数Lcl、对抗生成损失函数Ladv。

全文数据：

权利要求：

百度查询： 南京理工大学 一种基于双重对比学习的跨域人脸面部运动单元检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD