买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜国科大杭州高等研究院申请的专利基于面部组件的表情编辑方法、电子设备及可读存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119152082B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411650340.9，技术领域涉及：G06T11/60；该发明授权基于面部组件的表情编辑方法、电子设备及可读存储介质是由李太豪;屈乐园;石寒蕾;刘毓;丁雨宣设计研发完成，并于2024-11-19向国家知识产权局提交的专利申请。

本基于面部组件的表情编辑方法、电子设备及可读存储介质在说明书摘要公布了：本发明公开基于面部组件的表情编辑方法、电子设备及可读存储介质，旨在实现高质量的表情编辑。方法包括以下步骤：首先，利用SemanticStyleGAN对输入的人脸图像进行语义分割，提取面部局部组件，并结合面部动作单元先验知识，通过CLIP模型的视觉和文本编码器提取局部表情特征；其次，使用MobileFaceNet进行人脸关键点检测，提取全局特征；通过注意力机制，学习并融合全局特征与局部特征，生成与表情相关的特征；与此同时，利用梯度反转技术提取与表情无关的特征，以确保面部结构不受表情编辑影响；最后，结合扩散模型，基于表情相关与无关特征的融合结果，逐步去噪并重建出高保真的编辑后图像。

本发明授权基于面部组件的表情编辑方法、电子设备及可读存储介质在权利要求书中公布了：1.基于面部组件的表情编辑方法，其特征在于，包括以下步骤：步骤1、利用SemanticStyleGAN模型，对输入的人脸图像进行语义分割，得到人脸的面部局部组件，并使用面部动作单元作为表情相关的先验知识，通过面部局部特征提取网络提取面部局部特征；面部局部特征提取网络包括面部组件特征提取器、文本特征提取器和跨模态注意力交叉模块，所述面部组件特征提取器为CLIP中的视觉编码器ViT，用于对每个面部组件进行特征提取并编码为特征向量；所述文本特征提取器为CLIP中的文本编码器Transformer，输入的文本由表情标签和AU先验知识构成，文本编码器对输入的文本进行特征提取并编码为文本特征向量；所述跨模态注意力交叉模块用于将面部组件特征向量与文本特征向量进行交互融合，输出局部表情特征向量，公式可表示为： 其中，li表示局部表情特征向量，是通过将视觉特征和文本特征进行跨模态融合后得到的，代表与面部局部组件相关的表情信息；vi表示面部局部组件对应的图像特征向量，在CLIP模型的视觉编码器ViT中，输入图像经过编码后被转换为特征向量vi；t表示输入的文本特征向量，文本编码器Transformer对输入的文本进行编码，生成一个特征向量，表示与表情和AU先验知识相关的文本信息；Softmax是用于归一化相似性计算的函数，确保局部特征权重的和为1；表示特征向量的维度缩放系数，dk是特征向量的维度，通常在注意力机制中使用维度的平方根来进行缩放，以防止在Softmax函数中因数值过大导致梯度消失或梯度爆炸；步骤2、在执行步骤1的同时，利用人脸关键点探测器MobileFaceNet对输入的人脸图像进行人脸关键点检测，获取面部全局特征；步骤3、利用注意力机制，学习全局特征与局部特征之间的关系，并进行特征融合，得到与表情相关的特征；利用注意力机制学习全局特征与局部特征之间的关系，输入为局部特征和全局特征，输出为与表情相关的特征，公式可表示为： 其中，s表示通过特征融合得到的与表情相关的特征向量；g为全局特征向量，表示从输入的人脸图像中提取的整体面部特征；li为局部特征向量，表示从每个面部局部组件中提取的特征；K为局部特征的数量，表示面部分割为的局部组件数量；符号·表示全局特征与局部特征的点积，衡量它们之间的相似性；表示局部特征向量的转置，用于与全局特征向量g进行点积；为特征向量维度的缩放因子，用于在注意力机制中对相似性得分进行归一化处理；步骤4、在执行步骤3的同时，利用梯度反转技术从输入的人脸图像中提取与表情无关的特征；步骤5、将步骤3得到的与表情相关的特征与步骤4得到的与表情无关的特征进行结合，并通过扩散模型对图像进行重建；步骤6、根据输入的人脸图像和期望编辑的表情进行模型推理，生成表情编辑后的人脸图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国科大杭州高等研究院，其通讯地址为：310024 浙江省杭州市西湖区象山支弄1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。