买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本发明提出了一种基于新型递进式图推理的社交关系识别方法。目前基于图像的方法主要是在二元层面识别社会关系。事实上，社会关系结构是分层嵌套的，即个体和二元组是嵌套在群体结构中的。然而，现有的基于计算机视觉的研究没有考虑到层次嵌套结构，因此忽略了个体、二元组和群体之间的内在交互，导致关系推理效果不佳。为了解决这一问题，提出了一种新颖的递进式图推理模型。方法包括：人物之间亲密度的计算方法，构建个体‑二元图和二元‑群体图来加强社交关系的推理，利用Transformer融合视觉特征和图推理知识以形成社会关系的综合表示。实验证明，该方法具有很好的实用性，可广泛应用于社交媒体图像中社交关系的准确识别。

主权项：1.一种基于新型递进式图推理的社交关系识别方法，其特征在于：a.通过编码器捕捉视觉特征，包括：个体的脸部特征、穿着特征、姿势特征、动作特征，二元组的交互特征，群组的前景视觉特征和场景的背景视觉特征；b.通过社会互动场理论SocialInteractionField,SIF计算人物之间的吸引力，来探索每对人物之间的亲密度，以丰富社交关系推理的特征；c.通过递进式图推理框架ProgressiveGraphReasoning,PGR并利用上述视觉特征和吸引力特征，探索个体、二元组和群组之间的内在交互联系，从而修正推理过程中出现的误差，以改善社交关系的推理过程；d.通过多层级信息融合方法Multi-levelInformationFusion,MIF融合视觉特征和图推理知识，从而形成社交关系的综合表示，以实现社交关系的识别；该方法主要包括以下步骤：1数据获取：获取用于社交关系识别的图像数据集；2特征提取：通过基于视觉TransformerVisionTransformer,ViT的编码器提取个体、二元组的视觉特征信息，通过基于卷积神经网络的编码器Resnet-50提取群组和场景的视觉特征信息；3人物亲密度计算：将步骤2中所提取的个体视觉特征和每对人物之间的距离输入计算公式以实现亲密度的计算；4递进式图推理：通过门控图神经网络GatedGraphNeuralNetwork,GGNN实现递进式图结构的推理演绎，将个体视觉特征、亲密度特征、二元组视觉特征、群组和场景的视觉特征输入图网络中，以实现社交关系的推理；5多层级信息融合：将二元视觉特征、群组视觉特征和递进式图推理知识输入Transformer网络进行融合，以形成社交关系的综合表示；6训练模型：将1中获取的社交关系图像数据输入至网络，添加ViT的预训练模型加快网络的拟合并从头开始训练，网络的输出即为最终的分类结果。

全文数据：

权利要求：

百度查询： 四川大学 一种基于新型递进式图推理的社交关系识别方法