申请/专利权人：哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

申请日：2024-03-26

公开（公告）日：2024-06-25

公开（公告）号：CN117953543B

主分类号：G06V40/10

分类号：G06V40/10;G06V10/44;G06V10/80;G06V10/82;G06N3/0464;G06V10/26

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2024.05.17#实质审查的生效;2024.04.30#公开

摘要：本发明公开基于多元文本的人物交互检测方法、终端及可读存储介质，所述方法包括：获取原始待检测图像，根据所述原始待检测图像获取所述原始待检测图像中的人目标和物目标的多角度交互特征；获取先验文本的先验文本特征，将所述多角度交互特征和所述先验文本特征进行双向特征融合，得到融合图像特征和融合文本特征；根据所述多角度交互特征、所述融合图像特征和所述融合文本特征，输出人目标和物目标的交互动作预测结果。可以看出，本发明通过多元化文本的交叉对照，从而避免了单个文本作为先验信息时，会引入有歧义性的先验文本特征，进而影响模型预测的准确性和鲁棒性的问题，从而提高了模型整体预测的准确性和鲁棒性。

主权项：1.一种基于多元文本的人物交互检测方法，其特征在于，所述基于多元文本的人物交互检测方法包括：获取原始待检测图像，根据所述原始待检测图像获取所述原始待检测图像中的人目标和物目标的多角度交互特征；所述根据所述原始待检测图像获取所述原始待检测图像中的人目标和物目标的多角度交互特征，具体包括：对所述原始待检测图像进行目标定位，获取所述原始待检测图像中的人目标位置和物目标位置；将所述原始待检测图像、所述人目标位置和所述物目标位置输入多角度图像特征提取模块，通过所述多角度图像特征提取模块提取并输出所述多角度交互特征；获取先验文本的先验文本特征，将所述多角度交互特征和所述先验文本特征进行双向特征融合，得到融合图像特征和融合文本特征；根据所述多角度交互特征、所述融合图像特征和所述融合文本特征，输出人目标和物目标的交互动作预测结果；所述多角度图像特征提取模块包括实例感知分支、交互感知分支、背景感知分支、第一多层感知机和线性层；所述通过所述多角度图像特征提取模块提取并输出所述多角度交互特征，具体包括：通过所述实例感知分支根据所述原始待检测图像、所述人目标位置和所述物目标位置提取人实例特征和物实例特征；通过所述交互感知分支根据所述人目标位置和所述物目标位置的图像提取人和物的交互关系特征；通过所述背景感知分支根据所述原始待检测图像提取交互背景特征；通过所述第一多层感知机对所述人实例特征、所述物实例特征、所述交互关系特征和所述交互背景特征进行融合，得到局部图像特征；通过所述线性层对局部图像特征进行处理得到全局层次图像特征；将所述局部图像特征和所述全局层次图像特征作为所述多角度交互特征；所述将所述多角度交互特征和所述先验文本特征进行双向特征融合，得到融合图像特征和融合文本特征，具体包括：采用Transformer解码器，以所述多角度交互特征作为查询，所述先验文本特征作为键值和属性值，计算得到所述融合图像特征： ；其中，表示融合图像特征，表示转置，是激活函数，为局部图像特征，为先验文本特征，代表和中特征向量的长度；采用Transformer解码器，以所述先验文本特征作为查询，所述多角度交互特征作为键值和属性值，计算得到所述融合文本特征： ；其中，表示融合文本特征；所述根据所述多角度交互特征、所述融合图像特征和所述融合文本特征，输出人目标和物目标的交互动作预测结果，具体包括：采用第二多层感知机对所述多角度交互特征进行映射，得到全局人物交互的映射查询；将所述融合图像特征和所述融合文本特征进行拼接，得到拼接特征；采用人物交互解码器以所述映射查询作为查询，以所述拼接特征作为键值和属性值，解码出人目标和物目标的所述交互动作预测结果。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于多元文本的人物交互检测方法、终端及可读存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD