申请/专利权人：安徽大学

申请日：2024-03-21

公开（公告）日：2024-06-18

公开（公告）号：CN118210941A

主分类号：G06F16/583

分类号：G06F16/583;G06V10/44;G06V10/46;G06V10/82;G06V10/77;G06V40/10;G06N3/0464;G06N3/045;G06N3/08

优先权：

专利状态码：在审-公开

法律状态：2024.06.18#公开

摘要：本发明公开了一种基于高阶时空关系的跨域成趟足迹压力图像检索系统，包括以下步骤：采集窗口获取待查询的穿鞋足迹压力图像并送入处理器进行处理；在该系统的目录下添加训练得到的最优模型和加载底库中的赤足足迹压力图像；利用系统计算待查询的足迹压力图像与底库中足迹压力图像的相似性；利用系统中的跨域成趟足迹压力检索功能得到底库中与待查询穿鞋足迹压力图像最相似的赤足足迹压力图像；将最终的检索结果在显示窗口中打印出来。本发明涉及图像处理领域，该种基于高阶时空关系的跨域成趟足迹压力图像检索系统，解决了现有的足迹检索只针对同域单枚足迹的局限性，进一步挖掘足迹间的时空依赖关系及提高穿着不同鞋型的识别准确率。

主权项：1.一种基于高阶时空关系的跨域成趟足迹压力图像检索系统，其特征在于：包括以下步骤：S1：采集窗口获取待查询的穿鞋成趟足迹压力图像；S2：将采集到的图像送入CPU处理器进行对图像的处理；S3：在该系统的目录下添加训练得到的最优模型和加载底库中的赤足成趟足迹压力图像；S4：利用系统采用度量函数计算待查询的足迹图像与底库中足迹图像的相似性；S5：利用系统中的跨域成趟足迹压力检索功能得到底库中与待查询穿鞋成趟足迹压力图像最相似的赤足成趟足迹压力图像；S6：将最终的检索结果在显示窗口中打印出来；其中，步骤S3中所述的最优模型训练包括以下步骤：第一步，对训练图像进行收集和预处理：通过压力传感器采集包含200人的赤足成趟足迹压力图像及穿鞋成趟足迹压力图像，经裁剪操作得到多张单枚足迹压力图像，并将所有图像统一大小为256×256，对裁剪后的成趟足迹压力图像进行中心化及规整处理；第二步，最优网络训练：构造并训练网络模型，按照7：3的比例将数据集划分为训练集与测试集；将训练样本输入网络模型，对网络结构模块进行训练，得到训练后的网络；对于测试样本，将穿鞋成趟足迹压力图像作为查询库，赤足成趟足迹压力图像作为底库，查询图片输入训练好的网络，在底库中检索；其中，第二步中网络结构模块训练具体步骤如下：1、构造提取足迹特征的骨干网络：给定一个成趟足迹压力图像序列xi＝{I1,I2,…IT}，骨干网络采用在Imagenet预训练的ResNet50，获得序列级特征的集合其中Fk为维数C×H×W的三维张量，C为通道大小，H、W分别为特征图的高度、宽度；将骨干网络输出的特征图分别输入三分支，以得到全局特征信息、2D分块特征信息、空间注意力特征信息；2、构造2D分块模块：将骨干网络输出的特征映射划分为不同粒度的m×n的块，并对分割后的特征映射进行平均池化，构造部分级特征向量其中对于具有T枚足迹的序列级样本的每个粒度，该分支的节点数为N2D＝m×n×T；3、构造空间注意力模块：使用具有相同结构的s个空间注意力学习器定位一组有区别的图像区域；对于每个帧级特征图Fk每个特征是D＝2048维，注意力学习器生成相应的空间注意力图，经过两次线性变换和一个ReLU激活函数产生注意力映射as，经过第一次线性变换将原始数据投影到d＝64维空间，第二次变换则将特征图投影到d'＝s维空间，即生成了一个具有s个通道的注意力分布，以表示该区域在不同空间注意力模型上的重要性；然后，使用softmax将注意力映射规范化为[0，1]，得到规范化的注意力映射代表注意力模型在图像上的一个感受野的权重，通过注意力映射对特征图进行加权处理，沿通道维度对Fk和逐元素乘积，通过全局平均池化汇总每个通道的特征得到用于初始化超图中的节点，该分支的节点数为NSA＝s×T；4、构造高阶时空关系模块：将2D分块和空间注意力模块得到的节点用于构建超图G＝{Gg}，其中g表示特定的粒度，Gg＝{Vg,Eg}包含v个节点和一组相关超边；构建邻接矩阵，矩阵中的每个元素表示两个超图节点特征之间的关系，将邻接矩阵与其转置相加，实现邻接矩阵的对称化得到其中N表示节点个数，再对其进行归一化得到计算邻接矩阵与节点特征之间的余弦距离，在特定的时间范围内，使用K近邻得到最相关的节点特征，将其作为一条超边；沿超边聚合节点特征，将一条超边上除节点自身外的所有节点特征平均为新的节点特征hi，对每个超图生成节点级注意av，以选择最具区别性的节点特征，对得到的节点特征进行加权求和，最后得到超图特征H。

全文数据：

权利要求：

百度查询： 安徽大学 一种基于高阶时空关系的跨域成趟足迹压力图像检索系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD