申请/专利权人：大连恒锐科技股份有限公司

申请日：2017-09-29

公开（公告）日：2021-02-19

公开（公告）号：CN109583452B

主分类号：G06K9/46(20060101)

分类号：G06K9/46(20060101);G06N3/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.02.19#授权;2019.04.30#实质审查的生效;2019.04.05#公开

摘要：本发明是关于一种基于赤足足迹的人身同一认定方法和系统，属于足迹处理领域。技术方案：步骤如下：A1、录入赤足或穿袜足迹数据；A2、统一足迹数据属性；A3、数据预处理；A4、制作赤足图像数据集；A5、数据训练与特征提取；A6、验证、训练模型调整与认定。有益效果是：本发明所述的基于赤足足迹的人身同一认定方法和系统可以解决由于犯罪现场中常用来作为人身同一认定的生物物证，通过机器学习CNN网络进行训练，得到人身同一认定算法的模型，将从犯罪现场得到的赤足足迹作为测试图像输入到这个模型，就可以进行人生同一认定。本发明方案带来的有益效果是可以辅助公安部门进行案件的分析和推进，提高公安部门解决案件的效率。

主权项：1.一种基于赤足足迹的人身同一认定方法，其特征在于，步骤如下：A1、录入赤足或穿袜足迹数据；A2、统一足迹数据属性；A3、数据预处理；A4、制作赤足图像数据集；A5、数据训练、验证及训练模型调整；A6、若满足闭集条件，则做闭集认定，否则做开集检索；所述闭集认定步骤如下：E1、输入：A、B，Ta，Tb，待认定样本I，输出：I的标签，A表示二维特征认定模型，B表示一维特征认定模型，Ta表示模型A特征的PCA投影矩阵，Tb表示模型B特征的PCA投影矩阵；E2、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤E3做处理，一维数据按照步骤E4处理；E3、假定二维数据是空集，则Fa为训练特征维度一致的全零向量；否则，利用A进行认定，可以得到基于A的标签La，通过A、Ta进行特征提取，得到特征Fa；E4、假定一维数据是空集，则直接采用La做最终认定标签L，否则，利用Fa与B进行认定，可以得到基于B的标签Lb，将Lb做最终认定标签L。

全文数据：一种基于赤足足迹的人身同一认定方法和系统技术领域本发明涉及足迹处理领域，尤其涉及一种基于赤足足迹的人身同一认定方法和系统。背景技术随足迹数据，作为公安部四大生物物证之一其他三个，DNA、指纹、人脸，在案件侦破与犯罪抓捕过程中起着关键性的作用。其中足迹数据也包括穿鞋足迹、赤足足迹以及穿袜足迹。在许多领域中的专家一直在探索和研究这四大生物物证，比如文献“AsurveyoffingerprintclassificationPartII.Knowledge-BasedSystems”中指纹的提取和比较，文献“Asurveyof2Dfacerecognitiontechniques”中的人脸识别的探索，文献“AcomparisonofDNAextractionmethodsforhigh-throughputDNAanalyses”中的DNA提取的研究等。虽然DNA、指纹、人脸可以达到人身同一认定的目的，但是由于这些物证非常容易被破坏，在案件现场不容易提取，而足迹是非常容易留下的生物物证，穿鞋足迹只能得到嫌疑人犯罪时所穿的鞋子种类及大小，可以推测出犯罪嫌疑人的一些特征，无法做到人身同一认证，但是可以通过赤足足迹中提取出的特征，进行识别，就可以进行人身同一认定。发明内容为了通过已知的赤足或者穿袜足迹数据与赤足或者穿袜足迹数据的从属，来判定未知从属赤足或者穿袜足迹的拥有者，达到人身认定的目的，本发明提供一种基于赤足足迹的人身同一认定方法和系统。技术方案如下：一种基于赤足足迹的人身同一认定方法，步骤如下：A1、录入赤足或穿袜足迹数据；A2、统一足迹数据属性；A3、数据预处理；A4、制作赤足图像数据集；A5、数据训练、验证及训练模型调整；A6、若满足闭集条件，则做闭集认定，否则做开集检索。进一步的，所述数据预处理包括处理包含杂质信息的图像和调整训练前数据；处理包含杂质信息的图像步骤如下：B1、人工剪裁：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；B2、自动方式：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做xy方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。调整训练前数据步骤如下：C1、数据分类，将得到的数据按照一维特征、二维图像区分，二维图像中是灰度图的，要全部通过通道合并的方式转换为彩色图，即有3个颜色通道；C2、模型匹配，假定模型对输入的图像要求为M×N，M是图像的行数，N是图像的列数，输入的图像大小经过分辨率归一后，同人赤足或者穿袜足迹的大小已定，将输入图像直接通过插值的方式，归一到M×N；假定所有输入图像中，最小尺寸的大小为Mmin×Nmin，首先以该尺寸，将所有图像插值归一到Mmin×Nmin，若最小尺寸小于M×N，则进行补零，若最小尺寸大于M×N，则对每幅图像采用随机或者固定位置的切割，每幅切割图像尺寸为M×N，共D份。进一步的，步骤A4中，将完成预处理的赤足图像数据集定义为两个部分：1训练集：用于机器学习，每个待认定人的赤足或者穿袜足迹的数据采样，每个数据带有从属信息；2待识别集：用于测试与验证，每个赤足或者穿袜足迹的数据采样没有从属信息；数据应该满足：1待识别集的数据维度不得高于训练集数据维度，待识别集的数据信息量不得高于训练集数据的信息量；2保证待识别数据的信息完整性，有效信息数据维度不得低于识别数据集的特征维度；3用于做训练的数据，每个人的数据，不同种类的至少10组以上，训练的个体数量在万人级，可以做开集认定，否则只能做闭集认定。进一步的，步骤A5中对已经完成预处理的二维图像数据，进行：D1、基于CNN网络训练；D2、用部分验证数据测试，假定认定准确率不足n％，则认为网络结构需要调整，进行步骤D3，否则进行步骤D4；D3、对任意一幅图而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对，若a.某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；b.相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接直接将该层作为全连接层重新训练，简化模型；C.把每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。D4、获得基于CNN网络的赤足或者穿袜足迹图像认定模型A，然后规定距离最后端激活层最近的全连接层输出作为每幅图的特征，利用PCA对所有采集对象的所有赤足或者穿袜足迹特征做降维处理，假定PCA投影矩阵为Ta，即可获得二维赤足或者穿袜足迹图像的降维特征，不存在二维足迹的，则给出与降维特征大小一致的全零向量。进一步的，所述闭集认定步骤如下：E1、输入：A、B，Ta，Tb，待认定样本I，输出：I的标签；E2、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤E3做处理，一维数据按照步骤E4处理；E3、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，利用A进行认定，可以得到基于A的标签La，通过A、Ta进行特征提取，得到特征Fa；E4、假定一维数据是空集，则直接采用La做最终认定标签L，否则，利用Fa与B进行认定，可以得到基于B的标签Lb，将Lb做最终认定标签L。进一步的，所述开集检索步骤如下：F1、输入：A、B，Ta，Tb，待认定样本I，输出：按照与I相似度排序的标签列表与对应的相似性数据；F2、提取训练库中所有的检索特征，并做特征维度归一；F3、用步骤F2中提取特征的方法，提取I的检索特征；F4、评估所有个体赤足或者穿袜足迹特征与I的相似性：对训练库中任意人体的检索特征，分别计算I的检索特征与每个特征的相关性，将最高的相关性作为I与该个体的相似性；F5、基于相似性做排序。进一步的，步骤F2采用以下方法：F21、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤F22做处理，一维数据按照步骤F23做处理；F22、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，通过A、Ta进行特征提取，得到特征Fa；F23、假定一维数据是空集，则将Fa作为最终的检索特征Fb，否则，利用Fa、B、Tb做特征提取，可以得到检索特征Fb。本发明还包括一种基于赤足足迹的人身同一认定系统，包括：足迹录入模块：录入赤足或穿袜足迹数据；足迹数据统一模块：统一足迹数据属性；数据预处理模块：进行数据预处理；赤足图像数据集模块：制作赤足图像数据集；数据训练、验证及训练模型调整：对数据进行训练与特征提取，验证、训练模型调整与认定。闭集认定模块：认定样本的归属人，在训练库中有对应的训练样本，结果是识别出的人；开集检索模块：认定样本的归属人，是否在训练库中有对应的训练样本并不确定，结果是依据特征的相似度排序，给出量化后的相似度。进一步的，所述足迹录入模块包括：动态赤足或者穿袜足迹数据采集模块：采集反映每时每刻赤足或者穿袜足迹的变化，体现的是某个时刻下的赤足或者穿袜足迹状态；静态赤足或者穿袜足迹数据采集模块：采集反映客观赤足或者穿袜足迹的稳定特征，体现的是整体脚底的平衡状态。进一步的，所述数据预处理模块包括：人工剪裁模块：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；自动处理模块：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做xy方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。本发明的有益效果是：本发明所述的基于赤足足迹的人身同一认定方法和系统可以解决由于犯罪现场中常用来作为人身同一认定的生物物证，如：DNA、指纹、人脸等，在案件现场上由于嫌疑人主观意识容易被销毁，所以导致这些生物物证不容易提取，而足迹是非常容易留下的生物物证，赤足足迹中提取出的特征，通过机器学习CNN网络进行训练，得到人身同一认定算法的模型，将从犯罪现场得到的赤足足迹作为测试图像输入到这个模型，就可以进行人生同一认定。本发明方案带来的有益效果是可以辅助公安部门进行案件的分析和推进，提高公安部门解决案件的效率。附图说明图1为包含杂质信息的足迹图像；图2为赤足或者穿袜足迹4个关键点示意图；图3为剪裁区域示意图；图4为本发明方法流程示意图。具体实施方式实施例1一种基于赤足足迹的人身同一认定方法，步骤如下：A1、录入赤足或穿袜足迹数据；A2、统一足迹数据属性；A3、数据预处理；A4、制作赤足图像数据集；A5、数据训练、验证及训练模型调整；A6、若满足闭集条件，则做闭集认定，否则做开集检索。进一步的，所述数据预处理包括处理包含杂质信息的图像和调整训练前数据；处理包含杂质信息的图像步骤如下：B1、人工剪裁：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；B2、自动方式：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做xy方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。调整训练前数据步骤如下：C1、数据分类，将得到的数据按照一维特征、二维图像区分，二维图像中是灰度图的，要全部通过通道合并的方式转换为彩色图，即有3个颜色通道；C2、模型匹配，假定模型对输入的图像要求为M×N，M是图像的行数，N是图像的列数，输入的图像大小经过分辨率归一后，同人赤足或者穿袜足迹的大小已定，将输入图像直接通过插值的方式，归一到M×N；假定所有输入图像中，最小尺寸的大小为Mmin×Nmin，首先以该尺寸，将所有图像插值归一到Mmin×Nmin，若最小尺寸小于M×N，则进行补零，若最小尺寸大于M×N，则对每幅图像采用随机或者固定位置的切割，每幅切割图像尺寸为M×N，共D份。进一步的，步骤A4中，将完成预处理的赤足图像数据集定义为两个部分：1训练集：用于机器学习，每个待认定人的赤足或者穿袜足迹的数据采样，每个数据带有从属信息；2待识别集：用于测试与验证，每个赤足或者穿袜足迹的数据采样没有从属信息；数据应该满足：1待识别集的数据维度不得高于训练集数据维度，待识别集的数据信息量不得高于训练集数据的信息量；2保证待识别数据的信息完整性，有效信息数据维度不得低于识别数据集的特征维度；3用于做训练的数据，每个人的数据，不同种类的至少10组以上，训练的个体数量在万人级，可以做开集认定，否则只能做闭集认定。进一步的，步骤A5中对已经完成预处理的二维图像数据，进行：D1、基于CNN网络训练；D2、用部分验证数据测试，假定认定准确率不足n％，则认为网络结构需要调整，进行步骤D3，否则进行步骤D4；D3、对任意一幅图而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对，若a.某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；b.相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接直接将该层作为全连接层重新训练，简化模型；c.把每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。D4、获得基于CNN网络的赤足或者穿袜足迹图像认定模型A，然后规定距离最后端激活层最近的全连接层输出作为每幅图的特征，利用PCA对所有采集对象的所有赤足或者穿袜足迹特征做降维处理，假定PCA投影矩阵为Ta，即可获得二维赤足或者穿袜足迹图像的降维特征，不存在二维足迹的，则给出与降维特征大小一致的全零向量。进一步的，所述闭集认定步骤如下：E1、输入：A、B，Ta，Tb，待认定样本I，输出：I的标签；E2、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤E3做处理，一维数据按照步骤E4处理；E3、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，利用A进行认定，可以得到基于A的标签La，通过A、Ta进行特征提取，得到特征Fa；E4、假定一维数据是空集，则直接采用La做最终认定标签L，否则，利用Fa与B进行认定，可以得到基于B的标签Lb，将Lb做最终认定标签L。6.如权利要求1所述的基于赤足足迹的人身同一认定方法，其特征在于，所述开集检索步骤如下：F1、输入：A、B，Ta，Tb，待认定样本I，输出：按照与I相似度排序的标签列表与对应的相似性数据；F2、提取训练库中所有的检索特征，并做特征维度归一；F3、用步骤F2中提取特征的方法，提取I的检索特征；F4、评估所有个体赤足或者穿袜足迹特征与I的相似性：对训练库中任意人体的检索特征，分别计算I的检索特征与每个特征的相关性，将最高的相关性作为I与该个体的相似性；F5、基于相似性做排序。7.如权利要求6所述的基于赤足足迹的人身同一认定方法，其特征在于，步骤F2采用以下方法：F21、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤F22做处理，一维数据按照步骤F23做处理；F22、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，通过A、Ta进行特征提取，得到特征Fa；F23、假定一维数据是空集，则将Fa作为最终的检索特征Fb，否则，利用Fa、B、Tb做特征提取，可以得到检索特征Fb。实施例2一种基于赤足足迹的人身同一认定系统，包括：足迹录入模块：录入赤足或穿袜足迹数据；足迹数据统一模块：统一足迹数据属性；数据预处理模块：进行数据预处理；赤足图像数据集模块：制作赤足图像数据集；数据训练、验证及训练模型调整：对数据进行训练与特征提取，验证、训练模型调整与认定。闭集认定模块：认定样本的归属人，在训练库中有对应的训练样本，结果是识别出的人；开集检索模块：认定样本的归属人，是否在训练库中有对应的训练样本并不确定，结果是依据特征的相似度排序，给出量化后的相似度。进一步的，所述足迹录入模块包括：动态赤足或者穿袜足迹数据采集模块：采集反映每时每刻赤足或者穿袜足迹的变化，体现的是某个时刻下的赤足或者穿袜足迹状态；静态赤足或者穿袜足迹数据采集模块：采集反映客观赤足或者穿袜足迹的稳定特征，体现的是整体脚底的平衡状态。进一步的，所述数据预处理模块包括：人工剪裁模块：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；自动处理模块：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做xy方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。实施例3：作为一种新的实施例或者实施例1的补充。一种基于赤足足迹的人身同一认定方法，方案如下：1.数据要求：1赤足或者穿袜足迹数据获取：1动态赤足或者穿袜足迹数据：该类数据是通过采集设备采集到的实时赤足或者穿袜足迹数据，体现的是某个时刻下的赤足或者穿袜足迹状态，更能反映每时每刻赤足或者穿袜足迹的变化；2静态赤足或者穿袜足迹数据：数据是通过采集设备采集到的某段时间段内赤足或者穿袜足迹平均状态，体现的是整体脚底的平衡状态，更能反映客观赤足或者穿袜足迹的稳定特征。其中，赤足或者穿袜足迹数据包括但不限于一维压力轨迹数据、二维实时动态赤足或者穿袜足迹有或者无压力信息、三维赤足或者穿袜足迹形状点云数据。2数据属性统一类型：1实时动态数据需要通过某段时间的平均处理，转换成静态数据，在平均过程中，无法获取的动态数据做特征提取，直接形成一维数据做训练或者测试；2对于可以获取行走过程中步幅特征信息的数据，要通过自动特征提取，以同名点轨迹的方式形成一维数据，做训练或者测试。3数据属性统一维度：1对三维点云数据，采用仿真碰撞的方法，构建虚拟硬质成痕客体，记录三维脚有形变，非刚体与客体碰撞的点集，记录点集到成痕客体的垂直距离，以高度为信息形成高度图；2二维赤足或者穿袜足迹数据，对于背景复杂的痕迹图，可以生成或者采集多种含赤足或者穿袜足迹的背景图用于训练，也可以进行人工或者自动去除背景的方式提出赤足或者穿袜足迹前景图；3一维数据认为是经过初始特征提取的量，可以经过降维投影，与其他数据特征结合使用。4数据预处理：1由于每个赤足或者穿袜足迹的采集方式不同包括但不限于采集以不同，采集条件不同，导致分辨率的不同以及背景的不同。体现在图像上即不同采集仪得到的脚印图像的大小不一致，背景也不一致，部分脚印图像上除目标脚印外还包含其他杂质信息。具体包含杂质信息的图像参考附图1。这里通过人工剪裁的方进行目标区域提取，然后将所有图像归一化到统一大小，以确保后续算法的可行性，具体操作如下：a.人工剪裁：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，此4点的位置与定义参考附图2，每幅图按照这四个关键点做外切矩形再进行剪裁即可，如附图3所示；b.自动方式：通过批量数据的训练，来对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做xy方向的归一即可，训练的特征包括但不限于角点、点间的相互关系，甚至整幅图，方式包括但不限于基于深度学习的全卷积网络FCN、基于图像几何变换仿射、透视等的同名点配准。2训练前数据调整：这是与后续训练模型相关的，由于进行训练的数据集里，数据意义不在同一等级特征级、数据级，ii.且数据级的图像与模型的输入要求并不能完全保证一致，因此做以下处理：a.数据分类，将得到的数据按照一维特征、二维图像区分，二维图像中是灰度图的，要全部通过通道合并的方式转换为彩色图，即有3个颜色通道；b.模型匹配，假定模型对输入的图像向量，向量行或者列方向维度为1要求为M×N，M是图像的行数，N是图像的列数，输入的图像大小经过分辨率归一后，同人赤足或者穿袜足迹的大小已定，但不同人赤足或者穿袜足迹的大小还是有差别，所以：i将输入图像直接通过插值的方式，归一到M×N；ii假定所有输入图像中，最小尺寸的大小为Mmin×Nmin，首先以该尺寸，将所有图像插值归一到Mmin×Nmin，若最小尺寸小于M×N，则进行补零，若最小尺寸大于M×N，则对每幅图像采用随机或者固定位置的切割，每幅切割图像尺寸为M×N，共D份。2.制作赤足图像数据集：1将完成预处理的赤足图像数据集定义为两个部分：1训练集：用于机器学习用，每个待认定人的赤足或者穿袜足迹的数据采样，每个数据带有从属信息标签；2待识别集：用于测试与验证，每个赤足或者穿袜足迹的数据采样没有从属信息验证集有，但是用来判断方法认定精度。2其中，各部分对数据的要求：1待识别集的数据维度不得高于训练集数据维度，待识别集的数据信息量不得高于训练集数据的信息量；2要保证待识别数据的信息完整性，有效信息数据维度不得低于识别数据集的特征维度；3用于做训练的数据，每个人的数据，不同种类的至少10组左右脚各5组以上，训练的个体数量在万人级，可以做开集认定，否则只能做闭集认定。3.数据训练、验证及训练模型调整：1对已经完成预处理的二维图像数据，进行：1基于CNN网络的训练若采用现有网络，可以用fine-tuning方式训练，网络要求：a.输入输出要求：输入层大小不得低于128*128，彩色图，即有3个通道，距离最后端激活层最近的全连接层不得低于4096维特征维度要求，输出层数量与训练的个体数量一致；b.框架要求：卷积层在5个以上；c.参数要求：卷积核服从高斯分布；d.参考模型：AlexNet，LeNet。2用部分验证数据测试，假定认定准确率不足80％，则认为网络结构需要调整，进行第3步，否则进行第4步；3对任意一幅图而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对，若a.某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；b.相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接直接将该层作为全连接层重新训练，简化模型；c.把每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。4至此，获得基于CNN网络的赤足或者穿袜足迹图像认定模型A，然后规定距离最后端激活层最近的全连接层输出作为每幅图的特征，利用PCA对所有采集对象的所有赤足或者穿袜足迹特征做降维处理，假定PCA投影矩阵为Ta，即可获得二维赤足或者穿袜足迹图像的降维特征，不存在二维足迹的，则给出与降维特征大小一致的全零向量.2对已经完成预处理后的一维特征数据对于不存在一维特征的，不参与该步骤，直接以二维足迹特征为最后特征，进行：1二维赤足或者穿袜足迹数据降维特征与一维特征的合并，形成整体特征；2针对整体特征，完成基于CNN网络的训练若采用现有网络，可以用fine-tuning方式训练，网络要求：a.输入输出要求：输入层大小不得低于1*1024维，单通道，距离最后端激活层最近的全连接层不得高于输入层维度特征维度要求，输出层数量与训练的个体数量一致；b.框架要求：卷积层在3个以上；c.参数要求：卷积核服从高斯分布。3用部分验证数据测试，假定认定准确率不足80％，则认为网络结构需要调整，进行第4步，否则进行第5步；4对任意一组特征而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对，若：a.某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；b.相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接直接将该层作为全连接层重新训练，简化模型；c.每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。5至此，获得基于CNN网络的赤足或者穿袜足迹特征认定模型B，然后规定距离最后端激活层最近的全连接层输出作为每幅图的特征，利用PCA对所有采集对象的所有赤足或者穿袜足迹特征做降维处理，假定PCA投影矩阵为Tb，即可获得赤足或者穿袜足迹数据的降维特征。4.若满足闭集条件，则做闭集认定，否则做开集检索：1闭集认定：要认定样本测试数据的归属人，在训练库中有对应的训练样本，结果是识别出的人ID、名称均可。闭集：假如训练个体的数量达不到万级，认为学习特征达不到开集认定的要求，只可以用训练好的A、B模型结合来做闭集认定：1输入：A、B，Ta，Tb，待认定测试样本I，输出：I的标签；2进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照3做处理，一维数据按照4做处理；3假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，利用A进行认定，可以得到基于A的标签La，通过A、Ta进行特征提取，得到特征Fa；4假定一维数据是空集，则直接采用La做最终认定标签L，否则，利用Fa与B进行认定，可以得到基于B的标签Lb，将Lb做最终认定标签L。2开集检索：要认定样本测试数据的归属人，是否在训练库中有对应的训练样本并不确定，结果是依据特征的相似度排序，给出量化后的相似度。开集：假如训练个体的数量超过万级，认为学习特征达到开集认定的要求，可以用训练好的A、B模型进行特征提取，然后通过特征比对来做开集检索：1输入：A、B，Ta，Tb，待认定测试样本I，输出：按照与I相似度排序的标签列表与对应的相似性数据；2提取训练库中所有的检索特征，并做特征维度归一，具体方式为：a.进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照b做处理，一维数据按照c做处理；b.假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，通过A、Ta进行特征提取，得到特征Fa；c.假定一维数据是空集，则将Fa作为最终的检索特征Fb，否则，利用Fa、B、Tb做特征提取，可以得到检索特征Fb；3用2中提取特征的方法，提取I的检索特征；4评估所有个体赤足或者穿袜足迹特征与I的相似性：对训练库中任意人体的检索特征，分别计算I的检索特征与每个特征的相关性，将最高的相关性作为I与该个体的相似性；5基于相似性做排序。以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

权利要求：1.一种基于赤足足迹的人身同一认定方法，其特征在于，步骤如下：A1、录入赤足或穿袜足迹数据；A2、统一足迹数据属性；A3、数据预处理；A4、制作赤足图像数据集；A5、数据训练、验证及训练模型调整；A6、若满足闭集条件，则做闭集认定，否则做开集检索。2.如权利要求1所述的基于赤足足迹的人身同一认定方法，其特征在于，所述数据预处理包括处理包含杂质信息的图像和调整训练前数据；处理包含杂质信息的图像步骤如下：B1、人工剪裁：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；B2、自动方式：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做xy方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。调整训练前数据步骤如下：C1、数据分类，将得到的数据按照一维特征、二维图像区分，二维图像中是灰度图的，要全部通过通道合并的方式转换为彩色图，即有3个颜色通道；C2、模型匹配，假定模型对输入的图像要求为M×N，M是图像的行数，N是图像的列数，输入的图像大小经过分辨率归一后，同人赤足或者穿袜足迹的大小已定，将输入图像直接通过插值的方式，归一到M×N；假定所有输入图像中，最小尺寸的大小为Mmin×Nmin，首先以该尺寸，将所有图像插值归一到Mmin×Nmin，若最小尺寸小于M×N，则进行补零，若最小尺寸大于M×N，则对每幅图像采用随机或者固定位置的切割，每幅切割图像尺寸为M×N，共D份。3.如权利要求1或2所述的基于赤足足迹的人身同一认定方法，其特征在于，步骤A4中，将完成预处理的赤足图像数据集定义为两个部分：1训练集：用于机器学习，每个待认定人的赤足或者穿袜足迹的数据采样，每个数据带有从属信息；2待识别集：用于测试与验证，每个赤足或者穿袜足迹的数据采样没有从属信息；数据应该满足：1待识别集的数据维度不得高于训练集数据维度，待识别集的数据信息量不得高于训练集数据的信息量；2保证待识别数据的信息完整性，有效信息数据维度不得低于识别数据集的特征维度；3用于做训练的数据，每个人的数据，不同种类的至少10组以上，训练的个体数量在万人级，可以做开集认定，否则只能做闭集认定。4.如权利要求1或2所述的基于赤足足迹的人身同一认定方法，其特征在于，步骤A5中对已经完成预处理的二维图像数据，进行：D1、基于CNN网络训练；D2、用部分验证数据测试，假定认定准确率不足n％，则认为网络结构需要调整，进行步骤D3，否则进行步骤D4；D3、对任意一幅图而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对，若a.某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；b.相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接直接将该层作为全连接层重新训练，简化模型；C.把每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。D4、获得基于CNN网络的赤足或者穿袜足迹图像认定模型A，然后规定距离最后端激活层最近的全连接层输出作为每幅图的特征，利用PCA对所有采集对象的所有赤足或者穿袜足迹特征做降维处理，假定PCA投影矩阵为Ta，即可获得二维赤足或者穿袜足迹图像的降维特征，不存在二维足迹的，则给出与降维特征大小一致的全零向量。5.如权利要求1所述的基于赤足足迹的人身同一认定方法，其特征在于，所述闭集认定步骤如下：E1、输入：A、B，Ta，Tb，待认定样本I，输出：I的标签；E2、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤E3做处理，一维数据按照步骤E4处理；E3、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，利用A进行认定，可以得到基于A的标签La，通过A、Ta进行特征提取，得到特征Fa；E4、假定一维数据是空集，则直接采用La做最终认定标签L，否则，利用Fa与B进行认定，可以得到基于B的标签Lb，将Lb做最终认定标签L。6.如权利要求1所述的基于赤足足迹的人身同一认定方法，其特征在于，所述开集检索步骤如下：F1、输入：A、B，Ta，Tb，待认定样本I，输出：按照与I相似度排序的标签列表与对应的相似性数据；F2、提取训练库中所有的检索特征，并做特征维度归一；F3、用步骤F2中提取特征的方法，提取I的检索特征；F4、评估所有个体赤足或者穿袜足迹特征与I的相似性：对训练库中任意人体的检索特征，分别计算I的检索特征与每个特征的相关性，将最高的相关性作为I与该个体的相似性；F5、基于相似性做排序。7.如权利要求6所述的基于赤足足迹的人身同一认定方法，其特征在于，步骤F2采用以下方法：F21、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤F22做处理，一维数据按照步骤F23做处理；F22、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，通过A、Ta进行特征提取，得到特征Fa；F23、假定一维数据是空集，则将Fa作为最终的检索特征Fb，否则，利用Fa、B、Tb做特征提取，可以得到检索特征Fb。8.一种基于赤足足迹的人身同一认定系统，其特征在于，包括：足迹录入模块：录入赤足或穿袜足迹数据；足迹数据统一模块：统一足迹数据属性；数据预处理模块：进行数据预处理；赤足图像数据集模块：制作赤足图像数据集；数据训练、验证及训练模型调整：对数据进行训练与特征提取，验证、训练模型调整与认定。闭集认定模块：认定样本的归属人，在训练库中有对应的训练样本，结果是识别出的人；开集检索模块：认定样本的归属人，是否在训练库中有对应的训练样本并不确定，结果是依据特征的相似度排序，给出量化后的相似度。9.如权利要求8所述的基于赤足足迹的人身同一认定系统，其特征在于，所述足迹录入模块包括：动态赤足或者穿袜足迹数据采集模块：采集反映每时每刻赤足或者穿袜足迹的变化，体现的是某个时刻下的赤足或者穿袜足迹状态；静态赤足或者穿袜足迹数据采集模块：采集反映客观赤足或者穿袜足迹的稳定特征，体现的是整体脚底的平衡状态。10.如权利要求8所述的基于赤足足迹的人身同一认定系统，其特征在于，所述数据预处理模块包括：人工剪裁模块：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；自动处理模块：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做xy方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。

百度查询： 大连恒锐科技股份有限公司 一种基于赤足足迹的人身同一认定方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD