申请/专利权人：成都易书桥科技有限公司

申请日：2020-12-13

公开（公告）日：2024-06-28

公开（公告）号：CN114630266B

主分类号：H04W4/02

分类号：H04W4/02;H04W4/021;H04W4/33;H04W64/00;G06F18/214;G06F18/25;G06N3/0464;G06N3/0442;G06N3/043;G06N3/048;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2023.03.07#实质审查的生效;2022.06.14#公开

摘要：本发明公开了一种基于神经网络的多模态数据融合室内定位系统。本发明将地磁场强度值、Wi‑Fi信号强度值和行进方向值共同组成一种多模态指纹，在开阔空间中有更高的唯一性。本发明采用米字网格划分出室内空间中的主路径，然后设计了一种基于序列极值点的定长指纹切分法切分每条主路径的指纹，将极值点作为分段指纹序列切分和对齐的标志，在解决分段指纹匹配错位问题的同时，以一种分段再组合的思想还原出复杂多样的轨迹。为了能更准确识别多个分段指纹按时序组合成的多模态指纹，本发明提出了一种基于卷积和长短期记忆网络的多模态指纹分类模型，能够对多样化指纹序列进行准确匹配，提升系统在开阔空间中的定位准确度。

主权项：1.一种基于神经网络的多模态数据融合室内定位系统，其特征在于：该系统包含移动端和服务端；移动端分为指纹采集模块和实时定位模块，首先通过移动端的指纹采集模块，采用米字网格对地图进行划分，用八个主要方向的连续分段路径去近似代表空间中的所有路径，米字网格覆盖整个地图后全部看作一个整体，其中每条直线就是一条主路径，在这些主路径上进行指纹采集；首先对指纹序列进行滑动平均值滤波，波峰值需要满足Hmax＞μ，波谷值需要满足Hmin＜μ，其中μ为主路径地磁指纹的均值，规定波峰间的间距应满足G＞SSN2，遍历整个指纹序列标记出所有合格极值点；然后对一段主路径的地磁指纹序列进行遍历，标记出所有有效的极值点，然后以行进方向遍历每两个相邻极值点，两个极值点间采样数除以SSN四舍五入后即是两点间分段个数，分别从两个极值点向中心靠近依次切分，最后根据首尾两个极值点与序列首尾的距离满足多少个分段数进行切分，所有切分出的序列片段均打上位置标签，得到该室内空间中的所有分段地磁指纹序列；以同样的长度对Wi-Fi指纹序列切分，得到每个分段的Wi-Fi指纹；每个分段地磁指纹序列转换为相应的曲线差值矩阵D后，与其相对应的经过归一化后的Wi-Fi指纹W以及离散化后的行进方向值0共同构成多模态分段指纹MSFP＝D，W，O；多个相邻的多模态分段指纹按顺序拼接后，便构成一条行走路径的多模态指纹MFP＝{MSFP1，…，MSFPn}；通过人实际行走进行采样成本很高，采用随机路点模型自动模拟行走过程，生成多种可能的二维轨迹；多模态指纹分类模型主要由空洞卷积和LSTM组合而成，模型的输入分为分段地磁指纹序列的曲线差值矩阵、Wi-Fi指纹序列W和方向序列0；空洞卷积抽取分段地磁指纹序列的特征后生成一维的张量，拼接W和O后一起作为该分段指纹的融合数据送入LSTM，LSTM的输入为当前分段的多模态融合数据张量和上一个分段的LSTM输出值，经过LSTM各个门处理后更新神经元的状态，最后经过一个全连接层后输出当前分段指纹序列在各个位置坐标的置信度，选用空洞卷积，扩张率选用1、2、5、1、2的锯齿结构，LSTM的time_step为10，若输入序列长度不足则用0补足，在LSTM前面增加一个Masking层，过滤掉用0补足的time_step，所有Cony后紧接一个BN，除最后一层外都采用ReLU作为激活函数，最后一层FC的激活函数采用Softmax函数，选用Keras深度学习框架作为模型框架，后端使用TensorFlow，神经网络的优化方法选择Adam优化算法，损失函数选择categorical_crossentropy；通过基于序列极值点的定长指纹切分法对实时指纹序列进行预先的切分，并筛选出有效的分段指纹按时间顺序组合后进行位置点的预测，首先将地磁指纹序列和加速度序列进行滑动平均值滤波处理，然后根据采集到的方向序列中的方向改变点映射到地磁、Wi-Fi和加速度序列，将这些序列分别划分为各个方向的子序列，依次处理不同方向的指纹序列，找出当前指纹序列中所有满足间距G和高度H要求的极值点后，计算起点到第一个极值点的距离是否大于FSL，若大于则将第一个极值点前FSL长度的指纹进行切分，地磁指纹转换成曲线差值矩阵，Wi-Fi指纹进行归一化处理，附加上方向值后成为MSFP，接着依次以所有的极值点为基点，向前进行FSL长度的指纹切分，若切分序列包含下一个极值点则停止当前极值点的切分，切分后同样需要数据的转换和处理，最后一个分段需要计算出和整个序列终点的纵向差值ld，结束循环后，得到的所有MSFP按时间先后顺序拼接成MPF，最后将MPF送入多模态指纹分类模型，经过模型进行预测后得出所有类别置信度，通过最高置信度位置和ld计算出该定位算法最终的定位结果，最终进行位置修正后将结果返回给用户移动端。

全文数据：

权利要求：

百度查询： 成都易书桥科技有限公司 一种基于神经网络的多模态数据融合室内定位系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD